Эволюция рекуррентной нейронной сети

30 нояб 2012 13:28
Хмур
Модератор
Модератор
Сообщений: 3531
Больше
Эволюция рекуррентной нейронной сети #24442
stalkerg> генетическими алгоритмами заставить эволюционировать рекуррентную НС
> структура НС очень важна, а наиболее распространёные многослойные НС слишком ограничены

Конечно, идея СoGANN (комбинирование GA+NN) внутренне богата. Однако нужно помнить, что и рекуррентные сети (напр. только
с локальными обратными связями) не представляют всего класса конечных машин. Представляется, что RNN перспективны в области
управления динамическими объектами, в т.ч. и абстрактными, - напр. при рассмотрении управляемой динамики на управляемых
аттракторах. Тут сразу вспоминаются интригующие постановки на кодирование информации на стохастических аттракторах. Общая
архитектура таких информационных систем оказывается гибридной, комплексной, требующей квалифицированного подхода.

Читать википедию очень недостаточно, для начала нужно посмотреть Хайкина.

Сетки нужно рассматривать просто как такое представление алгоритмов (напр. управления), которое неким ЕСТЕСТВЕННЫМ образом
допускает континиум преобразований типа самоорганизации = эволюции-адаптации-обучения. Это просто специфический язык, на
котором можно формулировать интуиции, опыт и эвристики.

> интересно какие структуры НС будут вычерчиваться при таком подходе и будут ли они эффективнее слоистой

В зависимости от постановки даже рекуррентный перцептрон начнет эволюционировать (самоорганизовываться) в сторону сегментации,
нуклеации. Обратные связи по широте охвата (локальности и глубине), по временным параметрам (запаздыванию) будут приводить
к фрагментации и формированию не только горизонтальных (слоистых), но и вертикально-интегрированных структур.

NO> а рекуррентная Y=X*A*A*A

Если отображение А сжимающее, то тогда и появляется этот самый новый объект - аттракторы, внутренняя структура которых
может быть нетривиальной. В общем виде можно комбинировать сжимающую и дивергирующую фазу эволюции, осуществляя нечто
вроде управляемого поиска в пространстве возможных аттракторов. Можно возмутить как-то специфически оператор А и посмотреть
влияние возмущения как на скорость схождения к новому аттрактору, так и на его структуру.

Вся соль в динамических сетях именно в их динамических режимах. Это лежало на поверхности - осуществить структурную привязку
информационых состояний, отождествить целевые выходы с выходными нейронами. Это технично. Но если говорить о чем-то типа
'мысли', структурно подвижном, структурно НЕОАПРЕДЕЛЕНОМ, содержательно переменном, - то обращение к динамическим образам
(траекториям, аттракторам) выглядит перспективным и интересным. Это некая возможная новая техника. Типа не прошитый нейро-
регулятор, а постоянно обучающейся нейроконтроллер..

lex> подобие пошлой копии метода имитации отжига

классический отжиг - это только первая стадия эволюции. Потом возникают нестатистические пространства, а кОНФИГУРАЦИОННЫЕ,
пространства структур (корелляций). Эволюция объекта в пространстве структур есть обобщенный генетический процесс (гены это
то, что осуществляет структурную преемственность). Отжиг как бы расширяется на 'системную размерность'.

> Плотности потоков информации в мозге таковы, что не могут быть связанны с движение материи. Гигаватты получаются.

мы это уже обсуждали и пришли к выводу, что вы говорите чушь. Нет никаких 'запредельных' потоков информации, особенно если
грамотно учесть в 'структурных' вычислениях акумулированный адаптивный филогенетический опыт, грамотно соотнести объемы
генетиченских, нейрональных и социальных вычислений. Даже по термодинамическому эквиваленту сжигания ста грамм сахаров
хватит для любых сверхтерабайтных вычислений. Даже термодинамическое несовершенство мозга тут ничего принципиально не
меняет (ничему не мешает). Проблема только в том, что кремневая технология СУЩЕСТВЕННО более термодинамически несовершеннее
мозга.

> Если же мы убераем "червячков

из голов некоторых гиперкритиков..

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

30 нояб 2012 14:11 30 нояб 2012 14:13 от Lex.
Lex
Модератор
Модератор
Сообщений: 4048
Больше
Эволюция рекуррентной нейронной сети #24447

YNK пишет: - просто поражает, как имея в принципе верные посылки вы умудряетесь присовокупить к ним ложную каузальность ожиданий, что биологический мозг осуществляет свою деятельность во всем подобно машинам.

Мозг это машина и по сути довольно простая. Не нужно вводить мифологию.

У всех нас лишь одна материальная природа
Религия есть опиум для нашего народа
Нетленная душа, бля, вредоносный атавизм
Мы распнём Христа по-новой, это е наш атеизм.


И вообще это вроде я должен быть за тёмную сторону ))))

Просто вам надо усвоить один важный аспект, то что кажется вам важным в инженерном отношении, это всего лишь одна часть возможных приложений при энергетически заданных состояниях информационной системы.

Все подчинено законам физики. Все физические процессы подчинены энергобалансу.

Но, кроме оных есть еще семантически важные виды информационной связности, и вот нейросети(имитирующие работу мозга) именно такая разновидность семантически ориентированных вычислителей.

Это чистая мифология. Шеннон в стороне от рассматриваемой темы. Тут ближе подошли Калмагоров и Арнольд.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

30 нояб 2012 14:32
Lex
Модератор
Модератор
Сообщений: 4048
Больше
Эволюция рекуррентной нейронной сети #24448

Хмур пишет: классический отжиг - это только первая стадия эволюции. Потом возникают нестатистические пространства, а кОНФИГУРАЦИОННЫЕ, пространства структур (корелляций). Эволюция объекта в пространстве структур есть обобщенный генетический процесс (гены это то, что осуществляет структурную преемственность). Отжиг как бы расширяется на 'системную размерность'.

Отжиг это математика, а все что дальше пока это только гипотезы. Если нечто не может быть представленно ввиде формул, то это точно нельзя запрограммировать. Установка на то что ГА это более общий случай по отношению к отжигу это бред. ГА это частный и странный случай.

мы это уже обсуждали и пришли к выводу, что вы говорите чушь. Нет никаких 'запредельных' потоков информации, особенно если грамотно учесть в 'структурных' вычислениях акумулированный адаптивный филогенетический опыт, грамотно соотнести объемы генетиченских, нейрональных и социальных вычислений.

Нет таких алгоритмов о которых вы пишете. Нет даже математической теории для их появления. Арнольд только высказал некоторые идеи о возможности существования абсолютной шкалы сложности. Бех этого мы некак не можнм резать информационный поток. Можем отрезать самое главное.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

30 нояб 2012 15:38
Хмур
Модератор
Модератор
Сообщений: 3531
Больше
Эволюция рекуррентной нейронной сети #24450
lex> Мозг это машина и по сути довольно простая

простая машина - это аллопоэтическаЯ машина, состоящая из инертных деталей. Мозг это автопоэтическая машина, это
сцепление систем, нарисованных друг на друге, машина, состоящая из машин, которые определены в иных системных координатах.
вложенные машины могут быть определены в БОЛЬШИХ пространственно-временных масштабах. Возможно вы говорите о ТАКОЙ простоте..

> Все подчинено законам физики.

Это наивный физикализм и редукционизм. Может, более адекватно сказать, что все подчинено законам систем? Конечно, можно
все трактовать как 'физику', - и биофизику, и макромолекулярную химию, и киберфизику, и информатику, и системологию, и
филологию, и психологию, и математику..

> Все физические процессы подчинены энергобалансу

Если суммарная энергия системы постоянна, то внутренние процессы подчиняются балансам энтропии. Более того, вполне реальны
и 'виртуальные' процессы (типа радиационного торможения в ваккуме), идущие с локальным НАРУШЕНИЕМ баланса (баланс сводится
лишь в среднем).

Суть, что можно сидеть именно в таком месте локального нарушения баланса и видеть несохранение.

> Тут ближе подошли Калмагоров и Арнольд

ну, о проблеме исчисления семантической (логико-семантической) информации писали и Хинтикка, и Харкевич, и Шрейдер, есть
аспекты где Колмогоровское представление явно недостаточно. У Арнольда представление явно игрушечное и невычислимое (фун-
ция колмогоровской сложности тоже невычислима).

> Отжиг это математика, а все что дальше пока это только гипотезы

Эволюция, гены, ниши, самоорганизация, игры - это тоже математика.. Формул - хоть ж..й ешь..

> Установка на то что ГА это более общий случай по отношению к отжигу это бред

Тут глубокая метафизика. Если наш мир сконструирован, то первичен именно некий эволюционный процесс в конструирующей голове
бога (эволюция связных представлений-идей). Если рассматривать первичным некий хаос, может быть и внутренний хаос первичной
сингулярности, некие первичные флуктуирующие (случайные) поля (поначалу свернутые), то все равно найдутся аргументы в пользу
изначально смещенного мира (мультиверсным контекстом), в пользу неких высших корелляций, которые предопределили каскад нару-
шений симметрий и фундаментальную группу симметрии. Тогда отжиг лишь проЯвлял спектр предопределенных структур и структурных
возможностей. Как ни крути отжиг лишь дает энергию процессу, но не направляет его. Помимо глобальных детерминант развития
в ходе развития формируются и локальные детерминанты.

> Нет таких алгоритмов о которых вы пишете.

В общем случае эволюция моделируется эмерджентным вычислительным процессом, кодовые сегменты лишь постепенно получают
смысл, оформляются в виде алгоритмов с определенной семантикой (идеей).

> Можем отрезать самое главное

да, конечно, тут общая проблема. Конфигуративное пространство очень быстро расширяется, пространсво систем из коротких
программ уже очень обширно - так тем более нам нужно не отжигать структуры (разрушать), а вести сервовариационный поиск,
варьировать структурные параметры, сохранять 'куски' струактур, метаструктуру, структурные инварианты - т.е. вести
эволюционно-генетический поиск. Нужны гибридные объекты - единство переменных доменов данных и структур на их описаниях
(поименованных). Сложное не отожгется единомоментно их пены хаоса как афродита.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

30 нояб 2012 18:04
YNK
Модератор
Модератор
Сообщений: 3538
Больше
Эволюция рекуррентной нейронной сети #24452

Lex пишет: Мозг это машина и по сути довольно простая. Не нужно вводить мифологию

- в работе мозга возникает(эмерджентно) подобие машин, вы о них много слышали и даже собирались как-то одну такую нам предъявить :). Но, нет у вас рефлекс-машины по сию пору, простота ее не воспроизводима доступными вам средствами, смиритесь уже :)

Все подчинено законам физики

- Хмур вас заземляет, который раз к ряду:

Это наивный физикализм и редукционизм.

и я ППКС :)

Все физические процессы подчинены энергобалансу

- биологическая обусловленность подчиняет НС эргономике существования, другого не дано. Мы это уже с вами перетирали раз надцать, к примеру тут - Lex> Ага, только на информационных потоках сопоставимых с современным процессором это требует мегават ((( что физически невозможно. Соответственно саам подход в корне неверен
- на чем вы продолжаете настаивать? Если на том, что пытаетесь уравнять нейрон с процессором, так это то и есть корень неверного подхода. Решателей в нейроне много больше, чем это представляется на первый взгляд. Вот вы ж не будете утверждать, что одно колесо заменит вам весь автомобиль :)
Уже приводил здесь(сегодня) этот пример: минимальная размерность решателя - группа из тридцати синапсов, а синапсов у одного нейрона несколько тысяч. Соответсвенно о эргономической составляющей их функциональности мы и рассуждаем с точки зрения биологической обусловленности.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

01 дек 2012 17:37
Хмур
Модератор
Модератор
Сообщений: 3531
Больше
Эволюция рекуррентной нейронной сети #24456
YNK> нет у вас рефлекс-машины

если речь о рефлексии (рефлексивных функциях, метакогнитивных функциях), то полного ассортимента функций нет, но тем не менее
есть когнитивные архитектуры с рефлексией. Но чего-то все-таки не хватает, вы правы, разумеется. Чего же?? такое ощущение,
что не хватает просто 'правильной' интеграции достаточно развитой архитектуры (системы).. что такое тут тогда 'правильность'?

что такое ППКС?

почему минимальный решатель это группа именно 30 синапсов??

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

01 дек 2012 22:43
YNK
Модератор
Модератор
Сообщений: 3538
Больше
Эволюция рекуррентной нейронной сети #24458

Хмур пишет: что такое тут тогда 'правильность'?

- вопрос конечно не простой, мое имхо сводится к тому, что почти все рефлексы изучены 'селективным' образом и поэтому имеем мозаику вместо панорамы. Это при всем при том, что детализация изученного очень глубокая и все время прирастает новыми фактами.

что такое ППКС?

- это известный мем Рунета, аббревиатура: "подпишусь под каждым словом"

почему минимальный решатель это группа именно 30 синапсов??

- там ссылка на попмех и компиляцию этого материала по исследованию таламуса - www.salk.edu/news/pressrelease_details.php?press_id=415

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

Модераторы: InexSVGYNK
Время создания страницы: 0.291 секунд
Работает на Kunena форум