Эволюция рекуррентной нейронной сети

27 нояб 2012 16:10
stalkerg
Читатель
Читатель
Сообщений: 8
Больше
Автор темы
Эволюция рекуррентной нейронной сети #24375
Здравствуйте.
Недавно меня заинтересовала одна идея и хотелось бы узнать, стоит ли её детально изучать (писать прототип и т.д.) или нет?
Покопавшись в google аналогичных исследований не нашёл по этому есть вероятность, что идея заранее глупая но я не вижу в чём.

Так вот идея заключается в том, что бы генетическими алгоритмами заставить эволюционировать рекуррентную НС. Критерием для эволюции будет скорость обучения для разносторонних типов задачь (начиная от простой арифметики, заканчивая чем то вроде распознованием образов). Метод обучения НС можно взять в принципе любой.
Цель - посмотреть в какую структуру будет вырождаться граф. Я искрене убеждён, что структура НС очень важна, а наиболее распространёные многослойные НС слишком ограничены (по сути их можно использовать только для очень узких и конкретных задачь).

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 16:31
NO.
Академик
Академик
Сообщений: 2213
Больше
Эволюция рекуррентной нейронной сети #24376
А что такого может рекуррентная нейросеть?

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 16:34
rrr3
Опытный писатель
Опытный писатель
Сообщений: 487
Больше
Эволюция рекуррентной нейронной сети #24377
Конечно - это не то что Вы ожидаете. Но.
Вопрос в принципе, на мой взгляд (возможно ошибаюсь), не конструктивен. Идей может быть бесконечное множество. Советчиков - чуть меньше. Только Вы сами можете ответить себе стоит Вам этим заниматься или нет. Более продуктивный подход, на мой взгляд, родить в голове модель того, что уже реализовано в той или иной степени (форме) в природе, но это будет не идея, а умозрительная (концептуальная если хотите) модель...

Теперь один из тех ответов, который Вы возможно ожидали.
Конечно, "структура НС" важно, но на мой взгляд удобнее возможность ее структурирования в процессе работы-обучения.
И еще - возможно, генетический алгоритм сильно заузит возможности того, что Вы хотите сделать.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 16:39
stalkerg
Читатель
Читатель
Сообщений: 8
Больше
Автор темы
Эволюция рекуррентной нейронной сети #24378
>А что такого может рекуррентная нейросеть?
Как минимум то же что и обычная, но в довесок много интересностей. Не очень честно говоря понял вопросса, в тех же википедиях много написано. В целом это более биологически подобная конструкция и все её возможности не известны, но простора гораздо больше. Собственно по этому и хочется заняться её эволюцией, что бы посмотреть чего она ещё может.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 16:46
stalkerg
Читатель
Читатель
Сообщений: 8
Больше
Автор темы
Эволюция рекуррентной нейронной сети #24379
>Конечно - это не то что Вы ожидаете. Но.

Для начала спасибо за ответ.

>Конечно, "структура НС" важно, но на мой взгляд удобнее возможность ее структурирования в процессе работы-обучения.
Собственно это будет вытикать из этого исследования, так как будет больше понимания какие структуры нужны и как к ним прийти уже во время обучения (или какие типовые конструкции нужны в том или ином случае).

>И еще - возможно, генетический алгоритм сильно заузит возможности того, что Вы хотите сделать.
А какие ещё подходы возможны? Мне кажется эволюция наиболее верный подход хотя тупиков может быть много...

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 16:55
NO.
Академик
Академик
Сообщений: 2213
Больше
Эволюция рекуррентной нейронной сети #24380
Слоистая нейросеть выполняет цепочку умножений векторов Y=X*A*B*C, а рекуррентная Y=X*A*A*A, так?

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 16:58
stalkerg
Читатель
Читатель
Сообщений: 8
Больше
Автор темы
Эволюция рекуррентной нейронной сети #24381
>Только Вы сами можете ответить себе стоит Вам этим заниматься или нет.
Это естественно, но хотелось бы услышать как минимум чужое мнение мне кажется это полезно.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 17:00
Lex
Модератор
Модератор
Сообщений: 4048
Больше
Эволюция рекуррентной нейронной сети #24382
Жёсткий ведьмин супчик. Нейросети + ГА. Мухоморчиков только не хватает )) ГА это бред введу отсутствия теории эволюции. На деле это жалкое подобие пошлой копии метода имитации отжига. Вера в нейросети и вера в идолов это вещи одного порядка и с одинаковым эффектом. Божки глухи к мольбам, а нейросети к надеждам их воятелей.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 17:05
stalkerg
Читатель
Читатель
Сообщений: 8
Больше
Автор темы
Эволюция рекуррентной нейронной сети #24383
>Слоистая нейросеть выполняет цепочку умножений векторов Y=X*A*B*C, а рекуррентная Y=X*A*A*A, так?
Да нет, в этом плане они одинаковы (если я правильно понял что A,B,C это входы у перцептро́на), разница в том, что сигнал идёт не только от входа к выходу но может входить в цикл внутри сети, т.е. это больше похоже на полноценный граф (кто то со state машинами сравнивает).

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 17:07
stalkerg
Читатель
Читатель
Сообщений: 8
Больше
Автор темы
Эволюция рекуррентной нейронной сети #24384
>Жёсткий ведьмин супчик. Нейросети + ГА. Мухоморчиков только не хватает )) ГА это бред введу отсутствия теории эволюции. На деле это жалкое подобие пошлой копии метода имитации отжига. Вера в нейросети и вера в идолов это вещи одного порядка и с одинаковым эффектом. Божки глухи к мольбам, а нейросети к надеждам их воятелей.

Никто и не верит, но проверить хочется. Случайность и вероятность ещё никто не отменял. :)

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 17:33
rrr3
Опытный писатель
Опытный писатель
Сообщений: 487
Больше
Эволюция рекуррентной нейронной сети #24385
Простите пожалуйста, но Вы не забыли, что этим случайностям и вероятностям если говорить не о количестве а хотя бы только о времени уже не один десяток лет...
Выход, на мой взгляд, из случайностей - есть. Мое мнение по этому поводу, если не поленитесь найдете на форуме.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 17:43
stalkerg
Читатель
Читатель
Сообщений: 8
Больше
Автор темы
Эволюция рекуррентной нейронной сети #24386
>Простите пожалуйста, но Вы не забыли, что этим случайностям и вероятностям если говорить не о количестве а хотя бы только о времени уже не один десяток лет...

Для меня это только инструмент, мне интересно какие структуры НС будут вычерчиваться при таком подходе и будут ли они эффективнее слоистой?

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 18:33
YNK
Модератор
Модератор
Сообщений: 3540
Больше
Эволюция рекуррентной нейронной сети #24387

Lex пишет: Жёсткий ведьмин супчик. Нейросети + ГА. Мухоморчиков только не хватает )) ГА это бред введу отсутствия теории эволюции.

- а причем тут теория эволюции, в теории ИНС все схвачено, читать надо первоисточники: Flreani D., Mattiussi C. Bio-Inspired Artificial Intelligence: Theories, Methods, and Technologies (Intelligent Robotics and Autonomous Agents series), The MIT Press, 2008 На Амазоне поспрашивайте, а то спать спокойно не сможете :)

Или вот последуйте советам Редько: 5 книг об эволюционной кибернетике .

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 18:45 27 нояб 2012 18:46 от Lex.
Lex
Модератор
Модератор
Сообщений: 4048
Больше
Эволюция рекуррентной нейронной сети #24388

YNK пишет: - а причем тут теория эволюции,

При том что она нужно если мы хотим что-то там эволюционировать. Без нее все усилия это прогулки слепых котят по псарне.

в теории ИНС все схвачено,

Мне это вы не продадите.

читать надо первоисточники: Flreani D., Mattiussi C. Bio-Inspired Artificial Intelligence: Theories, Methods, and Technologies (Intelligent Robotics and Autonomous Agents series), The MIT Press, 2008 На Амазоне поспрашивайте, а то спать спокойно не сможете :)

Или вот последуйте советам Редько: 5 книг об эволюционной кибернетике .

Эти книги не стоят своей бумаги. На фоне исследований нейросетей даже БАК это вполне рациональное вложение сил. Нет поля более бесплодного и ресурсоемкого чем все эти нейросети. Где энергобаланс нейросети во вторых производных? Где хотя бы энергобаланс нейросети от объемов информации в обучающей выборке? Куриный смех.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 20:44
YNK
Модератор
Модератор
Сообщений: 3540
Больше
Эволюция рекуррентной нейронной сети #24389

Lex пишет: При том что она нужно если мы хотим что-то там эволюционировать. Без нее все усилия это прогулки слепых котят по псарне

- давайте отделять уже одно от другого, так в символьном_ИИ эволюция это один набор первичных понятий, а в ИНС это другой набор. А вы поступаете, каким-то загадочным образом, вводите несуществующий идеал теории эволюции и сравниваете с ним только ИНС и на этом основании считаете, что критика верна.

Мне это вы не продадите

- я не торгую, советую.

Где энергобаланс нейросети во вторых производных? Где хотя бы энергобаланс нейросети от объемов информации в обучающей выборке? Куриный смех.

- а кто вам сказал, что это совершенно необходимые задачи для ИНС? Один вы видите необходимость этих задач, и это взывает улыбку :)

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

28 нояб 2012 04:03 28 нояб 2012 04:43 от NO..
NO.
Академик
Академик
Сообщений: 2213
Больше
Эволюция рекуррентной нейронной сети #24390
А что делать людям, которые алгебру на уровне 5 класса, даже без векторов, считают вершиной информационных технологий? Которые умеют только умножать на коэффициент и складывать. Однако ИИ сделать хочется. Они уже разочаровались в калькуляторе, желают приблизить его к биологии. Чтобы арифмометр пукал, махал хвостом и переводил тексты с научного английского на русские смайлики. Задача не простая, им действительно нужна квалифицированая помощь.

я вот тут делал насекомых с нейросетью
o-nabatov.narod.ru/Virtus2.rar
Обратные связи включаются флажком "память", ещё можно отключить прямые однослойные связи Рецепторы->Эффекторы. Но там среда слишком простая, ум и не нужен, так что никакой разницы не заметил.
демография:

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

28 нояб 2012 15:25
Lex
Модератор
Модератор
Сообщений: 4048
Больше
Эволюция рекуррентной нейронной сети #24394

YNK пишет: давайте отделять уже одно от другого, так в символьном_ИИ эволюция это один набор первичных понятий, а в ИНС это другой набор.

Только по тому что нет единой теории.

А вы поступаете, каким-то загадочным образом, вводите несуществующий идеал теории эволюции и сравниваете с ним только ИНС и на этом основании считаете, что критика верна.

Вам стоит перечитать мое сообщение. Эволюционные претензии были к генетическим алгоритмам.

а кто вам сказал, что это совершенно необходимые задачи для ИНС? Один вы видите необходимость этих задач, и это взывает улыбку :)

Мне это сказал преподаватель по физике на подготовительных курсах в ВУЗ. Если вы не можете построить энергетический баланс для некоторого устройства или процесса, то вы его совершенно не понимаете. Раз такого баланса для нейросетей нет, то никто и близко не понимает как они работают.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

28 нояб 2012 15:59 28 нояб 2012 16:01 от YNK.
YNK
Модератор
Модератор
Сообщений: 3540
Больше
Эволюция рекуррентной нейронной сети #24395

Только по тому что нет единой теории.

- ну право это уже какой-то отверженный ляп. Прекрасно без теории эволюции развиваются, как ИИ_символьный так и ИНС.

Вам стоит перечитать мое сообщение. Эволюционные претензии были к генетическим алгоритмам.

- так как из вашего сообщения в явном виде не ясно в чем конкретно состоят ваши претензии, будьте так добры, озвучьте их более подробно.

Мне это сказал преподаватель по физике на подготовительных курсах в ВУЗ. Если вы не можете построить энергетический баланс для некоторого устройства или процесса, то вы его совершенно не понимаете.

- для машин с их КПД это насущно, спору нет.

Раз такого баланса для нейросетей нет, то никто и близко не понимает как они работают.

- но, вот для устройств имитирующих информационные процессы в биологических нейронах, это зачем?
=========
Лаборатория Бурцева - stud.neurofuture.ru/

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

28 нояб 2012 16:29
NO.
Академик
Академик
Сообщений: 2213
Больше
Эволюция рекуррентной нейронной сети #24398
интересная схема, за счет рекуррентной обратной связи из постояного напряжения получается переменное, то есть буквально на ровном месте возникает неопределенность
Вложения:

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

28 нояб 2012 17:07
stalkerg
Читатель
Читатель
Сообщений: 8
Больше
Автор темы
Эволюция рекуррентной нейронной сети #24399
>А что делать людям, которые алгебру на уровне 5 класса, даже без векторов, считают вершиной информационных технологий?

Если это выпад в мой адресс то вы глубоко заблуждаетесь если не в мой тогда не понял этого замечания.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

28 нояб 2012 17:51
Lex
Модератор
Модератор
Сообщений: 4048
Больше
Эволюция рекуррентной нейронной сети #24402

YNK пишет:

Только по тому что нет единой теории.

- ну право это уже какой-то отверженный ляп. Прекрасно без теории эволюции развиваются, как ИИ_символьный так и ИНС.

А много корова дает молока? Не выдоешь задень устанет рука! ))

для машин с их КПД это насущно, спору нет.

Это нужно не для машин. Эту нужно для понимания физического процесса.

но, вот для устройств имитирующих информационные процессы в биологических нейронах, это зачем?

Для того чтобы не искать там, где ничего нет. Плотности потоков информации в мозге таковы, что не могут быть связанны с движение материи. Гигаватты получаются. Идея с ползующими аксонами абсурдна. Если же мы убераем "червячков", то от идеи нейросетей не остается и пепла.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

28 нояб 2012 19:36
YNK
Модератор
Модератор
Сообщений: 3540
Больше
Эволюция рекуррентной нейронной сети #24403

Lex пишет: А много корова дает молока? Не выдоешь задень устанет рука!

- так вы еще и в товарно-молочном животноводстве дока? :) Это многое объясняет по части объявленных несуразностей, как сказал некогда И. Гете: "кто ошибся в первой пуговице, тот не застегнет камзола" :)

Это нужно не для машин. Эту нужно для понимания физического процесса.

- ну да, иначе как вы поймете, что у машины есть КПД? :)

Для того чтобы не искать там, где ничего нет. Плотности потоков информации в мозге таковы, что не могут быть связанны с движение материи. Гигаватты получаются. Идея с ползующими аксонами абсурдна. Если же мы убераем "червячков", то от идеи нейросетей не остается и пепла.

- опять несуразность! В чем измеряется "плотность потоков информации в мозге"? Кто, когда, каким методом, какой техникой измерил оную плотность?

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

29 нояб 2012 09:19
NO.
Академик
Академик
Сообщений: 2213
Больше
Эволюция рекуррентной нейронной сети #24409
Совсем простая схема с обратной связью.
x-shoker.ru/news/ehlektroshoker_bez_ispo...dnikov/2012-02-21-23

Прерывающиеся контакты и колебания помогают после соприкосновения с вечными научными истинами снова ощутить течение времени. При отсутсвии дорогостоящих сильнодействующих препаратов шоковая терапия позволяет в домашних условиях оказывать экстренную психиатрическую помощь и приводить в чувство даже самым выдающихся ученых. Особенно рекомендуется ИИ-строителям.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

29 нояб 2012 09:28
covax
Матерый писатель
Матерый писатель
Сообщений: 661
Больше
Эволюция рекуррентной нейронной сети #24411

NO. пишет: интересная схема, за счет рекуррентной обратной связи из постояного напряжения получается переменное, то есть буквально на ровном месте возникает неопределенность


И что тут неопределённого? Кстати, частота выходного переменного напряжения будет зависеть от нагрузки. И во второй схеме тоже.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

29 нояб 2012 11:31
NO.
Академик
Академик
Сообщений: 2213
Больше
Эволюция рекуррентной нейронной сети #24414
напряжение было постоянным, а стало сами видите что

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

29 нояб 2012 21:13
Lex
Модератор
Модератор
Сообщений: 4048
Больше
Эволюция рекуррентной нейронной сети #24430

YNK пишет: - опять несуразность! В чем измеряется "плотность потоков информации в мозге"? Кто, когда, каким методом, какой техникой измерил оную плотность?

Движение информации это всегда движение материи. Не может быть информации без материального носителя. Движение большого количества информации это движение большого количества материи. На это нужно много энергии. В том что камлатели нейросетей себя такими "жалкими мелочами" не утруждают как раз и показывает качество и уровень их "работы".

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

29 нояб 2012 22:38
YNK
Модератор
Модератор
Сообщений: 3540
Больше
Эволюция рекуррентной нейронной сети #24432

Lex пишет: Движение информации это всегда движение материи. Не может быть информации без материального носителя. Движение большого количества информации это движение большого количества материи. На это нужно много энергии

- просто поражает, как имея в принципе верные посылки вы умудряетесь присовокупить к ним ложную каузальность ожиданий, что биологический мозг осуществляет свою деятельность во всем подобно машинам.
Просто вам надо усвоить один важный аспект, то что кажется вам важным в инженерном отношении, это всего лишь одна часть возможных приложений при энергетически заданных состояниях информационной системы. Но, кроме оных есть еще семантически важные виды информационной связности, и вот нейросети(имитирующие работу мозга) именно такая разновидность семантически ориентированных вычислителей.

Там вот в одном из постов "напугавших" :) Вас, woodmaster ссылку дал на качественный перевод
Клод Шеннон: Математическая теория связи
так там прямо во Введении прочитайте: "семантические аспекты связи не имеют отношения к инженерной задаче, важно лишь то, что сообщение выбирается из некоторого набора возможных".

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

29 нояб 2012 23:27
slava
Старожил
Старожил
Сообщений: 1205
Больше
Эволюция рекуррентной нейронной сети #24434
Шеннон потом раскаивался, что ввел в обращение этот термин

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

30 нояб 2012 00:03
YNK
Модератор
Модератор
Сообщений: 3540
Больше
Эволюция рекуррентной нейронной сети #24435

slava пишет: Шеннон потом раскаивался, что ввел в обращение этот термин

где читать?

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

30 нояб 2012 00:27
slava
Старожил
Старожил
Сообщений: 1205
Больше
Эволюция рекуррентной нейронной сети #24436
попробую узнать и скажу

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

Модераторы: InexSVGYNK
Время создания страницы: 2.103 секунд
Работает на Kunena форум