Когнитивные архитектуры в России.

18 июль 2013 23:12
Lex
Модератор
Модератор
Сообщений: 4048
Больше
Когнитивные архитектуры в России. #26425
Какой там успех и где там решение проблемы токсичности обучения?

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

19 июль 2013 08:32 19 июль 2013 22:20 от YNK. Причина: уточнение
YNK
Модератор
Модератор
Сообщений: 3534
Больше
Когнитивные архитектуры в России. #26426
Ну, кошек то гуглонейросеть давненько различает вполне себе успешно . Так что с обучаемостью все ок, у нее. Там по ссылке pdf-файл имеется, полюбопытствуйте на тему самообучения нейросети self-taught learning.
И да, Андрей еще раз если вас не затруднит, объясните какой смысл вы вкладываете в понятие "токсичность обучения", заранее спасибо.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

22 июль 2013 16:37
Lex
Модератор
Модератор
Сообщений: 4048
Больше
Когнитивные архитектуры в России. #26430
Токсичность алгоритмов обучения нейросетей вещь простая и всем знакомая. В самом простом случае это проявляется в виде процесса "переобучения". Аттрактор создаваемый в нейросети путем установления связей и верификации коэффициентов начинает размываться. Отсюда проистекает невозможность одновременной работы и самообучения сети. Что есть тупик. В более сложном случае токсичность проявляется в веде пересечения аттракторов от объектов разных классов в ходе обучения. Это приводит к разрушению аттрактора. Это и есть токсичность алгоритмов обучения в чистом виде.

Подавляется токсичность в нейросетях путем создания пространства огромной размерности. На несколько порядков превосходящего размерность всех возможных аттракторов. Что уже есть тупик номер два.

Вычислительная сложность алгоритмов оценки вероятности и степени пересечения аттракторов растет минимум по квадрату. Что есть тупик номер три.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

25 июль 2013 18:15
YNK
Модератор
Модератор
Сообщений: 3534
Больше
Когнитивные архитектуры в России. #26434

Токсичность алгоритмов обучения нейросетей вещь простая и всем знакомая

- все таки надуманное определение про токсичность, никак вы меня не переубедите, что именно в этом аспекте стоит рассуждать о действительно широко известном переобучении и обобщении нейросетей на ранние результаты.
На счет и по поводу того, что размеры сети могут быть достаточно большими так все это от погони за лучшими результатами [помянем всуе самочувствие которым они нейросети не обладают :)] тогда как можно было бы ограничиться грубым и простым решением.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

28 июль 2013 21:03
Lex
Модератор
Модератор
Сообщений: 4048
Больше
Когнитивные архитектуры в России. #26436
Токсичность обучения термин более точный, поскольку описывает суть явления. Разрушение аттрактора соседним аттрактором. Обычно эту проблему оставляют за скобками что откровенно страусиная политика. Такие ошибки и проблемы вначале пути обычно веду в никуда.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

29 июль 2013 13:26
YNK
Модератор
Модератор
Сообщений: 3534
Больше
Когнитивные архитектуры в России. #26441

Разрушение аттрактора соседним аттрактором.

- ну дык это синергетика чистой незамутненной воды, и явление называется странный аттрактор. Когда-то участник kak неоднократно поднимал вопрос о турбулентности в рамках изучения которой эти самые странные аттракторы хорошо изучены. Только весь вопрос в переносе знания скажем из гидродинамики в коей турбулентность чуть ли не самостоятельная дисциплина в нейродинамику сетей это нетривиальная задача и пока решается плохо.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

31 июль 2013 06:00
Lex
Модератор
Модератор
Сообщений: 4048
Больше
Когнитивные архитектуры в России. #26443
Иногда надо остановиться и трезво оценить направление пути. Соединять же нейродинамику с турбулентностью это уже за гранью разумности как таковой. На самом деле я уже знаю почему это происходит. Однако помочь мотылькам нет никакой возможности.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

01 авг 2013 12:10
YNK
Модератор
Модератор
Сообщений: 3534
Больше
Когнитивные архитектуры в России. #26450
Иногда в иные года :) Это слишком неопределенное обстоятельство чтобы на нем застопориваться. Суть же в ином. Теория нейросетей слишком мозаична, чтобы представлять из себя единое целостное учение. Законы объясняющие факты для биологических нейросетей слишком расплывчаты для аппроксимации в формальные сети. Таким образом теория ИНС не объясняет собственных законов, в итоге остается только верить в то что идем по правильному пути :)

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

02 авг 2013 17:56
Lex
Модератор
Модератор
Сообщений: 4048
Больше
Когнитивные архитектуры в России. #26457
На этом фоне мне больше вериться в броуновские блуждания, что и подтверждается сторонним наблюдением. Тут западная наука поймала сама себя за хвост. Эксперты верят в нейросети, положительные оценки получают проекты по нейросетям, по нейросетям пишут больше работ которые больше цитируют, а это плодит новых экспертов. Круг замкнулся. Система жрет миллиарды и требует все больше. Чем дальше от реальности исходная идея, тем сильнее в конце концов раскрутиться грантовый вихрь. Вихрь на нейросетях на сегодня один из крупнейших.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

Модераторы: InexYNKLex
Время создания страницы: 0.325 секунд
Работает на Kunena форум