Сети глубокого обучения

27 нояб 2012 11:17
admin аватар
admin
Посетитель
Посетитель
Автор темы
Сети глубокого обучения #24359
Статья не может быть показана

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 15:10
alexab
Модератор
Модератор
Сообщений: 1110
Больше
Сети глубокого обучения #24370
В дополнение свежая статья на хабре:
http://habrahabr.ru/post/160115/
И ссылка из этой статьи:
http://www.socher.org/index.php/DeepLearningTutorial/DeepLearningTutorial

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

27 нояб 2012 15:18
NO.
Академик
Академик
Сообщений: 2213
Больше
Сети глубокого обучения #24372
Фигаро тут, Фигаро там. Я вообще ничего не понял.
Если кому понравилось вот есть остальные 111 видеолекций vk.com/deeplearning

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

28 нояб 2012 13:20 28 нояб 2012 13:37 от Lmm.
Lmm
Старожил
Старожил
Сообщений: 1326
Больше
Сети глубокого обучения #24391
Посмотрел и послушал вчера материалы семинара.
Спасибо, конечно!
Сходил по ссылке NO.
Фильм там один в некоторых местах посмотрел

Особенно грустные кадры с восьмёрками, в начале 26-ой минуты.
.

А ночью приснился кошмар:
Приходит в гости Бонгард М.М, ну и так улыбаясь, бодро спрашивает - какие в 21 веке достижения в распознавании, может идею перцептрона до ума довели, каким образом его основные недостатки удалось преодолеть, очень интересно посмотреть, может я в правильном направлении 50 лет назад мыслил?
Я думаю, если сейчас такое кино ему покажу, то говорить со мной научный дедушка уже ни о чем не захочет, замкнётся в печали и уйдёт опять в свою могилу.
Я ему отвечаю, да прогресс он не стоит на месте, знаете, Михаил Моисеевич, какие нынче лыжи – пластиковые, а крепления какие сейчас удобные, пойдемте на лыжах сходим. А сам с ужасом думаю, ведь я на лыжах отродясь не ходил (на крайнем юге вырос, и последний раз, лет 6 назад, когда с ребёнком гулять ходили, так я дитячьи лыжи сломать умудрился, носик у лыж оказывается очень хрупкий, если на него наступить). Бонгард выглянул в окно, и так печально говорит – сходить можно, это я люблю, но снега ведь ещё нету.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

28 нояб 2012 13:57
slava
Старожил
Старожил
Сообщений: 1205
Больше
Сети глубокого обучения #24392
замечательные сны вам снятся
приятно

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

28 нояб 2012 17:19
NO.
Академик
Академик
Сообщений: 2213
Больше
Сети глубокого обучения #24400
Чтобы толковать сны нужно знать что было в предыдущий день.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

28 нояб 2012 17:51
slava
Старожил
Старожил
Сообщений: 1205
Больше
Сети глубокого обучения #24401
так обычно думают, но я не замечал связи, - все много интереснее

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

29 нояб 2012 05:53
NO.
Академик
Академик
Сообщений: 2213
Больше
Сети глубокого обучения #24406
Ну вот у меня вчера были такие впечатления. Заходила соседка-студентка, у них тут компьютера нет, а во вконтакте нужно быть всегда. Смотрела там что-то и смеялась, мне тоже стало весело, но смотреть над чем она смеется не хотелось, там женский юмор. Потом я зашел в группу ножевиков, посмотрел всякие странности. Потом к буддистам, там сказал, что вредно смотреть на синего будду медицины потому, что у него природа будды, буддисты превращаюстся в то, на что смотрят, а там какой-то больной. Потом в группу глубокого обучения, где зачем-то делают длинную цепочку вспомогательных преобразований. После всего этого мне приснилось, что я сижу за компьютером, ищу картинки по фразе "нож дурака". Слово "дурак" написал не правильно и стал корректировать, в режиме грубокого обучения, с вспомогательными временными правками. Получалось что-то вроде "нккрепг". Долго его редактировал, уже почуствовал, что я эту битву проигрываю и удалил всё. Тут отметил для себя, что "дурак" слово вредное, видимо не судьба мне его напечатать. Сидел перед пустым окошком "найдется всё" и хохотал во весь голос.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

29 нояб 2012 10:48
slava
Старожил
Старожил
Сообщений: 1205
Больше
Сети глубокого обучения #24413
спасибо, НО

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

29 нояб 2012 12:01
NO.
Академик
Академик
Сообщений: 2213
Больше
Сети глубокого обучения #24415
можно разобраться, не так уж всё глубоко

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

29 нояб 2012 23:00
Sevolod
Опытный писатель
Опытный писатель
Сообщений: 100
Больше
Сети глубокого обучения #24433
Интересно, подобно ли увеличение числа слоев сети увеличению числа формальных нейронов входного и выходного слоя двуслойной сети. Есть такой прием увеличения емкости запоминания ассоциативных сетей за счет ортогонализации запоминаемых объектов. А ортогонализация достигается за счет увеличения мерности признакового пространства.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

30 нояб 2012 08:48
alexab
Модератор
Модератор
Сообщений: 1110
Больше
Сети глубокого обучения #24437
Я в простейшем варианте бинарного нейрона пока не понимаю 3 вещи:
1. Как выбирается число нейронов в каждном новом слое.
2. Как в этом случае выглядит функционал, который мы минимизируем и по которому останавливаем генерацию новых слоев.
3. Собственно процедура самообучения между двумя соседними слоями. Что на входе понятно (спасибо докладчику), а как формировать выход слоя не уловил.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

02 дек 2012 16:20
Sevolod
Опытный писатель
Опытный писатель
Сообщений: 100
Больше
Сети глубокого обучения #24464
2Alexab
На эти-то твои вопросы я вроде знаю ответ.

1. Их столько же столько и в первом.
2. Сумма всех ро должна быть равна 1 (верх слайда 10)
3. Формулы самообучения (изменение W, b, c)внизу слайда 8.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

04 дек 2012 13:37 04 дек 2012 13:39 от alexab.
alexab
Модератор
Модератор
Сообщений: 1110
Больше
Сети глубокого обучения #24492
Я мееедленно приступил к реализации простой версии, о которой говорил Андрей на докладе и с его помощью.
Надеюсь что-нибудь у нас получится, и общественность увидит результат.

По поводу 1,2,3 - как только обвязку сделаю, буду внимательно вникать.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

11 дек 2012 09:09
alexab
Модератор
Модератор
Сообщений: 1110
Больше
Сети глубокого обучения #24561

Sevolod пишет: Интересно, подобно ли увеличение числа слоев сети увеличению числа формальных нейронов входного и выходного слоя двуслойной сети. Есть такой прием увеличения емкости запоминания ассоциативных сетей за счет ортогонализации запоминаемых объектов. А ортогонализация достигается за счет увеличения мерности признакового пространства.


Ответ докладчика:

Как я понял из литературы, дело как раз в том, что глубокая архитектура впринципе неэквивалентна "широкой" (глубокая более выразительная), какое число нейронов не добавляй. Я косвенно упоминал расширение пространства признаков в своем рассказе, когда пояснял то, что назвал "ситуацией переобучения". Если мы добавляем новые размерности в пространство признаков, то корректно это добавление лишь в том случае, если "заполняя" все это расширенное пространство мы получаем выборку во входном пространстве с плотностью распределения как в обучающей выборки (и следовательно в тестовой, если мы считаем обучающую выборку представительной). Обычная же ситуация такова, что при добавление измерений я, да, лучше попадаю в мои образцы но вместе с тем делаю их менее представительными, т. е. менее вероятными с точки зрения плотности распределения, порождаемой моим расширенным пространством признаков.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

21 дек 2012 22:46
NO.
Академик
Академик
Сообщений: 2213
Больше
Сети глубокого обучения #24738
ru.wikipedia.org/wiki/Кодирующая_апертура

Источники в разных положениях относительно маски прибора создают на приемнике излучения различные тени. Последующая обработка теней позволяет восстановить исходное изображение

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

22 дек 2012 01:10
slava
Старожил
Старожил
Сообщений: 1205
Больше
Сети глубокого обучения #24741
да, красиво

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

22 дек 2012 19:07
Хмур
Модератор
Модератор
Сообщений: 3531
Больше
Сети глубокого обучения #24750
чего только нет в стохастическом кодировании.. цифровой голографии и подобном..
свертка с апертурой, задача cлепого разделения сигнала..
борьба с некорректностью обратных задач.. МДО как регуляризатор?

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

22 дек 2012 22:37
NO.
Академик
Академик
Сообщений: 2213
Больше
Сети глубокого обучения #24753
Если сильно хочется регулировать то уже не важно чем это делать.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

24 дек 2012 15:01 24 дек 2012 15:05 от buba.
buba
Читатель
Читатель
Сообщений: 9
Больше
Сети глубокого обучения #24761

Обычная же ситуация такова, что при добавление измерений я, да, лучше попадаю в мои образцы но вместе с тем делаю их менее представительными, т. е. менее вероятными с точки зрения плотности распределения, порождаемой моим расширенным пространством признаков.

Это вполне решаемые мат. задачи. Но само понятие пространства, как безуслоно ортогональных параметров - оказывается таки неадекватным, в том числе и в самой математике, тем более в физике...

И если мы не свяжем эти параметры в некую структуру взаимоопределяющую значения этих параметров... Пусть это даже это статистическая регрессивная модель.
Однако выбором наиболее достоверной модели, по Фишеру, хотяБ, Вы можете теоретизировать, по крайней мере на реальной почве.

...Вот и весь ребус. То есть это совершенно естественная сторона решения проблемы.

Пожалуйста Войти или Регистрация, чтобы присоединиться к беседе.

Модераторы: Inex
Время создания страницы: 0.348 секунд
Работает на Kunena форум