Старое кино

[jsjs]

Нейронная сеть неспроста названа так. Модель именно слизана с мозговых нейронов. Конечно не все до конца изучено и в мозговых нейронах, и в дип лёнинге. Однако основной принцип это запись и обработка информации, либо через химические процессы, либо через память на полупроводниках .

Извиняюсь за оффтоп, но чуть подискутирую. Не знаю, что конкретно имеется в виду под "слизано". Если говорить о современном глубоком обучении (feedforward neural network, хотя в сетях имеются и другие геометрии типа RNN/LSTM), то первоначальная мотивация была связана с попыткой "воспроизвести" действия реальных нейронов. Отсюда и появление функции активации при переходе со слоя на слой. На этом собственно все аналогии и заканчиваются, и на сцену выходит одна математика, начиная с универсальной апроксимациооной теоремы конца 80-х и заканчивая последними теоретическими выкладками об апркосимации многослойных сетей. Не думаю, что реальный мозг функционирует в стиле измеримых функций в пространстве с введенной мерой .

Насколько я понимаю, эти самые последние теоретические выкладки в основном топчутся вокруг кажущейся несовместимости запоминания обучающей выборки с хорошим обобщением.

[Тетя-Мотя]

Мне в "Собачьем сердце" нынче особенно нравится то, что чванливый профессор оказался вынужденным с результатом своей научно-исследовательской деятельности проживать на одной жилплощади. Это и есть самый шикарный поворот сюжета. Типа, не наэкспериментировал там чего-то, не получилось - ну и долой результат, шахер-махер, шито-крыто, спишем.... А тут фигу. Создал - имей все последствия у себя под носом. Все претензии - только к себе. ("А я своего разрешения на операцию не давал!") И давай, демонстрируй свою мораль-нравственность на деле, а не на словах.
Когда смотрела все это тогда, давно - таких мыслей не было. Просто поверхностно раздражал тупой Шариков, нравился интеллигентный и блахародный, якобы, профессор, ну карикатурный Швондер веселил, ха-ха-ха, и все такое...
Мы с дочерью несколько лет назад смотрели Собачье сердце в театре Станиславского. Причем она и книжку читала... Так постановка была совсем не похожа на фильм, что было хорошо. И там был совершенно потрясающий момент, когда Шариков из неуклюжего идиота вдруг превратился в опасного и очень логичного человека, который прямо в публику, нам, бросил все свои совершенно неоспоримые обвинения. Прям пробрало, помню.

[Komissar]

Если любите Артси мувис, то
- Братья Карамазовы
- Тихий Дон
И кадры красивые, и работа актеров - улет!

еще "Бег"

[Физик-Лирик]

Нейронная сеть неспроста названа так. Модель именно слизана с мозговых нейронов. Конечно не все до конца изучено и в мозговых нейронах, и в дип лёнинге. Однако основной принцип это запись и обработка информации, либо через химические процессы, либо через память на полупроводниках .

Извиняюсь за оффтоп, но чуть подискутирую. Не знаю, что конкретно имеется в виду под "слизано". Если говорить о современном глубоком обучении (feedforward neural network, хотя в сетях имеются и другие геометрии типа RNN/LSTM), то первоначальная мотивация была связана с попыткой "воспроизвести" действия реальных нейронов. Отсюда и появление функции активации при переходе со слоя на слой. На этом собственно все аналогии и заканчиваются, и на сцену выходит одна математика, начиная с универсальной апроксимациооной теоремы конца 80-х и заканчивая последними теоретическими выкладками об апркосимации многослойных сетей. Не думаю, что реальный мозг функционирует в стиле измеримых функций в пространстве с введенной мерой .

Насколько я понимаю, эти самые последние теоретические выкладки в основном топчутся вокруг кажущейся несовместимости запоминания обучающей выборки с хорошим обобщением.

По моему мению, основные теоретические усилия больше связяны с обоснованием аппроксимации целевой функции. Если взять результаты конца 80-х, то универсальная аппроксимационная теорема показывает возможность такой аппроксимации для класса функций и класса активаций (сигмоида) при наличии одного внутреннего слоя. Далее был ряд работ чешских товарищей, которые показали связь с работами А.Н.Колмогорова, где была показана возможность представления функции мноих переменных в виде композиции функций одной переменной (теорема Колмогорова-Арнольда). Далее в 2000-х и внаши дни была доказана "работоспособность" многослойных сетей с оценками количества нейронов. Собственно, это является теоретическим фундаментом глубокого обучения. В свое время В.Н.Вапник сформулировал ряд требований к обучающим системам, в частности условие "согласованности" (устойчивости) алгоритмов. Я полагаю, вы ссылаетесь на них. В практической плоскости, основной результат заключается в "применении" теоремы о разложение ошибки алгоритма в точке (bias-variance tradeoff theorem), но она скорее руководство к действию, чем прямой рецепт. Если вы ссылаетесь на другие теоретические работы, буду рад обсудить. Да простят нас любители кино . Пусть это будет научной фантастикой.

[Физик-Лирик]

Если любите Артси мувис, то
- Братья Карамазовы
- Тихий Дон
И кадры красивые, и работа актеров - улет!

еще "Бег"

Эко вас на классику потянуло. Стареем, брат стареем.

[jsjs]

Нейронная сеть неспроста названа так. Модель именно слизана с мозговых нейронов. Конечно не все до конца изучено и в мозговых нейронах, и в дип лёнинге. Однако основной принцип это запись и обработка информации, либо через химические процессы, либо через память на полупроводниках .

Извиняюсь за оффтоп, но чуть подискутирую. Не знаю, что конкретно имеется в виду под "слизано". Если говорить о современном глубоком обучении (feedforward neural network, хотя в сетях имеются и другие геометрии типа RNN/LSTM), то первоначальная мотивация была связана с попыткой "воспроизвести" действия реальных нейронов. Отсюда и появление функции активации при переходе со слоя на слой. На этом собственно все аналогии и заканчиваются, и на сцену выходит одна математика, начиная с универсальной апроксимациооной теоремы конца 80-х и заканчивая последними теоретическими выкладками об апркосимации многослойных сетей. Не думаю, что реальный мозг функционирует в стиле измеримых функций в пространстве с введенной мерой .

Насколько я понимаю, эти самые последние теоретические выкладки в основном топчутся вокруг кажущейся несовместимости запоминания обучающей выборки с хорошим обобщением.

По моему мению, основные теоретические усилия больше связяны с обоснованием аппроксимации целевой функции. Если взять результаты конца 80-х, то универсальная аппроксимационная теорема показывает возможность такой аппроксимации для класса функций и класса активаций (сигмоида) при наличии одного внутреннего слоя. Далее был ряд работ чешских товарищей, которые показали связь с работами А.Н.Колмогорова, где была показана возможность представления функции мноих переменных в виде композиции функций одной переменной (теорема Колмогорова-Арнольда). Далее в 2000-х и внаши дни была доказана "работоспособность" многослойных сетей с оценками количества нейронов. Собственно, это является теоретическим фундаментом глубокого обучения. В свое время В.Н.Вапник сформулировал ряд требований к обучающим системам, в частности условие "согласованности" (устойчивости) алгоритмов. Я полагаю, вы ссылаетесь на них. В практической плоскости, основной результат заключается в "применении" теоремы о разложение ошибки алгоритма в точке (bias-variance tradeoff theorem), но она скорее руководство к действию, чем прямой рецепт. Если вы ссылаетесь на другие теоретические работы, буду рад обсудить. Да простят нас любители кино . Пусть это будет научной фантастикой.

Я имел в виду деятельность вокруг
https://arxiv.org/abs/1806.09471
https://arxiv.org/abs/1611.03530
https://arxiv.org/abs/1803.01206
которая как будто бы противоречит оценкам Вапника на экзаменационный риск, состоящих из комбинации эмпирического риска (который равен практически нулю у глубоких сетей) и VC-размерности (которая, соответственно, велика).

[jsjs]

Мне в "Собачьем сердце" нынче особенно нравится то, что профессор оказался вынужденным с результатом своей научно-исследовательской деятельности проживать на одной жилплощади. Это и есть самый шикарный поворот сюжета. Типа, не наэкспериментировал там чего-то, не получилось - ну и долой результат, шахер-махер, шито-крыто, спишем.... А тут фигу. Создал - имей все последствия у себя под носом. Все претензии - только к себе. ("А я своего разрешения на операцию не давал!") И давай, демонстрируй свою мораль-нравственность на деле, а не на словах.
Когда смотрела все это тогда, давно - таких мыслей не было. Просто поверхностно раздражал тупой Шариков, нравился интеллигентный и блахародный, якобы, профессор, ну Швондер веселил и все такое...
Мы с дочерью несколько лет назад смотрели Собачье сердце в театре Станиславского. Причем она и книжку читала... Так постановка была совсем не похожа на фильм, что было хорошо. И там был совершенно потрясающий момент, когда Шариков из неуклюжего идиота вдруг превратился в опасного и очень логичного человека, который прямо в публику, нам, бросил все свои совершенно неоспоримые обвинения. Прям пробрало, помню.

Есть итальянский фильм "Собачье сердце" (тоже старый, кстати), где тоже, акценты другие на Шарикова и Преображенского.

[kyk]

По моему мению, основные теоретические усилия больше связяны с обоснованием аппроксимации целевой функции.

где бапки, Зин?

[jsjs]

По моему мению, основные теоретические усилия больше связяны с обоснованием аппроксимации целевой функции.

где бапки, Зин?

Там щаз безумные бапки вбухивают. На последнем реальном NeurIPS (до коронобесия) было что-то типа 10К индокитайцев, заполнивших ванкуверский Convention Center с плотностью трамвая или метро. Зрелище толп, окружающих какого-нибудь докладчика с плакатиком про множители Лагранжа, до сих пор пеплом Клааса стучит в моё сердце.

[Физик-Лирик]

По моему мению, основные теоретические усилия больше связяны с обоснованием аппроксимации целевой функции.

где бапки, Зин?

Остались в другом топике. Мы здесь кино вообще то обсуждаем .

[Физик-Лирик]

Я имел в виду деятельность вокруг

Посмотрим, посмотрим, что за кино такое. Спасибо за линки. Вы там случайно не автор?

[jsjs]

Я имел в виду деятельность вокруг

Посмотрим, посмотрим, что за кино такое. Спасибо за линки. Вы там случайно не автор?

Давайте. Не за что. Нет.

[Физик-Лирик]

По моему мению, основные теоретические усилия больше связяны с обоснованием аппроксимации целевой функции.

где бапки, Зин?

Там щаз безумные бапки вбухивают. На последнем реальном NeurIPS (до коронобесия) было что-то типа 10К индокитайцев, заполнивших ванкуверский Convention Center с плотностью трамвая или метро. Зрелище толп, окружающих какого-нибудь докладчика с плакатиком про множители Лагранжа, до сих пор пеплом Клааса стучит в моё сердце.

Сейчас искуственный интелект в большой моде. Вот все и суетятся. Но терию, как и кино,оставим для души.

Раз уж речь о науке зашла, какие народ фильмы о науке вспомнит. Мой самый любимый - "Иду на грозу". "Девять дней одного года" тоже класс. Еще помню "Жили три холостяка" - сочетание мюзикла и науки.

[jsjs]

По моему мению, основные теоретические усилия больше связяны с обоснованием аппроксимации целевой функции.

где бапки, Зин?

Там щаз безумные бапки вбухивают. На последнем реальном NeurIPS (до коронобесия) было что-то типа 10К индокитайцев, заполнивших ванкуверский Convention Center с плотностью трамвая или метро. Зрелище толп, окружающих какого-нибудь докладчика с плакатиком про множители Лагранжа, до сих пор пеплом Клааса стучит в моё сердце.

Сейчас искуственный интелект в большой моде. Вот все и суетятся. Но терию, как и кино,оставим для души.

Раз уж речь о науке зашла, какие народ фильмы о науке вспомнит. Мой самый любимый - "Иду на грозу". "Девять дней одного года" тоже класс. Еще помню "Жили три холостяка" - сочетание мюзикла и науки.

Beautiful mind. (She never gets old!)
The imitation game.
Укрощение огня.

[worldCitizen]

А если немножко подумать и копнуть глубже - на великую литературу не тянет.

совсем не тянет. Роман МиМ не то, что однодневка, но на декаду максимум. продержался дольше исключительно на любви народа к "фиге в кармане" в сов. лит-ре.

Это на партийном собрании так учат?

Мастер и Маргарита вообще то классика русской, советской литературы которую читают и пересматривают многие поколения.