Категорически согласен почти со всем, ну, кроме отсутствия поклонения потомкам персептрона и того, что подбирать тяжело, для етого есть оптимизация (очень хреновая, но всё таки) и компьютерФизик-Лирик wrote:Если вкраце, ДЛ - это НН, но с несколькими внутренними слоями. Если посмотреть на некие результаты на инете, то впечетляют. Я никогда не был поклонником НН в основном из-за того, что там слишком много регулирующих параметров, которые замаешься подбирать. В последние годы НН не был особо популярен (мое мнение), и лишь появление ДЛ дало второе дыхание. Однако проблемы с параматрами остались и даже преумножились. Т.е. теперь нужно регулировать и число слоев, и число узлов, а также шринкидж (там добавили и Л1 и Л2). Конечно, можно применить метод сеток (т.е. встроенные циклы по каждому параметру). Но встает вопрос о времени. Тут пара книжек выходит, поизучаем. Почему работает? Не уверен, что пока достигнут консенсус. Читал про физические аналогии (с энергией).flip_flop wrote:Нельзя ли, плиз, поконкретнее по Deep Learning и его фундаментального отличиях от обычных NN? Я не увидел прорывов в методах оптимизации при тренировке. Особой теории тоже не нашёл, правда и не искал особо. И какая особая крутизна в новых имплементациях? Ну, кроме железа, где я сам могу долго растекаться мыслию по древу о его, железа, развитии и приспособленности для Deep Learning
P.S. Sorry, я конкретно о Deep Learning. Или Вы ML вообще имели в виду? Кстати, я давным давно читал классику ML - книгу Митчела. Есть ли что-то подобное такого же уровня, но поновее, с учётом всех новых "прорывов"?
Моя точка зрения - это переход от пространство с одной размерностью к другой. При увеличении числа узлов в промежуточном слое - отображение в пространство с большей размерностью. В этом смысле есть аналогия с кернел-методами (например, суппорт вектор машиной), когда отображения позволяют изучить нелинейное поведение. Уменьшение числа узлов в промежуточном слое ведет к уменьшение размерности (аналог метода принципиальных компонент, точнее кернел принципиальных компонент).
Вроде бы есть некоторые возможности абстрагировать и моделировать некоторые сущности объекта моделирования на отдельных слоях (не только чисто количественное увеличение размерности), но не уверен и не читал. Кстати, какие книжки выходят? Прогресс, кстати не только, в ДЛ, но и в некоторых других видах НН, типа spiking NN.
