AI, Machine learning - grad school

[Komissar]

А PhD in ML очень модно и востребовано везде.

Огласите весь список! (с)

Камрад, концепция "везде" не имеет атрибута конечности, по определению.

Ну назовите топ-10.

[flip_flop]

А PhD in ML очень модно и востребовано везде.

Огласите весь список! (с)

Камрад, концепция "везде" не имеет атрибута конечности, по определению.

Ну назовите топ-10.

Это вопрос не ко мне, я тоже в очереди. Ждём Королеву в предверии восхищения.

Судя по Гуглу, могу назвать только 3: Facebook, Google, Microsoft. Кстати, приятно был удивлён наёмом на работу в Файсбук нашего классика Вапника, я до сих пор помню его толстую книгу у себя на полке молодого специалиста "Восстановление зависимостей по эмпирическим данным". Я даже кое что из приложения гонял на Фортране. Жив курилка и активен, желаю ему здравия.

P.S. О, ещё у себя в кустах нашёл, IBM Research называется. И HW и SW, интересненько.

[Komissar]

Кстати, приятно был удивлён наёмом на работу в Файсбук нашего классика Вапника, я до сих пор помню его толстую книгу у себя на полке молодого специалиста "Восстановление зависимостей по эмпирическим данным".

Вапник - это тот самый знаменитый долгожитель планеты? ему 116 сейчас?

[flip_flop]

Побойтесь Бога, всего лишь 79 Типа нашего живчика Бабаяна.

[flip_flop]

А PhD in ML очень модно и востребовано везде.

Огласите весь список! (с)

Нужно в любой компании.

"Королева, мы в восхищении." ©

Камрад, в вашу компанию нужно?

[flip_flop]

Я не о Deep Learning, а в общем о ML. Именно DL я изучала очень поверхностно, но уверена, что теории там навалом, поскольку мне очень крутой probabilist-теоретик предлагал писать по нему master thesis. Я испугалась сложности и пошла к другому, с темой попроще (и с работой связанной). Почитайте статью A Probabilistic Theory of Deep Learning, она есть в архиве, все свежие референсы там.

Теории то может быть и навалом, но нужна правильная и полезная теория. Как и почему теории генерируются в академии я знаю. Впрочем, указанная статья на первый взгляд вполне хороша и отвечает на правилыные вопросы, вплоть до важных на практике смесей экспоненциальных распределений, методов регуляризации, и соответствия статистики NN. Спасибо. Определённый прогресс имеет место быть. Но и открытых вопросов по прежнему масса.

[flip_flop]

Flip-flop, вы путаете industrial research с просто работой. Да, research редко где. А просто работу найти, учу: гуглите jobs PhD machine learning. 839 позиций на indeed. От Walmart и Nissan до всяких стартапов.

Я не разбираюсь в рынке работ для дата сайентистов и PhD ML. Да и честно говоря, не сильно и интересуюсь. Мне просто было интересно услышать мнение нашего камрада Комиссара по этому вопросу. По видимому у него (и у меня) есть скепсис по поводу всеобщей глобальной нужности. Не отрицая полезности этого дела при правильным балансе ML/statistics и знания предметной области.

[Komissar]

Flip-flop, вы путаете industrial research с просто работой. Да, research редко где. А просто работу найти, учу: гуглите jobs PhD machine learning. 839 позиций на indeed. От Walmart и Nissan до всяких стартапов.

так у мальчика уже есть крутая работа

[flip_flop]

Flip-flop, вы путаете industrial research с просто работой. Да, research редко где. А просто работу найти, учу: гуглите jobs PhD machine learning. 839 позиций на indeed. От Walmart и Nissan до всяких стартапов.

так у мальчика уже есть крутая работа

Так девочка печётся о всех мальчиках и девочках в этой области. Что, в принципе и должно быть - "своя рубашка дисциплина ближе к телу".

Вернёмся к нашим баранам вопросам. Мне кажется, сейчас очередной ренессанс AI/ML/ANN и имеет смысл делать исследования в этой области. Почитав новые работы (обычные скучные статьи, не популяризаторские) я увидел неплохой прогресс и количество может скоро перейти в качество. Успешное исследование в сочетании с пиаром этого исследования должно благоприятно сказаться на карьере. Ну, если амбиции выше чисто денежной крутизны прямо сейчас.

Вот, например обычный скучный китайский аспирант с обычной скучной диссертацией (правда, университет и руководитель у него высококлассные) привлекает к себе мировое внимание.

[Физик-Лирик]

Нельзя ли, плиз, поконкретнее по Deep Learning и его фундаментального отличиях от обычных NN? Я не увидел прорывов в методах оптимизации при тренировке. Особой теории тоже не нашёл, правда и не искал особо. И какая особая крутизна в новых имплементациях? Ну, кроме железа, где я сам могу долго растекаться мыслию по древу о его, железа, развитии и приспособленности для Deep Learning

P.S. Sorry, я конкретно о Deep Learning. Или Вы ML вообще имели в виду? Кстати, я давным давно читал классику ML - книгу Митчела. Есть ли что-то подобное такого же уровня, но поновее, с учётом всех новых "прорывов"?

Если вкраце, ДЛ - это НН, но с несколькими внутренними слоями. Если посмотреть на некие результаты на инете, то впечетляют. Я никогда не был поклонником НН в основном из-за того, что там слишком много регулирующих параметров, которые замаешься подбирать. В последние годы НН не был особо популярен (мое мнение), и лишь появление ДЛ дало второе дыхание. Однако проблемы с параматрами остались и даже преумножились. Т.е. теперь нужно регулировать и число слоев, и число узлов, а также шринкидж (там добавили и Л1 и Л2). Конечно, можно применить метод сеток (т.е. встроенные циклы по каждому параметру). Но встает вопрос о времени. Тут пара книжек выходит, поизучаем. Почему работает? Не уверен, что пока достигнут консенсус. Читал про физические аналогии (с энергией).
Моя точка зрения - это переход от пространство с одной размерностью к другой. При увеличении числа узлов в промежуточном слое - отображение в пространство с большей размерностью. В этом смысле есть аналогия с кернел-методами (например, суппорт вектор машиной), когда отображения позволяют изучить нелинейное поведение. Уменьшение числа узлов в промежуточном слое ведет к уменьшение размерности (аналог метода принципиальных компонент, точнее кернел принципиальных компонент).

[flip_flop]

Нельзя ли, плиз, поконкретнее по Deep Learning и его фундаментального отличиях от обычных NN? Я не увидел прорывов в методах оптимизации при тренировке. Особой теории тоже не нашёл, правда и не искал особо. И какая особая крутизна в новых имплементациях? Ну, кроме железа, где я сам могу долго растекаться мыслию по древу о его, железа, развитии и приспособленности для Deep Learning

P.S. Sorry, я конкретно о Deep Learning. Или Вы ML вообще имели в виду? Кстати, я давным давно читал классику ML - книгу Митчела. Есть ли что-то подобное такого же уровня, но поновее, с учётом всех новых "прорывов"?

Если вкраце, ДЛ - это НН, но с несколькими внутренними слоями. Если посмотреть на некие результаты на инете, то впечетляют. Я никогда не был поклонником НН в основном из-за того, что там слишком много регулирующих параметров, которые замаешься подбирать. В последние годы НН не был особо популярен (мое мнение), и лишь появление ДЛ дало второе дыхание. Однако проблемы с параматрами остались и даже преумножились. Т.е. теперь нужно регулировать и число слоев, и число узлов, а также шринкидж (там добавили и Л1 и Л2). Конечно, можно применить метод сеток (т.е. встроенные циклы по каждому параметру). Но встает вопрос о времени. Тут пара книжек выходит, поизучаем. Почему работает? Не уверен, что пока достигнут консенсус. Читал про физические аналогии (с энергией).
Моя точка зрения - это переход от пространство с одной размерностью к другой. При увеличении числа узлов в промежуточном слое - отображение в пространство с большей размерностью. В этом смысле есть аналогия с кернел-методами (например, суппорт вектор машиной), когда отображения позволяют изучить нелинейное поведение. Уменьшение числа узлов в промежуточном слое ведет к уменьшение размерности (аналог метода принципиальных компонент, точнее кернел принципиальных компонент).

Категорически согласен почти со всем, ну, кроме отсутствия поклонения потомкам персептрона и того, что подбирать тяжело, для етого есть оптимизация (очень хреновая, но всё таки) и компьютер Вроде бы есть некоторые возможности абстрагировать и моделировать некоторые сущности объекта моделирования на отдельных слоях (не только чисто количественное увеличение размерности), но не уверен и не читал. Кстати, какие книжки выходят?

Прогресс, кстати не только, в ДЛ, но и в некоторых других видах НН, типа spiking NN.

[Физик-Лирик]

Категорически согласен почти со всем, ну, кроме отсутствия поклонения потомкам персептрона и того, что подбирать тяжело, для етого есть оптимизация (очень хреновая, но всё таки) и компьютер Вроде бы есть некоторые возможности абстрагировать и моделировать некоторые сущности объекта моделирования на отдельных слоях (не только чисто количественное увеличение размерности), но не уверен и не читал. Кстати, какие книжки выходят?

Прогресс, кстати не только, в ДЛ, но и в некоторых других видах НН, типа spiking NN.

Это да, имеются подходы. Просто при работе с большими данными (а сейчас все именно в эту сторону идет), время может быть неприемлемым. Опять-таки моя "нелюбовь" к НН - чисто субъективная. Безусловно, метод имеет положительные стороны. Зависит от задач. Я предпочитаю другие. В последнее время я все больше склоняюсь к бустингу. Он иногда мне даже больше нравится чем мой любимый рендом форест. А вообще ДЛ имеет смысл поисследовать. Собственно нелинейная оптимизация осталась прежней как и бэк пропогейшен. Тоже есть определенные вопросы.

Я Вам в соседнем топике тоже ответил. Наверное, не совсем пролил свет на поиск удаленки. Если есть моменты - давайте
обсудим. Тема в целом интересная. Давайте обменяемся мнениями. Если Вы сузите критерии поиска, может я дам более конкретные
ответы. В целом все-таки работодатели присутствия хотят.

[Kolbasoff]

Одним словом, прав ли молодой человек, бросая хорошо оплачиваемую позицию в Гугле ради такой аспирантуры?

Тенденция однако такова, что лет через 10 с мастером в CS будут только провода разрешать паять. Т.е. аппликационным погромизмом занимацца. Если чел понял, что тяги к менеджементу у него нет, а есть тяга к изобретательству, то правильный PhD это правильный путь. Я ощущаю, что тотальная роботизация таки грядет. Я лично не уверен, что это лично мне понравится, но выбора особо нет. Лечить будут роботы, убивать тоже роботы, развлекать, кормить и т.д. Так что направление правильное: мат. обеспечение роботов.

[Физик-Лирик]

Flip-flop, вы путаете industrial research с просто работой. Да, research редко где. А просто работу найти, учу: гуглите jobs PhD machine learning. 839 позиций на indeed. От Walmart и Nissan до всяких стартапов.

Я не разбираюсь в рынке работ для дата сайентистов и PhD ML. Да и честно говоря, не сильно и интересуюсь. Мне просто было интересно услышать мнение нашего камрада Комиссара по этому вопросу. По видимому у него (и у меня) есть скепсис по поводу всеобщей глобальной нужности. Не отрицая полезности этого дела при правильным балансе ML/statistics и знания предметной области.

Если брать чистый ресерч - то это скорее универы или вотсоны. Если брать практический аспект - прет вовсю. Мне кажется, что сейчас стало модным для любой компании иметь штатного дейта сайнтиста. Учитывая, что университетских программ мало (статистика из другой области), то (реальных) спецов не хватает. В отличие от программисткого бума конца 90, когда брали после 3-х месячных курсов, сейчас, как правило, хотят ПчД или хотя бы мастера. Реальная математика нужна, никуда не денешься. А это отсеивает многих.

[flip_flop]

Я Вам в соседнем топике тоже ответил. Наверное, не совсем пролил свет на поиск удаленки. Если есть моменты - давайте
обсудим. Тема в целом интересная. Давайте обменяемся мнениями. Если Вы сузите критерии поиска, может я дам более конкретные
ответы. В целом все-таки работодатели присутствия хотят.

Мне кажется это был не я, сорри. Перенаправьте, плиз, по адресу.