Machine Learning again

[x.angie]

Ну я так постепенно к ней подбираюсь. Прикладной погромизм стал абсолютным конвейером. Бессмысленное и беспощадное соединение ужей с ежами. Ощущаю себя радиомонтажником, безостановочно паяющего разъемы. Тупая неинтересная деятельность сама по себе, плюс потогонка в виде аджайла. Хочется что-нить более интеллектуальное.

К тем же выводам пришёл где-то месяцев шесть-восемь назад. Вот прямо чуть ли не слово-в-слово.

<Длинное и нудное описание текущего положения дел в IT, с приведением не работающих аналогий и примеров, скипнуто>

Выход из этого видится как раз в переходе в что-то более интеллектуальное - BD/analytics/etc. <Длинное объяснение почему это правильно скипнуто тоже, для экономии времени. Всё равно обсасывали 100 раз уже>

[Сабина]

"За что купил, за то и продаю"
В Спарк группе Матея какой то орёл запостил следующее... Кому надо - это завтра если что

Hey! I'd like to share this amazing learning opportunity with you; Skillspeed presents a series of foundation courses, priced at only 43USD, covering the latest BIG Data technologies. We've got the following scheduled for March 5th & 6th:

Details - R Programming & Analytics

Details - BIG Data & Hadoop 2.x Details - Apache Spark & Scala

Each of the above courses features:
• 6 Hours of Live Instructor Led Training
• 4 Hours of Practicals
• Fully Equipped Virtual Machines
• 24/7 Live Support
• 2 Project Guides
• Foundation Level Certification
These will give you a great start; each of the course is priced at only 43USD.

You'll have a great learning experience See you!

[Dweller]

Если хочешь расти в успешного руководителя в ML, то лучше знать и уметь все (но уже не хотеть это делать)
Больше всего ценятся кандидаты со степенью в applied math/stats, при этом также и кодирующие начиная с института
В общем, 2 скиллза - кодировать и применять статистику. А все остальное уже вторично и легко осваивается, т.е. хадупы пиги после опыта обычного кодирования, и ML после статистики.

[Kolbasoff]

Вы в какой области из перечисленных будете искать работу? Например для ЕТЛ достаточно освоить Пиг (что несложно), Хай (практически сиквел), Хадуп, Спарк (собственно годятся на Хадупе под Ярном). Собственно вот и начало для ЕТЛ больших данных. С предиктив аналитикс дело более тонкое.

Вообще, я на мой сегодняшний баркас пошел из-за того что обещали (хе-хе!) биг дату. И еще потому что это был контракт. И сначала все было замечательно, я написал ETL-программень с использованием Хадупа, коснулся Терадаты (но как обычного DataSource), засосал все в Монго, и все на AWS, т.е. прогресс в резюме был на лице. Но потом что-то пошло не так (не по моей вине а из-за смещения приоритетов у начальства) и в итоге я занимаюсь голимым быдлокодингом. Причем, так как я предложение поженицца отверг, на меня еще и смотрят как на врага народа, типа "не командный игрок". А командные игроки хреначат и вечерами и по выходным. А я лаптоп в 5 закрыл и досвидос амигос.

Так что начну подготовку с ETL-стэка, потом перейду на Спарк MLLib, стандартной дорогой: statistics, regressions для начала. Я просмотрел теорию, я же это все когда-то применял в своей недолгой инженерной деятельности в СССР, но сейчас конечно подзабыл, но вспоминается легко. Но программы конечно другие. У меня вот до сих в башке названия древних фортрановских пакетов конца 80-х засели - DECOMP и SOLVE.

Что до серьезной аналитики и обучаемых систем, то посмотрим как пойдет с азами. Но торопицца мне не куда, на птицеферму я в любом случае больше не пойду, а на дату какую-нить халтурку срублю.

[flip_flop]

Но с другой стороны, а data scientist should ... pretend to understand deep learning ...

[Физик-Лирик]

Если хочешь расти в успешного руководителя в ML, то лучше знать и уметь все (но уже не хотеть это делать)
Больше всего ценятся кандидаты со степенью в applied math/stats, при этом также и кодирующие начиная с института
В общем, 2 скиллза - кодировать и применять статистику. А все остальное уже вторично и легко осваивается, т.е. хадупы пиги после опыта обычного кодирования, и ML после статистики.

Согласен, что лучше иметь представление обо всем. Практика показывает, что руководить аналитическими отделами берут с опытом в бизнесе и общей бизнес-аналитике, а эксперта в МЛ берут в качестве тех. лида. Собственно он и будет возглавить и вести все разработки в области алгоритмического анализа.
Термин статистика я бы чуть поконкретнее использовал, т.к. сейчас в индустрии оно в основном связано с биостатистикой, клиническими испытаниями, опросами, анализом качества и т.п. Все-таки МЛ как бы не совсем статистика, хотя очень испольуется особенно в области диагностики результатов. В резюме следует чётко оговаривать все это, т.е. указывать и статистику и МЛ.

[Физик-Лирик]

Но с другой стороны, а data scientist should ... pretend to understand deep learning ...

Что только лишний раз указывает, насколько замордовали термин Дейта сайнс.

[Физик-Лирик]

Но с другой стороны, а data scientist should ... pretend to understand deep learning ...

В свое время, когда я еще был плохо информированным оптимистом и занимался физикой, приходилось работать над разными моделями, в частности гидродинамическими. Эти модели хорошо описывали ламинарные течения. Был большой интерес к турбулентным течениями и предложены различные модели, но не было понимания чёткого механизма перехода ламинарного режима в турбулентный. Насколько я понимаю, сейчас картина та же, хотя особо уже не слежу. К чему я это вспомнил ... У меня складывается впечатление, что сейчас та же ситуация наблюдается по глубокому (глубинному) обучению. Типа модели есть, результаты есть, а четкого (или вообще какого) понимания нет. Зато термин стал устойчивым и уже употребляется и когда надо, и когда не надо. Зато хорошо начальству лапшу вешать. Типа освоить в текущей пятилетке метод глубинного бурения больших данных. Как звучит однако. И руководство довольно, пи...ся кипятком. А что делать. Роль информированного оптимиста обязывает соответствовать.

[flip_flop]

Хе-хе, я тоже занимался вычислительной гидродинамикой одно время, и мой временный бос в то время пытался понять и внятно математически описать процесс перехода к турбулентости. Навье-Стокс плюс определённые условия прекрасно численно моделировали турбулентность, но внятного аналитического объяснения не было. За решение этого вопроса он ожидал получить Нобелевскую, не меньше. Давно это было, надо спросить его как там с этим

Сегодня был у меня обычный митинг, но под конец чёрт меня дёрнул упомянуть привязку к нашему железу deep learning. И понеслось, хехе. Хоть езжай на пасеку, рядом с камрадом Колбасофф, и вспоминай на природе всё то, что забыл, а также чего и не знал, не знал, и забыл. И заливай себе deep learning в свои глубинные недра. Почему то навеяло deep ... (beep, гусары молчать!)

[Физик-Лирик]

Хе-хе, я тоже занимался вычислительной гидродинамикой одно время, и мой временный бос в то время пытался понять и внятно математически описать процесс перехода к турбулентости. Навье-Стокс плюс определённые условия прекрасно численно моделировали турбулентность, но внятного аналитического объяснения не было. За решение этого вопроса он ожидал получить Нобелевскую, не меньше. Давно это было, надо спросить его как там с этим

Сегодня был у меня обычный митинг, но под конец чёрт меня дёрнул упомянуть привязку к нашему железу deep learning. И понеслось, хехе. Хоть езжай на пасеку, рядом с камрадом Колбасофф, и вспоминай на природе всё то, что забыл, а также чего и не знал, не знал, и забыл. И заливай себе deep learning в свои глубинные недра. Почему то навеяло deep ... (beep, гусары молчать!)

Да, объяснение будет стоит Нобелевской премии. Многие модели описывали развитую турбулентности (например, те же классические уравнения Рейнольдса). Были статьи, описывающие развитие неустойчивости в системе. Сейчас, насколько я знаю, составляются "библиотеки" турбулентных течений, с которыми сравнивается исходное.
А глубокое обучение действительно прикольно. Но и меня всегда проблема найти параметры. Слишком возни много.

[blanko27]

Как-то весь разговор в топике вращается вокруг big data. А кто-то занимается machine learning в контексте image recognition и computer vision?

[Ofreema]

мы в OCR

[Dweller]

ой, а я тоже занимался вычислительной гидродинамикой
первое место на студ. олимпиаде в москве в 96г и вторые на СНГ и России в том же году
помогает с планированием rough-in plumbing в доме
основные принципы правда простые - вода хорошо сливается только вниз, и от источника к потреблению трубу можно только сужать, не расширять. Со сливом наоборот.

[Физик-Лирик]

ой, а я тоже занимался вычислительной гидродинамикой
первое место на студ. олимпиаде в москве в 96г и вторые на СНГ и России в том же году
помогает с планированием rough-in plumbing в доме
основные принципы правда простые - вода хорошо сливается только вниз, и от источника к потреблению трубу можно только сужать, не расширять. Со сливом наоборот.

Значит надо нам тут на форуме придумать интересную задачу и тряхнуть стариной.
Есть какие идеи?

[blanko27]

мы в OCR

Для OCR вы не neural network использовали? Слишком дорогая игрушка получилась бы, ведь так?