Прикольная история

[Chessplayer]

OpenCV на плюсах написан был, и ничего, computer vision как-то развивалось без питона, пока его не прикрутили.

Все зависит от всего. И на питоне внедряют в продакшн, и на плюсах делаю резерч. Зависит от legacy и от конкретных алгоритмов. Одна контора, где я работала, имеет патент на drowsiness algorithm, написанный на чистом C вообще.

Сколько у вас займёт в одиночку написать deep learning модель для GPU с кастомной архитектурой на плюсах? Понятно, что раньше люди и перфокартами пользовались, но это ещё не значит, что это самый эффективный способ в наши дни.

[Chessplayer]

Можете не соглашаться, мое мнение противоположное. Machine learning research звучит красиво, но в подавляющем большинтсве - это просто phd students. В лучшем случае post doc. Многие вообще не знают статистику, да и программировать в продакшн не умеют.

Новые алгоритмы не означают лучшего value, наоборот, подавляющее большинство новых методов или проигрывают или uplift не стоит денег, потраченных на разработку и внедрение, по сравнению со старым методом.

Жизнь весьма далека от Kaggle competition.

Микрософт с вами не согласился и инвестировал 1 млрд долларов в OpenAI. Как Вы считаете - GPT2 стоит этих денег и принесёт value по сравнению с tf-idf?

Я кстати специально привел ссылку на решения, чтобы было видно, что качество кода там очень неплохое.

[Chessplayer]

Сколько у вас займёт в одиночку написать deep learning модель для GPU с кастомной архитектурой на плюсах? Понятно, что раньше люди и перфокартами пользовались, но это ещё не значит, что это самый эффективный способ в наши дни.

Там вообще не было image or CV, и deep learning не использовался.

Вы кроме deep learning что-то еще знаете?

Речь изначально шла про то на чём в наши дни делается ресерч в области ML. Основной прогресс сейчас происходит в deep learning и наиболее практично разрабатывать новые модели на питоне, поскольку есть необходимая инфраструктура, упрощающая этот процесс. Каггл собственно и заточен под то, чтобы генерировать новые идеи при помощи комьюнити и необязательно все они идут в продакшн. Кстати, например, XGBoost стали повсеместно применять только после того, как им стали выигрывать большинство табличных соревнований на каггле. То же самое произошло с UNet для сегментации картинок. Прогресс в Medical Imaging community тоже сильно ускорился благодаря Кагглу - посмотрите на пример Игловикова сверху. В прошлом году обкатали BERT и GPT2 NLP модели, сейчас идёт соревнование по Deepfake Detection с призовым фондом $1M, итд итп.

То что большинству бизнесов в наши дни нужен ETL и стандартные линейные модели вещь в общем-то понятная. Но никакой прогресс в этой области они не двигают, а готовые решения можно внедрять на любой, даже легаси, системе.

[Chessplayer]

У вас что, кроме CV, ничего на свете нет?

GPT2 и BERT - это, кстати, не CV. Есть ещё RL. В традиционном ML после XGBoost-a вроде ничего нового за последние 10+ лет не придумали?

[StrangerR]

Так как терпила выйграл и взял деньги то был вынужден отдать свое ядро на рассмотрение...

А почему он терпила если выиграл деньги?

Его забанили на кегле и индуский стартап его уволили наскоряк. В уголовной иерархии больше подходит баклан, но это слишком тонко для данного ресурса

По мне, тут бакланом выступил стартап и кагль. А чувак выиграл у обоих.

А вообще я посмотрел.. кто то очень умный понял, что все равно там только методом _научного тыка_ можно двигаться, ну и устроил что то вроде эволюционного отбора на соревновании. А что, в целом то подход моделирует _природу_ - куча изменений, вдруг что то очень удачное - оно выживает и вытесняет остальных. Там тоже, берем кучу чайников и индусов, и на них тренируемся... в целом конечно все делают _случайные изменения_ (под разными научными соусами) но кому то повезет (скорее случайно) - и он вырвется, вот она и _эволюция_ . Природа таким макаром ажно человека изобрела, а тут какой то несчастный дип ленинг (распознание и прочее...). Я кстати и не знал что там такое активное бурление, хотя намеки были...

[Chessplayer]

По мне, тут бакланом выступил стартап и кегль. А чувак выиграл у обоих.

Чувак довольно сильно подпортил себе репутацию. У него было имя в International Data Science Community, которое позволяло ему получать жирные контракты и предложения о работе. Также его постоянно приглашали выступать на конференциях. Теперь обо всем этом можно забыть, возможно, что и навсегда.

[StrangerR]

По мне, тут бакланом выступил стартап и кегль. А чувак выиграл у обоих.

Чувак довольно сильно подпортил себе репутацию. У него было имя в International Data Science Community, которое позволяло ему получать жирные контракты и предложения о работе. Также его постоянно приглашали выступать на конференциях. Теперь обо всем этом можно забыть, возможно, что и навсегда.

Гмм, подпорить можно то что есть. А у него не было ничего, он создал себе репутацию и заработал деньги, теперь может взять любовницу и ехать жить на острове с пляжем в свое удовольствие. Ну или еще где подвизаться. ВОт если бы он был реально _ученым_ а потом решил улучшить результат читингом тогда да. А так у него был нуль репутации и нуль денег, стал не нуль денег и нуль репутации. Или он реально что то делал а потом уже решил _угадывать_?

[Chessplayer]

Гмм, подпорить можно то что есть. А у него не было ничего, он создал себе репутацию и заработал деньги, теперь может взять любовницу и ехать жить на острове с пляжем в свое удовольствие. Ну или еще где подвизаться. ВОт если бы он был реально _ученым_ а потом решил улучшить результат читингом тогда да. А так у него был нуль репутации и нуль денег, стал не нуль денег и нуль репутации. Или он реально что то делал а потом уже решил _угадывать_?

Он реально не глупый чувак и думаю, что большинство соревнований от затащил честно. Читил он не из-за денег (они там были небольшие и они их вернули), а потому что хотел подняться на первое место в рейтинге (был на 2-3 месте).

[Sergunka]

Гмм, подпорить можно то что есть. А у него не было ничего, он создал себе репутацию и заработал деньги, теперь может взять любовницу и ехать жить на острове с пляжем в свое удовольствие. Ну или еще где подвизаться. ВОт если бы он был реально _ученым_ а потом решил улучшить результат читингом тогда да. А так у него был нуль репутации и нуль денег, стал не нуль денег и нуль репутации. Или он реально что то делал а потом уже решил _угадывать_?

Он реально не глупый чувак и думаю, что большинство соревнований от затащил честно. Читил он не из-за денег (они там были небольшие и они их вернули), а потому что хотел подняться на первое место в рейтинге (был на 2-3 месте).

Я не знал, что они вернули деньги. Глупо, что они код свой тогда дали. Когда играешь есть всегда соблазн каты противника подсмотреть просто если подсмотрел и есть шанс, что всплывет лучше понятно выйгрыш не брать - остаться при своих.

Естественно это неприятный момент, что вся эта история всплыла и испортила атмосферу кегла прямо как допинговый скандал на олимпийских играх в Сочи

[Sergunka]

Так как терпила выйграл и взял деньги то был вынужден отдать свое ядро на рассмотрение...

А почему он терпила если выиграл деньги?

Его забанили на кегле и индуский стартап его уволили наскоряк. В уголовной иерархии больше подходит баклан, но это слишком тонко для данного ресурса

По мне, тут бакланом выступил стартап и кагль. А чувак выиграл у обоих.

Ага - "а мы цап-цапрап" (с)
Мля, ну пряма развитой путинизм во всей красе

[Andrey Strelnikov]

Мужик из РФ выучил нейронные сети ) и ушел ...

"Доктор, у меня вопрос" - А что в России он думал делать с нейронными сетями?

Я тоже сейчас изучаю нейронные сети. Самостоятельно. Есть мелкая задача по обработке медицинских снимков. Просто помощь хорошему человеку в докторской.

Но что потом делать с этими, если я не хочу -
1) уезжать из РФ
2) устраиваться куда-то на работу как сотрудник

Лет десять назад я изучил теорию по BI. Сделал все задачи по экзамену от MS. Сам этот экзамен не прошел. Переучил своих админов и сейчас они уже опытные BI-разработчики. Как команда работают на одного из крупнейших системных интеграторов. Профит.

Но вижу по опыту одной конторы - не идут у них проекты по DS и BD. Заказчики готовы взять людей только в штат.

Те они не нашли модель сотрудничества с заказчиком.

Я тоже хочу обучиться и обучить своих людей DS и BD. Но вот не понимаю что потом делать. Как на этом зарабатывать. Может в штатах эта модель вполне работает? В виде каких-то сервисов и тп.

[Chessplayer]

Мужик из РФ выучил нейронные сети ) и ушел ...

"Доктор, у меня вопрос" - А что в России он думал делать с нейронными сетями?

Яндекс, Мэйл.ру, Мапбокс, Сбербанк, Интел, Пятёрочка и пр. думаете чем пользуются? Он сам работал удаленно на западные стартапы...

[Andrey Strelnikov]

Мужик из РФ выучил нейронные сети ) и ушел ...

"Доктор, у меня вопрос" - А что в России он думал делать с нейронными сетями?

Яндекс, Мэйл.ру, Мапбокс, Сбербанк, Интел, Пятёрочка и пр. думаете чем пользуются? Он сам работал удаленно на западные стартапы...

Ну первый путь немного не то. я выше писал про команду у которой не пошло. Им просто никто не хотел давать данные и тд.

[StrangerR]

Мужик из РФ выучил нейронные сети ) и ушел ...

"Доктор, у меня вопрос" - А что в России он думал делать с нейронными сетями?

Яндекс, Мэйл.ру, Мапбокс, Сбербанк, Интел, Пятёрочка и пр. думаете чем пользуются? Он сам работал удаленно на западные стартапы...

Плюс военные в количествах неслабых, скорее всего.

[Andrey Strelnikov]

Мужик из РФ выучил нейронные сети ) и ушел ...

"Доктор, у меня вопрос" - А что в России он думал делать с нейронными сетями?

Яндекс, Мэйл.ру, Мапбокс, Сбербанк, Интел, Пятёрочка и пр. думаете чем пользуются? Он сам работал удаленно на западные стартапы...

Плюс военные в количествах неслабых, скорее всего.

Ну мне-то это все неинтересно. Мне интересно как заработать находясь снаружи проходной. Ну в лучшем случае допустят к данным. Или к тестовым данным.