Data Science: идея для старт-апа

[kyk]

Если модель это магия и AI.

какие для этого нужны библиотеки для Питона?

[Lisa]

А, забавно, автоматическая кластеризация. Не набор правил, конечно, но называть это ИИ… хотя, сейчас все ИИ. Когда-то давно я такие модельки тренировала, да, веселое время было.

Ну человек хочет чтобы модель еще и сама признаки определяла по которым кластеризовать. Случайным образом? И переобучаться до посинения? Или я, как нуб , совсем ничего не понял?

Ну можно и это автоматизировать, и переобучивать можно, но конечно в начале надо хорошо понимать что делаешь и настроить все тщательно.

[Andrey Strelnikov]

А, забавно, автоматическая кластеризация. Не набор правил, конечно, но называть это ИИ… хотя, сейчас все ИИ. Когда-то давно я такие модельки тренировала, да, веселое время было.

Ну человек хочет чтобы модель еще и сама признаки определяла по которым кластеризовать. Случайным образом? И переобучаться до посинения? Или я, как нуб , совсем ничего не понял?

Ну можно и это автоматизировать, и переобучивать можно, но конечно в начале надо хорошо понимать что делаешь и настроить все тщательно.

Но это просто автоматизация труда аналитика получается ?

[Lisa]

А, забавно, автоматическая кластеризация. Не набор правил, конечно, но называть это ИИ… хотя, сейчас все ИИ. Когда-то давно я такие модельки тренировала, да, веселое время было.

Ну человек хочет чтобы модель еще и сама признаки определяла по которым кластеризовать. Случайным образом? И переобучаться до посинения? Или я, как нуб , совсем ничего не понял?

Ну можно и это автоматизировать, и переобучивать можно, но конечно в начале надо хорошо понимать что делаешь и настроить все тщательно.

Но это просто автоматизация труда аналитика получается ?

Да в общем если так глобально посмотреть, то и self driving car это в принципе автоматизация труда водителя.

[Komissar]

Ну что значит "самообучаемая"? Ты добавляешь новый параметр и новые правила к нему, например if moon_phase = new then show purple button. Система не сама придумала, что надо теперь смотреть и на фазу луны.

[dama123]

Ну так там же написано. AI это не IF/Else a персонализация на основе паттернов. Т.е. один пользователь видит красную кнопочку "Купить сегодня", а другой зелёную "Продолжить с покупкой". И эта персонализация построена на паттернах - т.е. пользователи с параметрами хром браузер которые провели на сайте 20 секунд в суботу лучше реагируют на первую кнопку а те кто на винде во вторник вечером на вторую. И эта хрень должна работать сама по себе и иметь доказуемость ( т.е. A/B тест решения с AI vs решения без или с простыми if else )

T.e. решение принимает не пограмист с аналитиком а модель. Которая постоянно кстати само-обучается и экспериментирует на 10% трафика. Т.е. закинул в хрень 10 цветов и 10 названий кнопочек и она показывает всем свой вариант по моделе 90% а 10% случайно.

if browser == chrome then...
if time >= 20 sec and day = 6 then...

чистое If-else
просто удивительно, что ты этого не понимаешь

Вы мне zVlad напоминаете. Про то что все придумано IBM в 1970 году.
Конечно, персонализация это не if else. T.e. в принципе такое сделать можно, но большой вопрос как хорошо это будет работать. К примеру, если загуглить велосипед и купить его, еще год приходится на рекламу велосипедов смотреть.
Но если все в рамках одной системы (есть feedback ) то вполне реализуемо.

[Физик-Лирик]

Так спроса нет на математику (hedge funds не предлагать), потому платят мало. Если изредка кому надо сложную модель, нанимают спец.консалтеров.

Мне больше всего деньги и WLB нравятся. Статейки не люблю.

Спрос есть, хотя наверное не в таких объемах, как на программистов. И платят неплохо, и условия получше.

Вакансий для программистов, естественно, больше, но и самих программистов больше. Здесь надо смотреть исторически. 80-е годы, когда можно было относительно легко "академикам" пристроиться в универах, мы пропустим, т.к. кроме одного химика тут почти никого не было (и чего этот химик в индустрию поперся при тех возможностях? ). В 90-е стал высвобождаться большой объем физиков (по понятным причинам), и они ринулись в кванты. В результате количество "свободных" физиков на рынке (а хороший физик - это прежде всего математик) резко уменьшилось. В конце 90-х и 2000-х имеющиеся математики и еще непристроенные физики (многие из которых говорили с акцентом) ринулись в программирование. В результате количество математиков на рынке резко уменьшилось, но индустрия была не готова им предложить работы, а в универах уже был жуткий наплыв на профессорские должности. В 2010х, особенно во второй половине, индустрия разродилась дейта сайнсом, все захотели "докторов" от математики. Для еще не забывших математики математиков началась золотая жила.Т.к. знающих математику "докторов" жутко не хватало, они стали хорошо пристроиваться и, заметим, не в программирование, а универы начали плодить магистров от дейта сайнса. В итоге сейчас на рынке возникла молодая поросль магистров, но математики с опытом и знаниями - в дефиците. Итак наступила вторая фаза золотой жилы, когда математический опыт помогает развитию халавы на работе. Сидишь себе дома, навоиспеченным магистрам ц.у. даешь, статейки пописываешь и постоянно плачешься, что мало платят. Перепрыгиваешь в другую контору с повышением и снова плачешься по поводу скудности заработка. Главное наинтервью в "обычные" конторы дать понять менеджеру (а он как правило не бум-бум), что ты крут. Лепишь лапшу, а проверить то не кому. Так что пока цветет дейта сайнс, а он будет и дальше цвести под именем ИИ - все пучком у математиков. Какие тут нафиг базы данных и программирование?

[Физик-Лирик]

Ну так правильно, директорские должности, но уж никак не рядовой разработчик

Не обязательно. Мне например нужен AI Engineer - не директор а разработчик который полностью делает и отвечает за AI. Аналогично Head of ХХХХ - может быть IC.

Интересно, что именно вы понимаете под AI?

Да все что угодно сейчас. Под этой маркой легче продать. Термины дейта сайнс и МЛ скоро будут уже не в тренде. Будем идти в ногу со временем.

Ну что значит "самообучаемая"? Ты добавляешь новый параметр и новые правила к нему, например if moon_phase = new then show purple button. Система не сама придумала, что надо теперь смотреть и на фазу луны.

А вот товарищ не идет в ногу со временем, потому что не изучает Реинфорсмент Лернинг с его разновидностями Можно сказаь, отстал от современных трендов.

[Komissar]

80-е годы, когда можно было относительно легко "академикам" пристроиться в универах, мы пропустим, т.к. кроме одного химика тут почти никого не было (и чего этот химик в индустрию поперся при тех возможностях? ).

жадность фраера сгубила!

[kyk]

Главное наинтервью в "обычные" конторы дать понять менеджеру (а он как правило не бум-бум), что ты крут.

ну математику-то при этом таки надо хорошо знать и рубить. И в обычной конторе могут оказаться очень смышленные бакалавры-математики и фуфло-то раскусят. И обычные бакалавры могут знать чем отличается представление Гейзенберга и Шредингера (и Ватмана). И среди BBA и MBA встечаются ребята с очень хорошим знанием математики. Им лапшу не повесишь.

И даже химики иногда умные бывают

[Komissar]

- нет ничего, ни data warehouse, ни инженеров, а только Accenture консалтеры-индусы, которым я на ноги наступаю, они сами хотят продать этот AI за пять лямов.

У меня сейчас вообще туши свет, одни эффективные менеджеры и индусы.

в Down Under в айти тоже индусятня засела?

[Komissar]

У нас вообще плохо с индусами. Целые районы ими заселяют. Они сюда могут ехать по независимой skilled визе, и все IT конечно же.

а я то так надеялся что зеленый континент обойдется без индусни... неужели придется все-таки учить гребаный немецкий язык для Австрии вместо ретайрмента в Австралии?

[M. Ridcully]

Ну так правильно, директорские должности, но уж никак не рядовой разработчик

Не обязательно. Мне например нужен AI Engineer - не директор а разработчик который полностью делает и отвечает за AI. Аналогично Head of ХХХХ - может быть IC.

А что такое "Head of ХХХХ"?
Или рука дрогнула / лишний X нарисовали / имели в виду "Head of ХХХ"?

[Физик-Лирик]

Главное наинтервью в "обычные" конторы дать понять менеджеру (а он как правило не бум-бум), что ты крут. Лепишь лапшу... Какие тут нафиг базы данных и программирование?

Да надоело мне лепить лапшу. Я хочу реальное что-то делать. Пять лет имею тайтл DS, зарплату, почет и уважение, но ни одной модели в продакшн не пошло, потому что не нужны они никому. DS- математика нанимают для window dressing, чтобы сказать что мы AI driven.

Делать полезное всегда не воспрещается. Лапша - для карьеры, полезное - для души. Если у вас в конторе все как в ...,в общем, понятно где, чего тогда там сидите? Неужели все так с рынком плохо или просто лень искать?

[M. Ridcully]

Мне тоже интересно. Можно пример пусть хоть и абстрактный? А то один конкурент все пишет что их система AI-powered. А я-то знаю что у них за система и мнe ну очень интересно что можно назвать AI-powered. Сказал своему сейлзу тоже говорить

Давай я покажу - только ты в паблик не выноси

А мне можно?
Я, если можно так сказать, делаю лопаты для "золотой лихорадки" AI - так что лишний use case всегда интересно посмотреть.