AI и наша жизнь и работа

[Ann4Ann]

как показывает практика, эта саплементал дата позволяет "улучшить и углубить" на несколько % в лучшем случае (если повезло с теми, кто этим занимается). но зато зачастую банально раздувает инфрастуктуру в разы.
а реально внятные результаты все равно производят супервайзд модели и подходы, тут и предиктив не надо особо быть.

[Ann4Ann]

Я с прогнозами уже как четверть века назад завязал. Там на самом деле предикция менее важна, но есть куча правил - ну на пример что часто покупают комплектом но идущее как отдельные позиции, ограниченный объём доставки и много-много всего. Короче моя работа позиционировалась не как "мы всех вас железкой заменим" а скорее "вот вам предложение с обоснованием почему оно так сделано, а вы теперь крутите ручки". Надежда мл в таких местах это что все эти правила будут учтены моделью без необходимости иметь их явно. Минус - Вы не можете понять как она работает и изменить модель в конкретном месте (менять можно все ели ничего).

Market Basket Analysis это часть МЛ, не? и в той же предиктив аналитике вовсю используется.
по поводу не изменить модель - вот тут нужны минимум 2 человека: математик и инженер, чтоб один под конкретные данные настроил моделей и понабрал алгоритмов, а второй это все заточил под систему клиента не забыв добавить возможности тюнинга (как ручного, так и авто) и отполировал все это фидбэк лупом.
на практике я вижу как или задорный инженер начинает метать в систему ML фреймвоки, все, до которых дотянется - выхлоп 0. или занудный саянтист тренирует и тренирует модели, и оно даже вроде ничего, когда он на примерах, на которых тренировал покажет, в каких-то случаях это с грехом пополам начинают использовать и тут оп-па, то памяти не хватает, то база падает, то очередь затыкается, то предикшнс вдруг стейл.

[Сабина]

Сабина, оно вам не надо, поверьте. Только зря время теряете. Делайте data engineering хорошо, этого днём с огнём. Predictive analytics таки требует специального образования. Без него будете делать элементарные ошибки.

Ну знаете ли сердцу не прикажешь . А вы сами на что кончали? В смысле какое специальное образование минимально нужно? Я сына в эту сторону призываю присмотреться, ему уже какие то интерншипы предлагают после sophmore

[Сабина]

как показывает практика, эта саплементал дата позволяет "улучшить и углубить" на несколько % в лучшем случае (если повезло с теми, кто этим занимается). но зато зачастую банально раздувает инфрастуктуру в разы.
а реально внятные результаты все равно производят супервайзд модели и подходы, тут и предиктив не надо особо быть.

Может это просто пока количество не перерастет в качество ? Я это вижу примерно так ....
Сначала младенцев в утробе могли наблюдать только в виде 2d snapshot image, проекция считай. Пооом прявился ультразвук и подключилось отражение волны, что дало ту же 2d картину уже в динамике, причем вы можете менять угол прибора и получаете как бы массу этих 2d срезов. Дальше больше, стали собирать больше деталей и нюансов тех же волн - вуаля, теперь на младенца можно смотреть как живое цветное кино

[alex_127]

как показывает практика, эта саплементал дата позволяет "улучшить и углубить" на несколько % в лучшем случае (если повезло с теми, кто этим занимается). но зато зачастую банально раздувает инфрастуктуру в разы.
а реально внятные результаты все равно производят супервайзд модели и подходы, тут и предиктив не надо особо быть.

Может это просто пока количество не перерастет в качество ? Я это вижу примерно так ....
Сначала младенцев в утробе могли наблюдать только в виде 2d snapshot image, проекция считай. Пооом прявился ультразвук и подключилось отражение волны, что дало ту же 2d картину уже в динамике, причем вы можете менять угол прибора и получаете как бы массу этих 2d срезов. Дальше больше, стали собирать больше деталей и нюансов тех же волн - вуаля, теперь на младенца можно смотреть как живое цветное кино

Да, но вы понимаете что мы говорим об 1-2% максимум? То есть во многих случаях цена инфраструктуры хранения всех этих данных больше возможной прибыли...
Про узи это совсем не про накопление данных. Кстати, узи может делать 3д но это интересно только вам поскольку вы не понимаете что на экране. Врачам это нафиг (ну по разговору 20 летней давности) - у них в голове 3д само собирается, а 3д картинка только закрывает часть информации.

[Сабина]

Давайте посмотрим на случаи когда это было оправдано и извлечем из них урок ? Раз поезд уже и без нас давно помчал в этом направлении ...

[alex_127]

Давайте посмотрим на случаи когда это было оправдано и извлечем из них урок ? Раз поезд уже и без нас давно помчал в этом направлении ...

Не чистый аи но. Хороший вариант.
https://www.theverge.com/2016/7/21/1224 ... er-cooling

[Сабина]

А я тоже на интересную статью наткнулась про навыки для дейта сайнтистов
https://www.linkedin.com/pulse/why-bein ... is-pearson

[alex_127]

А я тоже на интересную статью наткнулась про навыки для дейта сайнтистов
https://www.linkedin.com/pulse/why-bein ... is-pearson

My take
"Our recent Data Science Salary Report revealed that an average of 44% of Data Science professionals who responded, can code at production level" === "44% of Data Science professionals who responded это бывшие программисты".

[АццкоМото]

Я сына в эту сторону призываю присмотреться, ему уже какие то интерншипы предлагают после sophmore

Вот это и правильно. Я сына туда же буду подталкивать через год-другой. А сам стар уже. Знание нужно подтянуть только до уровня достаточного, чтобы понимать, куда конкретно подталкивать

[Lisa]

А я тоже на интересную статью наткнулась про навыки для дейта сайнтистов
https://www.linkedin.com/pulse/why-bein ... is-pearson

My take
"Our recent Data Science Salary Report revealed that an average of 44% of Data Science professionals who responded, can code at production level" === "44% of Data Science professionals who responded это бывшие программисты".

Так и есть. Насколько это на самом деле нужно - вопрос спорный. Сейчас Data Science-ами называют все кому не лень.

[GoblinNY]

Сабина, оно вам не надо, поверьте. Только зря время теряете. Делайте data engineering хорошо, этого днём с огнём. Predictive analytics таки требует специального образования. Без него будете делать элементарные ошибки.

Ну знаете ли сердцу не прикажешь . А вы сами на что кончали? В смысле какое специальное образование минимально нужно? Я сына в эту сторону призываю присмотреться, ему уже какие то интерншипы предлагают после sophmore

Вопрос был не мне но я отвечу и врядли вы услышите что-то другое - без фундаментального математического образования тут делать нечего . А то будет как зачастую на интервью приходят экспертс ин моделинг энд статистикс а спросишь что такое регрессия - в ответ это кнопка слева в меню сас энтерпрайз майнера.... я на нее нажимаю .... а на простую просьбу сформулировать теорему баайеса или не дай боже централ лимит впадают в ступор...


Sent from my iPhone using Tapatalk Pro

[Сабина]

Сабина, оно вам не надо, поверьте. Только зря время теряете. Делайте data engineering хорошо, этого днём с огнём. Predictive analytics таки требует специального образования. Без него будете делать элементарные ошибки.

Ну знаете ли сердцу не прикажешь . А вы сами на что кончали? В смысле какое специальное образование минимально нужно? Я сына в эту сторону призываю присмотреться, ему уже какие то интерншипы предлагают после sophmore

Вопрос был не мне но я отвечу и врядли вы услышите что-то другое - без фундаментального математического образования тут делать нечего . А то будет как зачастую на интервью приходят экспертс ин моделинг энд статистикс а спросишь что такое регрессия - в ответ это кнопка слева в меню сас энтерпрайз майнера.... я на нее нажимаю .... а на простую просьбу сформулировать теорему баайеса или не дай боже централ лимит впадают в ступор...
Sent from my iPhone using Tapatalk Pro

ну вы же понимаете что иметь два фундаментальных образования - CS и математика - это редкость ? Возможно поэтому самые успешные в этой сфере сейчас те кто и кодирует production quality. и у кого очень хорошие data science fundementals ? И ВУЗы многие передовые не зря рванули готовить людей на стыке двух дисциплин? Те кто вам на интерью попадались - явно не из этой серии, но и как пример того что "одного фундаментального матобразования хватит" увы не катят

[Ann4Ann]

Может это просто пока количество не перерастет в качество ? Я это вижу примерно так ....

качественный скачек произойдет не на количестве обрабатываемых данных (наверное таки знадо нать математику чтоб это понимать (??)) а на количестве бесплодных попыток, вот устанут и обратят внимание на что-то другое, тогда и скакнет.
на обработке данных мы месим пару процентов...
а реальный скачек связанный с рекомендейшн алгоритмами у того же амазона уже был много лет назад, когда они коллаборатив филтеринг прикрутили

и к последнему сообщению, из моего круга общения и особенно если делать выборку подрастающих детей - достаточно у многих есть majors в математике и cs.
я уж не говорю про наших - сколько мат-меховцев работают в cs....

[GoblinNY]

Сабина, оно вам не надо, поверьте. Только зря время теряете. Делайте дата енгинееринг хорошо, этого днём с огнём. Предицтиве аналытищ таки требует специального образования. Без него будете делать элементарные ошибки.

Ну знаете ли сердцу не прикажешь . А вы сами на что кончали? В смысле какое специальное образование минимально нужно? Я сына в эту сторону призываю присмотреться, ему уже какие то интерншипы предлагают после сопхморе

Вопрос был не мне но я отвечу и врядли вы услышите что-то другое - без фундаментального математического образования тут делать нечего . А то будет как зачастую на интервью приходят экспертс ин моделинг энд статистикс а спросишь что такое регрессия - в ответ это кнопка слева в меню сас энтерпрайз майнера.... я на нее нажимаю .... а на простую просьбу сформулировать теорему баайеса или не дай боже централ лимит впадают в ступор...
Сент фром мы иПхоне усинг Тапаталк Про

ну вы же понимаете что иметь два фундаментальных образования - Щ и математика - это редкость ? Возможно поэтому самые успешные в этой сфере сейчас те кто и кодирует продуцтион ъуалиты. и у кого очень хорошие дата сциенце фундементалс ? И ВУЗы многие передовые не зря рванули готовить людей на стыке двух дисциплин? Те кто вам на интерью попадались - явно не из этой серии, но и как пример того что "одного фундаментального матобразования хватит" увы не катят

с чем я не вполне согласен - фундаментальное образование в CS таки преполагает знание основ статистки. в финансах в риск моделинге фундаментального образование в математике вполне хватает. Научиться шлепать дев код на R sas spss you name it вообшьем то дело плевое

в остальном я не вижу тут противоречия, нужно просто договориться об определениях. DS - слишком много подрозумевается по етим - программер инженеры пишушие prod code И кванты теоретики умеюшуие криво косо программировать на чем попало, выдаюшие модели И прототипы. И все что между. Так вот чем ближе ко вторым тем бOлший вес приобретает мат образование.

[ALV00]

Скажем ты простой программер в банке, oil and gas компании или вообще любой компании где есть тот же Сейлсфорс .... Это значит что у вас есть данные по финансовым транзакциям, нефтеразведзке, продажам продукта.
Наверное из этого всего тоже можно извлечь какую то ценность и быть одним из первых кто начнет двигать коллег в этом направлении ? Какие будут мысли на это счет ?

Простому программеру нафига это надо? Если бы менеджер среднего звена, то можно было бы прогнуться с инициативой чтобы сделать карьеру. Простого быдлокодера и слушать никто не будет.
Я для себя, ну попробуйте посмотреть вот это. Если материал будет понятен, то можно двигаться дальше. Если же мать-её-матика как темный лес, то учить ее, родимую. Single calc, multi calc, дифуры, потом браться за ML. На несколько лет развлекухи.

[Мальчик-Одуванчик]

ну вы же понимаете что иметь два фундаментальных образования - CS и математика - это редкость ? Возможно поэтому самые успешные в этой сфере сейчас те кто и кодирует production quality. и у кого очень хорошие data science fundementals ? И ВУЗы многие передовые не зря рванули готовить людей на стыке двух дисциплин? Те кто вам на интерью попадались - явно не из этой серии, но и как пример того что "одного фундаментального матобразования хватит" увы не катят

Просто вспомнили старое, когда наряду с факультетом обычной математики ("чистики"), был факультет прикладеой математики ("прикладники").

[alex_127]

Потому и платят Data scientists такие зарплаты...

У меня дс вокруг нет, так что хотел уточнить - мне кажется что у дс выше зарплата на старте но есть потолок который трудно пробить в связи с специализацией. На что народу можно максимально рассчитывать?

[fruit6]

ДС со временем может достичь зарплаты говнокодера, если повезет.

ДС: https://www.paysa.com/salaries/data-sci ... co,-ca--tl (121К, San Francisco, CA)
г-кодер: https://www.paysa.com/salaries/software ... co,-ca--tl (132К, San Francisco, CA)

[Сабина]

И тем не менее, без фундаментального образования в статистике (не pure mathematics, а именно статистика), делать нечего. Потому и платят Data scientists такие зарплаты. Те кто успешные, не только кодируют на уровне senior developer, но и статистику изучали. И не 101, а несколько курсов на хорошем уровне. А если не изучали в универе, то изучали сами. И до изучения статистики они вначале изучали multivariate calculus and linear algebra

Думаю нет однозначного ответа, лично мне вот это понравилось куда больше данального перетягивания одеяла

Peter Bentley, 20 years experience in AI research, with more than 250 scientific papers
Answered Jul 21, 2016 · Author has 92 answers and 58.1k answer views
Originally Answered: What makes you an expert in the field of artificial intelligence?
The same thing that makes anyone an expert in a subject. Years of practise, a large amount of experience in order to build specialist knowledge, lots of collaboration with other great people, regular interaction and attention spent at the major international conferences, and a good international reputation in the area built from achieving provably state-of-the-art results (as indicated by research papers, books, and happy businesses who exploit the methods you have developed).

Но я вообще не поняла почему должно быть все так категорично ? Что в AI кроме крутых экспертов больше никому нет места ?

[АццкоМото]

ну вы же понимаете что иметь два фундаментальных образования - CS и математика - это редкость ?

Какая же это редкость? У погромистов из бывшего СССР возраста 38-50 лет, наверное, более чем у 50% именно такое образование. У меня, в частности.

Проблемы тут ровно две, КМК.
1) все основательно подзабыто. и вспомнить вроде не проблема, но не до того
2) все это изучалось на русском и нужные английские слова просто не под рукой. на днях на интервью хотел сказать что-то типа "по этому методу сходимость к результату будет, но довольно медленная". и понимаю, что не могу. хорошо, интервьюер сказал converge, сам бы вспомнил через полчаса после окончания. а ведь это элементарно, Уотсон

[Сабина]

ну вы же понимаете что иметь два фундаментальных образования - CS и математика - это редкость ?

Какая же это редкость? У погромистов из бывшего СССР возраста 38-50 лет, наверное, более чем у 50% именно такое образование. У меня, в частности.

Проблемы тут ровно две, КМК.
1) все основательно подзабыто. и вспомнить вроде не проблема, но не до того
2) все это изучалось на русском и нужные английские слова просто не под рукой. на днях на интервью хотел сказать что-то типа "по этому методу сходимость к результату будет, но довольно медленная". и понимаю, что не могу. хорошо, интервьюер сказал converge, сам бы вспомнил через полчаса после окончания. а ведь это элементарно, Уотсон

А мне кажется что просто знание математики - они ничем не лучше, если не хуже чем IT-шник, умеющих писать код, а самое главное проглотивший много колючек на проблемах scalability, performance etc систем обработки данных. Потому что человек с опытом как ты, он вот именно что рефрешить свои знания при желании сможет. А самый злостный ботан от статистики - он просто не потянет без hands on опыта со scope современных систем

[fruit6]

ДС со временем может достичь зарплаты говнокодера, если повезет.

ДС: https://www.paysa.com/salaries/data-sci ... co,-ca--tl (121К, San Francisco, CA)
г-кодер: https://www.paysa.com/salaries/software ... co,-ca--tl (132К, San Francisco, CA)

В Data scientist переименовали сейчас всех малооплачиваемых data analysts, которые знают максимум SQL queries & Tableau. Оттого средняя зарплата на paysa такая.

Не могли бы Вы тогда расшифровать 'такая' [зарплата ДС], чтобы было чуть более понятно о чем речь.

[АццкоМото]

ну вы же понимаете что иметь два фундаментальных образования - CS и математика - это редкость ?

Какая же это редкость? У погромистов из бывшего СССР возраста 38-50 лет, наверное, более чем у 50% именно такое образование. У меня, в частности.

Проблемы тут ровно две, КМК.
1) все основательно подзабыто. и вспомнить вроде не проблема, но не до того
2) все это изучалось на русском и нужные английские слова просто не под рукой. на днях на интервью хотел сказать что-то типа "по этому методу сходимость к результату будет, но довольно медленная". и понимаю, что не могу. хорошо, интервьюер сказал converge, сам бы вспомнил через полчаса после окончания. а ведь это элементарно, Уотсон

А мне кажется что просто знание математики - они ничем не лучше, если не хуже чем IT-шник, умеющих писать код, а самое главное проглотивший много колючек на проблемах scalability, performance etc систем обработки данных. Потому что человек с опытом как ты, он вот именно что рефрешить свои знания при желании сможет. А самый злостный ботан от статистики - он просто не потянет без hands on опыта со scope современных систем

Это пустой спор из серии, кто круче, профессор Преображенский или повариха. Повариха, вроде, даже круче. Она без профессора проживет, а вот профессор без еды скрючится. На деле все наоборот. А в оптимуме - каждый делает свое дело

[Мальчик-Одуванчик]

А мне кажется что просто знание математики - они ничем не лучше, если не хуже чем IT-шник, умеющих писать код, а самое главное проглотивший много колючек на проблемах scalability, performance etc систем обработки данных. Потому что человек с опытом как ты, он вот именно что рефрешить свои знания при желании сможет. А самый злостный ботан от статистики - он просто не потянет без hands on опыта со scope современных систем

Не соглашусь. Просто потому что опуститься на уровень ниже - не проблемма вообще. А вот подняться даже на уровень хорошего статистика как правило уже не выйдет. Те кто получили советское математическое образование это хорошо понимают. А вокруг злостного ботана при необходимости создадут группу помогаек. Просто потому что только этот ботан еще в состоянии понять что нужно делать, а все остальные - лишь ответить на вопрос "как", да и то в рамках, ограниченных своим опытом.