AI и наша жизнь и работа

[Сабина]

Ну вот и все, мы как бы живем в AI эре. Congrats

Yes. Almost everyone who has a computer, smartphone, or other smart device is already using AI to make life easier:

Siri and Cortana act as your personal assistants using voice processing
Facebook recommends photo tags using image recognition
Amazon recommends products using machine learning algorithms
Waze suggests optimal driving routes using a combination of predictive models, forecasting, and optimization techniques

Следующий вопрос - а что можно с этого поиметь в сфере работы ? Ну разьве что ты работаешь на Apple, Facebook, Amazon или Waze ....

Скажем ты простой программер в банке, oil and gas компании или вообще любой компании где есть тот же Сейлсфорс .... Это значит что у вас есть данные по финансовым транзакциям, нефтеразведзке, продажам продукта.
Наверное из этого всего тоже можно извлечь какую то ценность и быть одним из первых кто начнет двигать коллег в этом направлении ? Какие будут мысли на это счет ?

[adda_]

Из всего этого я лично пользуюсь только Амазоном. И то не его рекомендациями, а тем что он продает. Где то раз в один - два месяца. И если перечисленные выше компании завтра улетучатся, то я этого не замечу.

[Larsonsager]

Siri and Cortana act as your personal assistants using voice processing
Facebook recommends photo tags using image recognition
Amazon recommends products using machine learning algorithms
Waze suggests optimal driving routes using a combination of predictive models, forecasting, and optimization techniques

Почти не знаком с людьми, пользующимися первыми двумя. Даже не слышал про четвертое. Третьим пользуются, наверно, все, но жизнь это облегчает не им, а самому амазону.

[Сабина]

Из всего этого я лично пользуюсь только Амазоном. И то не его рекомендациями, а тем что он продает. Где то раз в один - два месяца. И если перечисленные выше компании завтра улетучатся, то я этого не замечу.

Ну да, так и вижу Apple и Facebook, судорожно цепляющиеся за бизнес арену перед улетучиванием

[OhBoy]

Вас обманули.

[Мальчик-Одуванчик]

Наверное из этого всего тоже можно извлечь какую то ценность и быть одним из первых кто начнет двигать коллег в этом направлении ? Какие будут мысли на это счет ?

А зачем коллег куда-то двигать? Впрочем как и двигаться под принуждением?

[Kirpidonych]

Вас обманули.

+1

[Сабина]

Ну хорошо, вы как хотите, а мне любопытно

У нас на работе дают возможность делать pet project, но надо обосновать сначала что он worthy, пытаюсь за выходные разобраться и подготовить себе requirements

- есть очень много past sales data
- есть возможность и вытащить, обработать, профильтровать всяким разным образом
- есть класс Кирила Еременко с Udemy по базовым ML алгоритмам и проч
- надо построить и train the model для предсказания будущих sales. Пока более конкретной задачи нет, я надеялась почитать что уже делается в этом плане и из этого исходить

Если кому попадались статьи, блоги с описанием похожих проектов - поделитесь плиз

[iDesperado]

у нас все упирается в "дата сайнтистов", похоже их в как-то туда отбирают специально, те кто к обучению не способен. их надрессировали тыркать в несколько иконок sas data miner и все. они по заученному шаблону тыркают, а то что бывают обучаемые алгоритмы кроме линейной регрессии из 80х им не интересно. банан то и так выпадает.
я бы на твоем месте начал бы с прикручивания jpmml к spark. pmml теперь у них индустриальный стандарт, а spark ml с таким не работает из коробки. а потом уже нудятина с очисткой данных и тренировкой модели каким-то тулом, какой выдаст модель в виде pmml. вроде у аналистов сейчас в моде на R модели тренировать.

[tessob]

Если кому попадались статьи, блоги с описанием похожих проектов - поделитесь плиз

Возьмите любую модель, которая хорошо экстраполирует данные и попробуйте применить к вашему датасету. Так вы сразу поймёте примерное качество вашей модели. Только сразу выразите ошибку в деньгах. В вашем случае вам нужно оценить потери от перепроизводства и недопроизводства.

Если получится не хрень, то поделитесь кейсом пожалуйста. Знаю 100+ подобных кейсов где хрень на выходе и 0 где не хрень.

[adda_]

Из всего этого я лично пользуюсь только Амазоном. И то не его рекомендациями, а тем что он продает. Где то раз в один - два месяца. И если перечисленные выше компании завтра улетучатся, то я этого не замечу.

Ну да, так и вижу Apple и Facebook, судорожно цепляющиеся за бизнес арену перед улетучиванием

Я тебе просто напомню. В 1999 году стоки Эпла были дешевле доллара. И он бы загнулся нафиг, если бы Майкрософт не купил приличный кусок, чтобы спасти его. А спасали они Эппл не потому что они расчитывали на какую то большую прибыль, а чтобы не остаться одной единственной софтверной компанией и не попасть под антимонопольное законодательство со всеми вытекающими.
Так что то что будет в будущем никому не известно. Вспомни AOL, который был самым большим интернет провайдером в США. Где он теперь? Вспомни тот же самый Яху, который сейчас помирает так и не заплатив ни копейки дивидендов.

[metaller]

Из всего этого я лично пользуюсь только Амазоном. И то не его рекомендациями, а тем что он продает. Где то раз в один - два месяца. И если перечисленные выше компании завтра улетучатся, то я этого не замечу.

+1

[Lisa]

Siri and Cortana act as your personal assistants using voice processing
Facebook recommends photo tags using image recognition
Amazon recommends products using machine learning algorithms
Waze suggests optimal driving routes using a combination of predictive models, forecasting, and optimization techniques

Даже не слышал про четвертое.

Вы в Гугле навигацией пользуетесь? Так там то же самое.

[Сабина]

Если кому попадались статьи, блоги с описанием похожих проектов - поделитесь плиз

Возьмите любую модель, которая хорошо экстраполирует данные и попробуйте применить к вашему датасету. Так вы сразу поймёте примерное качество вашей модели. Только сразу выразите ошибку в деньгах. В вашем случае вам нужно оценить потери от перепроизводства и недопроизводства.

Если получится не хрень, то поделитесь кейсом пожалуйста. Знаю 100+ подобных кейсов где хрень на выходе и 0 где не хрень.

Ого! Вот это вы меня озадачили ! Точнее сказать "подзадорили". Это что при всей популярности этого дела в наши дни развестистые Machine Learning так и не могут даже толком сделать хорошую аппроксимацию ? Или это именно с sales такая петрушка ?
Хотя может я вас не совсем хорошо поняла ?
Где именно можно " взять модель, которая хорошо экстраполирует данные" ? Что есть "перепроизводство и недопроизводство" в данном случае ?

[Lisa]

Где именно можно " взять модель, которая хорошо экстраполирует данные" ?

Концепцию взять из головы. Имплементацию - подгоном того, что есть в доступных библиотеках.

[Larsonsager]

Siri and Cortana act as your personal assistants using voice processing
Facebook recommends photo tags using image recognition
Amazon recommends products using machine learning algorithms
Waze suggests optimal driving routes using a combination of predictive models, forecasting, and optimization techniques

Даже не слышал про четвертое.

Вы в Гугле навигацией пользуетесь? Так там то же самое.

а) нет, в гугле не пользуюсь; б) нет, это совсем не то же самое. Вообще почти ничего общего. Из того, что AI в каком-нибудь голосовом помощнике может запустить навигатор, не следует, что навигатор - это и есть AI. Как человек, разрабатывавший навигаторы, могу утверждать, что ничего, хотя бы напоминающего AI (типа ML), в навигаторах не обязательно и существует далеко не всегда, а тот ML, что существует в некоторых навигаторах, назвать AI мало кому придет в голову.

[Lisa]

Siri and Cortana act as your personal assistants using voice processing
Facebook recommends photo tags using image recognition
Amazon recommends products using machine learning algorithms
Waze suggests optimal driving routes using a combination of predictive models, forecasting, and optimization techniques

Даже не слышал про четвертое.

Вы в Гугле навигацией пользуетесь? Так там то же самое.

а) нет, в гугле не пользуюсь; б) нет, это совсем не то же самое. Вообще почти ничего общего. Из того, что AI в каком-нибудь голосовом помощнике может запустить навигатор, не следует, что навигатор - это и есть AI. Как человек, разрабатывавший навигаторы, могу утверждать, что ничего, хотя бы напоминающего AI (типа ML), в навигаторах не обязательно и существует далеко не всегда, а тот ML, что существует в некоторых навигаторах, назвать AI мало кому придет в голову.

При чем тут голосовая связь если речь идёт о расчёте маршрута? "predictive models, forecasting, and optimization techniques" упомянутые в изначальном посте вообще никакого отношения ни к AI ни к ML не имеют. Но они используются.

[Larsonsager]

> При чем тут голосовая связь если речь идёт о расчёте маршрута?

В расчете маршрута никакого AI нет.

> "predictive models, forecasting, and optimization techniques" упомянутые в изначальном посте вообще никакого отношения ни к AI ни к ML не имеют

Совершенно верно. Никакого отношения к AI они не имеют, именно это я и написал. Никакого отношения не имеют, хотя тема называется "AI и наша жизнь и работа", а процитированный список предваряется ложным утверждением: Almost everyone who has a computer, smartphone, or other smart device is already using AI to make life easier: ....

[ystar]

нам до АИ, как Маску до Марса.
То что называется АИ на данный момент - это ML, а для АИ ещё даже теоретической базы нету, чтобы начать что-то делать.

[Lisa]

> При чем тут голосовая связь если речь идёт о расчёте маршрута?

В расчете маршрута никакого AI нет.

> "predictive models, forecasting, and optimization techniques" упомянутые в изначальном посте вообще никакого отношения ни к AI ни к ML не имеют

Совершенно верно. Никакого отношения к AI они не имеют, именно это я и написал. Никакого отношения не имеют, хотя тема называется "AI и наша жизнь и работа", а процитированный список предваряется ложным утверждением: Almost everyone who has a computer, smartphone, or other smart device is already using AI to make life easier: ....

Вы написали что никогда не слышали, а не что не имеет отношения к AI.
Но такие статейки действительно в основном пишут люди ничерта в теме не понимающие и просто нахватавшиеся модных слов.

[Larsonsager]

Я написал, что никогда не слышал о Waze, и это правда.

[tessob]

Ого! Вот это вы меня озадачили ! Точнее сказать "подзадорили". Это что при всей популярности этого дела в наши дни развестистые Machine Learning так и не могут даже толком сделать хорошую аппроксимацию ? Или это именно с sales такая петрушка ?
Хотя может я вас не совсем хорошо поняла ?

Ну как вам сказать, всякие SAP, SPSS, Rapid Mainer существуют значительно дольше, чем длится текущий хайп машинного обучения. Практически все кроме сверточных сетей и градиентного бустинга было опробовано еще 10-15 лет назад. Сами алгоритмы не новые, просто многие о них только недавно впервые узнали. Кроме того, если вы заметили, то хайп хайпят сами дата сайнтисты, а не представители реального бизнеса. На практике проблема в том, что данные просто не содержат сигнала, и там уже на какой объем данных ноль не умножай... Короче говоря, текущий хайп основан на вере в то, что это может заработать, а не на том, что это где-то заработало.

В случае сбыта куча своих нюансов. Если вы не кока-кола, то ассортиментные позиции в вашей линейка живут очень непродолжительное количество времени, а кроме того возникают акции и распродажи, меняется широта и/или глубина ассортимента и прочее, и прочее. Если же вы кока-кола, то у всех ваших клиентов есть либо дополнительная паллета на складе, чтоб дозабить холодильник, либо дежурный грузовичек с 10-12 паллет на борту, и вам машинное обучение вообще погоды не делает.

Где именно можно " взять модель, которая хорошо экстраполирует данные" ? Что есть "перепроизводство и недопроизводство" в данном случае ?

Модели можно взять в любых библиотеках. При выборе моделей важным может оказаться знание того на сколько хорошо модели экстраполируют и интерполируют данные. Например линейная регрессия будет одинаково посредственно и интерполировать и экстраполировать. Случайный лес будет очень хорошо интерполировать данные, но хреново экстраполировать. Если вы понимаете плюсы и минусы разных моделей, то вы можете построить свой ансамбль, чтоб скомпенсировать недостатки различных алгоритмов.

Перепроизводство и недопроизводство - это суть ошибки первого и второго рода. Только для того, чтоб идти к бизнесу и показывать модель, вам нужно идти с результатом выраженным в деньгах, а не в неких ROC/AUC/R^2.

[Сабина]

секундочку! текущий хайп основан на том что теперь в придачу к основным данным, которые всегда считали необходимыми и достаточными для анализов и предсказаний, теперь еще есть куча supplemental data, которая позволяет много чего «улучшить и углУбить». моя мысль именно в этом - пробежаться по warehouse и накидать в суп «пару десятков новых ингридиентов».

[tessob]

секундочку! текущий хайп основан на том что теперь в придачу к основным данным, которые всегда считали необходимыми и достаточными для анализов и предсказаний, теперь еще есть куча supplemental data, которая позволяет много чего «улучшить и углУбить». моя мысль именно в этом - пробежаться по warehouse и накидать в суп «пару десятков новых ингридиентов».

Сабина, мой вам совет - попробуйте себя в биржевой торговле. Там реально куча данных. Можете туда еще своих две-три таких же кучи добавить. Как что-то выгорит, мы про вас из газет узнаем.

[alex_127]

Я с прогнозами уже как четверть века назад завязал. Там на самом деле предикция менее важна, но есть куча правил - ну на пример что часто покупают комплектом но идущее как отдельные позиции, ограниченный объём доставки и много-много всего. Короче моя работа позиционировалась не как "мы всех вас железкой заменим" а скорее "вот вам предложение с обоснованием почему оно так сделано, а вы теперь крутите ручки". Надежда мл в таких местах это что все эти правила будут учтены моделью без необходимости иметь их явно. Минус - Вы не можете понять как она работает и изменить модель в конкретном месте (менять можно все ели ничего).

Но в целом AI нас всех скоро окучит. К примеру я уверен что весь л1 суппорт перейдёт на машины в течении следующих 5 лет.