Machine Learning again

[Физик-Лирик]

Да нуууу... Как-то однобого и слишком узко смотрите. Сейчас к людям нужно помягше, а на вопросы смотреть ширше

Увы, смотрю, как оно есть на самом деле. Данных сейчас действительно очень много. Но это автоматически не означает, что все знают, что с ними делать, а самое главное, как. А технических моментов тоже куча, что и делает эту область очень привлекательной и интересной.

[Сабина]

Ну так я о том и говорю. Сиквелщики теперь "ученые", собиратели данных и построители моделей. Просто я так хорошо выражаться не умею.
Другая беда - вся наука сводится к "знанию" Р. Вот и вся предиктив аналитикс. Помноженное на непонимание менеджментом, нафига это все нужно, когда и так работает.

Да нуууу... Как-то однобого и слишком узко смотрите. Сейчас к людям нужно помягше, а на вопросы смотреть ширше

Вон народ на БАКе, когда частицы гоняете, за одну секунду собирает столько инфы (raw data), что её не в один кластер оракл не засунешь и не обработаешь потом. Да и данные о нужных столкновениях не сиквельными запросами "вытягиваются", там ML алгоритмы в полный рост. Туда даже Яндекс пытался влезть с их фермой по обработке данных, но я не знаю чем это кончилось. У меня даже где-то видео было с коротенечким рассказом чё там и как... Сейчас попробую найти... [минут через 10ть] Не, не могу найти. Но там чувак такой сидит и рассказывает об инфраструктуре БАКа, и как они там считают.

А вы говорите сиквельщики, собиратели данных, постротели моделей... Главное хвост! Big Data

Согласна. Это уже давно элитная порода тех кто бигдата низводить и курощать умеет . Просто сиквельщики и базовики это bare minimum

[Физик-Лирик]

Согласна. Это уже давно элитная порода тех кто бигдата низводить и курощать умеет . Просто сиквельщики и базовики это bare minimum

С этого места про низводителей и укрощателей поподробнее пожалуйста.

[Sergunka]

Согласна. Это уже давно элитная порода тех кто бигдата низводить и курощать умеет . Просто сиквельщики и базовики это bare minimum

С этого места про низводителей и укрощателей поподробнее пожалуйста.

Классика жанра

[Deckel]

Классика жанра это "бигдата как teenage секс", все гооворят о нем, но мало у кого есть А укрощение это что-то новенькое.

[Prosche]

Прочла сегодня в БАРТе рекламку и поняла почему меня КредитКарма всегла записывает в "х...е заёмщики", в то время как тот же Минт говорит что лучше меня нету .
Рекламка на стене гласила "I apply machine learning to make credit more human...." И подпись какого то индуса-инженера из Кредит кармы. Ну а че все правильно - потеряй я работу и все мои скоры, которые может и высокие по подсчетам агенств в течении последних 10+ лет , полетят к чертовой матери.
Получается machine learning - это вам не просто так

А карма разве делает какую-то аналитику? У меня она просто транслирует скоры агенств.

[Сабина]

Прочла сегодня в БАРТе рекламку и поняла почему меня КредитКарма всегла записывает в "х...е заёмщики", в то время как тот же Минт говорит что лучше меня нету .
Рекламка на стене гласила "I apply machine learning to make credit more human...." И подпись какого то индуса-инженера из Кредит кармы. Ну а че все правильно - потеряй я работу и все мои скоры, которые может и высокие по подсчетам агенств в течении последних 10+ лет , полетят к чертовой матери.
Получается machine learning - это вам не просто так

А карма разве делает какую-то аналитику? У меня она просто транслирует скоры агенств.

Так я про то и пишу, что долго не понимала почему они мне скор выдают на порядки ниже чем все агенства. Оказывается у них свой метод подсчета - аналитический (согласно рекламе)

[Сабина]

Согласна. Это уже давно элитная порода тех кто бигдата низводить и курощать умеет . Просто сиквельщики и базовики это bare minimum

С этого места про низводителей и укрощателей поподробнее пожалуйста.

Для этого надо поработать на этих технологиях и в соотвествующем коллективе, где собрались люди с разным уровнем знаний. Поверьте крутой сиквельщик и базовик без скажем интуиции функционального программирования или понимания как работет дистрибутивный процессинг,мультитреддинг может смотреться весьма бледно

[Физик-Лирик]

Так я про то и пишу, что долго не понимала почему они мне скор выдают на порядки ниже чем все агенства. Оказывается у них свой метод подсчета - аналитический (согласно рекламе)

На мой взгляд все эти методы лишены смысла, если не ясно, что они выражают. Во-первых, счет должен выражать вероятность некоторого события, например, банкротства или пропуска платежи (или единица минус эта вероятность), например счет 0.1 (или 0.9) имеет смысл. Когда я вижу счет как трехзначное число, абсолютно не ясно, как его интерпретировать. Во-вторых, если мой счет с 0.1 понизился до 0.05 (или с 0.9 повысился до 0.95) я понимаю процесс. Если мой счет повысился от одного трехзначного числа к другому, мне даже не ясно, является ли шкала линейной. Похоже любовь к большим цифрам завулировала всю идею счета.

Для этого надо поработать на этих технологиях и в соотвествующем коллективе, где собрались люди с разным уровнем знаний. Поверьте крутой сиквельщик и базовик без скажем интуиции функционального программирования или понимания как работет дистрибутивный процессинг,мультитреддинг может смотреться весьма бледно

Трудно не согласиться.

[Сабина]

Кстати - вот мой самый любимый machine learning example
Все работает на AWS Kinesis ( альтернатива Kafke)
Компания Sushiro - use case is described in video - https://www.youtube.com/watch?v=lkRoQlh ... 121.052322" onclick="window.open(this.href);return false;

Суть в том что они помещают sensor на каждую sushi тарелку and keep track of what was on plate, when plate was taken off the carousel, etc etc.
В обшем 100% держат руку на пульсе рынка своего продукта

Вот это я понимаю - big data i machine learning

Screen Shot 2016-02-16 at 8.53.12 PM.png

[Физик-Лирик]

Видео пока не посмотрел, но думаю используют Market Basket Analysis и/или Recommenders. Если так, то чистый Machine Learning.

[Сабина]

Так я про то и пишу, что долго не понимала почему они мне скор выдают на порядки ниже чем все агенства. Оказывается у них свой метод подсчета - аналитический (согласно рекламе)

На мой взгляд все эти методы лишены смысла, если не ясно, что они выражают. Во-первых, счет должен выражать вероятность некоторого события, например, банкротства или пропуска платежи (или единица минус эта вероятность), например счет 0.1 (или 0.9) имеет смысл. Когда я вижу счет как трехзначное число, абсолютно не ясно, как его интерпретировать. Во-вторых, если мой счет с 0.1 понизился до 0.05 (или с 0.9 повысился до 0.95) я понимаю процесс. Если мой счет повысился от одного трехзначного числа к другому, мне даже не ясно, является ли шкала линейной. Похоже любовь к большим цифрам завулировала всю идею счета.

Мне кажется у них ( например Кредит Кармы и Минта) разный подход к теме:). Ну а у кредитных бюро вообще третий и поэтому полярно разные результаты. Минт он вообще слегка "тупой" в том смысле что полагается толькл на картину мира которую вы ему создали ( сводит балансы только между теми счетами что вы там завели). И там может запросто получится что например во время перефинансирования у вас заведенный в Минте моргидж закрыт, а нового лендеоа вы еще не знаете. В итоге ваш networth прыгает до 800 и credit score тоже примерно туда же . Параллельно агенства грустно репортят ваши 750 уже полгода как. А Кредит Карма кмк немного пооперативнее агенств и быстрее реагирует на увеличение кредитного баланса и запросы , то есть она к полученной от всех агенств информации добааляет еще какие то свои собственные данные и у них скор уже может быть 720 запросто. Зато стоит выплатить баланс - и они первыми вверх побежали.
Я где то так себе обьясняю эту разницу, помлелние года два вроде все совпадает

[Wolverene]

А кто подскажет с чего начать учиться знаниям о нейронных сетях? А то да - есть тот же caffe.berkeleyvision.org, http://www.tensorflow.org" onclick="window.open(this.href);return false; - но это подразумевает уже имеющийся базис. А вот что почитать для начала по теории, чтобы не было устаревшим относительно текущих реалий? Если кто занимается, буду очень благодарен за ссылки...

[Deckel]

Hastie - Elements of Statistical Learning. И вторая там его книжка есть.

[Deckel]

А, да, моя книжка о Machine learning в общем, а не только о нейронных сетях.