Из ревью на эту книгуDeckel wrote:Hastie - Elements of Statistical Learning. И вторая там его книжка есть.
Я думаю, что это очень верный совет: мне пришлось с "refreshment" курса по линейной алгебре начать.don't bother reading this book if you aren't willing to learn at least the basics of linear algebra first
Плюс констрейнт оптимизейшенblanko27 wrote:Из ревью на эту книгуDeckel wrote:Hastie - Elements of Statistical Learning. И вторая там его книжка есть.Я думаю, что это очень верный совет: мне пришлось с "refreshment" курса по линейной алгебре начать.don't bother reading this book if you aren't willing to learn at least the basics of linear algebra first
, дуал проблем. А так, книга очень хорошая, одна из моих настольных. Вторую ещё не читал, но планирую купить.
Так вы Мастера в математике получили или в процессе?Снежная Королева wrote:Я копаю в ширину, Extreme Value Theory, special stochastic processes. Из практического хочу освоить shiny и делать dashboards в виде web apps, а то весь front end в Excel, я его ненавижу.
если это БД, то я тогда балеринаСабина wrote:Кстати - вот мой самый любимый machine learning example
Все работает на AWS Kinesis ( альтернатива Kafke)
Компания Sushiro - use case is described in video - https://www.youtube.com/watch?v=lkRoQlh ... 121.052322" onclick="window.open(this.href);return false;
Суть в том что они помещают sensor на каждую sushi тарелку and keep track of what was on plate, when plate was taken off the carousel, etc etc.
В обшем 100% держат руку на пульсе рынка своего продукта
Вот это я понимаю - big data i machine learning
А какая у вас линейка БД или не БДDropAndDrag wrote:если это БД, то я тогда балеринаСабина wrote:Кстати - вот мой самый любимый machine learning example
Все работает на AWS Kinesis ( альтернатива Kafke)
Компания Sushiro - use case is described in video - https://www.youtube.com/watch?v=lkRoQlh ... 121.052322" onclick="window.open(this.href);return false;
Суть в том что они помещают sensor на каждую sushi тарелку and keep track of what was on plate, when plate was taken off the carousel, etc etc.
В обшем 100% держат руку на пульсе рынка своего продукта
Вот это я понимаю - big data i machine learning
пипец, да и только
? Вот у нас типа тоже фигня - собираем статистику по рекламным компаниям с разных соушал медиа для своих клиентов. И не часто собираем кстати, что то раз в час, что то даже реже. Но количество данных приходится колбасить немалое, в той же Кафке 500 partitions задействованы при сборе. Посчитали на днях throughput для проекта по мигрвции на Kinesis, получилось about a billion of records per month . Причём record - это строго говоря message, может быть json объектом 4-20 KB. Ну и где в не БД компании столько данных умудряются собирать, обрабатывать, анализировать и хранить для online транзакций ?
а для восстановления будет нужна куча бабла, длительное время ожидания из-за высокой радиации, что тоже в итоге выливается в бабло ... Средние значения записываются все, а иной раз и весь сигнал. А теперь приделайте свою БеДу 
(я потом напишу сколько и как использовались компьютеры)Бигдата дата меряется цифрами и очень конкретно - в bytes and bytes per second. Ваш пример сдатчиками не содержит этой информации потому что издаваемый ими сигнал должен регистрироваться какой то системой, а про неё ничегошеньки неизвестно, наверное есть вебсокеты, а вот например как записываются показания ? Timestamp-value ? Куда? В логи ? Потом куда? Сколько основная data pipeline компонента пропускает в секунду и все такое прочее. А дальше тарелки это или датчики или веб запросы или хня малиновая - не так уж и важноDropAndDrag wrote:да нету у меня никакой БД и в примере с тарелками она не особо то и нужна.
вышла тарелка на конвейер, отследили, что ее взяли. реально какая информация может быть интересна с этой тарелки?
1. сколько одинаковы блюд бегает по конвейеру - БД не нужна
2. сколько каждая тарелка бегает и если старая, то пора в помойку - БД не нужна
3. приготовит счет для клиента - БД не нужна
4. сколько продали каждых блюд и может быть с какой частотой за год, ну другой - информации практически 0.
приведите еще информацию, которая может понадобиться.
и вообще ну что такое биллион records per month - это большой throughput?
а вот давайте-ка я другой пример приведу. 400 датчиков, каждый выдает 2 сигнала по 400 floats с частотой 60 HZ. Понятно что ни один сигнал не должен потерятся, кроме того строго в промежутках между измерениями делаются простецские операции. Все сигналы обрабатываются и в случае чего выключается система - ибо может жахнуть хорошо
Extreme Value Theory - как на этом деньги зарабатывать, есть уже конкретные применения так чтобы каждый месяц денюжка капала?Снежная Королева wrote:Я копаю в ширину, Extreme Value Theory, special stochastic processes. Из практического хочу освоить shiny и делать dashboards в виде web apps, а то весь front end в Excel, я его ненавижу.
Из последнего я думаю бустинг, дип лернинг, кернел методы.35ED wrote:Extreme Value, Weibull,Gumbel and similar long-tail distribution это все достаточно старые вещи. И point processes подавно. Интерсно может быть методы разработанные уже после 90х.
Fraud ProtectionKolbasoff wrote:А как звучат типичные бизнес-задачи, где используется биг-дата стэк и машинное обучение?