Что стреляет лучше по баблу Spark или ML?

[Мальчик-Одуванчик]

А я не первый раз слышу что основные сложности связаны именно со сбоорм данных

Думаешь мекс понимает зачем нужно сдувать листья с луж во время дождя или немного погодя?

[Физик-Лирик]

обычный etl в случае бигдата не совсем обычный. впрочем и обычный немало времени занимает

Безусловно, ЕТЛ - важная часть любой работы, и там много своих подводных камней. Поэтому и существует разделение труда для дейта инженеров и ученых (те, кто модели строит). Конечно, между ними есть "пересечения". Ученые сами обрабатывают данные, но скорее уже в "конечной таблице", а вот эту самую "таблицу" им инженеры по данным и подготавливают обычно из разных источников. Причин для разделения труда несколько. Основная - ЕТЛщики не умеют, а ученые не хотят заниматься другими вещами. Если следовать данной классификации, я очень сомневаюсь по поводу приведенной выше цифре относительно времени. Хотя задачи, конечно, разные бывают. Одна из задач ученых - донести до бизнеса, что они делают. А это может стать большой проблемой в силу непонимания бизнесом, что происходит. Поэтому в такой момент на первый план и выходит квалификация ученого. А если такой ученый строит модели путем вызова функции с известным ему названием (например, линейная регрессия), хорошего не жди. Далее - интерпретация результатов. Типа две кривые не совпадают, значит результаты разные. Про т-тесты, лог-ренк, кай большинство понятия не имеет. Именно здечь и причина в хорошем знании математики. А если бы вы слышали "научные" перлы, которые нередко на митингах проскакивают. Благо кроме пары человек маразма происходящего никто не замечает. А потом перл и замять можно.

[Физик-Лирик]

А я не первый раз слышу что основные сложности связаны именно со сбоорм данных

Думаешь мекс понимает зачем нужно сдувать листья с луж во время дождя или немного погодя?

На этот вопрос уже ответил Эдуард Бернштейн очень много лет назад. Пероводя на современный язык - главное бабло срубить, а остальное (результат) не важно. А вообще принципы типа пускания пыли в глаза и навешивания лапши на уши - очень полезные в современной работе.

[Сабина]

А я не первый раз слышу что основные сложности связаны именно со сбоорм данных

Думаешь мекс понимает зачем нужно сдувать листья с луж во время дождя или немного погодя?

Если он понимает и более того в один день придумает машину, которая это все делает в разы лучше и быстрее, то из него может полуится Илон Маск . А мекс или кто - дело десятое

[Sergunka]

Если хотите взять быка за рога, то разбирайтесь в deep learning:
https://www.coursera.org/specializations/deep-learning

Я уже вписался в этот курс. Хотелось бы за бабосы поговорить?

По спарку сейчас гоняем связку кашка-спарки-кассандра

Сегодня сделал сертификацию по первому курсу на четыре недели. Очень толковый курс с правильным подходом.

[Мальчик-Одуванчик]

А я не первый раз слышу что основные сложности связаны именно со сбоорм данных

Думаешь мекс понимает зачем нужно сдувать листья с луж во время дождя или немного погодя?

Если он понимает и более того в один день придумает машину, которая это все делает в разы лучше и быстрее, то из него может полуится Илон Маск . А мекс или кто - дело десятое

Может хоть Маск додумается что нефиг сдувать листья в дождливую погоду.