Что стреляет лучше по баблу Spark или ML?

[mskmel]

Еще было б интересно знать, что у вас за компания, чтобы примерно понимать, куда по вашему мнению подходят кандидаты по перечисленным выше критериям.

Это не моя компания, это выдуманные ситуации для иллюстрации примера
Вот только не надо, что везде и всюду набирают только гениев! А потом у эппла два раза клик и можно без рута ходить. Само собой, в создании Shellshock только гении участвовали.
У всех есть пробелы в знаниях, всем рано или поздно приходится сталкиваться с тем, с чем раньше не работали. Важно умение решать возникшие задачи, а не выученная наизусть документацию и ответы на вопросы сертификационных экзаменов. Полно мест, где умеющий нормально общаться и любознательный отличник, лучше заносчивого гения.

[Мальчик-Одуванчик]

Полно мест, где умеющий нормально общаться и любознательный отличник, лучше заносчивого гения.

Любознательный отличник в наше время большущий дефицит.

[Сабина]

вот еще тебе Сергунька немного про ML от https://www.udemy.com/user/mikewest2/

Ну да, ну да. Неужели водитель-профессионал ничем не отличается от любителя даже с большим стажем? Ну не верю.
Вон понабежали программисты в дейта сайнс и всю великую идею испоганили. Вот и рассуждаем теперь, почему программисту не нужна математика. А что еще остается? Поэтому бизнес с таким недоверием к науке и относится. Сам только языком чесать умеет, да еще и с доморощенными дейта сантистами общается. В результате - полный бред.

А у меня от его статьи наоборот сложилось впечатление что "программисты понабежали" это про программистов, которым надоело программировать и они надеялись, подавшись в data scientists, "чинно и важно" строить модели .. а там, протите оказалась полная ж... 70% времени уходит на ту же самую подготовку данных, то бишь старомодный скорбный программерский труд

[Сабина]

Полно мест, где умеющий нормально общаться и любознательный отличник, лучше заносчивого гения.

Любознательный отличник в наше время большущий дефицит.

Лично меня вообще мало пашет гений он или отличник. Надо чтобы человек разделил труд с командой, и как бы четко понятно что он должен знать для этого. А отличник он или гений - дело десятое. Если не знает - то зачем он нужен ? Еще и на роль senior enginner ? Менеджмент врое бы не просил им замену " покомандовать парадом"

[mskmel]

Лично меня вообще мало пашет гений он или отличник. Надо чтобы человек разделил труд с командой, и как бы четко понятно что он должен знать для этого. А отличник он или гений - дело десятое. Если не знает - то зачем он нужен ? Еще и на роль senior enginner ? Менеджмент врое бы не просил им замену " покомандовать парадом"

skip, next, он ВАМ не подходит, т.е. Вы не знаете как его задействовать. Ничего в этом плохо нет.

[voyager3]

История... на предмет какие перцы ходят на интервью на Senior Big data Engineer...
Пришел один позавчера. В резюме какие то жуткие страсти: сто, ceo, machine learning, data science, стенфорд ... короче прячься кто может. Первые минут пять рассказывал как он продал один из своих стартапов ораклу. Потом пытался начать "мне вопросы задавать", но я его успешно заткнула и перешла к технической части.
Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.
Есть же такие отчаянные

Лично я не совсем понимаю, зачем бывшие сто хотят работать простыми инженерами. Может и альтруизм, а может и жизненные обстоятельства текущего момента. Но еще больше я не понимаю, как нанимающая сторона наивно надеется, что такой человек действительно собирается работать инженером.
А в чем разница между машобучем и дейта сайнсом в понимании вашей конторы? Может человек - великий математик, а тут его как рыбу об лед всякими спарками. Как все у вас в конторе приземлено. Почему интервьюируему нельзя вопросы задавать интервьюирующей стороне? Ведь по ним хорошо видно, насколько вменяем кандидат. У нас в школе за хорошие вопросы отличные оценки ставили. Скучненькие какие-то интервью.

Дык легко. СЕО и СТО человек мог быть в стартапе "Я и Вася". Как сэкономленные на завтраках деньги закончились - обратно в реальность.

[Сабина]

История... на предмет какие перцы ходят на интервью на Senior Big data Engineer...
Пришел один позавчера. В резюме какие то жуткие страсти: сто, ceo, machine learning, data science, стенфорд ... короче прячься кто может. Первые минут пять рассказывал как он продал один из своих стартапов ораклу. Потом пытался начать "мне вопросы задавать", но я его успешно заткнула и перешла к технической части.
Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.
Есть же такие отчаянные

Лично я не совсем понимаю, зачем бывшие сто хотят работать простыми инженерами. Может и альтруизм, а может и жизненные обстоятельства текущего момента. Но еще больше я не понимаю, как нанимающая сторона наивно надеется, что такой человек действительно собирается работать инженером.
А в чем разница между машобучем и дейта сайнсом в понимании вашей конторы? Может человек - великий математик, а тут его как рыбу об лед всякими спарками. Как все у вас в конторе приземлено. Почему интервьюируему нельзя вопросы задавать интервьюирующей стороне? Ведь по ним хорошо видно, насколько вменяем кандидат. У нас в школе за хорошие вопросы отличные оценки ставили. Скучненькие какие-то интервью.

У меня есть знакомые, которые имели громкие титулы в конторах "рога и копыта". Но в какой то момент "кушать надо всем" и если контора разваливалась, то им приходилось обратно в workforce. Думаю у товарища похожий случай. Только он хочет на "былой славе" вьехать в рай. Но у нас не рай всяко - пущай ищет дальше

[Физик-Лирик]

А у меня от его статьи наоборот сложилось впечатление что "программисты понабежали" это про программистов, которым надоело программировать и они надеялись, подавшись в data scientists, "чинно и важно" строить модели .. а там, протите оказалась полная ж... 70% времени уходит на ту же самую подготовку данных, то бишь старомодный скорбный программерский труд

Я уже неоднократно высказывал свое мнение по поводу самого термина "дейта сайнтист". Понятное дело, был хороший маркетинговый ход, который некоторым пошел на пользу (тем, кто действительно хотел науку из данных извлекать, а не просто квериз гонять). В результате толпы сиквельщиков и программистов стали "учеными" . Сейчас ситуация несколько меняется. Наконец то разделяют на инженеров по данным и инженеров по машобучу. Последние собственоо и есть реальные дейта сайнтисты. Ничего не имею против инженеров по данным. Очень нужная дисциплина, требющая высокой квалификации. Но не надо их называть учеными.
Безусловно, моделирование требует программирования. Это просто неотемлемая часть работы. Не знаю, откуда взялись цифры о времени на подготовку данных. Тут все очень зависит. Чтобы "чинно" строить модели, надо понимать, как они работают и для чего их используют. А вот здесь у новоиспеченных ученых полный, извиняюсь, отстой. Знаете здешнюю байку, что студенты могут брать производные, но не знают определения оной. Так вот с дейта сайнсом тоже самое. На интервью красиво вещают, как они чего моделировали. Начинаешь основы спрашивать (типа, а почему так делали, а почему так не попробовали, базовые определения), все, кранты. А потом они с бизнесом разговаривать пойдут, типа задачи их решать. Ни они, ни бизнес толком ничего сформулировать не могут. Отсюда у бизнеса и сомнения, а нафига нам тут вся эта наука. Гадали на кофейной гуще, так и будем гадать. Поэтому я говопю, что все эти новоиспеченые непрофессионалы всю идею и поганят.
Кстати, непонимание сути дейта сайнс везде. Тут вот с рекрутерами общаюсь. Задают вопросы, а ты типа прраммировать умеешь.

[Сабина]

Не знаю, откуда взялись цифры о времени на подготовку данных.

В смысле ? Статью же обсуждаем ...

Reality: A recent Kaggle poll found that most machine learning is cleaning dirty day. Most respondents, regardless of their position (machine learning engineer, data scientist) said that 70% of their day involved massaging data into a shape it could be modeled.

[Мальчик-Одуванчик]

Ну так привести данные в потребный вид - как раз работа для дата аналитиков из бывших программистов.
А строить модели должны те кто в этом разбирается и как минимум имеет соответствующее образование.

[Физик-Лирик]

Не знаю, откуда взялись цифры о времени на подготовку данных.

В смысле ? Статью же обсуждаем ...

Я как раз ее и имею в виду.

[Сабина]

Не знаю, откуда взялись цифры о времени на подготовку данных.

В смысле ? Статью же обсуждаем ...

Я как раз ее и имею в виду.

А я не первый раз слышу что основные сложности связаны именно со сбоорм данных

[Физик-Лирик]

Ну так привести данные в потребный вид - как раз работа для дата аналитиков из бывших программистов.
А строить модели должны те кто в этом разбирается и как минимум имеет соответствующее образование.

Совершенно верно. Поэтому назовем первых инженерами данных, а вторых учеными или инженерами по машобучу (что уже делается). А вот называть всех поголовно дейта сайнтистами Еще один прикол современности - инженер по AI. Рекрутеры нашли моду спрашивать, а ты занимаешься этим самым АИ? Ну, да, только им родимым и занимаюсь. Куда ж без него. Вот прям АИ-АИ весь день.

[Физик-Лирик]

Не знаю, откуда взялись цифры о времени на подготовку данных.

В смысле ? Статью же обсуждаем ...

Я как раз ее и имею в виду.

А я не первый раз слышу что основные сложности связаны именно со сбоорм данных

Сложности чего? И что имеется в виду под сбором данных? В большинстве случаев т.н. сбор данных - обычный ЕТЛ. Конторы же свои данные, как правило, используют. И сложности т.н. сбора данных связаны именно с бардаком в хранении этих данных. Никакого отношения к науке.

[Сабина]

обычный etl в случае бигдата не совсем обычный. впрочем и обычный немало времени занимает