как живется data scientistам нынче?

[Frecken Bock]

Да наука-то правильная ( ДНК, их моделирование и куча еще всего, химия-биология-физика-математика - все в одном флаконе), да денюх не так уж много

[Физик-Лирик]

Да наука-то правильная ( ДНК, их моделирование и куча еще всего, химия-биология-физика-математика - все в одном флаконе), да денюх не так уж много

А может просто аппетиты большие? Я тут в свое время имел удовольствие пообщаться с "молодежью". Так у них такие запросы были, что хоть стой, хоть падай. Правда жизнь все на свои места расставляет, и розовые очки с пятой точки падают и вдрызг об землю. Случайно не тот случай или действительно мало?

Дайта сайнс очень популярен сейчас (биостатистика называется). Моделирование и анализ "Джин експрешенс". Как раз (очень) многомерные пространства, методы по уменьшению размерностей (типа проекций или принципиальных компонент). Да и "кернел" методы (типа суппорт вектор-машины) вовсю идут. Не знаю, насколько все это там интересно. Я в свое время работал по контракту в области "геномов". Было (действительно) очень интересно (даже эту толстую известную книгу про клетку читал). Да и сейчас на полке стоит книга про кернел методы в вычислительной биологии. Но я работал не как дейта сайнтист, а как настоящий сайнтист . Не знаю, стоит ли ребенка отговаривать. Да ну их деньги. Скукота одна. В конце концов, жизнь же не из одних денег состоит.

Самое смешное в том, что мне там постоянку предлагали. Но так как я в том момент уже променял настоящую науку на "повышенное благосостояние", я отказался. Пришлось ретироваться (похоже дорого я им обходился). Так что ребенок пока науку на деньги не променял, пусть в науке остается. Посмотрите на индустриальную науку. Там тоже может быть очень интересно, да и платить могут нормально.

[Frecken Bock]

Да наука-то правильная ( ДНК, их моделирование и куча еще всего, химия-биология-физика-математика - все в одном флаконе), да денюх не так уж много

А может просто аппетиты большие?

Разве что у меня. Хотелось бы, чтоб аппетит был бы побольше

Я тут в свое время имел удовольствие пообщаться с "молодежью".

Увы, уж давно не в ранге молодежи...

Не знаю, стоит ли ребенка отговаривать.

Да я только здесь на форуме жужжу. Уговорить или отговорить на что угодно - не в моих силах.

Да ну их деньги. Скукота одна. В конце концов, жизнь же не из одних денег состоит.

Вот-вот, это похоже, близко.

[KotKot]

Кто-нибудь может ламерским языком объяснить что такое ETL? Википедию читал, но там довольно размытое определение.

Можете привести конкретные примеры работы ETL и отличия от Data Analysis?

[BronenosezPotemkin]

Кто-нибудь может ламерским языком объяснить что такое ETL? Википедию читал, но там довольно размытое определение.

Можете привести конкретные примеры работы ETL и отличия от Data Analysis?

ETL - это в основном перегонка данных с одного места на другое (файлов, баз данных и т.п.). По дороге их можно обработать и преобразовать в нужном виде. Применяются разные tools, например SQL Server Integration Services (SSIS), Data Stage, Информатика... Data Analysis -это типа более высокая ступень, связанна больше со статистикой. В одном банке, где я работала, один такой мужик какие-то модели на SAAS гонял, что он там делал, история умалчивает.

[Физик-Лирик]

Кто-нибудь может ламерским языком объяснить что такое ETL? Википедию читал, но там довольно размытое определение.

Можете привести конкретные примеры работы ETL и отличия от Data Analysis?

ЕТЛ - это часть анализа данных (или дейта сайнса). Грубо говоря так. Хранение данных в виде "таблиц" (и не только), подготовка нужной инфы в виде финальной "таблицы", фильтрация данных, чистка данных и т.п. - это все ЕТЛ. Короче, гоняете квериз на подходящем языке.
Машинное обучение, статистический анализ и прогнозирование - это применение математических методов для нахождение внутренних структур ("паттернс") данных с целью решить поставленную бизнес (или научную) задачу. Прогнозирование - это анализ паттернс, чтобы "вычислить" новые "точки". Собственно это супервайзд машинное обучение и временные ряды. Понятно, что "математика" требует данных, так что ЕТЛ - неотъемлемая часть "науки". Да и на основе квериз можно делать "выводы и прогнозы". В общем все взаимосвязано. В настоящее время основной интерес - это погонять квериз для больших данных или забацать алгоритмик. Если первое, то ЕТЛщик, если
второе, то "статистик", специалист по маш. обучению, "предсказатель". Однако сейчас гламурненько называть все это дейта сансом.

[KotKot]

А как называется человек, который pulls data для себя, потом выполняет простые арифметические действия с данными и иногда, если нужно, использует статистический анализ, но не machine learning?

То есть, конечный результат это не чистая таблица данных для других, а insights and recommendations на основе анализа?

[fruit6]

эээ, "дармоед"?

[KotKot]

Дармоеды это те, кто повыше по рангу. Чем выше, тем больше.

Хотя с точки зрения дворника да, Дармоед.

[Dweller]

Область хорошая и интересная, сижу в ней больше 10 лет.
Основные преимущества пожалуй это то что можно упражнять мозги интересными вещами за казенные деньги, плюс почти полное отсутствие продакшна со всеми вытекающими т.к. все происходит в оффлайне. Если продакшн и есть то не customer facing а обработка данных.
Анализировать данные можно в разных целях
1) для улучшения продукта или создания нового продукта
2) для аналитических услуг своим клиентам
Знание как работают распределенные системы нужно т.к. данные идут оттуда. Нужно хорошее знание статистики. Кодировать тоже нужно уметь но архитектить большие системы не надо
В общем должен быть довольно большой набор разнообразных скиллзов
В больших компаниях скорее всего можно сидеть в R, python, и запускать готовые библиотеки на одном компе на небольших данных

[Физик-Лирик]

Дармоеды это те, кто повыше по рангу. Чем выше, тем больше.

Хотя с точки зрения дворника да, Дармоед.

Думаю, что описанная выше должность называется дейта аналист (ака дейта сайнтист).
Сейчас если хотя какие данные манипулируешь - значит дейта сайнтист.

[Физик-Лирик]

Область хорошая и интересная, сижу в ней больше 10 лет.
Основные преимущества пожалуй это то что можно упражнять мозги интересными вещами за казенные деньги, плюс почти полное отсутствие продакшна со всеми вытекающими т.к. все происходит в оффлайне. Если продакшн и есть то не customer facing а обработка данных.
Анализировать данные можно в разных целях
1) для улучшения продукта или создания нового продукта
2) для аналитических услуг своим клиентам
Знание как работают распределенные системы нужно т.к. данные идут оттуда. Нужно хорошее знание статистики. Кодировать тоже нужно уметь но архитектить большие системы не надо
В общем должен быть довольно большой набор разнообразных скиллзов
В больших компаниях скорее всего можно сидеть в R, python, и запускать готовые библиотеки на одном компе на небольших данных

Основная проблема в том, что за такое время все алгоритмы будут уже выученными и становится непонятным, что делать дальше в смысле собственного развития. Остается одно - менять сами бизнес задачи. А для этого надо прыгать из отрасли в отрасль или хотя бы из конторы в контору. Скукота короче. Помогают новые дистрибутивные технологии, особенно сейчас. Но это тоже скоро пройдет. В этом плане лучше не дейта сайнс, а мат. моделирование в широком смысле. Там и маш. обучение, и статистика, и прогнозирование, и диффуры, и ряды. Там есть чем скуку снять. А так только в бизнес аналистов остается формулами плеваться. Забавно, конечно, но тоже в конце концов надоест.

[Физик-Лирик]

У нас скука снимается тем, что все через ж и приходится извращаться. Типа сделайте нам прогноз потребления, но данные по клиентам мы вам не дадим, и последние данные по потреблению очень приблизительные, мы их меняем каждый день, а старые не храним. Прогноз должен выводиться на эту машину, но на ней нельзя ничего устанавливать, как будете туда закачивать прогноз - ваши проблемы. Командной строкой делать ничего нельзя, все забанено, библиотеки в питоне не устанавливаются, тк нет доступа. Качайте и дома и устанавливайте руками. И много, много таких дурацких моментов, которые отнимают 90 процентов времени. Но иногда бывает интересно обойти врага (IT).

Действительно, от такого не заскучаешь, а сразу в состоянии тоски войдешь. А вообще я давно удивляюсь (теперь уже нет), как определенные личности начальниками становятся. Описанный выше бардак есть тому наглядное подтверждение. Похоже бардак и начальники одинаковые на всех материках.

А что делать, если у начальства у самого пиэйчди в физике

Попытаться перенять опыт. Начальник со степенью, если только без выкидонов - это хорошо. У меня были такие.
Можно приятно о науке поговорить. А вот что делать, когда начальник с непонятным бакалавром из непонятно какого места? Вот тогда
тихий ужас. Нет, в принципе есть адекватные. Понимают, что ничего не понимают. Овертайм предложат, из дома поработать. Кайф просто. Но ведь есть и такие, которые не понимают, что ничего не понимают. Ведь говорят же, что не столь страшен ди...л, сколь активный ди...л.

[Физик-Лирик]

Я на идиотов начальников принципиально не работаю. Пока не выясню все credentials команды, на интервью вообще не иду. У всей команды должны быть masters in hard science как минимум, у начальника - PhD in hard science, и он должен быть белый австралиец. Только так будет покой, rational decision making и отсутствие мозгоклюйства. У нас даже у начальника моего начальника undergrad in maths, хоть он и не помнит ничего уже за 20 лет в бизнесе, но аналитиков уважает а если я вижу business/economics/MBA/engineering обычно ничего хорошего от такой работы.

Начальник может поменяться уже в процессе работы. Не всегда охота сваливать из-за этого. Да и на контракте по большому счету начальник не так уж важен. Все равно закончится. Собственно я больше на младший/средний менеджмент ссылался. К счастью, в определенный момент карьеры средний менеджмент становится уже по одному месту. Как правило, высший все-таки адекватен (иначе конторе капец). Ну а общение с бизнесом как-нибудь всегда налаживается.

[KotKot]

Cколько откладывал изучение R, а надо все же начинать. Загрузил R и RStudio, начал смотреть лекции вот этого курса
https://class.coursera.org/rprog-034" onclick="window.open(this.href);return false;

Впечатление от курса очень хорошее. От самого R по сравнению с SAS ом пока что тоже, хотя бы учитывая то, что не надо парить мозг с лицензиями и прочей ерундой, просто скачал и все.

Вопросы
-Если есть общий Data Science/Data Analysis background, сколько времени нужно учить R, чтобы на интервью можно было сказать "я знаю R" и в случае чего ответить на базовые вопросы?
-Какие еще посоветоуете источники по изучению сего продукта?
-Что еще можно выучить, чтобы максимально повысить свою привлекательность на рынке за достаточно короткий срок (скажем, несколько месяцев максимум)?