как живется data scientistам нынче?

[Сабина]

Ну вы не берете, другие берут pig/hive/Hadoop учится за месяц, это icing on the cake.

А не подскажете,случайно, где этот Хайв бесплатно скачать, чтоб "подхватить"?
Заодно и бамaпаю тему

Я могу подсказать онлайн классы где за относительно недорого $200-300с непрограммистом или программистом безо всякого big data background живые инструкторы будут возится по четыре часа каждую субботу и воскресение пока прочно не усвоите хадуп и весь его инструментарий и потом ещё месяц на Спарк. Там же есть какой то класс чисто для data scientists , с программками на R и питоне и даже какие то хакатон сессии где натаскивают на решение задачек чтобы проходить интервью на data scientist etc.

Классы читают индусы, то есть это не топ лист training, но вы после этого класса будете иметь твёрдый набор знаний и hands on skills, вас научат как все ставить, как писать программы , снабдят всем джентльменским набором. Контора эта имеет офис в Майнтен Вью, индусик один основал ( понятно дело), они каким то Макаром выбили партнёрство с IBM, то есть если за тот же класс доплатить немало денег будет и официальный сертификат от IBM, но это кмк трата денег.
Конечно можно все самому скачать, купить классов на Udemy ещё дешевле и самому учится, но лично мне это не всегда подходит. Времени критически не хватает, когда что то не идёт - приходится копается самой до упора, график свободный, вечно откладываешь на потом. А тут сядут и заставят и все разжуют, график несвободный . Если просто сидишь и слушаешь и делаешь за ним - за месяц basis covered. Я брала у них хадуп два года назад, только сейчас кончила курс по Спарку. Сначала раздражалась когда жевали азы по Скала и проч., но последние два выходных было весьма интересно - spark SQL, data frames , процессили живой стрим tweet-ов. Правда всю эту data scientist лабуду я у них не брала, мне не надо. Спарк то брала чисто для себя ( контора даже не оплатила ), просто хоть и Джава в основном, приходится править нередко и ETL на спарке/скале , а делать одну и ту же вещь неинтересно, захотелось побольше узнать и пойти наступить а пятки пацанам которые в этих spark apps по уши сидят

[KotKot]

Сабина, подскажите, пожалуйста, этот курс. Если на форуме не можете, то в личку.

[Сабина]

Сабина, подскажите, пожалуйста, этот курс. Если на форуме не можете, то в личку.

Могу конечно, кушать всем надо, просто ждала найдется ли хоть одно заинтересованное лицо или сразу полетит сами знаете что

Dezyre:

Hadoop - https://www.dezyre.com/Hadoop-Training-online/19" onclick="window.open(this.href);return false;
Spark- https://www.dezyre.com/apache-spark-sca ... -online/38" onclick="window.open(this.href);return false;
R - https://www.dezyre.com/data-science-in- ... raining/37" onclick="window.open(this.href);return false;
Python - https://www.dezyre.com/data-science-in- ... raining/36" onclick="window.open(this.href);return false;

Где на хакатоны записаться не нашла , но они всем участникам курсов предлагают, чтото вроде 20 в несяц, там чисто для тех кто хочет в Data Science

[KotKot]

Спасибо, посмотрю

[shokoladnitsaa]

Dezyre:
Hadoop - https://www.dezyre.com/Hadoop-Training-online/19" onclick="window.open(this.href);return false;
Spark- https://www.dezyre.com/apache-spark-sca ... -online/38" onclick="window.open(this.href);return false;
R - https://www.dezyre.com/data-science-in- ... raining/37" onclick="window.open(this.href);return false;
Python - https://www.dezyre.com/data-science-in- ... raining/36" onclick="window.open(this.href);return false;
Где на хакатоны записаться не нашла , но они всем участникам курсов предлагают, чтото вроде 20 в несяц, там чисто для тех кто хочет в Data Science

Спасибо, Сабина, тоже буду смотреть Hadoop .Хочу пока ограничиться Хадупом И Хайвом

[Сабина]

Dezyre:
Hadoop - https://www.dezyre.com/Hadoop-Training-online/19" onclick="window.open(this.href);return false;
Spark- https://www.dezyre.com/apache-spark-sca ... -online/38" onclick="window.open(this.href);return false;
R - https://www.dezyre.com/data-science-in- ... raining/37" onclick="window.open(this.href);return false;
Python - https://www.dezyre.com/data-science-in- ... raining/36" onclick="window.open(this.href);return false;
Где на хакатоны записаться не нашла , но они всем участникам курсов предлагают, чтото вроде 20 в несяц, там чисто для тех кто хочет в Data Science

Спасибо, Сабина, тоже буду смотреть Hadoop .Хочу пока ограничиться Хадупом И Хайвом

Make sense. Главное понимать последовательность:
Сначала был хадуп и весь его инструментарий, включая Hive. Они решали задачи как вообще справляться с Big Data
Но в какой то момент его перестало быть достаточно чтобы решать определённые задачи вроде streaming и появился Спарк. Спарк работает "поверху Hadoop технологий" (HDFS ), но это следующее поколение и вся аналитика сейчас в Спарке по самые уши. То есть знание Хадупа или того же Хайва нужны чисто для понимания основ.
Вот хорошая речь Матея с недавнего Нью Йорского Spark Summit, - https://www.youtube.com/watch?v=B4nSMzsuaQw" onclick="window.open(this.href);return false;
Он объясняет где в наше время Спарк и какие задачи решает.
В общем хадуп стоит освоить, как основу, а потом "быренько" Спарк учить

[x.angie]

Хочу пока ограничиться Хадупом И Хайвом

Не получится. Hadoop и Hive - это только части большой инфраструктуры Big Data. Там нужно всё рассматривать в комлексе.

Плюс, сейчас популрен real-time processing, когда данные молотятся в real-time, чего Hadoop не умеет. Поэтому, нужно смотреть и Spark (и его обвзяки) тоже. Что бы лучше понять Spark, возьмите какую-нибудь обзорную статью по Scala, будет лучше понятна концепция RDD, которая лежит в основе Spark. Статью по Scala и какой-нить high-level обзор по функциональщине.

Кстати, с последними новостями от бывш. Typesafe не понятна будущая судьба Scala, они были единственные кто двигал Scala как платформу в чёртов Enterprise. Так что скоро Scala маргинализируется, но Spark вроде бы переписывать не собираются (пока?).

[Физик-Лирик]

Кстати, с последними новостями от бывш. Typesafe не понятна будущая судьба Scala, они были единственные кто двигал Scala как платформу в чёртов Enterprise. Так что скоро Scala маргинализируется, но Spark вроде бы переписывать не собираются (пока?).

А я со Спарком как раз на Скале работаю. Что, теперь на Питон надо переключаться? А то я уже к Скале привык. Да и Спарковская библиотека по машинному обучению поддерживает Скалу. И с РДД на Скале с ее функциональным стилем неплохо работается. Все, кранты теперь?

[valchkou]

Кстати, с последними новостями от бывш. Typesafe не понятна будущая судьба Scala, они были единственные кто двигал Scala как платформу в чёртов Enterprise. Так что скоро Scala маргинализируется, но Spark вроде бы переписывать не собираются (пока?).

А я со Спарком как раз на Скале работаю. Что, теперь на Питон надо переключаться? А то я уже к Скале привык. Да и Спарковская библиотека по машинному обучению поддерживает Скалу. И с РДД на Скале с ее функциональным стилем неплохо работается. Все, кранты теперь?

переходите на что то более вечное - на java.
загнется скала, спарк на яву перепишут, без вариантов. Он и так частичто на яве написан.
Потому корпы и не любят всякие там скалы, руби, closure.
Сегодня в тренде, а завтра забухал ведущий евангелист и язык вместе с ним ушел в небытие.
Я как раз начал скалу изучать, но пока не проникся чем же она лучше той же java 8.

[x.angie]

А я со Спарком как раз на Скале работаю. Что, теперь на Питон надо переключаться? А то я уже к Скале привык. Да и Спарковская библиотека по машинному обучению поддерживает Скалу. И с РДД на Скале с ее функциональным стилем неплохо работается. Все, кранты теперь?

Сейчас пока мне сложно ответить на этот вопрос. По сути, Typesafe были единственные, кто серьёзно пытался продвинуть Scala и её инфраструктуру (Scala, Akka, Play, Typesafe Activator, etc.) в чёртовом Enterprise. То что мы читаем между строк (со Scala не получилось, сорян, но мы будет двигать reactive programming в Enterprise всё равно, с нашим framework переделанным под интеллектуальное большинство), говорит о том, в ближайшее время массовой Scala в Enterprise мы не увидим. Нет Scala в Enterprise -> нет бизнеса/денег -> нет развития. Будет какое-то такое себе развитие в рамках комьюнити, но о лозунге "Scala - в массы!" можно забыть. А жаль. По моему мнению, Scala - это лучшее что случилось на JVM платформе. Плюс, будем посмотреть на Dotty.

Я не думаю что в ближайшем будущем мы увидим Spark переписанный на Java, но в среднесрочной или долгосрочной перспективе - очень даже может быть.

В общем, я для себя записал сделать reality check через шесть месяцев, посмотрим куда это всё будет идти.

[x.angie]

Я как раз начал скалу изучать, но пока не проникся чем же она лучше той же java 8.

Да ничем она не лучше, не забивайте себе голову. Её придумали что бы честные Java программисты зря тратили время, вместо написания еще одного REST microservices <ультра-модный в вечер пятницы buzzword> framework.

[fruit6]

кто-нибудь видел скалу в настоящем ентерпрайзе? гиков которые готовы писать на чем угодно типа кложуре, лишь бы не жаба -- не в счет, много шума и понтов, мало черной икры на завтрак.

скалу учил, но за деньги не писал, сложилось впечатление что это кложуре дубль два - падение камнем вниз. как говорят: решает несуществующую проблему.
на кложуре писал, неудивительно что не взлетело.

[Kolbasoff]

много шума и понтов, мало черной икры на завтрак.

А это пять!! В загашник афоризмов, спасибо.

[Физик-Лирик]

кто-нибудь видел скалу в настоящем ентерпрайзе? гиков которые готовы писать на чем угодно типа кложуре, лишь бы не жаба -- не в счет, много шума и понтов, мало черной икры на завтрак.

скалу учил, но за деньги не писал, сложилось впечатление что это кложуре дубль два - падение камнем вниз. как говорят: решает несуществующую проблему.
на кложуре писал, неудивительно что не взлетело.

Я писал на Скале / Спарке только в связи машинным обучением (обработка данных, алгоритмы), а так же использовал ММлиб. В принципе мне нравится.

[Космос]

так что платят, дата сайнтисты ? Действительно больше чем в любых других областях IT? Да или нет и насколько ...только не надо писать "зависит от опыта", "зависит от штата" и прочую пустоту ни о чем.
На сколько - статистику в студию!

[Физик-Лирик]

так что платят, дата сайнтисты ? Действительно больше чем в любых других областях IT? Да или нет и насколько ...только не надо писать "зависит от опыта", "зависит от штата" и прочую пустоту ни о чем.
На сколько - статистику в студию!

Я могу только сказать по тем цифрам, которые я видел на сайтах работ, когда зарплату добавляют к описанию, и по разговорам с рекрутерами. На мой субъективный взгляд, платят в среднем так же как и девелоперам. Особо статистикой зарплат я не заморачивался. Так что я, честно говоря, не вижу особого смысла девелоперам становится Дейта сайнтистами в смысле денег. Просто в предиктив аналитику идут те, кто решил не связываться с академией. Одним из основным требованием на позицию Дейта сайнтиста, связанную с машинным обучением и статистикой, будет докторская степень или хотя бы мастер (предпочитают докторов). Для ЕТЛ Дейта сайнс достаточно бакалавра или мастера. Если есть желание перейти в область из соображений неденежного интереса - тогда другое дело.

[Космос]

а цифры каковы?
я наблюдаю что в калифорнии полно даже mid позиций для data science на140К и senior 200К, чего не скажешь о software development.

[Физик-Лирик]

а цифры каковы?
я наблюдаю что в калифорнии полно даже mid позиций для data science на140К и senior 200К, чего не скажешь о software development.

А цифры как раз от места и зависят.
А 140-200 для Кали - это больше или меньше чем для девелоперов? Мне кажется тот же диапазон. Похожие цифры видел для НЙ. Поменьше для Сиэттла. Но я детального анализа не проводил.

[Космос]

я думаю что это на порядок больше чем Software Development. Где вы видели 140К на mid в Cali

[KotKot]

я думаю что это на порядок больше чем Software Development. Где вы видели 140К на mid в Cali

В смысле, девелоперы получают 14 тыс в год?

[Космос]

KotKot, не ясно вы о чем, 140К в год написано же

[KotKot]

^Я надеюсь вы не Data Scientist?

[Космос]

Вы выражение "на порядок выше" только математически понимаете? Или у вас девелоперские чуства задеты? По причине или без причины ?

[flip_flop]

Подымаем тему. Прррогрррессивная даталогия настигла самые отсталые слои населения. Мы тоже набираем даталогов, даже мне в помощь дают интерна с прицелом в даталогию. Но есть один нюанс - сначала должен быть электронщиком и/или физиком, во вторую очередь сайпаем, а в третью уже даталогом. Впрочем, это внутри инженерных групп, как там на уровне бизнесов/шмизнесов - не знаю, может скрипач физик/инженер и не нужен вовсе, "настоящий даталог"™ не должен отвлекаться на такие мелочи.

Ну что ж, встретим цунами даталогии. "И сия пучина поглотила их в один момент" ©

[Физик-Лирик]

Подымаем тему. Прррогрррессивная даталогия настигла самые отсталые слои населения.

Так это хорошо, что настигла, или как? А физиков/электронщиков ищите - это потому что область такая?