Что стреляет лучше по баблу Spark или ML?

Где деньги?

Spark
5
6%
Spark
5
6%
ML
1
1%
ML
1
1%
Spark+ML
6
8%
Spark+ML
6
8%
Ты кто
10
13%
Ты кто
10
13%
Кто эти люди
17
22%
Кто эти люди
18
23%
 
Total votes: 79

User avatar
Sergunka
Уже с Приветом
Posts: 34164
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Что стреляет лучше по баблу Spark или ML?

Post by Sergunka »

Вполне возможно, что с января начнется оплачиваемый отпуск за счет работадателя на 60 дней хотелось бы с пользой провести время, чтоб не было мучительно больно за зря прожитые годы.
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Kolbasoff
Уже с Приветом
Posts: 3481
Joined: 02 Jan 2005 22:10

Re: Что стреляет лучше по баблу Spark или ML?

Post by Kolbasoff »

Это ж ортогональные понятия. ML в большинстве случаев это новое название курса "обработка результатов эксперимента", а Spark это тулза для потоковой/пакетной обработки данных. Для ML надо знать мат аппарат и стат тулзы и библиотеки, для Spark надо знать BigData stack.
Физик-Лирик
Уже с Приветом
Posts: 5106
Joined: 19 Oct 2004 01:46

Re: Что стреляет лучше по баблу Spark или ML?

Post by Физик-Лирик »

Kolbasoff wrote: 18 Dec 2017 03:56 Это ж ортогональные понятия. ML в большинстве случаев это новое название курса "обработка результатов эксперимента", а Spark это тулза для потоковой/пакетной обработки данных. Для ML надо знать мат аппарат и стат тулзы и библиотеки, для Spark надо знать BigData stack.
Согласен, что вопрос не совсем корректно поставлен. Спарк - это платформа. Машобуч - математический аппарат. Если интересно объединить, тогда учите эМэМлибовскую библиотеку. Она и для машобуча и для инженирии данных. Чем конкретно хотите заниматься и на каком языке? На Питоне (пайспарк), Скале, Яве, аРе? Прикольно названия по-русски писать. :D Конкретики мало. Хотите дейта сантистом быть, дейта инженером, деволепором для поддержки дейта сайнса?
Chessplayer
Уже с Приветом
Posts: 345
Joined: 27 Nov 2007 05:33

Re: Что стреляет лучше по баблу Spark или ML?

Post by Chessplayer »

Если хотите взять быка за рога, то разбирайтесь в deep learning:
https://www.coursera.org/specializations/deep-learning
https://www.coursera.org/specializations/aml
Last edited by Chessplayer on 18 Dec 2017 07:20, edited 1 time in total.
Chessplayer
Уже с Приветом
Posts: 345
Joined: 27 Nov 2007 05:33

Re: Что стреляет лучше по баблу Spark или ML?

Post by Chessplayer »

..
Last edited by Chessplayer on 18 Dec 2017 07:19, edited 1 time in total.
User avatar
Komissar
Уже с Приветом
Posts: 64875
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: Что стреляет лучше по баблу Spark или ML?

Post by Komissar »

Sergunka wrote: 18 Dec 2017 03:25 Вполне возможно, что с января начнется оплачиваемый отпуск за счет работадателя на 60 дней хотелось бы с пользой провести время, чтоб не было мучительно больно за зря прожитые годы.
увольняют!
nyekimov
Уже с Приветом
Posts: 2761
Joined: 11 Jul 2015 19:01
Location: Chicago

Re: Что стреляет лучше по баблу Spark или ML?

Post by nyekimov »

Komissar wrote: 18 Dec 2017 07:19
Sergunka wrote: 18 Dec 2017 03:25 Вполне возможно, что с января начнется оплачиваемый отпуск за счет работадателя на 60 дней хотелось бы с пользой провести время, чтоб не было мучительно больно за зря прожитые годы.
увольняют!
Layoff сокращение.
voyager3
Уже с Приветом
Posts: 1964
Joined: 11 Mar 2015 01:12

Re: Что стреляет лучше по баблу Spark или ML?

Post by voyager3 »

Может, лучше гномиков попереворачивать и на охоту за большой пятёркой?
User avatar
fruit6
Уже с Приветом
Posts: 4207
Joined: 10 Jan 2004 01:22
Location: n-sk -> MD -> VA

Re: Что стреляет лучше по баблу Spark или ML?

Post by fruit6 »

В 70 лет флипать бюргеры и гномиков, возможно, не так увлекательно, как в подростковом периоде.
User avatar
Sergunka
Уже с Приветом
Posts: 34164
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Что стреляет лучше по баблу Spark или ML?

Post by Sergunka »

Chessplayer wrote: 18 Dec 2017 07:18 Если хотите взять быка за рога, то разбирайтесь в deep learning:
https://www.coursera.org/specializations/deep-learning
Я уже вписался в этот курс. Хотелось бы за бабосы поговорить? :fr:

По спарку сейчас гоняем связку кашка-спарки-кассандра
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
sfbaguy1
Уже с Приветом
Posts: 1445
Joined: 14 Nov 2004 12:51

Re: Что стреляет лучше по баблу Spark или ML?

Post by sfbaguy1 »

Вот он - звериный оскал капитализма. Человек хорошо за 50 весело и вприпрыжку рвется потаскать бревнышко учить новые технологии.
Чтобы иметь шанс попасть на галеру получить непыльную и нестрессовую офисную работу рядом с вонючими индусами влившись
в диверсифицированный интернациональный коллектив. Вместо того, чтобы отчалить в теплые страны на весь срок северанса и UI.
А затем неторопливо подыскивать непыльную работу, попивая коньячок с сигарой после обеда, вальяжно отвечая на звонки рекрутеров и
свято веря в свою востребованность на рынке труда со своим многолетним бесценным опытом. Нет же, пока оффер не получит - будет как
белка в колесе бегать высунув язык ища работу. Потому что медстраховка - только на северансе. Корба - $2K А если еще баланс на мортгиже -
то не до теплых стран и только галера спасет от жизни под мостом в говеном апартменте рядом с неграми.

Картина Шишкина маслом - "Их нравы" ;)
жизнь она и проще и сложней
User avatar
Komissar
Уже с Приветом
Posts: 64875
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: Что стреляет лучше по баблу Spark или ML?

Post by Komissar »

вот именно, в сергунькином возрасте уже так легко в погромисты не возьмут, надо иметь опыт управления галерами индусами. Ну а лучше всего бодяжить ром на личном карибском острове, а не гнаться за скорым инсультом в силиконо-крысиных гонках.
Бубновый Валет
Уже с Приветом
Posts: 474
Joined: 01 Nov 2017 21:42

Re: Что стреляет лучше по баблу Spark или ML?

Post by Бубновый Валет »

Для справки, недавно попалось неплохое введение в ML - там и курс есть где-то в конце вроде.

ML кажется более интересным, но про бабло сказать не могу. Если бы у меня было 60 дней, я бы их потратил на рассылку резюме и собеседования: чем больше офферов, тем больше ЗП. Причем, составил бы резюме вдобавок и по ML, и Spark, даже если бы был полный ноль в этих технологиях - постарался бы взять языком, а на работе подучиться уже за казенный счет и по вечерам (если бы нашел работу).
MCP
Уже с Приветом
Posts: 752
Joined: 09 Sep 2005 21:43

Re: Что стреляет лучше по баблу Spark или ML?

Post by MCP »

Бубновый Валет wrote: 19 Dec 2017 07:57 Для справки, недавно попалось неплохое введение в МЛ - там и курс есть где-то в конце вроде.

МЛ кажется более интересным, но про бабло сказать не могу. Если бы у меня было 60 дней, я бы их потратил на рассылку резюме и собеседования: чем больше офферов, тем больше ЗП. Причем, составил бы резюме вдобавок и по МЛ, и Спарк, даже если бы был полный ноль в этих технологиях - постарался бы взять языком, а на работе подучиться уже за казенный счет и по вечерам (если бы нашел работу).
Уверен, что Сергунька И так будет рассылать резюме И собеседоваться а в свободное от этого времени учит Спарк :D
User avatar
Komissar
Уже с Приветом
Posts: 64875
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: Что стреляет лучше по баблу Spark или ML?

Post by Komissar »

Снежная Королева wrote: 19 Dec 2017 08:21 Если вы полный ноль в ML, это выясняется минуты за две в телефонном интервью.
расскажите это индусам!
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Что стреляет лучше по баблу Spark или ML?

Post by iDesperado »

у spark есть ML либа, так что можно поковырять ML прямо на спарке, но имхо разумней просто спарк вкурить.
User avatar
Sergunka
Уже с Приветом
Posts: 34164
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Что стреляет лучше по баблу Spark или ML?

Post by Sergunka »

iDesperado wrote: 19 Dec 2017 15:42 у spark есть ML либа, так что можно поковырять ML прямо на спарке, но имхо разумней просто спарк вкурить.
МЛ там реально примитивный дальше скользящего среднего с авторегрессией не подымается.
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
sfbaguy1
Уже с Приветом
Posts: 1445
Joined: 14 Nov 2004 12:51

Re: Что стреляет лучше по баблу Spark или ML?

Post by sfbaguy1 »

Komissar wrote: 19 Dec 2017 06:29 вот именно, в сергунькином возрасте уже так легко в погромисты не возьмут
Да конечно, будут смотреть в зубы, побрезгуют и вежливо откажут. Я бы подходил к этому философски, что как и многое другое в зрелом возрасте, программистская работа может быть последней. В России в этом плане говорят не лучше.
жизнь она и проще и сложней
Pantigalt
Уже с Приветом
Posts: 803
Joined: 24 Jan 2007 07:32
Location: Сергели->Новосибирск->SFBA->Новосибирск->Москва->NY->SFBA

Re: Что стреляет лучше по баблу Spark или ML?

Post by Pantigalt »

sfbaguy1 wrote: 19 Dec 2017 19:14
Komissar wrote: 19 Dec 2017 06:29 вот именно, в сергунькином возрасте уже так легко в погромисты не возьмут
Да конечно, будут смотреть в зубы, побрезгуют и вежливо откажут. Я бы подходил к этому философски, что как и многое другое в зрелом возрасте, программистская работа может быть последней. В России в этом плане говорят не лучше.
А когда этот возраст начинается?
А то может Цукерберг прав.
И будущее принадлежит молодым и рогатым (Сopyright Смешарики)
Спи быстрее, твоя подушка нужна другому. Copyright Зощенко
User avatar
sfbaguy1
Уже с Приветом
Posts: 1445
Joined: 14 Nov 2004 12:51

Re: Что стреляет лучше по баблу Spark или ML?

Post by sfbaguy1 »

Pantigalt wrote: 19 Dec 2017 21:04
sfbaguy1 wrote: 19 Dec 2017 19:14
Komissar wrote: 19 Dec 2017 06:29 вот именно, в сергунькином возрасте уже так легко в погромисты не возьмут
Да конечно, будут смотреть в зубы, побрезгуют и вежливо откажут. Я бы подходил к этому философски, что как и многое другое в зрелом возрасте, программистская работа может быть последней. В России в этом плане говорят не лучше.
А когда этот возраст начинается?
А то может Цукерберг прав.
И будущее принадлежит молодым и рогатым (Сopyright Смешарики)
Цук когда то давно оказывается сказал неполиткорректную вещь - для крутых успешных стартапов и растущих компаний нужно нанимать только молодых и технически крутых. Он имел в виду до 30 ! Наверняка пожалел о том, что сказал то, что думал. Да и наверняка он просто озвучил коллективное бессознательное VC тусовки. Сейчас он конечно ничего такого не скажет. Лойеры и хр профессионалы наверняка его научили фильтровать базар. Но по сути мало что изменилось. Где то мелькали данные про средний возраст в гигантах. Гугл/фб лидируют со средним возрастом около 30. Конечно же на 50 летнего там будут смотреть как на динозавра, если он только не звездун типа Гослинга или Торвальдса.
жизнь она и проще и сложней
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Что стреляет лучше по баблу Spark или ML?

Post by Сабина »

Kolbasoff wrote: 18 Dec 2017 03:56 Это ж ортогональные понятия. ML в большинстве случаев это новое название курса "обработка результатов эксперимента", а Spark это тулза для потоковой/пакетной обработки данных. Для ML надо знать мат аппарат и стат тулзы и библиотеки, для Spark надо знать BigData stack.
Для Spark-a надо как минимум знать Scala. Спарк на Питоне - это порно.
Сергунька, начни тута, мне кажется тебе понравится
https://www.udemy.com/scala-for-java-developers-ru/

Вот тут скидка на цену на этот класс до рождества
https://www.youtube.com/watch?v=wOwblaKmyVw
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Что стреляет лучше по баблу Spark или ML?

Post by Сабина »

Sergunka wrote: 18 Dec 2017 03:25 Вполне возможно, что с января начнется оплачиваемый отпуск за счет работадателя на 60 дней хотелось бы с пользой провести время, чтоб не было мучительно больно за зря прожитые годы.
У меня столько времени ушло на поиск, правда это был не отпуск, продолжала работать.
Нервотрепно это все :(. И хорошо платят в местах, где дерут три шкуры на хакерранках.

Если что вот отличный курс по алгоритмам
https://www.udemy.com/break-away-coding-interviews-1/
Это самый лучший инструктор по Кафке
https://www.udemy.com/kafka-streams/
А это по Спарку
https://www.udemy.com/apache-spark-with ... -big-data/
https://www.youtube.com/watch?v=wOwblaKmyVw
User avatar
Sergunka
Уже с Приветом
Posts: 34164
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Что стреляет лучше по баблу Spark или ML?

Post by Sergunka »

Сабина, спасибо. :fr: А сколько нынче "хорошо платят" из твоего опыта? Из моего опыта последних месяцев пробить базовый оклад больше 160К никак не получается :angry:
"A patriot must always be ready to defend his country against his government." Edward Abbey
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Что стреляет лучше по баблу Spark или ML?

Post by Сабина »

Sergunka wrote: 20 Dec 2017 06:39 Сабина, спасибо. :fr: А сколько нынче "хорошо платят" из твоего опыта? Из моего опыта последних месяцев пробить базовый оклад больше 160К никак не получается :angry:
Все верно - магическая цифра. Мне помогло то, что в стартапе платили больше и вроде бы и не имело смысла оттуда уходить на меньшие деньги.Там где дают +РСУ, + бонус получается суммарно 200+. Ищи такое.
Да еще к списку классов надо добавить Jenkins и Docker. Если надумаешь и это брать - дай знать, посоветую хороших авторов. Скидка в $10 по тому линку якобы до завтра тока
https://www.youtube.com/watch?v=wOwblaKmyVw
Serg179
Новичок
Posts: 38
Joined: 11 Jan 2002 10:01
Location: SalekHard->South Ca

Re: Что стреляет лучше по баблу Spark или ML?

Post by Serg179 »

nyekimov wrote: 18 Dec 2017 15:00
Komissar wrote: 18 Dec 2017 07:19
Sergunka wrote: 18 Dec 2017 03:25 Вполне возможно, что с января начнется оплачиваемый отпуск за счет работадателя на 60 дней хотелось бы с пользой провести время, чтоб не было мучительно больно за зря прожитые годы.
увольняют!
Layoff сокращение.
Может быть и декретный отпуск.

Return to “Работа и Карьера в IT”