Моя компания нанимает Senior Big Data Engineer

AlexSulimanov
Новичок
Posts: 21
Joined: 31 May 2012 02:54

Моя компания нанимает Senior Big Data Engineer

Post by AlexSulimanov »

Привет!

Описание позиции: https://jobs.smartrecruiters.com/Ancest ... a-engineer

Платят отлично, проект новый, будем реайлтайм дата саенс делать.

По всем вопросам можете писать мне в личку или на почту asulimanov\/ancestry.com
User avatar
35ED
Posts: 15
Joined: 11 Apr 2015 04:30
Location: Ufa->Chicago->Pasadena

Re: Моя компания нанимает Senior Big Data Engineer

Post by 35ED »

Real-time на Java ? Are your joking ?
На commodity алгоритмах Spark ML Lib ?

Зачем вообще CS degree для дата сайнс ?
Разве там учат Non-parametric Bayesian Statistics ? Non-parametric state-space methods ? BP-AR-HMM, HDP-AR-HMM, iPOMDP, iDDM ?
AWS конечно хорошо для ресурсоемкой тренеровки моделей, спору нет !
Компания собирается использовать его в продакшен на BigData ? это сколько денег уйдет :)
AlexSulimanov
Новичок
Posts: 21
Joined: 31 May 2012 02:54

Re: Моя компания нанимает Senior Big Data Engineer

Post by AlexSulimanov »

:)
A lot of our projects require processing large data sets, primarily for data science but also for other projects. For now we use Spark but all of the jobs are batch. Going forward we're going to convert them into realtime, application framework could be anything that allows to build/train models on large scale.
iDesperado
Уже с Приветом
Posts: 1422
Joined: 28 Nov 2008 17:50

Re: Моя компания нанимает Senior Big Data Engineer

Post by iDesperado »

35ED wrote: 31 May 2018 20:16 Real-time на Java ? Are your joking ?
На commodity алгоритмах Spark ML Lib ?
а в чем проблема с кафки в практически в реалтайм читать спарком ? и скармливать спарковый датафрейм можно хоть jppml, где алгоритмов побольше. саму то модель сатанисты/сайнтисты разрабатывают/тренеруют какими-то своими мутными тулами

Return to “Работа и Карьера в IT”