Что стреляет лучше по баблу Spark или ML?

[ALV00]

Комиссар, лично у меня ушло лет 5 от механического знания формулы Байеса до настоящего понимания conditional probability. Когда с лету понимаешь 3-door Monty Hall problem и подобные им.

Не хотите задачку решить?
Мысленый эксперимент

[Sergunka]

Вполне возможно, что с января начнется оплачиваемый отпуск за счет работадателя на 60 дней хотелось бы с пользой провести время, чтоб не было мучительно больно за зря прожитые годы.

Больше всего платят за комбинацию когда человек может написать правильную МЛ модель так чтобы она эффективно работала на больших данных.

Сколько нынче "больше"?

[Мальчик-Одуванчик]

Сколько нынче "больше"?

В среднем - не так уж и много: 170-220К. Но и требования начинаются - не ниже мастера в одном из топовых вузов.

[valchkou]

Сколько нынче "больше"?

В среднем - не так уж и много: 170-220К. Но и требования начинаются - не ниже мастера в одном из топовых вузов.

Вилка для таких чуваков должна буть 300-400. А иначе зачем же так Ж рвать?
нужно окончить топовый вуз, в который еще нужно умудриться попасть,
получить минимум мастера, а лучше PHD, накачать мозг нетривиальной математикой,
освоить пару языков программирования, добавить к этому бигдатые фреймворки и всего лишь 170-220? и это в кали!
те же 170-220 можно получить имея бакалавра из любого провинциального и даже не американского техникума +5 лет.

[Мальчик-Одуванчик]

те же 170-220 можно получить имея бакалавра из любого провинциального и даже не американского техникума +5 лет.

Бакалавру всего этого достичь гораздо труднее, особенно при отсутствии базового образования и хорошего вуза.
А так - да не шибко и много.

[Сабина]

История... на предмет какие перцы ходят на интервью на Senior Big data Engineer...
Пришел один позавчера. В резюме какие то жуткие страсти: сто, ceo, machine learning, data science, стенфорд ... короче прячься кто может. Первые минут пять рассказывал как он продал один из своих стартапов ораклу. Потом пытался начать "мне вопросы задавать", но я его успешно заткнула и перешла к технической части.
Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.
Есть же такие отчаянные

[Sergunka]

Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.

Сабин,

вот нафига ты человека обломила? Все одно же не взяли бы так дала бы челу хотя бы на интервью расслабится

phpBB [video]

[Сабина]

Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.

Сабин,

вот нафига ты человека обломила? Все одно же не взяли бы так дала бы челу хотя бы на интервью расслабится

видео впечатлило

[Сабина]

вот еще тебе Сергунька немного про ML от https://www.udemy.com/user/mikewest2/

In this post I’d like to talk about some of the myths I’ve seen on various blogs, my reviews and other machine learning boards.

Let’s jump right in.

Myth: Machine learning engineers spend all day building deep learning and other kinds of machine learning models.

Reality: A recent Kaggle poll found that most machine learning is cleaning dirty day. Most respondents, regardless of their position (machine learning engineer, data scientist) said that 70% of their day involved massaging data into a shape it could be modeled.

Myth: You must know how deep learning models are designed to use them.

Reality: I’ve been driving for over 30 years and can’t tell you how an engine works. It’s the same in the machine learning space. The majority of data scientists and machine leaning engineers don’t author any kind of models. They use really well-designed frameworks that already exist. They use Keras on TensorFlow or SciKit-Learn.

Myth: You can get a job without any experience just be taking some online courses.

Reality: Online courses will show you the basics, the frameworks, modeling but the end to end machine learning process will take experience. If you aren’t in IT right now, take any position involving data. You can learn machine learning engineering while you are learning data manipulation.

Myth: I can get a job as a machine learning engineer if I know R.

Reality: Almost all applied machine learning is Python. A recent Kaggle poll showed that 80% of those working in the applied space use Python as their core language for model building and data wrangling.

Myth: You can participate in Kaggle and if you do well you’ll get a job.

Reality: Again, since most real-world machine learning is data wrangling you’ll need to know how to wrangle data before you get hired. Model building alone won’t get you a job.

Myth: The model is the most important aspect of machine learning process.

Reality: As Sift Science CTO Fred Sadaghiani puts it, “data is orders of magnitude more important than the algorithm you use or any technique that you’re applying.” In terms of data, think both quantity and quality. The more data you provide the system, the better results you’ll get. And providing the right data is equally (or even more) important.

Myth: The laptop I have is big enough to build real world models.

Reality: Laptops are great for learning machine learning and data science using toy data sets. There’s no laptop in the world that can run most real world deep learning models. These are run in a cloud or on large servers.

Myth: I need to be a math wizard to learn machine learning

Reality: You need a solid foundation in math, especially statistics and eventually linear algebra. You don’t need to have a master’s in computational mathematics to do this job.

[mskmel]

Первые минут пять рассказывал как он продал один из своих стартапов ораклу. Потом пытался начать "мне вопросы задавать", но я его успешно заткнула и перешла к технической части.
Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.
Есть же такие отчаянные

Примеры новых сотрудников в прошлом году. Возможности делать 10 интервью и 2-3 на полный день on site не было.
№1 - не самые яркие тех скиллы, но умение систематизировать несколько задач и декомпозировать каждую. Отсутствие скромности посоветоваться, с тем кто знает детали. Умение самому раскопать ответы на вопросы и варианты решения задач, и забыть через несколько недель Результат - очень ценный сотрудник.
№2 - не самые яркие тех скиллы, скажет даже на 3-. Умение автоматизировать всё что шевелится. При чем не только своё, но и видя проблемы других. Результат - ценный сотрудник.
№3 - почти идеальные ответы на тех вопросы интервью. Приличный список компаний где работал перед этим и список проектов. Не умение анализировать и применять свои знания. Не умение гуглить! Уж лучше бы был graduate. Результат - PIP.

К чему это всё... Не всегда идеальные ответы на тех интервью говорят, что человек подходит. А может человек подходит на другие задачи в команде, а не на то на что открыта позиция

[nyekimov]

Первые минут пять рассказывал как он продал один из своих стартапов ораклу. Потом пытался начать "мне вопросы задавать", но я его успешно заткнула и перешла к технической части.
Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.
Есть же такие отчаянные

Примеры новых сотрудников в прошлом году. Возможности делать 10 интервью и 2-3 на полный день on site не было.
№1 - не самые яркие тех скиллы, но умение систематизировать несколько задач и декомпозировать каждую. Отсутствие скромности посоветоваться, с тем кто знает детали. Умение самому раскопать ответы на вопросы и варианты решения задач, и забыть через несколько недель Результат - очень ценный сотрудник.
№2 - не самые яркие тех скиллы, скажет даже на 3-. Умение автоматизировать всё что шевелится. При чем не только своё, но и видя проблемы других. Результат - ценный сотрудник.
№3 - почти идеальные ответы на тех вопросы интервью. Приличный список компаний где работал перед этим и список проектов. Не умение анализировать и применять свои знания. Не умение гуглить! Уж лучше бы был graduate. Результат - PIP.

К чему это всё... Не всегда идеальные ответы на тех интервью говорят, что человек подходит. А может человек подходит на другие задачи в команде, а не на то на что открыта позиция

Еще было б интересно знать, что у вас за компания, чтобы примерно понимать, куда по вашему мнению подходят кандидаты по перечисленным выше критериям.

[Sergunka]

и забыть через несколько недель

По этой причине я стал вести блог. А то заметил мне как-то особо никто не верил, что я там чего-то делал

[Физик-Лирик]

История... на предмет какие перцы ходят на интервью на Senior Big data Engineer...
Пришел один позавчера. В резюме какие то жуткие страсти: сто, ceo, machine learning, data science, стенфорд ... короче прячься кто может. Первые минут пять рассказывал как он продал один из своих стартапов ораклу. Потом пытался начать "мне вопросы задавать", но я его успешно заткнула и перешла к технической части.
Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.
Есть же такие отчаянные

Лично я не совсем понимаю, зачем бывшие сто хотят работать простыми инженерами. Может и альтруизм, а может и жизненные обстоятельства текущего момента. Но еще больше я не понимаю, как нанимающая сторона наивно надеется, что такой человек действительно собирается работать инженером.
А в чем разница между машобучем и дейта сайнсом в понимании вашей конторы? Может человек - великий математик, а тут его как рыбу об лед всякими спарками. Как все у вас в конторе приземлено. Почему интервьюируему нельзя вопросы задавать интервьюирующей стороне? Ведь по ним хорошо видно, насколько вменяем кандидат. У нас в школе за хорошие вопросы отличные оценки ставили. Скучненькие какие-то интервью.

[Физик-Лирик]

вот еще тебе Сергунька немного про ML от https://www.udemy.com/user/mikewest2/

Ну да, ну да. Неужели водитель-профессионал ничем не отличается от любителя даже с большим стажем? Ну не верю.
Вон понабежали программисты в дейта сайнс и всю великую идею испоганили. Вот и рассуждаем теперь, почему программисту не нужна математика. А что еще остается? Поэтому бизнес с таким недоверием к науке и относится. Сам только языком чесать умеет, да еще и с доморощенными дейта сантистами общается. В результате - полный бред.

[Сабина]

Первые минут пять рассказывал как он продал один из своих стартапов ораклу. Потом пытался начать "мне вопросы задавать", но я его успешно заткнула и перешла к технической части.
Начинаю спрашивать какие то базовые вещи про сергунькин любимый спарк и кафку - вообще все по нулям.
Есть же такие отчаянные

Примеры новых сотрудников в прошлом году. Возможности делать 10 интервью и 2-3 на полный день on site не было.
№1 - не самые яркие тех скиллы, но умение систематизировать несколько задач и декомпозировать каждую. Отсутствие скромности посоветоваться, с тем кто знает детали. Умение самому раскопать ответы на вопросы и варианты решения задач, и забыть через несколько недель Результат - очень ценный сотрудник.
№2 - не самые яркие тех скиллы, скажет даже на 3-. Умение автоматизировать всё что шевелится. При чем не только своё, но и видя проблемы других. Результат - ценный сотрудник.
№3 - почти идеальные ответы на тех вопросы интервью. Приличный список компаний где работал перед этим и список проектов. Не умение анализировать и применять свои знания. Не умение гуглить! Уж лучше бы был graduate. Результат - PIP.

К чему это всё... Не всегда идеальные ответы на тех интервью говорят, что человек подходит. А может человек подходит на другие задачи в команде, а не на то на что открыта позиция

ну молодцы вы че