Machine Learning again

[Сабина]

http://www.datasciencecentral.com/m/blo ... t%3A434612" onclick="window.open(this.href);return false;

[flip_flop]

http://www.datasciencecentral.com/m/blo ... t%3A434612

Забавный постер. Раздел статистики просто и со вкусом обозван алгоритмом. Один такой "алгоритм" охватывает всю регрессию, например, с несколькими "под-алгоритмами", типа линейной регрессии, многомерных адаптивных сплайнов для регрессии и т.д. Более всего меня позабавили два разных "под-алгоритма" в "алгоритме" Neural Networks: Back-Propagation и , как подразумевается, отличный от него Backpropagation. Вот такие они, оналитеги и стратежисты в этих ваших больших данных.

Ну, а если серьёзно - шум о DL поднят неимоверный и, что самое удивительное, он поддерживается чипостроением, как уже указал Nostradamus. Типа бросаем всё и все на фронт борьбы за урожай DL. Сабина, бросайте все ваши устаревшие технологии и срочно осваивайте DL. Я серьёзно.

Хорошо бы сейчас заслушать наших штатных учёных даталогов - Снежную Королеву и Физика-Лирика, они безответственно уклоняются от последних витков нашей дискуссии

P.S. Вот, кстати, одно из объяснений дикого шума по теме - автопилоты с AI/DL, потенциально жирный кусок рынка автономных автомобилей.

[Сабина]

http://www.datasciencecentral.com/m/blo ... t%3A434612

Забавный постер. Раздел статистики просто и со вкусом обозван алгоритмом. Один такой "алгоритм" охватывает всю регрессию, например, с несколькими "под-алгоритмами", типа линейной регрессии, многомерных адаптивных сплайнов для регрессии и т.д. Более всего меня позабавили два разных "под-алгоритма" в "алгоритме" Neural Networks: Back-Propagation и , как подразумевается, отличный от него Backpropagation. Вот такие они, оналитеги и стратежисты в этих ваших больших данных.

Ну, а если серьёзно - шум о DL поднят неимоверный и, что самое удивительное, он поддерживается чипостроением, как уже указал Nostradamus. Типа бросаем всё и все на фронт борьбы за урожай DL. Сабина, бросайте все ваши устаревшие технологии и срочно осваивайте DL. Я серьёзно.

Хорошо бы сейчас заслушать наших штатных учёных даталогов - Снежную Королеву и Физика-Лирика, они безответственно уклоняются от последних витков нашей дискуссии

P.S. Вот, кстати, одно из объяснений дикого шума по теме - автопилоты с AI/DL, потенциально жирный кусок рынка автономных автомобилей.

По мне так DL, точнее Data Science - это для тех кто не любит "засучивать рукава" То есть лично мне оно нравится как такая приятная recreational activity, но что то мне подсказывает что если лично я прямо сейчас пойду в эту сферу платить мне будут меньше, а мне еще младшенького надо доучить три года. А потом - эх, трава не расти - пойду в DL

[flip_flop]

По мне так DL, точнее Data Science - это для тех кто не любит "засучивать рукава" То есть лично мне оно нравится как такая приятная recreational activity, но что то мне подсказывает что если лично я прямо сейчас пойду в эту сферу платить мне будут меньше, а мне еще младшенького надо доучить три года. А потом - эх, трава не расти - пойду в DL

Боюсь, наши штатные даталоги с такой оценкой могут не согласиться, по крайней мере с оценкой того, что это для тех, кто не любит "засучивать рукава". Насчёт оплаты вообще ничего сказать не могу, потому как и не погромист и не даталог. Физик-Лирик, Снежная Королева, ау?

[Сабина]

По мне так DL, точнее Data Science - это для тех кто не любит "засучивать рукава" То есть лично мне оно нравится как такая приятная recreational activity, но что то мне подсказывает что если лично я прямо сейчас пойду в эту сферу платить мне будут меньше, а мне еще младшенького надо доучить три года. А потом - эх, трава не расти - пойду в DL

Боюсь, наши штатные даталоги с такой оценкой могут не согласиться, по крайней мере с оценкой того, что это для тех, кто не любит "засучивать рукава". Насчёт оплаты вообще ничего сказать не могу, потому как и не погромист и не даталог. Физик-Лирик, Снежная Королева, ау?

Вы невнимательно прочитали . Я же написала "если я сейчас пойду". Это совсем непоказательно для других

[flip_flop]

По мне так DL, точнее Data Science - это для тех кто не любит "засучивать рукава" То есть лично мне оно нравится как такая приятная recreational activity, но что то мне подсказывает что если лично я прямо сейчас пойду в эту сферу платить мне будут меньше, а мне еще младшенького надо доучить три года. А потом - эх, трава не расти - пойду в DL

Боюсь, наши штатные даталоги с такой оценкой могут не согласиться, по крайней мере с оценкой того, что это для тех, кто не любит "засучивать рукава". Насчёт оплаты вообще ничего сказать не могу, потому как и не погромист и не даталог. Физик-Лирик, Снежная Королева, ау?

Вы невнимательно прочитали . Я же написала "если я сейчас пойду". Это совсем непоказательно для других

Понял, виноват, невнимателен, исправлюсь.

[flip_flop]

Вот, наверное, хорошая книга будет Intel Xeon Phi Processor High Performance Programming: Knights Landing Edition 2nd Edition 2nd Edition

Книга хороша, на этот раз евангелисты привлекли даже чиф-архитектора в соавторы. Прикупил книгу, придёт в день выхода в свет (1 июля), пора выписывать станцию и играться.

Книгу получил, понравилась, в целом на голову выше первой книги (по Knights Corner). Рассмотрена архитектура KNL, иерархия памяти и как её программировать (MCDRAM как системная память или как кэш или как гибридная память вместе с DDR4), data layout, и многое другое, важное для максимума производительности. Выпишу станцию, поставлю на неё все стандартные (С/С++, Matlab, Julia, Eclipse, etc. ) средства разработки и начну играться с 288 потоками и 16 GB MCDRAM в одном корпусе и на одном сокете. Правда, в свободное от основной работы время

[blanko27]

Книгу получил, понравилась...

Поздравляю! Я про MCDRAM тоже немножко интродакшн от Reinders-а послушал, и еще есть более продвинутая лекция на youtube-е (пока не слушал). Эта MCDRAM, если я чего-то не путаю, напоминает управляемый кэш, подобный NVIDIA-овской shared memory, только более конфигурируемая (везде теперь чудятся GPU )

[Deckel]

Вот, наверное, хорошая книга будет Intel Xeon Phi Processor High Performance Programming: Knights Landing Edition 2nd Edition 2nd Edition

Книга хороша, на этот раз евангелисты привлекли даже чиф-архитектора в соавторы. Прикупил книгу, придёт в день выхода в свет (1 июля), пора выписывать станцию и играться.

Книгу получил, понравилась, в целом на голову выше первой книги (по Knights Corner). Рассмотрена архитектура KNL, иерархия памяти и как её программировать (MCDRAM как системная память или как кэш или как гибридная память вместе с DDR4), data layout, и многое другое, важное для максимума производительности. Выпишу станцию, поставлю на неё все стандартные (С/С++, Matlab, Julia, Eclipse, etc. ) средства разработки и начну играться с 288 потоками и 16 GB MCDRAM в одном корпусе и на одном сокете. Правда, в свободное от основной работы время

Расскажите, как от знания этой архитектуры переходят к зарабатыванию денег? Без подколов, просто интересно. У вас уже есть задачи, на которые производительности не хватает или легко найти "потребителей"?

Я напримен пользуюсь Qlikview in-memory analytics. Это приложение по определению зависимо от процессора и работы с памятью. Но у производителя свои программисты и оно closed source. Или, например, библиотека Inten MKL, которая используется с питоном для некоторых machine learning приложений, ее наверное можно запатчить, если там еще нет оптимизации под этот процессор. Intel за это заплатит?

[flip_flop]

Расскажите, как от знания этой архитектуры переходят к зарабатыванию денег? Без подколов, просто интересно.

Лично я на именно этом знании (архитектуры) не зарабатываю. Полуофициальная добавка к основной работе и обоснованное любопытство, подкреплённое возможностями. Правда, знаю некоторые фирмы, которые на этом делают деньги. Colfax, например. Можете посмотреть. Это если для широкого сегмента. В области суперкомпьютеров много чего, но это, видимо, не ширпотреб.

У вас уже есть задачи, на которые производительности не хватает

Хронически. Моделирование и симуляция. Типа HPC.

Или, например, библиотека Inten MKL, которая используется с питоном для некоторых machine learning приложений, ее наверное можно запатчить, если там еще нет оптимизации под этот процессор.

Там уже довольно давно всё есть. Можно разрабатывать на хосте (обычном процессоре, Хеон или i7, например) а прогонять на Xeon Phi. MKL полностью поддерживается KNL, это как бы один из краеугольных камней, без которого дело швах. Для machine learning есть добавки в Intel Parallel Studio v 17 beta, включая MKL. Бум и баззворды инициировали внимание к ML: Здесь, например. И здесь

[Физик-Лирик]

По мне так DL, точнее Data Science - это для тех кто не любит "засучивать рукава" То есть лично мне оно нравится как такая приятная recreational activity, но что то мне подсказывает что если лично я прямо сейчас пойду в эту сферу платить мне будут меньше, а мне еще младшенького надо доучить три года. А потом - эх, трава не расти - пойду в DL

Боюсь, наши штатные даталоги с такой оценкой могут не согласиться, по крайней мере с оценкой того, что это для тех, кто не любит "засучивать рукава". Насчёт оплаты вообще ничего сказать не могу, потому как и не погромист и не даталог. Физик-Лирик, Снежная Королева, ау?

Пардон, был в отпуске и "Привет" не читал.
Ситуация вот какая. Если работать в ЕТЛ (а это сейчас тоже обзывается ДС - Дейта сайнсом или Дейта инжинирингом), то платить соответственно будут как ЕТЛу. Если работать в предиктив аналитикс да и с доктором, то можно побольше чем программисту выбить. По моим наблюдениям сейчас идет тренд ДС + бакалавр. Раньше всё больше доктора требовали. Наверное, все доктора закончились. Зарплата ДС + бакалавр = программист или поменьше. Наверное, имеет смысл попробовать проинтервьюироваться. Другой тренд - программист с некоторым знанием ДС. Платят, скорее, как программисту.

[Физик-Лирик]

По мне так DL, точнее Data Science - это для тех кто не любит "засучивать рукава" То есть лично мне оно нравится как такая приятная recreational activity

Очень зависит. Сказать по правде, мне ДС уже надоедать стал. Скучные позиции, скучные задачи (это я не про текущую свою работу). Все изгадили одним термином ДС. Предиктив аналитикс как небольшой оазис среди того дерьма, что сейчас называют ДС. Мыслят терминами, а не понятиями. Задач толком ставить не умеют. Короче скукота. Это я про бизнес аналитикс. В ресётче как бы всё пока нормально.

[flip_flop]

По мне так DL, точнее Data Science - это для тех кто не любит "засучивать рукава" То есть лично мне оно нравится как такая приятная recreational activity, но что то мне подсказывает что если лично я прямо сейчас пойду в эту сферу платить мне будут меньше, а мне еще младшенького надо доучить три года. А потом - эх, трава не расти - пойду в DL

Боюсь, наши штатные даталоги с такой оценкой могут не согласиться, по крайней мере с оценкой того, что это для тех, кто не любит "засучивать рукава". Насчёт оплаты вообще ничего сказать не могу, потому как и не погромист и не даталог. Физик-Лирик, Снежная Королева, ау?

Пардон, был в отпуске и "Привет" не читал.
Ситуация вот какая. Если работать в ЕТЛ (а это сейчас тоже обзывается ДС - Дейта сайнсом или Дейта инжинирингом), то платить соответственно будут как ЕТЛу. Если работать в предиктив аналитикс да и с доктором, то можно побольше чем программисту выбить. По моим наблюдениям сейчас идет тренд ДС + бакалавр. Раньше всё больше доктора требовали. Наверное, все доктора закончились. Зарплата ДС + бакалавр = программист или поменьше. Наверное, имеет смысл попробовать проинтервьюироваться. Другой тренд - программист с некоторым знанием ДС. Платят, скорее, как программисту.

Хмм... Снежная королева была о ДС более высокого мнения Работать в дата науках с бакалавром - что то тут концептуально, онтологически не так, надо или название переделать (ДИ?) или же требовать таки докторов, или, по крайней мере мастеров.

Что такое ЕТЛ? (пардон, запамятовал).

Если мы тут о machine learning, то это попадает в ваш оазис predictive analytics, или как? Или тоже оно среди ... ну того самого ...

[Мальчик-Одуванчик]

Книгу получил, понравилась, в целом на голову выше первой книги (по Knights Corner). Рассмотрена архитектура KNL, иерархия памяти и как её программировать (MCDRAM как системная память или как кэш или как гибридная память вместе с DDR4), data layout, и многое другое, важное для максимума производительности. Выпишу станцию, поставлю на неё все стандартные (С/С++, Matlab, Julia, Eclipse, etc. ) средства разработки и начну играться с 288 потоками и 16 GB MCDRAM в одном корпусе и на одном сокете. Правда, в свободное от основной работы время

между Knights Corner и следующей генерацией сильно большая разница? В принципе мне тоже хочется поиграться с распараллеливанием, но цена на карточки 7120 сильно кусается, в то время как 5120 вполне можно найти по неплохой цене.

[flip_flop]

Книгу получил, понравилась, в целом на голову выше первой книги (по Knights Corner). Рассмотрена архитектура KNL, иерархия памяти и как её программировать (MCDRAM как системная память или как кэш или как гибридная память вместе с DDR4), data layout, и многое другое, важное для максимума производительности. Выпишу станцию, поставлю на неё все стандартные (С/С++, Matlab, Julia, Eclipse, etc. ) средства разработки и начну играться с 288 потоками и 16 GB MCDRAM в одном корпусе и на одном сокете. Правда, в свободное от основной работы время

между Knights Corner и следующей генерацией сильно большая разница? В принципе мне тоже хочется поиграться с распараллеливанием, но цена на карточки 7120 сильно кусается, в то время как 5120 вполне можно найти по неплохой цене.

Пока что нет Knights Landing карточек (сопроцессоров), есть только процессоры, по разной цене. Проблема в том, что они требуют определённых плат с поддержкой их сокета. Скоро должны появится и обычные PCIe карточки (сопроцессоры) и с широким разбросом цен.

Разница большая, но с точки зрения распараллеливания Knights Corner может в какой то мере быть использован как "макет" для массивной параллелизации/векторизации для Knights Landing (KNL). В то же время, последний продукт раза в три быстрее предыдущего как для параллельных так и для последовательных задач, гораздо более гибок и конфигурируемый (2 типа памяти для процессора, поддержка и UMA и NUMA), имеет более развитую систему команд и пр. Так что не знаю даже что и посоветовать ...