Machine Learning again

User avatar
flip_flop
Уже с Приветом
Posts: 4379
Joined: 20 Jun 2001 09:01

Re: Machine Learning again

Post by flip_flop »

ALV00 wrote:
flip_flop wrote:
blanko27 wrote:Смотрел тут NVIDIA GTC 2016 на youtube, там Андрей Нг такую аллегорию высказал: чтобы ракету запустить, надо много горючего (даты) и большой двигатель (вычислительной мощности). Если горючего мало, то ракета высоко не взлетит, если двигатель будет маленький, то может вообще от земли не оторваться. Теперь даты много, и новые GPU по 20 терафлопов для 16-битов появились - взлетай - не хочу! :)
Кстати, их DGX-1 - абсолютная сказка, datacenter в одной коробке :)
Интересная коробочка, но проблема в том, что они по прежнему нуждаются в Intel CPU, без оного никак. В то время, как Knights Landing base solutions самодостаточны. Пожалуй возьму "свою" коробочку на попробовать. Интересно, что именно deep learning двигает конкуренцию, от которой в выигрыше пользователи.
Какие практические задачи можно решать на таких штуках простому смертному?
То, что хорошо распараллеливается. В основном - для задач HPC. Для простых смертных - возможно, биткоинты клепать :D
blanko27
Уже с Приветом
Posts: 2264
Joined: 17 Jun 2003 04:41
Location: Just like US

Re: Machine Learning again

Post by blanko27 »

Да, Ninja машина грозная, но с точки зрения machine learning вопрос, конечно, интересный: Intel Knights Landing work loads vs NVIDIA GeForce
Like Brian said, the Xeon Phi cores are not at all comparable to the CUDA ones. The problem with the Phi is that it's somewhere between two horses.

If you are doing highly parallel floating point calculations, NVIDIA will provide you with something like 3 times the performance at 1/4th of the price. For double precision the gap is smaller, but NVIDIA still ends up being 20% cheaper for the same performance.

If your problem is very hard to parallelize, the Phi will not help you at all and instead something like an Intel Xeon will give you the best performance.

The sweet spot for the Phi is then something highly parallel, but divergent, i.e. each thread has to do something different. An example of this would be Monte Carlo simulations. They are for instance used in simulations of radiotherapy treatments, where GPUs only give a small (~2x) speed-up over a standard CPU.

Intel is also trying to sell the the Xeon Phi on the fact that you only need to rewrite your code minimally. However, for anything that is not trivial to parallelize, the work becomes the same as for a GPU
...а мы такой компанией, возьмем, да и припремся к Элис!
Deckel
Ник закрыт за хамство.
Posts: 357
Joined: 16 Feb 2014 18:34

Re: Machine Learning again

Post by Deckel »

Google объявил что они сделали ASIC процессоры для TensorFlow.
User avatar
flip_flop
Уже с Приветом
Posts: 4379
Joined: 20 Jun 2001 09:01

Re: Machine Learning again

Post by flip_flop »

blanko27 wrote:Да, Ninja машина грозная, но с точки зрения machine learning вопрос, конечно, интересный: Intel Knights Landing work loads vs NVIDIA GeForce
Like Brian said, the Xeon Phi cores are not at all comparable to the CUDA ones. The problem with the Phi is that it's somewhere between two horses.

If you are doing highly parallel floating point calculations, NVIDIA will provide you with something like 3 times the performance at 1/4th of the price. For double precision the gap is smaller, but NVIDIA still ends up being 20% cheaper for the same performance.

If your problem is very hard to parallelize, the Phi will not help you at all and instead something like an Intel Xeon will give you the best performance.

The sweet spot for the Phi is then something highly parallel, but divergent, i.e. each thread has to do something different. An example of this would be Monte Carlo simulations. They are for instance used in simulations of radiotherapy treatments, where GPUs only give a small (~2x) speed-up over a standard CPU.

Intel is also trying to sell the the Xeon Phi on the fact that you only need to rewrite your code minimally. However, for anything that is not trivial to parallelize, the work becomes the same as for a GPU
Это цитата из открытого форума вопросов и ответов, корректность eё отдельных выводов под большим вопросом. Например, теоретическая производительность (в TFLOPS) для Float в два раза выше чем для Double и для первой платформы и для другой. Не 6, как следовало бы из цитаты, а 2. Сравнение ядер неправомерно, это принципиально разные архитектуры, это верно, но сентенция о двух конях непонятна. Если задача не параллелизуется, то это делает бесполезными две платформы в равной степени, а не только одну. Работа по нетривиальной параллелизации требуется в любом случае, но для GPU это будет CUDA, а во втором случае - стандартная инфраструктура компиляторов, дебаггеров, профайлеров обычного C/C++. Поскольку обычные CPU давно уже многоядерные, то есть много библиотек, в том числе для machine learning, уже распараллеленных, и они будут идти на всех CPU, как обычных, так и массивно параллельных.

Впрочем, результаты реальных тестов от независимых (это архиважно!, а то мы знаем как производители могут пиарить свои продукты, особенно NVidia :D ) пользователей могут быть разнообразными и весьма интересными. Ждём-с.
blanko27
Уже с Приветом
Posts: 2264
Joined: 17 Jun 2003 04:41
Location: Just like US

Re: Machine Learning again

Post by blanko27 »

flip_flop wrote:Это цитата из открытого форума вопросов и ответов, корректность eё отдельных выводов под большим вопросом. ...
Вы знаете, я привел эту цитату, потому, что она выражает мое мнение, а самому писать лень было, извините :)
Логика автора цитаты в том, что для распаралеливания у NVIDIA есть CUDA, а у Intel-а - Parallel Studio, и "for free" параллелизма и там и там не добиться. У NVIDIA "просой паралеллизм" с корокими critical path-ами "per core" дешевле выходит, и core-ов в 10 раз больше. Это как раз то, на что deep learning лучше всего накладывается.
Но я, в принципе, ни на чьей стороне, так, поддержать дискуссию :) Вы правы, что от этой конкуренции мы только в выйгрыше остаемся. :fr:
...а мы такой компанией, возьмем, да и припремся к Элис!
Deckel
Ник закрыт за хамство.
Posts: 357
Joined: 16 Feb 2014 18:34

Machine Learning again

Post by Deckel »

ALV00 wrote:Knights Landing base solutions
Какие практические задачи можно решать на таких штуках простому смертному?
Можно autosklearn запускать, который сам и переменные закодирует и ансамбль моделей подберёт. Я гонял на 100 cores.
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Machine Learning again

Post by Сабина »

Снова Mint насчитал такой скор что верить ему после этого точно не стоит. За месяц подскочил на сотню, из всего что произошло - мой новый моргидж после перефинансирования появился.
Надо ради прикола проверить Кредит карму
https://www.youtube.com/watch?v=wOwblaKmyVw
blanko27
Уже с Приветом
Posts: 2264
Joined: 17 Jun 2003 04:41
Location: Just like US

Re: Machine Learning again

Post by blanko27 »

Сабина wrote:Снова Mint насчитал такой скор что верить ему после этого точно не стоит.
Не пужайтесь граждане Который тут гражданин Горбушкин?
Сабина, там кто-то вверху конкурс предлагал. Давайте нам ваши расходы, а мы вам в качестве конкурса credit score насчитаем. У кого с вашими чувствами ближе сойдется - тот и победил. :)
...а мы такой компанией, возьмем, да и припремся к Элис!
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Machine Learning again

Post by Сабина »

blanko27 wrote:
Сабина wrote:Снова Mint насчитал такой скор что верить ему после этого точно не стоит.
Не пужайтесь граждане Который тут гражданин Горбушкин?
Сабина, там кто-то вверху конкурс предлагал. Давайте нам ваши расходы, а мы вам в качестве конкурса credit score насчитаем. У кого с вашими чувствами ближе сойдется - тот и победил. :)
Неинтересно. Ни тебе машин лёнинга, ни даже здравого смысла :D
https://www.youtube.com/watch?v=wOwblaKmyVw
blanko27
Уже с Приветом
Posts: 2264
Joined: 17 Jun 2003 04:41
Location: Just like US

Re: Machine Learning again

Post by blanko27 »

Сабина wrote:Неинтересно. Ни тебе машин лёнинга, ни даже здравого смысла :D
А зря, лишаете себя удовольствия! Мы бы с беспристрастным профессионализмом определили размеры ваших сентиментов :gen1:
...а мы такой компанией, возьмем, да и припремся к Элис!
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Machine Learning again

Post by Сабина »

blanko27 wrote:
Сабина wrote:Неинтересно. Ни тебе машин лёнинга, ни даже здравого смысла :D
А зря, лишаете себя удовольствия! Мы бы с беспристрастным профессионализмом определили размеры ваших сентиментов :gen1:
не разьве что вам делать совсем нечего :)
Неуверена что имеется в виду под размерами моим сентиментов, но для меня нет ничего более материального чем возможность получения следующего займа (если приспичит). И я ( о чудо) как то сильно уверена что это немало зависит от того что им скажет Экспириан. А вот Кредит Карму явно пошлют с ее machine learning и подальше. Минт наверное тоже :roll: ?
https://www.youtube.com/watch?v=wOwblaKmyVw
adda_
Уже с Приветом
Posts: 10775
Joined: 22 Jul 2006 20:19

Re: Machine Learning again

Post by adda_ »

А какие проблемы могут быть с кредит скором если регулярно платить по счетам?
Я как бы это делаю последние 16 лет и имею 835.. Правда от этого мне ни жарко ни холодно..
User avatar
fruit6
Уже с Приветом
Posts: 4207
Joined: 10 Jan 2004 01:22
Location: n-sk -> MD -> VA

Re: Machine Learning again

Post by fruit6 »

Если нужен настоящий кредитный скор, то почти все банки, типа citi, discover, дают его клиентам на халяву. Карма и минт это безусловно lol
adda_
Уже с Приветом
Posts: 10775
Joined: 22 Jul 2006 20:19

Re: Machine Learning again

Post by adda_ »

fruit6 wrote:Если нужен настоящий кредитный скор, то почти все банки, типа citi, discover, дают его клиентам на халяву. Карма и минт это безусловно lol
Обычно они дают только файко скор, а агенств на самом деле три. Но раз в год можно получить все это бесплатно от всех трех включая всю историю со всеми платежами за все время что живешь здесь.
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: Machine Learning again

Post by Сабина »

Во!
https://gigaom.com/2015/03/06/how-paypa ... ght-fraud/" onclick="window.open(this.href);return false;
https://www.youtube.com/watch?v=wOwblaKmyVw

Return to “Работа и Карьера в IT”