kaggle.com - competitions

User avatar
Sergunka
Уже с Приветом
Posts: 28892
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka » 18 Sep 2018 00:15

alexan1 wrote:
17 Sep 2018 23:19
Sergunka wrote:
17 Sep 2018 20:44
tessob wrote:
17 Sep 2018 20:11
Мне кажется, что я скоро буду возить конструктор Lego на встречи с бизнесом.
:roll:
На самом деле и это будет сложно для бизнеса. Если вы не можете объяснить свою проблему бизнесу используя пальцы рук, значит скорее всего вы в ней недостаточно хорошо разобрались. :D
и нужен то всего один палец
Ну, нельзя все так понимать буквально :oops:
"A patriot must always be ready to defend his country against his government." Edward Abbey

Lisa
Уже с Приветом
Posts: 2517
Joined: 25 Jul 2000 09:01

Re: kaggle.com - competitions

Post by Lisa » 18 Sep 2018 18:20

tessob wrote:
17 Sep 2018 20:11

Вы просто не представляете чего стоит иногда объяснить, что такое симплекс для задачи производственного планирования, размахивая комком мятой бумаги перед носом у менеджера.
:roll:
Зачем, зачем нужно объяснять менеджеру как работает симплекс?? Что менеджер будет делать с этой совершенно ненужной ему информацией?

Физик-Лирик
Уже с Приветом
Posts: 4150
Joined: 19 Oct 2004 01:46

Re: kaggle.com - competitions

Post by Физик-Лирик » 18 Sep 2018 19:15

Lisa wrote:
18 Sep 2018 18:20
tessob wrote:
17 Sep 2018 20:11

Вы просто не представляете чего стоит иногда объяснить, что такое симплекс для задачи производственного планирования, размахивая комком мятой бумаги перед носом у менеджера.
:roll:
Зачем, зачем нужно объяснять менеджеру как работает симплекс?? Что менеджер будет делать с этой совершенно ненужной ему информацией?
Менеджеры тоже разные бывают. Одни действительно хотят разобраться, другие делают вид ... :sadcry:
Да и вообще пора заканчивать с этими линейными моделями (в точ числе и в МЛ). Даешь нелинейную ККТ оптимизацию !!!!! Вот там действительно есть о чем поговорить с менеджером. А еще прикольнее сюда эволюционные алгоритмы приплести. :D

User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: kaggle.com - competitions

Post by АццкоМото » 18 Sep 2018 19:22

Lisa wrote:
18 Sep 2018 18:20
tessob wrote:
17 Sep 2018 20:11

Вы просто не представляете чего стоит иногда объяснить, что такое симплекс для задачи производственного планирования, размахивая комком мятой бумаги перед носом у менеджера.
:roll:
Зачем, зачем нужно объяснять менеджеру как работает симплекс?? Что менеджер будет делать с этой совершенно ненужной ему информацией?
А вы ощущаете разницу между "объяснить, что такое" и "объяснить, как работает"? Похоже, нет
Мат на форуме запрещен, блдж!

Lisa
Уже с Приветом
Posts: 2517
Joined: 25 Jul 2000 09:01

Re: kaggle.com - competitions

Post by Lisa » 18 Sep 2018 21:02

Физик-Лирик wrote:
18 Sep 2018 19:15
Lisa wrote:
18 Sep 2018 18:20
tessob wrote:
17 Sep 2018 20:11

Вы просто не представляете чего стоит иногда объяснить, что такое симплекс для задачи производственного планирования, размахивая комком мятой бумаги перед носом у менеджера.
:roll:
Зачем, зачем нужно объяснять менеджеру как работает симплекс?? Что менеджер будет делать с этой совершенно ненужной ему информацией?
Менеджеры тоже разные бывают. Одни действительно хотят разобраться, другие делают вид ... :sadcry:
Да и вообще пора заканчивать с этими линейными моделями (в точ числе и в МЛ). Даешь нелинейную ККТ оптимизацию !!!!! Вот там действительно есть о чем поговорить с менеджером. А еще прикольнее сюда эволюционные алгоритмы приплести. :D
Это смотря какой менеджер. Если технарь, то конечно. Но, кмк, речь шла о бизнес менеджерах. Им технические детали и определения совершенно неинтересны, что в общем-то правильно. Я бы посмотрела на самоубийцу, который решит рассказать, ну скажем директору завода, про ККТ.

tessob
Уже с Приветом
Posts: 307
Joined: 07 Jan 2016 13:04

Re: kaggle.com - competitions

Post by tessob » 18 Sep 2018 22:12

Физик-Лирик wrote:
18 Sep 2018 19:15
Да и вообще пора заканчивать с этими линейными моделями (в точ числе и в МЛ). Даешь нелинейную ККТ оптимизацию !!!!! Вот там действительно есть о чем поговорить с менеджером. А еще прикольнее сюда эволюционные алгоритмы приплести. :D
Эволюционные алгоритмы достаточно легко объяснить на примере кофемашины. Как ни странно, но и min-max можно объяснить таким же образом. Если менеджер хочет кофе, то он кратчайшим путем пойдет к кофемашине. Если в ходе ремонта кратчайший путь перегородить, то через некоторое время менеджер найдет новый кратчайший путь, если такой существует. Если менеджер планирует избежать встречи на своем пути со своим менеджером, то он выберет такой путь, который будет все еще достаточно коротким, но риск коллизии будет значительно меньшим. :umnik1:

Что касается нелинейной оптимизации, то на практике в подавляющем большинстве случаев можно обойтись линейной моделью. Учитывая, что большинство проблем в реальной практике носят дискретный характер, и мы уже имеем «ошибку» в линейной модели, то приближение какой-нибудь известной монотонной выпуклой функции касательными, на заданном интервале, просто изменит значение нашей «ошибки». При этом мы даже не знаем ухудшит ли это «ошибку» или наоборот.

Например, функция штрафа за хранение запасов похожа на квадратичную и выпуклая вниз. В минимуме мы имеем нулевой штраф. Если мы закупимся сильно заранее, то мы хотим получать нелинейно больший штраф, если профакапим закупку, то аналогично. При этом саму функцию доподлинно мы не знаем. Понятно, что веселей было бы исследовать данную функцию, найти ее нелинейное приближение запихать в модель и нелинейно оптимизироать, но на практике гораздо меньше гиморроя — просто приблизить ее 4-5 касательными. При этом даже не нужно дифферкнцировать. Да! Достаточно просто сесть рядом с менеджером и на клетчатой бумажке ее нарисовать карандашиком по ленейке, а потом на глаз прилепить коэффициенты. Сопричастность менеджера бесценна! :umnik1:

Кроме того Симплекс обладает многими интересными свойствами на практике. Особенно в вычислитеьном плане. Особенно, если слепить его в своеобразный тензор. Особенно учитывая, что на практике веса при иксах у вас меняются очень-очень редко, а менять приходится в основном только ограничения неравенств, что позволяет достаточно быстро приходить к новому оптимуму.

Физик-Лирик
Уже с Приветом
Posts: 4150
Joined: 19 Oct 2004 01:46

Re: kaggle.com - competitions

Post by Физик-Лирик » 19 Sep 2018 00:21

Lisa wrote:
18 Sep 2018 21:02
Это смотря какой менеджер. Если технарь, то конечно. Но, кмк, речь шла о бизнес менеджерах. Им технические детали и определения совершенно неинтересны, что в общем-то правильно. Я бы посмотрела на самоубийцу, который решит рассказать, ну скажем директору завода, про ККТ.
Самое прикольное, что даже нетехнари тоже иногда пытаются влезть в детали. В принципе, ничего плохого нет, если они сами понимают свои пределы. Хуже, когда менеджер воображает себя технарем и не знает пределов. :D

Lisa
Уже с Приветом
Posts: 2517
Joined: 25 Jul 2000 09:01

Re: kaggle.com - competitions

Post by Lisa » 19 Sep 2018 07:12

Физик-Лирик wrote:
19 Sep 2018 00:21
Lisa wrote:
18 Sep 2018 21:02
Это смотря какой менеджер. Если технарь, то конечно. Но, кмк, речь шла о бизнес менеджерах. Им технические детали и определения совершенно неинтересны, что в общем-то правильно. Я бы посмотрела на самоубийцу, который решит рассказать, ну скажем директору завода, про ККТ.
Самое прикольное, что даже нетехнари тоже иногда пытаются влезть в детали. В принципе, ничего плохого нет, если они сами понимают свои пределы. Хуже, когда менеджер воображает себя технарем и не знает пределов. :D
Да, это может быть засадой. Мне пока везло на вменяемых, которым гораздо важнее результат, а не как он получен.

User avatar
Sergunka
Уже с Приветом
Posts: 28892
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka » 24 Sep 2018 18:46

Народ еще не поздно присоединится к нашему тиму :-) Просто теперь надо отрабатывать идеи рук не хватает все заняты на работе - если присоединитесь, то сходу получите топ 15%-20% гарантировано. Если хорошо упереться рогом, то легко пробьем топ10% и походу до ТОП 5% можем дойти.

Я на сегодняшний день в ТОП 11% - https://www.kaggle.com/svyatkin

https://www.youtube.com/watch?v=YmrKb8WRriw

Если у кого есть студенты дети - то милости просим, детям мы всегда поможем - прокаченный профайл на кегле еще никому не помешал :angry:
"A patriot must always be ready to defend his country against his government." Edward Abbey

User avatar
+KPOT+
Уже с Приветом
Posts: 7118
Joined: 03 Oct 2014 06:12

Re: kaggle.com - competitions

Post by +KPOT+ » 25 Sep 2018 18:28

Гады держут цены 1080 на уровне $460-$500. Сейчас же вышли уже карточки 2000 поколения, но пока не дешевеет.

User avatar
M. Ridcully
Уже с Приветом
Posts: 8790
Joined: 08 Sep 2006 20:07
Location: Силиконка

Re: kaggle.com - competitions

Post by M. Ridcully » 25 Sep 2018 21:02

+KPOT+ wrote:
25 Sep 2018 18:28
Гады держут цены 1080 на уровне $460-$500. Сейчас же вышли уже карточки 2000 поколения, но пока не дешевеет.
А нафига, если GPU уже есть в public clouds?
На гуглоклауде работают отлично. На AWS тоже, хотя именно для GPU чуток замороченно, ИМХО.
Ажур не проверял, но скорее всего тоже вполне рабочий вариант.
Don’t Tread on Me

User avatar
Sergunka
Уже с Приветом
Posts: 28892
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka » 27 Sep 2018 22:59

M. Ridcully wrote:
25 Sep 2018 21:02
+KPOT+ wrote:
25 Sep 2018 18:28
Гады держут цены 1080 на уровне $460-$500. Сейчас же вышли уже карточки 2000 поколения, но пока не дешевеет.
А нафига, если GPU уже есть в public clouds?
На гуглоклауде работают отлично. На AWS тоже, хотя именно для GPU чуток замороченно, ИМХО.
Ажур не проверял, но скорее всего тоже вполне рабочий вариант.
Когда своя карта тогда попроще и навыков вроде как побольше получается - там установить, библиотеки правильно подобрать. Гонять в облаках тоже конечно кучеряво, но там типо бабло надо платить как-то жаба давит :angry:
"A patriot must always be ready to defend his country against his government." Edward Abbey

User avatar
M. Ridcully
Уже с Приветом
Posts: 8790
Joined: 08 Sep 2006 20:07
Location: Силиконка

Re: kaggle.com - competitions

Post by M. Ridcully » 27 Sep 2018 23:38

Sergunka wrote:
27 Sep 2018 22:59
Гонять в облаках тоже конечно кучеряво, но там типо бабло надо платить как-то жаба давит :angry:
Да, но зато не надо сразу кругленькую сумму выкатывать за карточку. А они ещё и устаревают периодически... Плюс когда у себя гоняете - за электричество платите, ну и т.д. - то есть ещё посчитать надо, не факт, что дешевле окажется.
Чем мне гуглоклауд понравился, в отличие от амазона: у них GPU(s) можно подключать к любому типу инстанса, и сколько хочешь. У амазона предопределённые типы, вроде, то есть если хочешь GPU - то такая-то конфигурация остального железа. К тому же в гуглоклауде можно несколько GPUs подключать.
Как я делал. Завёл собственный image, туда установил Куду и всё другое, что требуется. Это всё можно делать на самом дешёвом инстансе с одним кором и без GPU - стоить практически копейки будет, а может и во free tire попать или какие там промоушены есть, если ещё не использовал. Компилять Куду, кстати, тоже можно на инстансе без GPU. И потом использовал дорогие инстансы с GPU только для собственно запуска уже скомпилированных программ. Поднял-запустил-получил ответ-зашатдаунил. Всё это автоматизируется. Плюс можно поэкспериментировать с preemptible instances - дешевле будет (но нужно быть готовому, что иногда табуретку из под жопы выбивать будут).

Добавлю: ещё клауд хорош тем, что можно разные GPU и их комбинации попробовать.
Don’t Tread on Me

User avatar
Sergunka
Уже с Приветом
Posts: 28892
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka » 28 Sep 2018 01:03

Ну дык сейчас 5 фолдеров считаются больше 10 часов - сколько это по баблу будет?
"A patriot must always be ready to defend his country against his government." Edward Abbey

User avatar
M. Ridcully
Уже с Приветом
Posts: 8790
Joined: 08 Sep 2006 20:07
Location: Силиконка

Re: kaggle.com - competitions

Post by M. Ridcully » 28 Sep 2018 02:15

Sergunka wrote:
28 Sep 2018 01:03
Ну дык сейчас 5 фолдеров считаются больше 10 часов - сколько это по баблу будет?
Я не знаю, что такое "5 фолдеров" :D
Я если что не ML гонял, я просто Куду по букварю учил. Для меня вполне хватало, на всё про всё копейки заплатил.
Цену тут есть: https://cloud.google.com/gpu/
Don’t Tread on Me

Chessplayer
Уже с Приветом
Posts: 237
Joined: 27 Nov 2007 05:33

Re: kaggle.com - competitions

Post by Chessplayer » 28 Sep 2018 04:07

M. Ridcully wrote: Я не знаю, что такое "5 фолдеров" :D
Я если что не ML гонял, я просто Куду по букварю учил. Для меня вполне хватало, на всё про всё копейки заплатил.
Цену тут есть: https://cloud.google.com/gpu/
Nvidia K80 on demand $0.45/hr. K80 это конечно круто, но цены кусаются.



Sent from my iPhone using Tapatalk

User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: kaggle.com - competitions

Post by АццкоМото » 28 Sep 2018 13:56

M. Ridcully wrote:
27 Sep 2018 23:38
а может и во free tire попать или какие там промоушены есть
Афигеть! Гугл бесплатно раздает покрышки! Скорее ссылку в студию, мне надо!
Мат на форуме запрещен, блдж!

User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: kaggle.com - competitions

Post by АццкоМото » 28 Sep 2018 13:59

Chessplayer wrote:
28 Sep 2018 04:07
M. Ridcully wrote: Я не знаю, что такое "5 фолдеров" :D
Я если что не ML гонял, я просто Куду по букварю учил. Для меня вполне хватало, на всё про всё копейки заплатил.
Цену тут есть: https://cloud.google.com/gpu/
Nvidia K80 on demand $0.45/hr. K80 это конечно круто, но цены кусаются.
Ммм... если по 10 часов в день крутить, то это 4.50. Т.е. примерно как маленький, холодный и невкусный сэндвич на заправке. Или меньше, чем я плачу за толлывэи в день. Или чуть больше, чем полпачки сигарет. Меньше пинты пива. Кусуче, чо
Мат на форуме запрещен, блдж!

User avatar
+KPOT+
Уже с Приветом
Posts: 7118
Joined: 03 Oct 2014 06:12

Re: kaggle.com - competitions

Post by +KPOT+ » 28 Sep 2018 14:00

АццкоМото wrote:
28 Sep 2018 13:56
M. Ridcully wrote:
27 Sep 2018 23:38
а может и во free tire попать или какие там промоушены есть
Афигеть! Гугл бесплатно раздает покрышки! Скорее ссылку в студию, мне надо!
Наверное, речь таки шла об Амазоне.

User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: kaggle.com - competitions

Post by АццкоМото » 28 Sep 2018 14:11

+KPOT+ wrote:
28 Sep 2018 14:00
АццкоМото wrote:
28 Sep 2018 13:56
M. Ridcully wrote:
27 Sep 2018 23:38
а может и во free tire попать или какие там промоушены есть
Афигеть! Гугл бесплатно раздает покрышки! Скорее ссылку в студию, мне надо!
Наверное, речь таки шла об Амазоне.
Ага, судя по фразе "Чем мне гуглоклауд понравился, в отличие от амазона", так и есть. Задолбали уже нечитатели. Лишь бы в лужу перышко поставить, остальное пох: камент высран, день прожит не зря :sadcry:
Мат на форуме запрещен, блдж!

User avatar
Sergunka
Уже с Приветом
Posts: 28892
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka » 28 Sep 2018 18:14

АццкоМото wrote:
28 Sep 2018 13:59
Chessplayer wrote:
28 Sep 2018 04:07
M. Ridcully wrote: Я не знаю, что такое "5 фолдеров" :D
Я если что не ML гонял, я просто Куду по букварю учил. Для меня вполне хватало, на всё про всё копейки заплатил.
Цену тут есть: https://cloud.google.com/gpu/
Nvidia K80 on demand $0.45/hr. K80 это конечно круто, но цены кусаются.
Ммм... если по 10 часов в день крутить, то это 4.50. Т.е. примерно как маленький, холодный и невкусный сэндвич на заправке. Или меньше, чем я плачу за толлывэи в день. Или чуть больше, чем полпачки сигарет. Меньше пинты пива. Кусуче, чо
Там могут быть и скорее всего будут маленькими буквами дополнительные фи за экаунт и тд. потом играть надо месяца три так, что тут как ни крути, а полкарты и отобьется за одну игру.
"A patriot must always be ready to defend his country against his government." Edward Abbey

User avatar
+KPOT+
Уже с Приветом
Posts: 7118
Joined: 03 Oct 2014 06:12

Re: kaggle.com - competitions

Post by +KPOT+ » 28 Sep 2018 19:27

Вот тут чувак рассказывает как он Амазоном пользовался. Мне кажется, легче свою карточку таки купить. А там забудешь во время выключить машину и попадёшь на бабки 😀
https://medium.freecodecamp.org/what-i- ... 123e17a36b

User avatar
M. Ridcully
Уже с Приветом
Posts: 8790
Joined: 08 Sep 2006 20:07
Location: Силиконка

Re: kaggle.com - competitions

Post by M. Ridcully » 28 Sep 2018 20:52

+KPOT+ wrote:
28 Sep 2018 19:27
А там забудешь во время выключить машину и попадёшь на бабки 😀
А если борщ на плите оставить? Можно и дом спалить! :umnik1:

Вообще я не то чтобы спорю, если кто непременно свою карточку купить хочет - просто написал, что есть и другая опция, которую можно попробовать.
Don’t Tread on Me

User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: kaggle.com - competitions

Post by АццкоМото » 28 Sep 2018 21:13

Sergunka wrote:
28 Sep 2018 18:14
АццкоМото wrote:
28 Sep 2018 13:59
Chessplayer wrote:
28 Sep 2018 04:07
M. Ridcully wrote: Я не знаю, что такое "5 фолдеров" :D
Я если что не ML гонял, я просто Куду по букварю учил. Для меня вполне хватало, на всё про всё копейки заплатил.
Цену тут есть: https://cloud.google.com/gpu/
Nvidia K80 on demand $0.45/hr. K80 это конечно круто, но цены кусаются.
Ммм... если по 10 часов в день крутить, то это 4.50. Т.е. примерно как маленький, холодный и невкусный сэндвич на заправке. Или меньше, чем я плачу за толлывэи в день. Или чуть больше, чем полпачки сигарет. Меньше пинты пива. Кусуче, чо
Там могут быть и скорее всего будут маленькими буквами дополнительные фи за экаунт и тд. потом играть надо месяца три так, что тут как ни крути, а полкарты и отобьется за одну игру.
Да ну. Гоголь этой ерундой не страдает, прайсинг очень прозрачный.

Я при этом согласен, что купить карточку будет для многих дешевле. (Хотя для меня — не факт, возможно, придется покупать контупер целиком). Просто соглашаясь на 45 центов/час не подписываешься под что-то серьезное. А вот 500-1500 сразу это несколько больно.

Кстати, с гуглоклаудом я, пожалуй, попробую, если выйдет все настроить. А вот локальный сетап чойта совсем никак не привлекает
Мат на форуме запрещен, блдж!

User avatar
M. Ridcully
Уже с Приветом
Posts: 8790
Joined: 08 Sep 2006 20:07
Location: Силиконка

Re: kaggle.com - competitions

Post by M. Ridcully » 28 Sep 2018 21:19

Кстати, вдогонку - есть ещё такая штука как google cloud source repositories.
Если кто не знает, и кому нужна альтернатива private repositories за смешные деньги.
Если ещё и девелопмент на их же инстансах, то очень удобно ИМХО.
Don’t Tread on Me

Return to “Работа и Карьера в IT”