kaggle.com - competitions

User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: kaggle.com - competitions

Post by АццкоМото »

M. Ridcully wrote: 28 Sep 2018 20:52 А если борщ на плите оставить? Можно и дом спалить! :umnik1:
Тююю! У меня давно борщ в клауде! И пусть там дом Гугла горит сколько хочет, резервная копия борща давно на Омозоне.

ЗЫ. Реально спасибо за упоминание гуглоклауда. Я знал про GPU-опции, но почему то не вспомнил про них. План на осень: уделать Сергуньку в два раза. Он в топ 11%, а я осилю топ 22%!!! ;)
Мат на форуме запрещен, блдж!
User avatar
Sergunka
Уже с Приветом
Posts: 34124
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

M. Ridcully wrote: 28 Sep 2018 20:52
+KPOT+ wrote: 28 Sep 2018 19:27 А там забудешь во время выключить машину и попадёшь на бабки 😀
А если борщ на плите оставить? Можно и дом спалить! :umnik1:

Вообще я не то чтобы спорю, если кто непременно свою карточку купить хочет - просто написал, что есть и другая опция, которую можно попробовать.
Опция беспорно козырная когда надо будет, что-то реально серьезное гонять локальный комп может не справиться всеж долго как-то по 20 часов. У меня уже подвисал мой комп. Еще и по другой причине серьезный работодатель будет и за облака спрашивать если дело до офера дойдет. :fr:
"A patriot must always be ready to defend his country against his government." Edward Abbey
Chessplayer
Уже с Приветом
Posts: 345
Joined: 27 Nov 2007 05:33

Re: kaggle.com - competitions

Post by Chessplayer »

АццкоМото wrote:
Chessplayer wrote: 28 Sep 2018 04:07
M. Ridcully wrote: Я не знаю, что такое "5 фолдеров" :D
Я если что не ML гонял, я просто Куду по букварю учил. Для меня вполне хватало, на всё про всё копейки заплатил.
Цену тут есть: https://cloud.google.com/gpu/
Nvidia K80 on demand $0.45/hr. K80 это конечно круто, но цены кусаются.
Ммм... если по 10 часов в день крутить, то это 4.50. Т.е. примерно как маленький, холодный и невкусный сэндвич на заправке. Или меньше, чем я плачу за толлывэи в день. Или чуть больше, чем полпачки сигарет. Меньше пинты пива. Кусуче, чо
Как говорил один из современных классиков AI Andrew Ng: AI is new electricity. Ну вот они и чарджат по цене киловатта в час пик :)
smikesh1
Уже с Приветом
Posts: 162
Joined: 16 Aug 2012 16:35
Location: Frankfurt am Main

Re: kaggle.com - competitions

Post by smikesh1 »

Sergunka wrote: 28 Sep 2018 01:03 Ну дык сейчас 5 фолдеров считаются больше 10 часов - сколько это по баблу будет?
ну смотря на чем считать :)))
ты на К80 считаешь ? (это p2.xlarge)
у меня получалось брать спот примерно за 0.25 в час.

хочу еще вот этих товарищей попробовать: https://vectordash.com
User avatar
Sergunka
Уже с Приветом
Posts: 34124
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

smikesh1 wrote: 03 Oct 2018 13:54
Sergunka wrote: 28 Sep 2018 01:03 Ну дык сейчас 5 фолдеров считаются больше 10 часов - сколько это по баблу будет?
ну смотря на чем считать :)))
ты на К80 считаешь ? (это p2.xlarge)
у меня получалось брать спот примерно за 0.25 в час.

хочу еще вот этих товарищей попробовать: https://vectordash.com
Я пока на своем локальном компе с картой 1080 - у меня нет серьезных амбиций на этот раз я больше пытаюсь разобраться в процессе и понимании модели котороую использую.
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Sergunka
Уже с Приветом
Posts: 34124
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

Вот классная разъяснялка как да чо!? Наш перец рассказывает как он дошел до такой жизни заняв 3-е почотное место :fr:



Радует, что не перевелись еще настоящие сподвижники этого дела могут поделится инфой с убогими :oops: :good:
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
kyk
Уже с Приветом
Posts: 31438
Joined: 21 Nov 2004 05:12
Location: камбуз на кампусе

Re: kaggle.com - competitions

Post by kyk »

Физик-Лирик wrote: 17 Sep 2018 19:37Нужен не ум, а умение всучить "продукт". Ум - это когда при шестизначной некалифорнийской зарплате ты делаешь то, что тебе интересно.
Всё верно говорите. Но это рефлексия. От того, что это понимаете и говорите, - умнее не становитесь :mrgreen:
Лучше переесть, чем недоспать! © Обратное тоже верно :umnik1:
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: kaggle.com - competitions

Post by Физик-Лирик »

kyk wrote: 25 Nov 2018 00:46
Физик-Лирик wrote: 17 Sep 2018 19:37Нужен не ум, а умение всучить "продукт". Ум - это когда при шестизначной некалифорнийской зарплате ты делаешь то, что тебе интересно.
Всё верно говорите. Но это рефлексия. От того, что это понимаете и говорите, - умнее не становитесь :mrgreen:
Это другой вид ума. Хитрож ... стью называется. Вот это и практикуем :lol: .
User avatar
kyk
Уже с Приветом
Posts: 31438
Joined: 21 Nov 2004 05:12
Location: камбуз на кампусе

Re: kaggle.com - competitions

Post by kyk »

Физик-Лирик wrote: 25 Nov 2018 01:02Хитрож ... стью
она полезна в разумных количествах. "На всякую хитрую ж@пу есть йух с винтом" (С)
Лучше переесть, чем недоспать! © Обратное тоже верно :umnik1:
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: kaggle.com - competitions

Post by Физик-Лирик »

kyk wrote: 25 Nov 2018 01:09
Физик-Лирик wrote: 25 Nov 2018 01:02Хитрож ... стью
она полезна в разумных количествах. "На всякую хитрую ж@пу есть йух с винтом" (С)
Зачит надо во время свинтить. В этом ум и заключается.
User avatar
Sergunka
Уже с Приветом
Posts: 34124
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

Human Protein Atlas Image Classification
Classify subcellular protein patterns in human cells


https://www.kaggle.com/c/human-protein- ... sification

Опять ввязался, но более осторожно создали команду я иду "прицепом" за "паровозом" пока в топе 8% :oops: :angry:
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
liamkin
Уже с Приветом
Posts: 2603
Joined: 19 Jun 2003 20:22
Location: USA

Re: kaggle.com - competitions

Post by liamkin »

Sergunka wrote: 08 Dec 2018 21:58 Human Protein Atlas Image Classification
Classify subcellular protein patterns in human cells


https://www.kaggle.com/c/human-protein- ... sification

Опять ввязался, но более осторожно создали команду я иду "прицепом" за "паровозом" пока в топе 8% :oops: :angry:
Заинтриговали вы меня. Но все же в голове один вопрос - надо ли покупать новый писюк с самой дорогой видеокартой, чтобы шансы попадания в топ увеличить? Мой то довольно стар, Айвибридж 2012 года с нвидией 1070. Или там на одном таланте уехать в рай можно?
Chessplayer
Уже с Приветом
Posts: 345
Joined: 27 Nov 2007 05:33

Re: kaggle.com - competitions

Post by Chessplayer »

Для табличных соревнований этого будет достаточно для начала. Для картиночных соревнований или NLP, где BERT используется, железо нужно посерьёзнее. Но я бы для начала пропробовал на том, что есть. Можно воспользоваться GCP кредитами. На каггле также есть бесплатные кернелы, правда их сильно урезали. Если пойдет, то DGX всегда успеете докупить.
User avatar
Sergunka
Уже с Приветом
Posts: 34124
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

Chessplayer wrote: 17 Jan 2020 18:44 Для табличных соревнований этого будет достаточно для начала. Для картиночных соревнований или NLP, где BERT используется, железо нужно посерьёзнее. Но я бы для начала пропробовал на том, что есть. Можно воспользоваться GCP кредитами. На каггле также есть бесплатные кернелы, правда их сильно урезали. Если пойдет, то DGX всегда успеете докупить.
+1

У меня карта 1080 + 16 гиг памяти + SSD. Для общего уровня и понимания проблем мне хватает. Я собственно больше для детей стараюсь потихоньку начало работать старший стал играть через два года + ему надо было по учебе мощный комп.
"A patriot must always be ready to defend his country against his government." Edward Abbey
Chessplayer
Уже с Приветом
Posts: 345
Joined: 27 Nov 2007 05:33

Re: kaggle.com - competitions

Post by Chessplayer »

В общем, чтобы войти в топ-5% супер железо не нужно. Золото - это другой разговор. Там серьёзная конкуренция.
User avatar
Berd
Posts: 1
Joined: 07 Feb 2020 17:49
Location: Russia, Saint-Petersburg

Re: kaggle.com - competitions

Post by Berd »

Всем привет!
На новый год первый раз поучаствовал в соревнованиях на kaggle.com - конкурс был связанный с новым годом и Санта-Клаусом - вошёл где-то в 50%
Очень понравилось - ищу теперь с кем вместе можно поучаствовать, т.к. одному всё-таки достаточно тяжело...
Если будет интересно - пишите:
Скайп: mr.kr3w
Почта: berd1990@yandex.ru
User avatar
liamkin
Уже с Приветом
Posts: 2603
Joined: 19 Jun 2003 20:22
Location: USA

Re: kaggle.com - competitions

Post by liamkin »

В-общем повод проапгрейдиться нашелся! Даешь i9-9900 и RTX2080ti! :D
User avatar
Sergunka
Уже с Приветом
Posts: 34124
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

liamkin wrote: 11 Feb 2020 19:42 В-общем повод проапгрейдиться нашелся! Даешь i9-9900 и RTX2080ti! :D
CUDA driver уже установил? Вообще стабильно работает Ubuntu 16.03

RTX2080ti - карта мощнецкая судя по цене :fr:
"A patriot must always be ready to defend his country against his government." Edward Abbey
Сабина
Уже с Приветом
Posts: 19041
Joined: 11 Jan 2012 09:25
Location: CA

Re: kaggle.com - competitions

Post by Сабина »

Сергунька. А можно нечитателям краткий обзор пользы Каггла за два года, прошедшие с начала его освоения ? Чисто хобби ? Или как то пригодилось по работе ?
https://www.youtube.com/watch?v=wOwblaKmyVw
User avatar
Sergunka
Уже с Приветом
Posts: 34124
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

Сабина wrote: 12 Feb 2020 13:54 Сергунька. А можно нечитателям краткий обзор пользы Каггла за два года, прошедшие с начала его освоения ? Чисто хобби ? Или как то пригодилось по работе ?
Глянь мой профайл на линкидине я потихоньку дрейфую в дата инженеры. Сейчас я на новой платформе где все что наработано на кегле идет полным ходом. Я просто знал, что хочет заказчик и исходил из его требований так что на кегле подтянул многие скилсы что касается моделей. В дата саентисты я не лезу это не мое, но вот понимать сам процесс и какие данные там нужны под тренировку модели и ее тюнап в этом вроде как я хорошо на кегле насобачился :fr:

Еще болшой плюс я за день могу настроить среду под всю эту музыку и понимаю детали как это делается.
"A patriot must always be ready to defend his country against his government." Edward Abbey

Return to “Работа и Карьера в IT”