kaggle.com - competitions

User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

kaggle.com - competitions

Post by Sergunka »

Так как все потерялось, то открою новый топик по соревнованию
https://www.kaggle.com/c/tgs-salt-ident ... -challenge

Мне как бэ даже это по работе полезно, если есть желающие, то присоединяйтесь поизучаем проблему соли в нефтедобыче вместе :fr:
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

Пока я застрял в где-то между 30%-50% из больше тысячи участников. Пытаюсь осилить основы МЛ использую модель U-net c приблудами отсюда
https://www.kaggle.com/phoenigs/u-net-d ... tification

Глоссарий если кто вовлекется :o

Folds - это разбитие данных на куски и построение моделей для каждого подмножества, используя один из кусков как valdation.
Например, берется набор из 4000 записей и разбивается на 5 кусков 1..5 . Тогда модели строятся для следующих данных:
train : 1,2,3,4 valid: 5 ==> fold1
train:: 1,2,3,5 valid :4 ==> fold2
train: 1,2,4,5 valid :3 ==> fold3
train: 1,3,4,5 valid :2 ==> fold4
train: 2,3,4,5 valid :1 ==> fold5
Строится 5 решений по одним данным и оно каким-то образом усредняется, давая окончательное решение.
Идея folds возникла из проблемы необходимости равномерного обучения по всему набору.Как правило получается лучший вариант.

Stratigfied folds - это тоже самое, но при построении используются наборы похожих значений из исходного массива для обучения. Все похожие значения должны равномерно распределиться по сем фолдам. Для того чтобы равномерно обучить все фолды на похожих данных.
Например, все фолды должны содержать приблизительно одинаковое число пустых значений (то есть не содержащих соли).
При правильном определении классов для построения, дает более сбалансированное решение.

Augmentation (еще используют термин TTA) - небольшое изменение картинки и добавление их в тренируемый набор, для улучшения тренированных моделей, при небольшом искажении образца. Например съемка лица при небольшом угле.
Обычно используются повороты, заркальные измображения, повороты на небольшой угол (1..45 градусов) , небольшие сжатия и растяжения, ухудшение качества, размытость.
Есть специальные пакеты для таких безобразий. Для начала используют повороты и зеркалирование.Early Stopping - остановка при отсутствии результатов, например когда нет результатов в течении 5-10 эпох, далее можно не продолжать обучение и процесс останавливается.

Change Learning Rate - используется для адаптивного снижения скрости обучения. Например когда нет результатов в течении 3 эпох, по какой-то наблюдаемой величине, то lr (learning rate) обычно снижают в 10 раз, и тд.
Есть другие техники встряхивания результативности с помощью lr

Early Stopping - остановка при отсутствии результатов, например когда нет результатов в течении 5-10 эпох, далее можно не продолжать обучение и процесс останавливается.
"A patriot must always be ready to defend his country against his government." Edward Abbey
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: kaggle.com - competitions

Post by tessob »

Sergunka wrote: 14 Aug 2018 15:27Идея folds возникла из проблемы необходимости равномерного обучения по всему набору.Как правило получается лучший вариант.
Данный подход много раз был описан как 'ансамбли' или 'бутстрапы'. Только это, учитывайте, что Вы там соревнуетесь с искусственным интеллектом. Тысячи индусов настакают такое количество моделей, что вы их никак не переплюнете. И центральная предельная теорема будет им в помощь. Увы...
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

tessob wrote: 14 Aug 2018 19:38
Sergunka wrote: 14 Aug 2018 15:27Идея folds возникла из проблемы необходимости равномерного обучения по всему набору.Как правило получается лучший вариант.
Данный подход много раз был описан как 'ансамбли' или 'бутстрапы'. Только это, учитывайте, что Вы там соревнуетесь с искусственным интеллектом. Тысячи индусов настакают такое количество моделей, что вы их никак не переплюнете. И центральная предельная теорема будет им в помощь. Увы...
Чо то Вы загнули индусы там есть понятно куда же без них, но особо они там не блещут... уровень вхождения сложноват для птиц :D

В первой сотне индюков просто нет
https://www.kaggle.com/c/tgs-salt-ident ... eaderboard

К слову сказать русских довольно много :angry:
"A patriot must always be ready to defend his country against his government." Edward Abbey
Ulitkan
Новичок
Posts: 77
Joined: 07 Jul 2018 20:05

Re: kaggle.com - competitions

Post by Ulitkan »

Sergunka wrote: 14 Aug 2018 15:24 Так как все потерялось, то открою новый топик по соревнованию
https://www.kaggle.com/c/tgs-salt-ident ... -challenge

Мне как бэ даже это по работе полезно, если есть желающие, то присоединяйтесь поизучаем проблему соли в нефтедобыче вместе :fr:
Вы как-то плохо об'ясняете: допустим вы круто напряглись и поднялись аж до 250 места. Что дальше? Допустим, вам это как-то полезно по работе, хотя и непонятно как. Но как это может быть полезно хоть кому-то ещё на форуме ? Ума не приложу.
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

Так я вышел из отпуска, разгребся на работе. Походу пора опять включаться. Я повторю свой вопрос есть ли желающие поучаствовать? Понятно призового места не займем, но зато разогреемся . :fr:
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
+KPOT+
Уже с Приветом
Posts: 7639
Joined: 03 Oct 2014 06:12

Re: kaggle.com - competitions

Post by +KPOT+ »

Sergunka wrote: 24 Aug 2018 19:52 Так я вышел из отпуска, разгребся на работе. Походу пора опять включаться. Я повторю свой вопрос есть ли желающие поучаствовать? Понятно призового места не займем, но зато разогреемся . :fr:
Здорово, что у вас столько чвободного времени :|
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

+KPOT+ wrote: 27 Aug 2018 08:21
Sergunka wrote: 24 Aug 2018 19:52 Так я вышел из отпуска, разгребся на работе. Походу пора опять включаться. Я повторю свой вопрос есть ли желающие поучаствовать? Понятно призового места не займем, но зато разогреемся . :fr:
Здорово, что у вас столько чвободного времени :|
На самом деле "суха теория мой друг" просто заведите сначала пятеро детей и когда дети выросли, то почувствуете, что надо найти себе заниятие для души :angry:
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

Докладываю промежуточный результат. Сегодня чисто на копипейсте попал в первые пятьсот из 2000+ участников.

Все мое умение пока, что сводится к тому чтоб творчески скомуниздить чейнибудь кернел и подкрутить пару тройку параметров. А так как комп у меня настроен правильно и все библиотеки правильных версий то удается отжать еще доли процентов :D

Вот он кернел победоносный для лохов первоходок
https://www.kaggle.com/divrikwicky/u-ne ... cks-forked
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

Блин затягивает лег поздно добился 0.8 в предикшин сижу пока в первых трех сот aka top 12%. Туплю реально, но судя по всему позади меня еще тупее :cry:
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

Sergunka wrote: 06 Sep 2018 15:35 Блин затягивает лег поздно добился 0.8 в предикшин сижу пока в первых трех сот aka top 12%. Туплю реально, но судя по всему позади меня еще тупее :cry:
Получается работать только по выходным сегодня вечером поднял результат с 0.8 до 0.809 опять топе < 20%. Если кто хочет вписаться еще есть время, я помогу чем смогу :fr:
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
+KPOT+
Уже с Приветом
Posts: 7639
Joined: 03 Oct 2014 06:12

Re: kaggle.com - competitions

Post by +KPOT+ »

Эх, я б поучаствовал, но реально нет времени, и я немного туповат. Вот сечас который раз пытаюсь поднять виртуалку от Cloudera c developer класса, а она ни в какую! :bum: :|
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

+KPOT+ wrote: 15 Sep 2018 08:24 Эх, я б поучаствовал, но реально нет времени, и я немного туповат. Вот сечас который раз пытаюсь поднять виртуалку от Cloudera c developer класса, а она ни в какую! :bum: :|
У меня неделю ушла установить все правильно - заманался как дятел... но как оказалось хорошо настроенный комп дает свои результаты. Как показываеь мой опыт там умных и шустрых может быть пару сотен из 2К+ игроков :-) так что особо одаренных я бы сказал не особо, что таких ламеров как я не может не радовать.
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: kaggle.com - competitions

Post by АццкоМото »

А чё там реально сильное железо нужно? Обычный МВР с дискретной но мобильной графикой не вывезет?
Мат на форуме запрещен, блдж!
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

АццкоМото wrote: 15 Sep 2018 17:03 А чё там реально сильное железо нужно? Обычный МВР с дискретной но мобильной графикой не вывезет?
Там все упирается в библиотеку CUDA которая не все карты поддерживает и так сложилось работает стабильно только с Ubuntu 16.04
https://www.nvidia.com/en-us/data-cente ... ensorflow/

Модели обычно гоняют под Keras на JUpiter

Все правильно установить это как оказывается основа успеха :angry:

https://www.geforce.com/hardware/techno ... orted-gpus

это спсиок всех графических карт которые КУДА поддерживает

я гоняю на GEFORCE® GTX 1080 + 16GB RAM + SSD памяти на комп надо докупить, но пока справляется и так. Время среднего прогона сейчас у меня порядка 2 часов. Одна эпоха считается порядка 80 секунд - эпохи ставлю на 150.

Моск сильно не напрягаю гоняю образцы других, есть идеи как чего делать, но руки не доходят всеж основная работа есть и меня пока устраивает, что начинаю разбираться в процессе и сижу в топе 20%
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

Sergunka wrote: 15 Sep 2018 08:16
Sergunka wrote: 06 Sep 2018 15:35 Блин затягивает лег поздно добился 0.8 в предикшин сижу пока в первых трех сот aka top 12%. Туплю реально, но судя по всему позади меня еще тупее :cry:
Получается работать только по выходным сегодня вечером поднял результат с 0.8 до 0.809 опять топе < 20%. Если кто хочет вписаться еще есть время, я помогу чем смогу :fr:
Сегодня сделал тюнап этого кренера от китайца
https://www.kaggle.com/shaojiaxin/u-net ... 2-new-loss

Нашел особенность своей карты она считает лучше при batch = 16

Code: Select all

reduce_lr = ReduceLROnPlateau(monitor='val_my_iou_metric_2', mode = 'max',factor=0.2, patience=15, min_lr=0.000001, verbose=1)
Подкрутил фактор и learning rate уменьшил на 0 ну и число попыток поставил.

Пробил 0.811 - и опять за мной 2К+ леменгов :D в переди меня видимо те кто этим занимается и может код на питоне писать :cry: три сотни человек :D
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: kaggle.com - competitions

Post by АццкоМото »

Блин, жопа. У меня Линукс бокс к тентелю прикручен. Оооооочень не хочется фтыкать туда шумную видимокарту
Мат на форуме запрещен, блдж!
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

АццкоМото wrote: 15 Sep 2018 19:18 Блин, жопа. У меня Линукс бокс к тентелю прикручен. Оооооочень не хочется фтыкать туда шумную видимокарту
У меня карта 1080 не шумит, но там и проц на водяном охлаждении. Правда сегодня первый раз комп повис после 5 часов счета. Вообще игра затягивает как хорошая стратегия :angry: Вчера лег во втором часу ждал пока просчитается первая часть и сегодня уже встал в 7 утра пусканул вторую часть -- улучшил результат на 0.02. Когда видишь как ты обходишь таких же леменгов как ты очень повышает собственную самооценку :great: Ну и потом вместо того что просто посидеть за компом еще и чего-то подучишь :fr:
"A patriot must always be ready to defend his country against his government." Edward Abbey
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: kaggle.com - competitions

Post by Физик-Лирик »

tessob wrote: 14 Aug 2018 19:38
Sergunka wrote: 14 Aug 2018 15:27Идея folds возникла из проблемы необходимости равномерного обучения по всему набору.Как правило получается лучший вариант.
Данный подход много раз был описан как 'ансамбли' или 'бутстрапы'. Только это, учитывайте, что Вы там соревнуетесь с искусственным интеллектом. Тысячи индусов настакают такое количество моделей, что вы их никак не переплюнете. И центральная предельная теорема будет им в помощь. Увы...
Я, конечно, извиняюсь, но бутстрапы и крос-валидация - разные вещи.

ТС Если вы еще набираете команду, то с удовольствием поучаствовал бы. Не уверен, правда, что я смогу работать на вашем железе, но готов присоединиться к мозговому штурму. Если что, дайте знать в личку. :D
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

Физик-Лирик wrote: 15 Sep 2018 19:56
tessob wrote: 14 Aug 2018 19:38
Sergunka wrote: 14 Aug 2018 15:27Идея folds возникла из проблемы необходимости равномерного обучения по всему набору.Как правило получается лучший вариант.
Данный подход много раз был описан как 'ансамбли' или 'бутстрапы'. Только это, учитывайте, что Вы там соревнуетесь с искусственным интеллектом. Тысячи индусов настакают такое количество моделей, что вы их никак не переплюнете. И центральная предельная теорема будет им в помощь. Увы...
Я, конечно, извиняюсь, но бутстрапы и крос-валидация - разные вещи.

ТС Если вы еще набираете команду, то с удовольствием поучаствовал бы. Не уверен, правда, что я смогу работать на вашем железе, но готов присоединиться к мозговому штурму. Если что, дайте знать в личку. :D
Да за любые идеи будем благодарны тут я не один поглядываю на это соревнование. Мне не в лом если Вы пришлете Ваш вариант кернела и я его прогоню для Вас на своем компе. И потом сабмишин файл отправлю Вам по почте Вам только останется его загрузить через Ваш профайл.

Я сейчас гоняю этого перца который и дал мне 0.81
https://www.kaggle.com/shaojiaxin/u-net ... 2-new-loss

У меня сейчас идея поработать с общем трендом как в коментах
upsizing not yet. increasing epochs got 0.822, with more train augmentation 0.824, with 5-fold average 0.830.
Сам перец уже добрался до топ 6% :angry:
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

Я не знаю не пробовал, но мне кажется там на кегле есть вариант когда можно делать запуск просчета прямо на кегле - я помнится пусканул но там как то мунто толи пусканулось то ли ждать сутки :) В общем там есть JUpiter - fork и копмит типо.
"A patriot must always be ready to defend his country against his government." Edward Abbey
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: kaggle.com - competitions

Post by tessob »

Физик-Лирик wrote: 15 Sep 2018 19:56Я, конечно, извиняюсь, но бутстрапы и крос-валидация - разные вещи.
Я писал про то, что принцип семплирования давно нашел применение там и там. Не нужно занудствовать.
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

В общем на этой неделе буду изучать типо вот такого

Basic data augmentation
I'll try basic data augmentation by just flipping the images horizontally.

Code: Select all

X_aug = np.concatenate((X, [np.fliplr(img) for img in X]), axis=0)
y_aug = np.concatenate((y, [np.fliplr(img) for img in y]), axis=0)
# Split the train data into actual train data and validation data
# train_test_split already shuffles data by default, so no need to do it

X_train, X_val, y_train, y_val = train_test_split(X_aug, y_aug, test_size=0.25, random_state=42)
Сейчас пока ищу код как делать искажения ака augmentation в тренировочных данных, чтоб типо размытое изображение, перевернутое и "белый низ, черный верх" как по Райкину. Как чего найду закопипастю и пульну на счет. Хотелось, конечно, делать умное лицо и надувать щеки, но больше пробивает на ржач - и за это еще и деньги платят?! :crazy: :crazy: :crazy:
"A patriot must always be ready to defend his country against his government." Edward Abbey
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: kaggle.com - competitions

Post by tessob »

Sergunka wrote: 16 Sep 2018 18:12Сейчас пока ищу код как делать искажения ака augmentation в тренировочных данных, чтоб типо размытое изображение, перевернутое и "белый низ, черный верх" как по Райкину.
Посмотри Geometric Transformations of Images в OpenCV. Там и примеров кода вагон и работает быстро.
User avatar
Sergunka
Уже с Приветом
Posts: 34205
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: kaggle.com - competitions

Post by Sergunka »

tessob wrote: 16 Sep 2018 20:38
Sergunka wrote: 16 Sep 2018 18:12Сейчас пока ищу код как делать искажения ака augmentation в тренировочных данных, чтоб типо размытое изображение, перевернутое и "белый низ, черный верх" как по Райкину.
Посмотри Geometric Transformations of Images в OpenCV. Там и примеров кода вагон и работает быстро.
Спасибо.

Я пока на уровне чукча читает и пытается осознать прочитаннное. Мне вот этот перец вкатил очень просто заясняет

https://machinelearningmastery.com/imag ... ing-keras/
"A patriot must always be ready to defend his country against his government." Edward Abbey

Return to “Работа и Карьера в IT”