kaggle.com - competitions

[Sergunka]

Так как все потерялось, то открою новый топик по соревнованию
https://www.kaggle.com/c/tgs-salt-ident ... -challenge

Мне как бэ даже это по работе полезно, если есть желающие, то присоединяйтесь поизучаем проблему соли в нефтедобыче вместе

[Sergunka]

Пока я застрял в где-то между 30%-50% из больше тысячи участников. Пытаюсь осилить основы МЛ использую модель U-net c приблудами отсюда
https://www.kaggle.com/phoenigs/u-net-d ... tification

Глоссарий если кто вовлекется

Folds - это разбитие данных на куски и построение моделей для каждого подмножества, используя один из кусков как valdation.
Например, берется набор из 4000 записей и разбивается на 5 кусков 1..5 . Тогда модели строятся для следующих данных:
train : 1,2,3,4 valid: 5 ==> fold1
train:: 1,2,3,5 valid :4 ==> fold2
train: 1,2,4,5 valid :3 ==> fold3
train: 1,3,4,5 valid :2 ==> fold4
train: 2,3,4,5 valid :1 ==> fold5
Строится 5 решений по одним данным и оно каким-то образом усредняется, давая окончательное решение.
Идея folds возникла из проблемы необходимости равномерного обучения по всему набору.Как правило получается лучший вариант.

Stratigfied folds - это тоже самое, но при построении используются наборы похожих значений из исходного массива для обучения. Все похожие значения должны равномерно распределиться по сем фолдам. Для того чтобы равномерно обучить все фолды на похожих данных.
Например, все фолды должны содержать приблизительно одинаковое число пустых значений (то есть не содержащих соли).
При правильном определении классов для построения, дает более сбалансированное решение.

Augmentation (еще используют термин TTA) - небольшое изменение картинки и добавление их в тренируемый набор, для улучшения тренированных моделей, при небольшом искажении образца. Например съемка лица при небольшом угле.
Обычно используются повороты, заркальные измображения, повороты на небольшой угол (1..45 градусов) , небольшие сжатия и растяжения, ухудшение качества, размытость.
Есть специальные пакеты для таких безобразий. Для начала используют повороты и зеркалирование.Early Stopping - остановка при отсутствии результатов, например когда нет результатов в течении 5-10 эпох, далее можно не продолжать обучение и процесс останавливается.

Change Learning Rate - используется для адаптивного снижения скрости обучения. Например когда нет результатов в течении 3 эпох, по какой-то наблюдаемой величине, то lr (learning rate) обычно снижают в 10 раз, и тд.
Есть другие техники встряхивания результативности с помощью lr

Early Stopping - остановка при отсутствии результатов, например когда нет результатов в течении 5-10 эпох, далее можно не продолжать обучение и процесс останавливается.

[tessob]

Идея folds возникла из проблемы необходимости равномерного обучения по всему набору.Как правило получается лучший вариант.

Данный подход много раз был описан как 'ансамбли' или 'бутстрапы'. Только это, учитывайте, что Вы там соревнуетесь с искусственным интеллектом. Тысячи индусов настакают такое количество моделей, что вы их никак не переплюнете. И центральная предельная теорема будет им в помощь. Увы...

[Sergunka]

Идея folds возникла из проблемы необходимости равномерного обучения по всему набору.Как правило получается лучший вариант.

Данный подход много раз был описан как 'ансамбли' или 'бутстрапы'. Только это, учитывайте, что Вы там соревнуетесь с искусственным интеллектом. Тысячи индусов настакают такое количество моделей, что вы их никак не переплюнете. И центральная предельная теорема будет им в помощь. Увы...

Чо то Вы загнули индусы там есть понятно куда же без них, но особо они там не блещут... уровень вхождения сложноват для птиц

В первой сотне индюков просто нет
https://www.kaggle.com/c/tgs-salt-ident ... eaderboard

К слову сказать русских довольно много

[Ulitkan]

Так как все потерялось, то открою новый топик по соревнованию
https://www.kaggle.com/c/tgs-salt-ident ... -challenge

Мне как бэ даже это по работе полезно, если есть желающие, то присоединяйтесь поизучаем проблему соли в нефтедобыче вместе

Вы как-то плохо об'ясняете: допустим вы круто напряглись и поднялись аж до 250 места. Что дальше? Допустим, вам это как-то полезно по работе, хотя и непонятно как. Но как это может быть полезно хоть кому-то ещё на форуме ? Ума не приложу.

[Sergunka]

Так я вышел из отпуска, разгребся на работе. Походу пора опять включаться. Я повторю свой вопрос есть ли желающие поучаствовать? Понятно призового места не займем, но зато разогреемся .

[+KPOT+]

Так я вышел из отпуска, разгребся на работе. Походу пора опять включаться. Я повторю свой вопрос есть ли желающие поучаствовать? Понятно призового места не займем, но зато разогреемся .

Здорово, что у вас столько чвободного времени

[Sergunka]

Так я вышел из отпуска, разгребся на работе. Походу пора опять включаться. Я повторю свой вопрос есть ли желающие поучаствовать? Понятно призового места не займем, но зато разогреемся .

Здорово, что у вас столько чвободного времени

На самом деле "суха теория мой друг" просто заведите сначала пятеро детей и когда дети выросли, то почувствуете, что надо найти себе заниятие для души

[Sergunka]

Докладываю промежуточный результат. Сегодня чисто на копипейсте попал в первые пятьсот из 2000+ участников.

Все мое умение пока, что сводится к тому чтоб творчески скомуниздить чейнибудь кернел и подкрутить пару тройку параметров. А так как комп у меня настроен правильно и все библиотеки правильных версий то удается отжать еще доли процентов

Вот он кернел победоносный для лохов первоходок
https://www.kaggle.com/divrikwicky/u-ne ... cks-forked

[Sergunka]

Блин затягивает лег поздно добился 0.8 в предикшин сижу пока в первых трех сот aka top 12%. Туплю реально, но судя по всему позади меня еще тупее

[Sergunka]

Блин затягивает лег поздно добился 0.8 в предикшин сижу пока в первых трех сот aka top 12%. Туплю реально, но судя по всему позади меня еще тупее

Получается работать только по выходным сегодня вечером поднял результат с 0.8 до 0.809 опять топе < 20%. Если кто хочет вписаться еще есть время, я помогу чем смогу

[+KPOT+]

Эх, я б поучаствовал, но реально нет времени, и я немного туповат. Вот сечас который раз пытаюсь поднять виртуалку от Cloudera c developer класса, а она ни в какую!

[Sergunka]

Эх, я б поучаствовал, но реально нет времени, и я немного туповат. Вот сечас который раз пытаюсь поднять виртуалку от Cloudera c developer класса, а она ни в какую!

У меня неделю ушла установить все правильно - заманался как дятел... но как оказалось хорошо настроенный комп дает свои результаты. Как показываеь мой опыт там умных и шустрых может быть пару сотен из 2К+ игроков так что особо одаренных я бы сказал не особо, что таких ламеров как я не может не радовать.

[АццкоМото]

А чё там реально сильное железо нужно? Обычный МВР с дискретной но мобильной графикой не вывезет?

[Sergunka]

А чё там реально сильное железо нужно? Обычный МВР с дискретной но мобильной графикой не вывезет?

Там все упирается в библиотеку CUDA которая не все карты поддерживает и так сложилось работает стабильно только с Ubuntu 16.04
https://www.nvidia.com/en-us/data-cente ... ensorflow/

Модели обычно гоняют под Keras на JUpiter

Все правильно установить это как оказывается основа успеха

https://www.geforce.com/hardware/techno ... orted-gpus

это спсиок всех графических карт которые КУДА поддерживает

я гоняю на GEFORCE® GTX 1080 + 16GB RAM + SSD памяти на комп надо докупить, но пока справляется и так. Время среднего прогона сейчас у меня порядка 2 часов. Одна эпоха считается порядка 80 секунд - эпохи ставлю на 150.

Моск сильно не напрягаю гоняю образцы других, есть идеи как чего делать, но руки не доходят всеж основная работа есть и меня пока устраивает, что начинаю разбираться в процессе и сижу в топе 20%

[Sergunka]

Блин затягивает лег поздно добился 0.8 в предикшин сижу пока в первых трех сот aka top 12%. Туплю реально, но судя по всему позади меня еще тупее

Получается работать только по выходным сегодня вечером поднял результат с 0.8 до 0.809 опять топе < 20%. Если кто хочет вписаться еще есть время, я помогу чем смогу

Сегодня сделал тюнап этого кренера от китайца
https://www.kaggle.com/shaojiaxin/u-net ... 2-new-loss

Нашел особенность своей карты она считает лучше при batch = 16

Code: Select all

reduce_lr = ReduceLROnPlateau(monitor='val_my_iou_metric_2', mode = 'max',factor=0.2, patience=15, min_lr=0.000001, verbose=1)

Подкрутил фактор и learning rate уменьшил на 0 ну и число попыток поставил.

Пробил 0.811 - и опять за мной 2К+ леменгов в переди меня видимо те кто этим занимается и может код на питоне писать три сотни человек

[АццкоМото]

Блин, жопа. У меня Линукс бокс к тентелю прикручен. Оооооочень не хочется фтыкать туда шумную видимокарту

[Sergunka]

Блин, жопа. У меня Линукс бокс к тентелю прикручен. Оооооочень не хочется фтыкать туда шумную видимокарту

У меня карта 1080 не шумит, но там и проц на водяном охлаждении. Правда сегодня первый раз комп повис после 5 часов счета. Вообще игра затягивает как хорошая стратегия Вчера лег во втором часу ждал пока просчитается первая часть и сегодня уже встал в 7 утра пусканул вторую часть -- улучшил результат на 0.02. Когда видишь как ты обходишь таких же леменгов как ты очень повышает собственную самооценку Ну и потом вместо того что просто посидеть за компом еще и чего-то подучишь

[Физик-Лирик]

Идея folds возникла из проблемы необходимости равномерного обучения по всему набору.Как правило получается лучший вариант.

Данный подход много раз был описан как 'ансамбли' или 'бутстрапы'. Только это, учитывайте, что Вы там соревнуетесь с искусственным интеллектом. Тысячи индусов настакают такое количество моделей, что вы их никак не переплюнете. И центральная предельная теорема будет им в помощь. Увы...

Я, конечно, извиняюсь, но бутстрапы и крос-валидация - разные вещи.

ТС Если вы еще набираете команду, то с удовольствием поучаствовал бы. Не уверен, правда, что я смогу работать на вашем железе, но готов присоединиться к мозговому штурму. Если что, дайте знать в личку.

[Sergunka]

Идея folds возникла из проблемы необходимости равномерного обучения по всему набору.Как правило получается лучший вариант.

Данный подход много раз был описан как 'ансамбли' или 'бутстрапы'. Только это, учитывайте, что Вы там соревнуетесь с искусственным интеллектом. Тысячи индусов настакают такое количество моделей, что вы их никак не переплюнете. И центральная предельная теорема будет им в помощь. Увы...

Я, конечно, извиняюсь, но бутстрапы и крос-валидация - разные вещи.

ТС Если вы еще набираете команду, то с удовольствием поучаствовал бы. Не уверен, правда, что я смогу работать на вашем железе, но готов присоединиться к мозговому штурму. Если что, дайте знать в личку.

Да за любые идеи будем благодарны тут я не один поглядываю на это соревнование. Мне не в лом если Вы пришлете Ваш вариант кернела и я его прогоню для Вас на своем компе. И потом сабмишин файл отправлю Вам по почте Вам только останется его загрузить через Ваш профайл.

Я сейчас гоняю этого перца который и дал мне 0.81
https://www.kaggle.com/shaojiaxin/u-net ... 2-new-loss

У меня сейчас идея поработать с общем трендом как в коментах

upsizing not yet. increasing epochs got 0.822, with more train augmentation 0.824, with 5-fold average 0.830.

Сам перец уже добрался до топ 6%

[Sergunka]

Я не знаю не пробовал, но мне кажется там на кегле есть вариант когда можно делать запуск просчета прямо на кегле - я помнится пусканул но там как то мунто толи пусканулось то ли ждать сутки В общем там есть JUpiter - fork и копмит типо.

[tessob]

Я, конечно, извиняюсь, но бутстрапы и крос-валидация - разные вещи.

Я писал про то, что принцип семплирования давно нашел применение там и там. Не нужно занудствовать.

[Sergunka]

В общем на этой неделе буду изучать типо вот такого

Basic data augmentation
I'll try basic data augmentation by just flipping the images horizontally.

Code: Select all

X_aug = np.concatenate((X, [np.fliplr(img) for img in X]), axis=0)
y_aug = np.concatenate((y, [np.fliplr(img) for img in y]), axis=0)
# Split the train data into actual train data and validation data
# train_test_split already shuffles data by default, so no need to do it

X_train, X_val, y_train, y_val = train_test_split(X_aug, y_aug, test_size=0.25, random_state=42)

Сейчас пока ищу код как делать искажения ака augmentation в тренировочных данных, чтоб типо размытое изображение, перевернутое и "белый низ, черный верх" как по Райкину. Как чего найду закопипастю и пульну на счет. Хотелось, конечно, делать умное лицо и надувать щеки, но больше пробивает на ржач - и за это еще и деньги платят?!

[tessob]

Сейчас пока ищу код как делать искажения ака augmentation в тренировочных данных, чтоб типо размытое изображение, перевернутое и "белый низ, черный верх" как по Райкину.

Посмотри Geometric Transformations of Images в OpenCV. Там и примеров кода вагон и работает быстро.

[Sergunka]

Сейчас пока ищу код как делать искажения ака augmentation в тренировочных данных, чтоб типо размытое изображение, перевернутое и "белый низ, черный верх" как по Райкину.

Посмотри Geometric Transformations of Images в OpenCV. Там и примеров кода вагон и работает быстро.

Спасибо.

Я пока на уровне чукча читает и пытается осознать прочитаннное. Мне вот этот перец вкатил очень просто заясняет

https://machinelearningmastery.com/imag ... ing-keras/