kaggle.com - competitions

[Sergunka]

Так как все потерялось, то открою новый топик по соревнованию
https://www.kaggle.com/c/tgs-salt-ident ... -challenge

Мне как бэ даже это по работе полезно, если есть желающие, то присоединяйтесь поизучаем проблему соли в нефтедобыче вместе

[Sergunka]

Пока я застрял в где-то между 30%-50% из больше тысячи участников. Пытаюсь осилить основы МЛ использую модель U-net c приблудами отсюда
https://www.kaggle.com/phoenigs/u-net-d ... tification

Глоссарий если кто вовлекется

Folds - это разбитие данных на куски и построение моделей для каждого подмножества, используя один из кусков как valdation.
Например, берется набор из 4000 записей и разбивается на 5 кусков 1..5 . Тогда модели строятся для следующих данных:
train : 1,2,3,4 valid: 5 ==> fold1
train:: 1,2,3,5 valid :4 ==> fold2
train: 1,2,4,5 valid :3 ==> fold3
train: 1,3,4,5 valid :2 ==> fold4
train: 2,3,4,5 valid :1 ==> fold5
Строится 5 решений по одним данным и оно каким-то образом усредняется, давая окончательное решение.
Идея folds возникла из проблемы необходимости равномерного обучения по всему набору.Как правило получается лучший вариант.

Stratigfied folds - это тоже самое, но при построении используются наборы похожих значений из исходного массива для обучения. Все похожие значения должны равномерно распределиться по сем фолдам. Для того чтобы равномерно обучить все фолды на похожих данных.
Например, все фолды должны содержать приблизительно одинаковое число пустых значений (то есть не содержащих соли).
При правильном определении классов для построения, дает более сбалансированное решение.

Augmentation (еще используют термин TTA) - небольшое изменение картинки и добавление их в тренируемый набор, для улучшения тренированных моделей, при небольшом искажении образца. Например съемка лица при небольшом угле.
Обычно используются повороты, заркальные измображения, повороты на небольшой угол (1..45 градусов) , небольшие сжатия и растяжения, ухудшение качества, размытость.
Есть специальные пакеты для таких безобразий. Для начала используют повороты и зеркалирование.Early Stopping - остановка при отсутствии результатов, например когда нет результатов в течении 5-10 эпох, далее можно не продолжать обучение и процесс останавливается.

Change Learning Rate - используется для адаптивного снижения скрости обучения. Например когда нет результатов в течении 3 эпох, по какой-то наблюдаемой величине, то lr (learning rate) обычно снижают в 10 раз, и тд.
Есть другие техники встряхивания результативности с помощью lr

Early Stopping - остановка при отсутствии результатов, например когда нет результатов в течении 5-10 эпох, далее можно не продолжать обучение и процесс останавливается.

[tessob]

Идея folds возникла из проблемы необходимости равномерного обучения по всему набору.Как правило получается лучший вариант.

Данный подход много раз был описан как 'ансамбли' или 'бутстрапы'. Только это, учитывайте, что Вы там соревнуетесь с искусственным интеллектом. Тысячи индусов настакают такое количество моделей, что вы их никак не переплюнете. И центральная предельная теорема будет им в помощь. Увы...

[Sergunka]

Идея folds возникла из проблемы необходимости равномерного обучения по всему набору.Как правило получается лучший вариант.

Данный подход много раз был описан как 'ансамбли' или 'бутстрапы'. Только это, учитывайте, что Вы там соревнуетесь с искусственным интеллектом. Тысячи индусов настакают такое количество моделей, что вы их никак не переплюнете. И центральная предельная теорема будет им в помощь. Увы...

Чо то Вы загнули индусы там есть понятно куда же без них, но особо они там не блещут... уровень вхождения сложноват для птиц

В первой сотне индюков просто нет
https://www.kaggle.com/c/tgs-salt-ident ... eaderboard

К слову сказать русских довольно много

[Ulitkan]

Так как все потерялось, то открою новый топик по соревнованию
https://www.kaggle.com/c/tgs-salt-ident ... -challenge

Мне как бэ даже это по работе полезно, если есть желающие, то присоединяйтесь поизучаем проблему соли в нефтедобыче вместе

Вы как-то плохо об'ясняете: допустим вы круто напряглись и поднялись аж до 250 места. Что дальше? Допустим, вам это как-то полезно по работе, хотя и непонятно как. Но как это может быть полезно хоть кому-то ещё на форуме ? Ума не приложу.

[Sergunka]

Так я вышел из отпуска, разгребся на работе. Походу пора опять включаться. Я повторю свой вопрос есть ли желающие поучаствовать? Понятно призового места не займем, но зато разогреемся .

[+KPOT+]

Так я вышел из отпуска, разгребся на работе. Походу пора опять включаться. Я повторю свой вопрос есть ли желающие поучаствовать? Понятно призового места не займем, но зато разогреемся .

Здорово, что у вас столько чвободного времени

[Sergunka]

Так я вышел из отпуска, разгребся на работе. Походу пора опять включаться. Я повторю свой вопрос есть ли желающие поучаствовать? Понятно призового места не займем, но зато разогреемся .

Здорово, что у вас столько чвободного времени

На самом деле "суха теория мой друг" просто заведите сначала пятеро детей и когда дети выросли, то почувствуете, что надо найти себе заниятие для души

[Sergunka]

Докладываю промежуточный результат. Сегодня чисто на копипейсте попал в первые пятьсот из 2000+ участников.

Все мое умение пока, что сводится к тому чтоб творчески скомуниздить чейнибудь кернел и подкрутить пару тройку параметров. А так как комп у меня настроен правильно и все библиотеки правильных версий то удается отжать еще доли процентов

Вот он кернел победоносный для лохов первоходок
https://www.kaggle.com/divrikwicky/u-ne ... cks-forked

[Sergunka]

Блин затягивает лег поздно добился 0.8 в предикшин сижу пока в первых трех сот aka top 12%. Туплю реально, но судя по всему позади меня еще тупее

[Sergunka]

Блин затягивает лег поздно добился 0.8 в предикшин сижу пока в первых трех сот aka top 12%. Туплю реально, но судя по всему позади меня еще тупее

Получается работать только по выходным сегодня вечером поднял результат с 0.8 до 0.809 опять топе < 20%. Если кто хочет вписаться еще есть время, я помогу чем смогу

[+KPOT+]

Эх, я б поучаствовал, но реально нет времени, и я немного туповат. Вот сечас который раз пытаюсь поднять виртуалку от Cloudera c developer класса, а она ни в какую!

[Sergunka]

Эх, я б поучаствовал, но реально нет времени, и я немного туповат. Вот сечас который раз пытаюсь поднять виртуалку от Cloudera c developer класса, а она ни в какую!

У меня неделю ушла установить все правильно - заманался как дятел... но как оказалось хорошо настроенный комп дает свои результаты. Как показываеь мой опыт там умных и шустрых может быть пару сотен из 2К+ игроков так что особо одаренных я бы сказал не особо, что таких ламеров как я не может не радовать.

[АццкоМото]

А чё там реально сильное железо нужно? Обычный МВР с дискретной но мобильной графикой не вывезет?

[Sergunka]

А чё там реально сильное железо нужно? Обычный МВР с дискретной но мобильной графикой не вывезет?

Там все упирается в библиотеку CUDA которая не все карты поддерживает и так сложилось работает стабильно только с Ubuntu 16.04
https://www.nvidia.com/en-us/data-cente ... ensorflow/

Модели обычно гоняют под Keras на JUpiter

Все правильно установить это как оказывается основа успеха

https://www.geforce.com/hardware/techno ... orted-gpus

это спсиок всех графических карт которые КУДА поддерживает

я гоняю на GEFORCE® GTX 1080 + 16GB RAM + SSD памяти на комп надо докупить, но пока справляется и так. Время среднего прогона сейчас у меня порядка 2 часов. Одна эпоха считается порядка 80 секунд - эпохи ставлю на 150.

Моск сильно не напрягаю гоняю образцы других, есть идеи как чего делать, но руки не доходят всеж основная работа есть и меня пока устраивает, что начинаю разбираться в процессе и сижу в топе 20%