IT горячка в Сиэттле, эпизод 2

[Физик-Лирик]

Вапник как раз утверждает (вот здесь, если мне память не изменяет: https://www.youtube.com/watch?v=STFcvzoxVw4), что shallow learners должны в теории давать лучшие результаты. Понятно, что на основе deep learning искусственный интеллект не построишь, но для ряда задач он тем не менее работает и даёт результаты. Кстати, LSTM для текстов это уже "прошлый век". Сейчас в моде трансформеры типа BERT и GPT-2. Только тренировать их нужно уже даже не на GPU. а на TPU.
Про сложности с тренировкой вы правы, но народ этим сейчас занимается. Отсюда ResNet-ы и еже с ними.

А ссылки можно на статьи (можно в личку)?

Я всегда прав. Тут бы с текущими делами разобраться, а тут уже новый век наступает. Я думаю, что если уж и GPU не хватет, то дело, скорее всего, в постановке задачи. Я из тех, кто считает, что для решения не обязательно привлекать ... тучу данных (многоточие понятно что заменяет? ). Про разницу между искусственным интелектом и машобучем тему будем сейчас открывать?
Насчет статей посмотрю, названия позже скину.

[IvanGrozniy]

В машинном обучение есть такая методика, как искусственное наращивание степени полинома многих переменных, чтобы линейная модель превращалась в квадратичную и выше. Для этого нужно добавления переменных в степенях. Затем можно оценить, какая степень лучше подойдет. Например, смоделировали уравнение зависимости цены дома от площади. Получилось уравнение y = a*x + b. Смотрим график. Слишком большие дома уже не растут в цене линейно, а допустим растут в цене полиномом второй степени. Что делаем? Добавляем вторую переменную x2 = x* x. Теперь можно найти другое линейное уравнение, которое будет продуктом переменой х второй и первой степени. Получится y = c * x1 + d*X2 + w, где x1 эта переменная площади, x2 - это квадрат площади. Таким образом можно натягивать модели под определенные нужды. Кстати, в моем простом примере на пред странице можно модель улучшить параболой, вместо указанной прямой. Теперь если представить, что я собрал не одну переменную, а 2-3, а то и больше, то чтобы увеличить степень полинома, нужно все пермножать очень долго. Как раз на помощь и приходит библиотечка. Только мне бы хотелось задавать количество входных переменных динамически и получать ответ в таком же стиле. То есть зада 3-х мерную переменную на входе и желаемую степень на выходе, то алгоритм выдал уже не три колонки, а, скажем 9 с уже перемноженными числами. Следом прошу 3-ую степень. Потом могу добавить дополнительную колонку-размерность. Теперь нужно 4 переменных в степени производить. И т.д. Кстати , я снимаю свой вопрос - нашел исходники указанной библиотеки на Питоне и разобрался как самому все запрограммировать в циклах.

Задача теперь понятна. Собственно, это линейная регрессия с интерактивными членами уравнения. Вам принципиально надо знать коэффициенты? Если нет, зачем тогда усложнять, если есть много нелинейных методов для тех же целей, но с меньшем геммором?

Ну коэффициенты-то участвуют в подсчете предсказания будущего события. Так что ответ «да». Вычисление коэффициентов это основная задача алгоритма тренировки на прошлых данных. Например, коэффициенты для задачи с прошлой страницы до открытия биржы мне предскажут насколько быки будут преобладать над медведями и какое их соотношение будет к закрытия биржи в конце сегодняшнего дня. Можно судить сколько паники будет сегодня.

[IvanGrozniy]

Если опытный инвестор может предсказать за месяц-два падение рынка базируясь на доступных индикаторах, которое мы наблюдаем сейчас, то приближенная модель тоже самое может сделать. Я не пытаюсь «основную модель» рынка создать. Это работа для хэджфандов, в которых крутятся миллиарды долларов. Дейтрейдерством я не занимаюсь и мне достаточно того, чтобы предсказать грядущую через месяц коррекцию или обвал.

Идея понятна. Пытаетесь обозначит коррелирующие индексы и события. С математической точки зрения, какова целевая функция? Да/нет (в смысле обвалиться/не обвалиться)? Конкретные значения? Как точность будите оценивать?
Вы внизу про резюме писали. Если хотите, киньте в личку. Посмотрю, порекомендую. Вы писали про проекты. Если в личку бросите инфу, где искать, буду очень благодарен. Можно и скооперироваться.

Пока фантазирую разные модели. Одна будет предсказывать просто да или нет. Вторая на какой процент вырастет перед обвалом и т.д. Даже вот сегодня смотрю на рынки и вижу что возможное дно близко. Понимаю, что можно сделать модель, которая скажет что сегодня «дно» с большой вероятностью. Только не успею скорее всего уже с этой моделью
Спасибо за предложения. Воспользуюсь помощью обязательно и скину в личку, как готов буду.

[Физик-Лирик]

Ну коэффициенты-то участвуют в подсчете предсказания будущего события. Так что ответ «да». Вычисление коэффициентов это основная задача алгоритма тренировки на прошлых данных. Например, коэффициенты для задачи с прошлой страницы до открытия биржы мне предскажут насколько быки будут преобладать над медведями и какое их соотношение будет к закрытия биржи в конце сегодняшнего дня. Можно судить сколько паники будет сегодня.

Снова не ясно (может мы о разных коэффициетах говорим). Например, Y = a1 * X1 + a2 * X2 + b. Вы об этих коэффициентах говорите? Если да, то объясните, зачем они нужны. Кстати, как будите интерпретировать эти коэффициенты? Надеюсь, не будите называть их "рейт оф чендж"?

[Физик-Лирик]

Пока фантазирую разные модели. Одна будет предсказывать просто да или нет. Вторая на какой процент вырастет перед обвалом и т.д. Даже вот сегодня смотрю на рынки и вижу что возможное дно близко. Понимаю, что можно сделать модель, которая скажет что сегодня «дно» с большой вероятностью. Только не успею скорее всего уже с этой моделью
Спасибо за предложения. Воспользуюсь помощью обязательно и скину в личку, как готов буду.

Дело не столько в самой моели, а в том, как будут приниматься решения на основе вероятностей. Вы, кстати, заметили, я вас уже к интервью готовлю.

[IvanGrozniy]

Ну коэффициенты-то участвуют в подсчете предсказания будущего события. Так что ответ «да». Вычисление коэффициентов это основная задача алгоритма тренировки на прошлых данных. Например, коэффициенты для задачи с прошлой страницы до открытия биржы мне предскажут насколько быки будут преобладать над медведями и какое их соотношение будет к закрытия биржи в конце сегодняшнего дня. Можно судить сколько паники будет сегодня.

Снова не ясно (может мы о разных коэффициетах говорим). Например, Y = a1 * X1 + a2 * X2 + b. Вы об этих коэффициентах говорите? Если да, то объясните, зачем они нужны. Кстати, как будите интерпретировать эти коэффициенты? Надеюсь, не будите называть их "рейт оф чендж"?

В общем если в уравнение подставить входные параметры х (значения рынка за вчерашний день с моего простого примера с пред страницы), то, зная коэффициенты а1, а2 и b, можно вычислить значение y, а это уже коэффициент соотношения быков и медведей на сегодня! Это классическая задача ML - предсказание события базируясь на вычисленных коэффициентах. Интерпретация коэффициентов - это обычные числа. Они вычислены созданной моделью на собранных данных за последние 10-20 лет.

[Физик-Лирик]

В общем если в уравнение подставить входные параметры х (значения рынка за вчерашний день с моего простого примера с пред страницы), то, зная коэффициенты а1, а2 и b, можно вычислить значение y, а это уже коэффициент соотношения быков и медведей на сегодня! Это классическая задача ML - предсказание события базируясь на вычисленных коэффициентах. Интерпретация коэффициентов - это обычные числа. Они вычислены созданной моделью на собранных данных за последние 10-20 лет.

Первый вопрос. Если коэффициенты нужны лишь для того, чтобы получить ответ (соответствующее значение целевой функции), тогда зачем использовать линейные модели или бодаться с полиномами, когда существуют "нормальные" нелинейные модели типа рэндом фореста, бустинга или, на худой конец, нейронные сети. Вопрос номер два. Модели с "коэффициентами" обычно выбирают для объянения поведения входных данных. Вас это интересует? Если да, как будете интерпретировать коэффициенты? Понятно, что это числа. Физический смысл какой? Вопрос три. Как будете решать, какие параметры ажны, а какие нет. Есть еще куча вопросов, но пока остановимся на этих.

[IvanGrozniy]

Основа построения нейронных сетей в ML тоже состоит в поиске подобных коэффициентах линейных уравнений… Спасибо за советы, но я углубляться пока не буду в теорию. У меня цели другие. Тем более сегодня воскресенье - нужно расслабиться.

[Физик-Лирик]

Основа построения нейронных сетей в ML тоже состоит в поиске подобных коэффициентах линейных уравнений… Спасибо за советы, но я углубляться пока не буду в теорию. У меня цели другие. Тем более сегодня воскресенье - нужно расслабиться.

Это да, но на практике никто же не будет "вручную" использовать эти кэффициенты, а лишь готовый результат.
Ладно, закрываем тему на выходные.

[IvanGrozniy]

Продолжение истории. Начальник в начале года нам сказал, что мы поддерживаем сертификацию и от каждого подчиненного ожидается 1-2 сертификата. Будет дополнительная положительная оценка к принятию решения о ежегодном повышения зарплаты. Мол, учитесь, товарищи, компания оплатит. Сегодня утром сообщил ему, что потратил своих $79 кровных на этот сертификат, процесс возврата денег начинать можно? Отвечает, что компания заморозила все возвраты из-за вируса. Деньги не большие, но, зараза, обидно как-то из-за принципа Нужно точно поскорее лыжи мазать...

[IvanGrozniy]

Поздравляю! Не останавливайтесь на достигнутом - вгрызайтесь в Deep Learning !

Сегодня зашел на корсэру. Предлагают 30 дней бесплатно начать 5 курсов по Deep Learning. Сегодня последний день начала семестра у них… Сложно отказаться

[Физик-Лирик]

Нужно точно поскорее лыжи мазать...

А куда мазать то? Говорил с рекрутерами, зарплаты предлагают Вот и думаю, просто случайность или они рассуждают по принципу "все там будем" в смысле зарплат

[IvanGrozniy]

У меня грядут 2 интервью в две FAANG компании. В одной будет финальное - прошел несколько этапов уже. Можно поднапрячься с подготовкой. Возможно взять отгулы даже. Тогда шансы будут выше. Но, кончено, на позиции не связанные с ML пока.
Зарплата у меня сейчас невысокая, если сравнивать со средними. Я специально пошел на меньшую зарплату, так как менеджер понравился и стресс от работы был низкий. В последний год ситуация на работе изменилась. Сменился менеджер, понакидали кучу дополнительных обязанностей и еще сейчас пытаются из меня сделать менеджера. Хотя я им открыто периодически заявляю - буду архитектором, а не начальником с кнутом. Программирую и моделирую новые проекты меньше чем раньше… И это все с той же самой зарплатой. Так зачем мне напрягаться за эти деньги, если в других местах платят гораздо больше за такой же объем работ? Поэтому и принял решение искать новое место.

[IvanGrozniy]

Очередной вопрос к специалистам. Теперь уже на тему Deep Learning.
В общем, работаю над домашним проектом. Есть определенный потенциал к монетизации даже.
Построил пайплайн для сбора данных с Интернета. Количество входных элементов в нейронную сеть для тренировки будет составлять 1 млн штук (можно попробовать упростить до 500 тысяч в случае чего). Каждый объект будет содержать около 50 тысяч фишек (features). Допустим, у меня будет один скрытый слой в нейронке размером 50 тысяч нейронов (можно попробать упростить до 1000 ради сохранения скорости и размера используемой памяти). Выходной слой - 1000 (тысяча) классификаций с ответами "да" и "нет".
То есть получится матрица параметров для скрытого слоя размерности около 50 тысяч на 1 миллион вещественных чисел. Вектором скаляров B преенебрегаем для данного примера. Для выходного слоя матрица будет 1 тысяча на 50 тысяч.
Конечная цель - натренировать модель и создать программку для айфона для прикольных и полезных предсказаний для пользователей. То есть, челдобречик на телефоне загружает фотку, а модель ему предсказывает что-то в зависимости от контента фотки.
В общем два пути реализации:
1. Натренированная модель хранится на моем сервере. Клиентская прога загружает фотку на сервер и сервер выдает предсказание клиентовской программе. Минус в том, что нужно платить за хостинг и домен. Не хочется.
2. Натренированная модель хранится в самой айфоновской программе и программа сама уже анализирует фотку. Минус в том, что я не знаю как реализовать это все в Objective C. Глянул на документацию эплвского SDK для мобильных устройст с поддержкой ML и с нейронными сетями. Как всегда у них все запутано и нужно долго разбираться с бутылкой, даже чтобы просто понять, можно ли теориетически эту SDK использовать для просчитанной большой нейронной сети.
Кто-нибудь сталкивался со вторым пунктом? Такое возможно реализовать через эпловский SDK?

[-helloworld-]

У меня грядут 2 интервью в две FAANG компании. В одной будет финальное - прошел несколько этапов уже. Можно поднапрячься с подготовкой. Возможно взять отгулы даже. Тогда шансы будут выше. Но, кончено, на позиции не связанные с ML пока.
Зарплата у меня сейчас невысокая, если сравнивать со средними. Я специально пошел на меньшую зарплату, так как менеджер понравился и стресс от работы был низкий. В последний год ситуация на работе изменилась. Сменился менеджер, понакидали кучу дополнительных обязанностей и еще сейчас пытаются из меня сделать менеджера. Хотя я им открыто периодически заявляю - буду архитектором, а не начальником с кнутом. Программирую и моделирую новые проекты меньше чем раньше… И это все с той же самой зарплатой. Так зачем мне напрягаться за эти деньги, если в других местах платят гораздо больше за такой же объем работ? Поэтому и принял решение искать новое место.

Найдите себе 100% удалёнку и езжайте в тэхас. Все ваши проблемы сразу отпадут.
А всякие фаанги оставьте школьникам из китая, у них это лучше получается.