IT горячка в Сиэттле, эпизод 2

[Физик-Лирик]

За теоретическим обоснованием это вы к Владимиру Вапинику обращайтесь. Он за это deep learning как раз критикует. Но эмпирически методы хорошо работают для большого ряда задач компьютерного зрения, распознавания текстов и аудио.

Для будущих интервью (чтобы блеснуть знаниями ) я бы посоветовал обратить внимание на работы Колмогорова и Арнольда 1950-х годов. Я (как и ряд других исследователей) считаю, что они дают математическое обоснование, хотя это и не так очевидно. В конце 80-х - начале 90-х появилось много публикаций на эту тему. Сейчас есть ряд публикаций на тему многослойных нейронных сетей.
Насчет работают - вопрос очень открытый. Согласен, что для распознования образов конволюционные сети работают хорошо, а для текстов работает LSTM. Однако, бум на глубокое обучение, на мой взгляд, не совсем оправдан. Так как методика основана на большом количестве гипер-параметров, обучение может привратиться в кошмар. Возможно, клауд поможет все распаралелить. Более того, в отличие от той же регрессии и суппорт вектор машины, формулированная задача минимизации целевой функции может (а на практике и будет) иметь множество локальных экстремумов. В результате процесс обучения начинает превращаться в жонглирование параметрами типа ранней остановки или изменения коэффициентов градиентного метода, чтобы вылезти из локальной ямы.

[Физик-Лирик]

В машинном обучение есть такая методика, как искусственное наращивание степени полинома многих переменных, чтобы линейная модель превращалась в квадратичную и выше. Для этого нужно добавления переменных в степенях. Затем можно оценить, какая степень лучше подойдет. Например, смоделировали уравнение зависимости цены дома от площади. Получилось уравнение y = a*x + b. Смотрим график. Слишком большие дома уже не растут в цене линейно, а допустим растут в цене полиномом второй степени. Что делаем? Добавляем вторую переменную x2 = x* x. Теперь можно найти другое линейное уравнение, которое будет продуктом переменой х второй и первой степени. Получится y = c * x1 + d*X2 + w, где x1 эта переменная площади, x2 - это квадрат площади. Таким образом можно натягивать модели под определенные нужды. Кстати, в моем простом примере на пред странице можно модель улучшить параболой, вместо указанной прямой. Теперь если представить, что я собрал не одну переменную, а 2-3, а то и больше, то чтобы увеличить степень полинома, нужно все пермножать очень долго. Как раз на помощь и приходит библиотечка. Только мне бы хотелось задавать количество входных переменных динамически и получать ответ в таком же стиле. То есть зада 3-х мерную переменную на входе и желаемую степень на выходе, то алгоритм выдал уже не три колонки, а, скажем 9 с уже перемноженными числами. Следом прошу 3-ую степень. Потом могу добавить дополнительную колонку-размерность. Теперь нужно 4 переменных в степени производить. И т.д. Кстати , я снимаю свой вопрос - нашел исходники указанной библиотеки на Питоне и разобрался как самому все запрограммировать в циклах.

Задача теперь понятна. Собственно, это линейная регрессия с интерактивными членами уравнения. Вам принципиально надо знать коэффициенты? Если нет, зачем тогда усложнять, если есть много нелинейных методов для тех же целей, но с меньшем геммором?

[Физик-Лирик]

логарифм отношения цен акций дву дней - белый шум

Чо сразу с козырей-то!?

Вообще, если интересно, то можете глянуть на Elliott Wave Theory. Если не в курсе, то там апологеты опираются на предположение о том, что рынок имеет фрактальную циклическую природу. При этом не смотря на сугубую псевдонаучность теории, она ничем не уступает любой другой, в том числе и сугубо математическим алгоритмическим моделям, что уже интересно.

Про козырей - сразу анектод вспомнился. Посмотрю на теорию, но то, что цитировал - эмпирический результат (это я про белый шум). Геометрическое Броуновское движение - это лишь работающая математическая аппроксимация.

[Chessplayer]

Для будущих интервью (чтобы блеснуть знаниями ) я бы посоветовал обратить внимание на работы Колмогорова и Арнольда 1950-х годов. Я (как и ряд других исследователей) считаю, что они дают математическое обоснование, хотя это и не так очевидно. В конце 80-х - начале 90-х появилось много публикаций на эту тему. Сейчас есть ряд публикаций на тему многослойных нейронных сетей.
Насчет работают - вопрос очень открытый. Согласен, что для распознования образов конволюционные сети работают хорошо, а для текстов работает LSTM. Однако, бум на глубокое обучение, на мой взгляд, не совсем оправдан. Так как методика основана на большом количестве гипер-параметров, обучение может привратиться в кошмар. Возможно, клауд поможет все распаралелить. Более того, в отличие от той же регрессии и суппорт вектор машины, формулированная задача минимизации целевой функции может (а на практике и будет) иметь множество локальных экстремумов. В результате процесс обучения начинает превращаться в жонглирование параметрами типа ранней остановки или изменения коэффициентов градиентного метода, чтобы вылезти из локальной ямы.

Вапник как раз утверждает (вот здесь, если мне память не изменяет: https://www.youtube.com/watch?v=STFcvzoxVw4), что shallow learners должны в теории давать лучшие результаты. Понятно, что на основе deep learning искусственный интеллект не построишь, но для ряда задач он тем не менее работает и даёт результаты. Кстати, LSTM для текстов это уже "прошлый век". Сейчас в моде трансформеры типа BERT и GPT-2. Только тренировать их нужно уже даже не на GPU. а на TPU.
Про сложности с тренировкой вы правы, но народ этим сейчас занимается. Отсюда ResNet-ы и еже с ними.

А ссылки можно на статьи (можно в личку)?

[Физик-Лирик]

Если опытный инвестор может предсказать за месяц-два падение рынка базируясь на доступных индикаторах, которое мы наблюдаем сейчас, то приближенная модель тоже самое может сделать. Я не пытаюсь «основную модель» рынка создать. Это работа для хэджфандов, в которых крутятся миллиарды долларов. Дейтрейдерством я не занимаюсь и мне достаточно того, чтобы предсказать грядущую через месяц коррекцию или обвал.

Идея понятна. Пытаетесь обозначит коррелирующие индексы и события. С математической точки зрения, какова целевая функция? Да/нет (в смысле обвалиться/не обвалиться)? Конкретные значения? Как точность будите оценивать?
Вы внизу про резюме писали. Если хотите, киньте в личку. Посмотрю, порекомендую. Вы писали про проекты. Если в личку бросите инфу, где искать, буду очень благодарен. Можно и скооперироваться.

[Физик-Лирик]

Вапник как раз утверждает (вот здесь, если мне память не изменяет: https://www.youtube.com/watch?v=STFcvzoxVw4), что shallow learners должны в теории давать лучшие результаты. Понятно, что на основе deep learning искусственный интеллект не построишь, но для ряда задач он тем не менее работает и даёт результаты. Кстати, LSTM для текстов это уже "прошлый век". Сейчас в моде трансформеры типа BERT и GPT-2. Только тренировать их нужно уже даже не на GPU. а на TPU.
Про сложности с тренировкой вы правы, но народ этим сейчас занимается. Отсюда ResNet-ы и еже с ними.

А ссылки можно на статьи (можно в личку)?

Я всегда прав. Тут бы с текущими делами разобраться, а тут уже новый век наступает. Я думаю, что если уж и GPU не хватет, то дело, скорее всего, в постановке задачи. Я из тех, кто считает, что для решения не обязательно привлекать ... тучу данных (многоточие понятно что заменяет? ). Про разницу между искусственным интелектом и машобучем тему будем сейчас открывать?
Насчет статей посмотрю, названия позже скину.

[IvanGrozniy]

В машинном обучение есть такая методика, как искусственное наращивание степени полинома многих переменных, чтобы линейная модель превращалась в квадратичную и выше. Для этого нужно добавления переменных в степенях. Затем можно оценить, какая степень лучше подойдет. Например, смоделировали уравнение зависимости цены дома от площади. Получилось уравнение y = a*x + b. Смотрим график. Слишком большие дома уже не растут в цене линейно, а допустим растут в цене полиномом второй степени. Что делаем? Добавляем вторую переменную x2 = x* x. Теперь можно найти другое линейное уравнение, которое будет продуктом переменой х второй и первой степени. Получится y = c * x1 + d*X2 + w, где x1 эта переменная площади, x2 - это квадрат площади. Таким образом можно натягивать модели под определенные нужды. Кстати, в моем простом примере на пред странице можно модель улучшить параболой, вместо указанной прямой. Теперь если представить, что я собрал не одну переменную, а 2-3, а то и больше, то чтобы увеличить степень полинома, нужно все пермножать очень долго. Как раз на помощь и приходит библиотечка. Только мне бы хотелось задавать количество входных переменных динамически и получать ответ в таком же стиле. То есть зада 3-х мерную переменную на входе и желаемую степень на выходе, то алгоритм выдал уже не три колонки, а, скажем 9 с уже перемноженными числами. Следом прошу 3-ую степень. Потом могу добавить дополнительную колонку-размерность. Теперь нужно 4 переменных в степени производить. И т.д. Кстати , я снимаю свой вопрос - нашел исходники указанной библиотеки на Питоне и разобрался как самому все запрограммировать в циклах.

Задача теперь понятна. Собственно, это линейная регрессия с интерактивными членами уравнения. Вам принципиально надо знать коэффициенты? Если нет, зачем тогда усложнять, если есть много нелинейных методов для тех же целей, но с меньшем геммором?

Ну коэффициенты-то участвуют в подсчете предсказания будущего события. Так что ответ «да». Вычисление коэффициентов это основная задача алгоритма тренировки на прошлых данных. Например, коэффициенты для задачи с прошлой страницы до открытия биржы мне предскажут насколько быки будут преобладать над медведями и какое их соотношение будет к закрытия биржи в конце сегодняшнего дня. Можно судить сколько паники будет сегодня.

[IvanGrozniy]

Если опытный инвестор может предсказать за месяц-два падение рынка базируясь на доступных индикаторах, которое мы наблюдаем сейчас, то приближенная модель тоже самое может сделать. Я не пытаюсь «основную модель» рынка создать. Это работа для хэджфандов, в которых крутятся миллиарды долларов. Дейтрейдерством я не занимаюсь и мне достаточно того, чтобы предсказать грядущую через месяц коррекцию или обвал.

Идея понятна. Пытаетесь обозначит коррелирующие индексы и события. С математической точки зрения, какова целевая функция? Да/нет (в смысле обвалиться/не обвалиться)? Конкретные значения? Как точность будите оценивать?
Вы внизу про резюме писали. Если хотите, киньте в личку. Посмотрю, порекомендую. Вы писали про проекты. Если в личку бросите инфу, где искать, буду очень благодарен. Можно и скооперироваться.

Пока фантазирую разные модели. Одна будет предсказывать просто да или нет. Вторая на какой процент вырастет перед обвалом и т.д. Даже вот сегодня смотрю на рынки и вижу что возможное дно близко. Понимаю, что можно сделать модель, которая скажет что сегодня «дно» с большой вероятностью. Только не успею скорее всего уже с этой моделью
Спасибо за предложения. Воспользуюсь помощью обязательно и скину в личку, как готов буду.

[Физик-Лирик]

Ну коэффициенты-то участвуют в подсчете предсказания будущего события. Так что ответ «да». Вычисление коэффициентов это основная задача алгоритма тренировки на прошлых данных. Например, коэффициенты для задачи с прошлой страницы до открытия биржы мне предскажут насколько быки будут преобладать над медведями и какое их соотношение будет к закрытия биржи в конце сегодняшнего дня. Можно судить сколько паники будет сегодня.

Снова не ясно (может мы о разных коэффициетах говорим). Например, Y = a1 * X1 + a2 * X2 + b. Вы об этих коэффициентах говорите? Если да, то объясните, зачем они нужны. Кстати, как будите интерпретировать эти коэффициенты? Надеюсь, не будите называть их "рейт оф чендж"?

[Физик-Лирик]

Пока фантазирую разные модели. Одна будет предсказывать просто да или нет. Вторая на какой процент вырастет перед обвалом и т.д. Даже вот сегодня смотрю на рынки и вижу что возможное дно близко. Понимаю, что можно сделать модель, которая скажет что сегодня «дно» с большой вероятностью. Только не успею скорее всего уже с этой моделью
Спасибо за предложения. Воспользуюсь помощью обязательно и скину в личку, как готов буду.

Дело не столько в самой моели, а в том, как будут приниматься решения на основе вероятностей. Вы, кстати, заметили, я вас уже к интервью готовлю.

[IvanGrozniy]

Ну коэффициенты-то участвуют в подсчете предсказания будущего события. Так что ответ «да». Вычисление коэффициентов это основная задача алгоритма тренировки на прошлых данных. Например, коэффициенты для задачи с прошлой страницы до открытия биржы мне предскажут насколько быки будут преобладать над медведями и какое их соотношение будет к закрытия биржи в конце сегодняшнего дня. Можно судить сколько паники будет сегодня.

Снова не ясно (может мы о разных коэффициетах говорим). Например, Y = a1 * X1 + a2 * X2 + b. Вы об этих коэффициентах говорите? Если да, то объясните, зачем они нужны. Кстати, как будите интерпретировать эти коэффициенты? Надеюсь, не будите называть их "рейт оф чендж"?

В общем если в уравнение подставить входные параметры х (значения рынка за вчерашний день с моего простого примера с пред страницы), то, зная коэффициенты а1, а2 и b, можно вычислить значение y, а это уже коэффициент соотношения быков и медведей на сегодня! Это классическая задача ML - предсказание события базируясь на вычисленных коэффициентах. Интерпретация коэффициентов - это обычные числа. Они вычислены созданной моделью на собранных данных за последние 10-20 лет.

[Физик-Лирик]

В общем если в уравнение подставить входные параметры х (значения рынка за вчерашний день с моего простого примера с пред страницы), то, зная коэффициенты а1, а2 и b, можно вычислить значение y, а это уже коэффициент соотношения быков и медведей на сегодня! Это классическая задача ML - предсказание события базируясь на вычисленных коэффициентах. Интерпретация коэффициентов - это обычные числа. Они вычислены созданной моделью на собранных данных за последние 10-20 лет.

Первый вопрос. Если коэффициенты нужны лишь для того, чтобы получить ответ (соответствующее значение целевой функции), тогда зачем использовать линейные модели или бодаться с полиномами, когда существуют "нормальные" нелинейные модели типа рэндом фореста, бустинга или, на худой конец, нейронные сети. Вопрос номер два. Модели с "коэффициентами" обычно выбирают для объянения поведения входных данных. Вас это интересует? Если да, как будете интерпретировать коэффициенты? Понятно, что это числа. Физический смысл какой? Вопрос три. Как будете решать, какие параметры ажны, а какие нет. Есть еще куча вопросов, но пока остановимся на этих.

[IvanGrozniy]

Основа построения нейронных сетей в ML тоже состоит в поиске подобных коэффициентах линейных уравнений… Спасибо за советы, но я углубляться пока не буду в теорию. У меня цели другие. Тем более сегодня воскресенье - нужно расслабиться.

[Физик-Лирик]

Основа построения нейронных сетей в ML тоже состоит в поиске подобных коэффициентах линейных уравнений… Спасибо за советы, но я углубляться пока не буду в теорию. У меня цели другие. Тем более сегодня воскресенье - нужно расслабиться.

Это да, но на практике никто же не будет "вручную" использовать эти кэффициенты, а лишь готовый результат.
Ладно, закрываем тему на выходные.

[IvanGrozniy]

Продолжение истории. Начальник в начале года нам сказал, что мы поддерживаем сертификацию и от каждого подчиненного ожидается 1-2 сертификата. Будет дополнительная положительная оценка к принятию решения о ежегодном повышения зарплаты. Мол, учитесь, товарищи, компания оплатит. Сегодня утром сообщил ему, что потратил своих $79 кровных на этот сертификат, процесс возврата денег начинать можно? Отвечает, что компания заморозила все возвраты из-за вируса. Деньги не большие, но, зараза, обидно как-то из-за принципа Нужно точно поскорее лыжи мазать...

[IvanGrozniy]

Поздравляю! Не останавливайтесь на достигнутом - вгрызайтесь в Deep Learning !

Сегодня зашел на корсэру. Предлагают 30 дней бесплатно начать 5 курсов по Deep Learning. Сегодня последний день начала семестра у них… Сложно отказаться

[Физик-Лирик]

Нужно точно поскорее лыжи мазать...

А куда мазать то? Говорил с рекрутерами, зарплаты предлагают Вот и думаю, просто случайность или они рассуждают по принципу "все там будем" в смысле зарплат

[IvanGrozniy]

У меня грядут 2 интервью в две FAANG компании. В одной будет финальное - прошел несколько этапов уже. Можно поднапрячься с подготовкой. Возможно взять отгулы даже. Тогда шансы будут выше. Но, кончено, на позиции не связанные с ML пока.
Зарплата у меня сейчас невысокая, если сравнивать со средними. Я специально пошел на меньшую зарплату, так как менеджер понравился и стресс от работы был низкий. В последний год ситуация на работе изменилась. Сменился менеджер, понакидали кучу дополнительных обязанностей и еще сейчас пытаются из меня сделать менеджера. Хотя я им открыто периодически заявляю - буду архитектором, а не начальником с кнутом. Программирую и моделирую новые проекты меньше чем раньше… И это все с той же самой зарплатой. Так зачем мне напрягаться за эти деньги, если в других местах платят гораздо больше за такой же объем работ? Поэтому и принял решение искать новое место.

[IvanGrozniy]

Очередной вопрос к специалистам. Теперь уже на тему Deep Learning.
В общем, работаю над домашним проектом. Есть определенный потенциал к монетизации даже.
Построил пайплайн для сбора данных с Интернета. Количество входных элементов в нейронную сеть для тренировки будет составлять 1 млн штук (можно попробовать упростить до 500 тысяч в случае чего). Каждый объект будет содержать около 50 тысяч фишек (features). Допустим, у меня будет один скрытый слой в нейронке размером 50 тысяч нейронов (можно попробать упростить до 1000 ради сохранения скорости и размера используемой памяти). Выходной слой - 1000 (тысяча) классификаций с ответами "да" и "нет".
То есть получится матрица параметров для скрытого слоя размерности около 50 тысяч на 1 миллион вещественных чисел. Вектором скаляров B преенебрегаем для данного примера. Для выходного слоя матрица будет 1 тысяча на 50 тысяч.
Конечная цель - натренировать модель и создать программку для айфона для прикольных и полезных предсказаний для пользователей. То есть, челдобречик на телефоне загружает фотку, а модель ему предсказывает что-то в зависимости от контента фотки.
В общем два пути реализации:
1. Натренированная модель хранится на моем сервере. Клиентская прога загружает фотку на сервер и сервер выдает предсказание клиентовской программе. Минус в том, что нужно платить за хостинг и домен. Не хочется.
2. Натренированная модель хранится в самой айфоновской программе и программа сама уже анализирует фотку. Минус в том, что я не знаю как реализовать это все в Objective C. Глянул на документацию эплвского SDK для мобильных устройст с поддержкой ML и с нейронными сетями. Как всегда у них все запутано и нужно долго разбираться с бутылкой, даже чтобы просто понять, можно ли теориетически эту SDK использовать для просчитанной большой нейронной сети.
Кто-нибудь сталкивался со вторым пунктом? Такое возможно реализовать через эпловский SDK?

[-helloworld-]

У меня грядут 2 интервью в две FAANG компании. В одной будет финальное - прошел несколько этапов уже. Можно поднапрячься с подготовкой. Возможно взять отгулы даже. Тогда шансы будут выше. Но, кончено, на позиции не связанные с ML пока.
Зарплата у меня сейчас невысокая, если сравнивать со средними. Я специально пошел на меньшую зарплату, так как менеджер понравился и стресс от работы был низкий. В последний год ситуация на работе изменилась. Сменился менеджер, понакидали кучу дополнительных обязанностей и еще сейчас пытаются из меня сделать менеджера. Хотя я им открыто периодически заявляю - буду архитектором, а не начальником с кнутом. Программирую и моделирую новые проекты меньше чем раньше… И это все с той же самой зарплатой. Так зачем мне напрягаться за эти деньги, если в других местах платят гораздо больше за такой же объем работ? Поэтому и принял решение искать новое место.

Найдите себе 100% удалёнку и езжайте в тэхас. Все ваши проблемы сразу отпадут.
А всякие фаанги оставьте школьникам из китая, у них это лучше получается.

[IvanGrozniy]

Сейчас у всех удаленка. Зачем же ее искать в наше время. Думаю после данного исторически показательного кризиса и, как следствие, карантина, корпорации посчитают затраты на аренду офисов и разрешат людям побольше времени на удаленке.
А в Техасе и в других южных штатах я не уживусь, так как много времени на улице люблю проводить. В ваших Аризонах и Техасах все сидят по домам, когда на улице жарит солнце - не для меня. Меня уже сто раз туда в жару зазывают, сулят дешевые фанерные домики и большие денежные горы от всевозможных экономий, но в епеня ехать не хоца У меня есть золотое правило: чем дешевле жизнь на определенной территории, тем остойней это место для проживания. Его еще никто опровергнуть не смог!
Вот в Монако бы я жил, однако. Там хорошо. Но нищебродов туда не пускают, нужно как минимум 2 млн евро на счете показать, чтобы вид на жительство получить... Хотя не знаю, может программистов как-то спонсируют там?

[BigSpender]

Очередной вопрос к специалистам. Теперь уже на тему Deep Learning.
В общем, работаю над домашним проектом. Есть определенный потенциал к монетизации даже.
Построил пайплайн для сбора данных с Интернета. Количество входных элементов в нейронную сеть для тренировки будет составлять 1 млн штук (можно попробовать упростить до 500 тысяч в случае чего). Каждый объект будет содержать около 50 тысяч фишек (features). Допустим, у меня будет один скрытый слой в нейронке размером 50 тысяч нейронов (можно попробать упростить до 1000 ради сохранения скорости и размера используемой памяти). Выходной слой - 1000 (тысяча) классификаций с ответами "да" и "нет".
То есть получится матрица параметров для скрытого слоя размерности около 50 тысяч на 1 миллион вещественных чисел. Вектором скаляров B преенебрегаем для данного примера. Для выходного слоя матрица будет 1 тысяча на 50 тысяч.
Конечная цель - натренировать модель и создать программку для айфона для прикольных и полезных предсказаний для пользователей. То есть, челдобречик на телефоне загружает фотку, а модель ему предсказывает что-то в зависимости от контента фотки.
В общем два пути реализации:
1. Натренированная модель хранится на моем сервере. Клиентская прога загружает фотку на сервер и сервер выдает предсказание клиентовской программе. Минус в том, что нужно платить за хостинг и домен. Не хочется.
2. Натренированная модель хранится в самой айфоновской программе и программа сама уже анализирует фотку. Минус в том, что я не знаю как реализовать это все в Objective C. Глянул на документацию эплвского SDK для мобильных устройст с поддержкой ML и с нейронными сетями. Как всегда у них все запутано и нужно долго разбираться с бутылкой, даже чтобы просто понять, можно ли теориетически эту SDK использовать для просчитанной большой нейронной сети.
Кто-нибудь сталкивался со вторым пунктом? Такое возможно реализовать через эпловский SDK?

Если модель сделана под Tensorflow, то можно попробовать сконвертирировать под Tensorflow lite. Получившуюся модель можно сжать и оптимизировать с помощью квантования и потом уже запускать на iOS и Android.
https://www.tensorflow.org/lite/guide/get_started

Правда есть ограничения и не каждую модель можно так просто сконвертировать. https://www.tensorflow.org/lite/guide/ops_compatibility

Вот неплохая статья:https://towardsdatascience.com/tensorfl ... 4703297267

[Физик-Лирик]

Построил пайплайн для сбора данных с Интернета. Количество входных элементов в нейронную сеть для тренировки будет составлять 1 млн штук (можно попробовать упростить до 500 тысяч в случае чего). Каждый объект будет содержать около 50 тысяч фишек (features). Допустим, у меня будет один скрытый слой в нейронке размером 50 тысяч нейронов (можно попробать упростить до 1000 ради сохранения скорости и размера используемой памяти). Выходной слой - 1000 (тысяча) классификаций с ответами "да" и "нет".
То есть получится матрица параметров для скрытого слоя размерности около 50 тысяч на 1 миллион вещественных чисел. Вектором скаляров B преенебрегаем для данного примера. Для выходного слоя матрица будет 1 тысяча на 50 тысяч.
Конечная цель - натренировать модель и создать программку для айфона для прикольных и полезных предсказаний для пользователей. То есть, челдобречик на телефоне загружает фотку, а модель ему предсказывает что-то в зависимости от контента фотки.

1) Формулировки задач есть или из-за "монетезации" это тщательно скрывается?
2) 50 тысяч "фишек" - это после или до применения энкодера? Если речь идет об "1 миллион вещественны чисел", то я как понимаю - первое, или вообще категорийных пременных нет?
3) Прилагательное "вещественных" перед "чисел" какую несет смысловую нагрузку?
4) Есть сильное чувство, что реальная задача сводится к элементарному (ну, может, и не совсем к элементарному ) программированию. Попробуйте развеять мои сомнения .

[voyager3]

Сейчас у всех удаленка. Зачем же ее искать в наше время. Думаю после данного исторически показательного кризиса и, как следствие, карантина, корпорации посчитают затраты на аренду офисов и разрешат людям побольше времени на удаленке.

Те, что считают затраты на аренду офисов, вряд ли могут что-то приличное предложить. А от гуглобуков удалёнки не дождёмся . Я б давно в реднековские дебри свалил, подвернись что-то приличное и с долгосрочной перспективой.

[IvanGrozniy]

Построил пайплайн для сбора данных с Интернета. Количество входных элементов в нейронную сеть для тренировки будет составлять 1 млн штук (можно попробовать упростить до 500 тысяч в случае чего). Каждый объект будет содержать около 50 тысяч фишек (features). Допустим, у меня будет один скрытый слой в нейронке размером 50 тысяч нейронов (можно попробать упростить до 1000 ради сохранения скорости и размера используемой памяти). Выходной слой - 1000 (тысяча) классификаций с ответами "да" и "нет".
То есть получится матрица параметров для скрытого слоя размерности около 50 тысяч на 1 миллион вещественных чисел. Вектором скаляров B преенебрегаем для данного примера. Для выходного слоя матрица будет 1 тысяча на 50 тысяч.
Конечная цель - натренировать модель и создать программку для айфона для прикольных и полезных предсказаний для пользователей. То есть, челдобречик на телефоне загружает фотку, а модель ему предсказывает что-то в зависимости от контента фотки.

1) Формулировки задач есть или из-за "монетезации" это тщательно скрывается?
2) 50 тысяч "фишек" - это после или до применения энкодера? Если речь идет об "1 миллион вещественны чисел", то я как понимаю - первое, или вообще категорийных пременных нет?
3) Прилагательное "вещественных" перед "чисел" какую несет смысловую нагрузку?
4) Есть сильное чувство, что реальная задача сводится к элементарному (ну, может, и не совсем к элементарному ) программированию. Попробуйте развеять мои сомнения .

1. Пока скрывается. Программу напишу, если все будет работать как задумано, то скину подробности с примерами. На данный момент пайплайн уже накачал 400 тысяч примеров. Осталось совсем ничего - 600 тысяч. 5 простаивающих компьютеров пашут в поте лица уже с воскресенья - надеюсь сетевики меня не заловят из-за всплеска трафика
2. 50 тысяч уже после разворачивания в вектора. 1000 категорийных (классификаций) переменных.
3. Что много памяти будет занимать. По грубым подсчетам может быть не менее 50 гигов в памяти для расчетов. Наверное, нужно количество нейрогон уменьшать в первую очередь.
4. Программирования как такого мало и есть алгоритмы конечно. Но вот нумпай может распараллеливать перемножение матриц и считает в 300 раз быстрее,чем в цикле просто запрограммировать. Пользователь айфончика ждать не будет когда я миллиарды чисел перемножать в цикле в ручную буду. Исходя из этого требования и нужно что-то подобное нумпаю на iOS.