IT горячка в Сиэттле, эпизод 2

[IvanGrozniy]

Спасибо!

[IvanGrozniy]

Поздравляю! Не останавливайтесь на достигнутом - вгрызайтесь в Deep Learning !

Спасибо!
Deep Learning курс хочется поучить, но после этого ML курса мне хочется закрепить изученное и сделать 3-4 модели относительно рынка ценных бумаг для своих нужд инвестирования. А именно, linear regression с полиномами для предсказания больших процентов прибыли, потом сделать logistical regression модель и закрепить нейронной сетью предсказания поведения бирж. Также зарождаются идеи монетизации знаний через ML путем сканирования вебсайтов, типа, Амазона. Но в последнем случае одному будет тяжеловато реализовывать этот пайплайн. На все свободное время тратить буду. А через пару месяцев можно и за DL взяться.

[Физик-Лирик]

Вопрос тем, кто использует научную библиотеку для Питона под названием "sympy".
Цель - получить части полинома заданной степени (в данном случае 3), когда в уравнении больше одной переменной. Нашел билиотеку sympy, но хотелось бы все-таки динамически задавать количество переменных/размерность. На данный момент приходится оперировать странным для нас программистов изобретением из модуля sympy.abc, когда хардкодишь x, y, z и т.д. В общем хочу функцию написать, которая принимает размерность, степень уравнения и значения для всех перменных. На выходе массив со значениями от каждого токена полиномного уравнения.

Извиняюсь, но не понятно, в чем состоит задача. Я с библиотекой не знаком, но сама постановка задачи не ясна.

[Физик-Лирик]

Поздравляю! Не останавливайтесь на достигнутом - вгрызайтесь в Deep Learning !

И в чем состоит это "вгрызание"? В качестве десерта пред основным блюдом вопрос, а почему он вообще работает? В случае одного слоя - теорема об универсальной аппроксимации. А в многослойном случае? Каково теоретическое обоснование?

[Физик-Лирик]

Поздравляю! Не останавливайтесь на достигнутом - вгрызайтесь в Deep Learning !

Спасибо!
Deep Learning курс хочется поучить, но после этого ML курса мне хочется закрепить изученное и сделать 3-4 модели относительно рынка ценных бумаг для своих нужд инвестирования. А именно, linear regression с полиномами для предсказания больших процентов прибыли, потом сделать logistical regression модель и закрепить нейронной сетью предсказания поведения бирж.

Основная математическая модель рынка - геометрическое Броуновское движение. Оно является эмпирическим следствием того, что логарифм отношения цен акций дву дней - белый шум. Вопрос, как исходя из вышеприведенных данных кае будите моделировать да еще и ленейными моделями?

[tessob]

логарифм отношения цен акций дву дней - белый шум

Чо сразу с козырей-то!?

Вообще, если интересно, то можете глянуть на Elliott Wave Theory. Если не в курсе, то там апологеты опираются на предположение о том, что рынок имеет фрактальную циклическую природу. При этом не смотря на сугубую псевдонаучность теории, она ничем не уступает любой другой, в том числе и сугубо математическим алгоритмическим моделям, что уже интересно.

[IvanGrozniy]

Поздравляю! Не останавливайтесь на достигнутом - вгрызайтесь в Deep Learning !

Спасибо!
Deep Learning курс хочется поучить, но после этого ML курса мне хочется закрепить изученное и сделать 3-4 модели относительно рынка ценных бумаг для своих нужд инвестирования. А именно, linear regression с полиномами для предсказания больших процентов прибыли, потом сделать logistical regression модель и закрепить нейронной сетью предсказания поведения бирж.

Основная математическая модель рынка - геометрическое Броуновское движение. Оно является эмпирическим следствием того, что логарифм отношения цен акций дву дней - белый шум. Вопрос, как исходя из вышеприведенных данных кае будите моделировать да еще и ленейными моделями?

Если опытный инвестор может предсказать за месяц-два падение рынка базируясь на доступных индикаторах, которое мы наблюдаем сейчас, то приближенная модель тоже самое может сделать. Я не пытаюсь «основную модель» рынка создать. Это работа для хэджфандов, в которых крутятся миллиарды долларов. Дейтрейдерством я не занимаюсь и мне достаточно того, чтобы предсказать грядущую через месяц коррекцию или обвал.

[IvanGrozniy]

Вопрос тем, кто использует научную библиотеку для Питона под названием "sympy".
Цель - получить части полинома заданной степени (в данном случае 3), когда в уравнении больше одной переменной. Нашел билиотеку sympy, но хотелось бы все-таки динамически задавать количество переменных/размерность. На данный момент приходится оперировать странным для нас программистов изобретением из модуля sympy.abc, когда хардкодишь x, y, z и т.д. В общем хочу функцию написать, которая принимает размерность, степень уравнения и значения для всех перменных. На выходе массив со значениями от каждого токена полиномного уравнения.

Извиняюсь, но не понятно, в чем состоит задача. Я с библиотекой не знаком, но сама постановка задачи не ясна.

В машинном обучение есть такая методика, как искусственное наращивание степени полинома многих переменных, чтобы линейная модель превращалась в квадратичную и выше. Для этого нужно добавления переменных в степенях. Затем можно оценить, какая степень лучше подойдет. Например, смоделировали уравнение зависимости цены дома от площади. Получилось уравнение y = a*x + b. Смотрим график. Слишком большие дома уже не растут в цене линейно, а допустим растут в цене полиномом второй степени. Что делаем? Добавляем вторую переменную x2 = x* x. Теперь можно найти другое линейное уравнение, которое будет продуктом переменой х второй и первой степени. Получится y = c * x1 + d*X2 + w, где x1 эта переменная площади, x2 - это квадрат площади. Таким образом можно натягивать модели под определенные нужды. Кстати, в моем простом примере на пред странице можно модель улучшить параболой, вместо указанной прямой. Теперь если представить, что я собрал не одну переменную, а 2-3, а то и больше, то чтобы увеличить степень полинома, нужно все пермножать очень долго. Как раз на помощь и приходит библиотечка. Только мне бы хотелось задавать количество входных переменных динамически и получать ответ в таком же стиле. То есть зада 3-х мерную переменную на входе и желаемую степень на выходе, то алгоритм выдал уже не три колонки, а, скажем 9 с уже перемноженными числами. Следом прошу 3-ую степень. Потом могу добавить дополнительную колонку-размерность. Теперь нужно 4 переменных в степени производить. И т.д. Кстати , я снимаю свой вопрос - нашел исходники указанной библиотеки на Питоне и разобрался как самому все запрограммировать в циклах.

[Chessplayer]

И в чем состоит это "вгрызание"? В качестве десерта пред основным блюдом вопрос, а почему он вообще работает? В случае одного слоя - теорема об универсальной аппроксимации. А в многослойном случае? Каково теоретическое обоснование?

За теоретическим обоснованием это вы к Владимиру Вапнику обращайтесь. Он за это deep learning как раз критикует. Но эмпирически методы хорошо работают для большого ряда задач компьютерного зрения, распознавания текстов и аудио.

[Dweller]

Я че скажу вам.
Возьмите бесплатный аккаунт на aws, и основываясь на тех блоге какой нибудь солидной компании, сделайте похожий model training pipeline с участием как можно большего числа технологий. Sagemaker, s3, Hdfs, Kafka, spark, etc.
Доложите о результатах через полгода

[Физик-Лирик]

За теоретическим обоснованием это вы к Владимиру Вапинику обращайтесь. Он за это deep learning как раз критикует. Но эмпирически методы хорошо работают для большого ряда задач компьютерного зрения, распознавания текстов и аудио.

Для будущих интервью (чтобы блеснуть знаниями ) я бы посоветовал обратить внимание на работы Колмогорова и Арнольда 1950-х годов. Я (как и ряд других исследователей) считаю, что они дают математическое обоснование, хотя это и не так очевидно. В конце 80-х - начале 90-х появилось много публикаций на эту тему. Сейчас есть ряд публикаций на тему многослойных нейронных сетей.
Насчет работают - вопрос очень открытый. Согласен, что для распознования образов конволюционные сети работают хорошо, а для текстов работает LSTM. Однако, бум на глубокое обучение, на мой взгляд, не совсем оправдан. Так как методика основана на большом количестве гипер-параметров, обучение может привратиться в кошмар. Возможно, клауд поможет все распаралелить. Более того, в отличие от той же регрессии и суппорт вектор машины, формулированная задача минимизации целевой функции может (а на практике и будет) иметь множество локальных экстремумов. В результате процесс обучения начинает превращаться в жонглирование параметрами типа ранней остановки или изменения коэффициентов градиентного метода, чтобы вылезти из локальной ямы.

[Физик-Лирик]

В машинном обучение есть такая методика, как искусственное наращивание степени полинома многих переменных, чтобы линейная модель превращалась в квадратичную и выше. Для этого нужно добавления переменных в степенях. Затем можно оценить, какая степень лучше подойдет. Например, смоделировали уравнение зависимости цены дома от площади. Получилось уравнение y = a*x + b. Смотрим график. Слишком большие дома уже не растут в цене линейно, а допустим растут в цене полиномом второй степени. Что делаем? Добавляем вторую переменную x2 = x* x. Теперь можно найти другое линейное уравнение, которое будет продуктом переменой х второй и первой степени. Получится y = c * x1 + d*X2 + w, где x1 эта переменная площади, x2 - это квадрат площади. Таким образом можно натягивать модели под определенные нужды. Кстати, в моем простом примере на пред странице можно модель улучшить параболой, вместо указанной прямой. Теперь если представить, что я собрал не одну переменную, а 2-3, а то и больше, то чтобы увеличить степень полинома, нужно все пермножать очень долго. Как раз на помощь и приходит библиотечка. Только мне бы хотелось задавать количество входных переменных динамически и получать ответ в таком же стиле. То есть зада 3-х мерную переменную на входе и желаемую степень на выходе, то алгоритм выдал уже не три колонки, а, скажем 9 с уже перемноженными числами. Следом прошу 3-ую степень. Потом могу добавить дополнительную колонку-размерность. Теперь нужно 4 переменных в степени производить. И т.д. Кстати , я снимаю свой вопрос - нашел исходники указанной библиотеки на Питоне и разобрался как самому все запрограммировать в циклах.

Задача теперь понятна. Собственно, это линейная регрессия с интерактивными членами уравнения. Вам принципиально надо знать коэффициенты? Если нет, зачем тогда усложнять, если есть много нелинейных методов для тех же целей, но с меньшем геммором?

[Физик-Лирик]

логарифм отношения цен акций дву дней - белый шум

Чо сразу с козырей-то!?

Вообще, если интересно, то можете глянуть на Elliott Wave Theory. Если не в курсе, то там апологеты опираются на предположение о том, что рынок имеет фрактальную циклическую природу. При этом не смотря на сугубую псевдонаучность теории, она ничем не уступает любой другой, в том числе и сугубо математическим алгоритмическим моделям, что уже интересно.

Про козырей - сразу анектод вспомнился. Посмотрю на теорию, но то, что цитировал - эмпирический результат (это я про белый шум). Геометрическое Броуновское движение - это лишь работающая математическая аппроксимация.

[Chessplayer]

Для будущих интервью (чтобы блеснуть знаниями ) я бы посоветовал обратить внимание на работы Колмогорова и Арнольда 1950-х годов. Я (как и ряд других исследователей) считаю, что они дают математическое обоснование, хотя это и не так очевидно. В конце 80-х - начале 90-х появилось много публикаций на эту тему. Сейчас есть ряд публикаций на тему многослойных нейронных сетей.
Насчет работают - вопрос очень открытый. Согласен, что для распознования образов конволюционные сети работают хорошо, а для текстов работает LSTM. Однако, бум на глубокое обучение, на мой взгляд, не совсем оправдан. Так как методика основана на большом количестве гипер-параметров, обучение может привратиться в кошмар. Возможно, клауд поможет все распаралелить. Более того, в отличие от той же регрессии и суппорт вектор машины, формулированная задача минимизации целевой функции может (а на практике и будет) иметь множество локальных экстремумов. В результате процесс обучения начинает превращаться в жонглирование параметрами типа ранней остановки или изменения коэффициентов градиентного метода, чтобы вылезти из локальной ямы.

Вапник как раз утверждает (вот здесь, если мне память не изменяет: https://www.youtube.com/watch?v=STFcvzoxVw4), что shallow learners должны в теории давать лучшие результаты. Понятно, что на основе deep learning искусственный интеллект не построишь, но для ряда задач он тем не менее работает и даёт результаты. Кстати, LSTM для текстов это уже "прошлый век". Сейчас в моде трансформеры типа BERT и GPT-2. Только тренировать их нужно уже даже не на GPU. а на TPU.
Про сложности с тренировкой вы правы, но народ этим сейчас занимается. Отсюда ResNet-ы и еже с ними.

А ссылки можно на статьи (можно в личку)?

[Физик-Лирик]

Если опытный инвестор может предсказать за месяц-два падение рынка базируясь на доступных индикаторах, которое мы наблюдаем сейчас, то приближенная модель тоже самое может сделать. Я не пытаюсь «основную модель» рынка создать. Это работа для хэджфандов, в которых крутятся миллиарды долларов. Дейтрейдерством я не занимаюсь и мне достаточно того, чтобы предсказать грядущую через месяц коррекцию или обвал.

Идея понятна. Пытаетесь обозначит коррелирующие индексы и события. С математической точки зрения, какова целевая функция? Да/нет (в смысле обвалиться/не обвалиться)? Конкретные значения? Как точность будите оценивать?
Вы внизу про резюме писали. Если хотите, киньте в личку. Посмотрю, порекомендую. Вы писали про проекты. Если в личку бросите инфу, где искать, буду очень благодарен. Можно и скооперироваться.