IT горячка в Сиэттле, эпизод 2

[Notghin]

Нет смысла брать старье. Берите RTX2060/RTX2070/RTX2080 в зависимости от бюджета.

[Chessplayer]

Нет смысла брать старье. Берите RTX2060/RTX2070/RTX2080 в зависимости от бюджета.

вы бы хоть на их спеки посмотрели, прежде чем советы давать

[Dweller]

Топикстартер, Вы на работу-то вышли?

конечно! все ок, сегодня первый пейчек, работаю из дома
удалось съесть наш классный компанейский обед только один раз в первый день ориентации
потом отменили завтраки, потом запаковали обеды в нефотогеничные take-out boxes, а потом уже и обеды отменили и перевели всех на дом

сибас.jpeg

поркбелли.jpeg

[ystar]

это так в амазоне кормят?

[Dweller]

это так в амазоне кормят?

я бы сфотографировал как кормят в амазоне, но у меня там во время интервью не было времени на это, во-первых небольшая очередь, во-вторых банально не возникало такого желания

[IvanGrozniy]

...

Хотелось бы спросить что этот график значит с точки зрения моделирования для машинного программирования.
Андрей Нг при начале какого-либо проекта советует быстренько сляпать простую модель в течении 24 часов. А потом уже смотреть в каком направлении работать и улучшать.
Поэтому я выбрал самую простейшую модель. Сделал пару скриптов на Питоне, которые собирают бесплатные данные с биржи Насдак за последние 10+ лет. Выбрал всего лишь одномерные входные данные для начала (понятно что будет бесполезная для практического использования модель). Сделал в Октаве нормализацию параметров и подсчеты. Потом буду усложнять систему добавлением других входных параметров.
На данный момент входная переменная Х - это разница в значениях Насдака между вчерашними значениями при закрытии биржы и позавчерашними. Значение Y которое буду предсказывать - это сегодняшний показатель сентиментального индекса IEE (грубо - соотношение быков и медведей на рынке). Конечная цель: Забить данные за вчера и позавчера, модель должна предсказать поведение на сегодня.
Получилось таких 2 инетерсных графика.
Соотвественно, есть вопрос, что рассказывает график с красными крестиками. Прямая линия модели - это понятный косяк, показывает, что надо полиномы делать с такими параметрами. Но если добавить другие параметры, то картина может измениться в корне. Соотвественно диагностирование модели на второй картинке бесполезно на данных для кросс валидации, так как модель негодная.

Но вот что значит, если так кучно крестики в кучку сбились в форме носа (напоминает гауссовское распределние)? Значит ли это, что параметры совсем левые? Андрей в лекциях про такое поведение совсем ничего не говорит.

[Dweller]

а хор его знает, график похож на шапочку для рождественского гномика

Мне первое задание дали на новой работе поковыряться в говне автоматизировать пайплайн, так что пока не до дата саенса welcome to ML ops

[Chessplayer]

А в каком диапазоне ISEE может меняться? Диапазон изменения индекса Nasdaq как-то маловат. Или тут уже все отнормировано? Выглядит как будто одна переменная слабо зависит от другой. Корреляцию между ними считали?

[IvanGrozniy]

А в каком диапазоне ISEE может меняться? Диапазон изменения индекса Nasdaq как-то маловат. Или тут уже все отнормировано? Выглядит как будто одна переменная слабо зависит от другой. Корреляцию между ними считали?

Все векторы отнормированны таким образом:

Code: Select all

mu = mean(X);
X_norm = bsxfun(@minus, X, mu);
sigma = std(X_norm);
X_norm = bsxfun(@rdivide, X_norm, sigma);

Кстати, на второй картинке я забыл отнормировать набор данных для кросс-валидации Вот исправленная картинка ниже. Зависимость ошибки от увеличения количества примеров из набора для тренировки. Ошибка большая и почти одинакова при добавлении элементов в train set. Согласно лекциям Андрюшки это у нас high bias, то есть, слишком простая модель. Нужно усложнять.
Насчет корреляции, я не считал. Интуитивно, она есть, но слабенькая. Похоже параболой предскажет хоть что-то.
Буду добавлять параметры постепенно. Жаль, что первая картинка уже не получится в многомерном варианте.

[alex_127]

это так в амазоне кормят?

в амазоне есть бесплатый чай и кофе. да, и ёще - кофе без кофеина.
и воды сколько влезет - никто не ограничивает. еды нет.

[IvanGrozniy]

а хор его знает, график похож на шапочку для рождественского гномика

Мне первое задание дали на новой работе поковыряться в говне автоматизировать пайплайн, так что пока не до дата саенса welcome to ML ops

Понятно. Почитал про ML Ops. Написали что только 22% компаний успешную модель выпускают. У остальных не получается… Кстати, к летнему релизу буду ML модель делать в своей компании с автоматизированным пайплайном. Тоже буду Ops со строчкой в резюме

[IvanGrozniy]

Вопрос тем, кто использует научную библиотеку для Питона под названием "sympy".
Цель - получить части полинома заданной степени (в данном случае 3), когда в уравнении больше одной переменной. Нашел билиотеку sympy, но хотелось бы все-таки динамически задавать количество переменных/размерность. На данный момент приходится оперировать странным для нас программистов изобретением из модуля sympy.abc, когда хардкодишь x, y, z и т.д. В общем хочу функцию написать, которая принимает размерность, степень уравнения и значения для всех перменных. На выходе массив со значениями от каждого токена полиномного уравнения.
Вот трехмерный пример, который я запрогроммировал:

Code: Select all

from sympy import symbols
from sympy.polys.monomials import itermonomials
from sympy.polys.orderings import monomial_key
from sympy.abc import x, y, z, h
import numpy

t = sorted(itermonomials([x, y, z], 2), key=monomial_key('grlex', [y, x, z]))
print(t)
for i in range(len(t)):
    expr = t[i]
    v = expr.evalf(subs={x: 1, y:2, z:3})
    str1 = 'expr = %s, computed value = %1.2f' % (expr, v)
    print(str1)

Вот что выводит на экран:

Code: Select all

[1, z, x, y, z**2, x*z, x**2, y*z, x*y, y**2]
expr = 1, computed value = 1.00
expr = z, computed value = 3.00
expr = x, computed value = 1.00
expr = y, computed value = 2.00
expr = z**2, computed value = 9.00
expr = x*z, computed value = 3.00
expr = x**2, computed value = 1.00
expr = y*z, computed value = 6.00
expr = x*y, computed value = 2.00
expr = y**2, computed value = 4.00

Соотвественно нужно вызывать функцию itermonomials с массивом переменных и сделать так, чтобы expr.evalf принимала значения переменных динамически (как массив?).
Это мне нужно затем, чтобы уйти от линейной регрессии, используя полную автоматизацию по увеличению/уменьшения размерности. Типа, захотел дополнительный параметр добавить в модель, добавил и компьютер новые параметры сгенерировал для полинома нужной степени.

[IvanGrozniy]

Я почти закончил курс ML. Осталось всего лишь 3 недели обучения из 11. В связи с этим смотрю как правильней применить вновь приобретенные знания. Зашел на сайт фрилансеров апворк и смотрю есть предложения коротких контрактов для удаленки по этой теме. Даже по $100 в час предлагают для работы по 10 часов в неделю! В связи с этим хочу спросить.
Уважаемые «машинисты», не могли бы подкинуть примеры профайлов и образцов из резюме как правильно себя преподать потенциальному работодателю. С правильным набором слов, чтобы заказчик сильно не зависал от незнакомых терминов. Буду благодарен любой информации. Спасибо.

[IvanGrozniy]

Ну вот я и эксперт, как утверждает Андрей Нг

[Chessplayer]

Поздравляю! Не останавливайтесь на достигнутом - вгрызайтесь в Deep Learning !