Machine Learning again

Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

tessob wrote: 16 Mar 2017 15:59
Что касается самой задачи, то она, мягко говоря, странная. Ее можно сформулировать немного проще. Предположим, что есть ассиметричная монетка, где орел выпадает с вероятностью 0.7 (решка 0.3). Вы играете в игру с единственным оппонентом и называете сторону, которая выпадет следующей. Если вы выигрываете, то получаете 1$, если проигрываете, то платите его. Нужно просто ставить на орла. Вы же пытаетесь строить модель случайного процесса, основывая свой выбор на предыдущих значениях. Это только математическая сторона.
В такой постановке есть одна проблема. Предполагается, что у игроков (по крайней мере, у постоянно ставившего на "орла") есть неограниченный капитал. Обычно, при формулировки задачи финансового рынка через стохастические диффуры предполагается, что процесс ("гейн процесс") ограничен снизу.
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

tessob wrote: 20 Mar 2017 08:37 Я правда не понимаю как знания об объеме потребления каждым отдельным клиентом могут улучшить существующую модель управления режимами работы турбин. Объем потребления конечных потребителей будет всегда меньше величины генерации на случайную величину с большой дисперсией.
Более того, если такие потери являются случайной величиной, а сама задача является попыткой оптимизировать функцию от объема потребления и случайной величины, то результатом такой функции тоже будет случайная величина. Можно заменить случайную величину потерь мат ожиданием, но при большой дисперсии это будет уже "оптимизация средней по больнице".
Я не знаю, какую задачу решает Королева, но ведь можно рассмотреть задачу с точки зрения задачи расписания (известная задача). Можно спрогнозировать расписание потребления энергии, а потом оптимизировать с точки зрения включения/отключения генераторов. Потери и т.п. можно моделировать как нормальное распределения с нулевым средним и постоянным стандартным отклонением. Неопределённость можно трактовать этим распределением. Предполагается, что дисперсия не очень велика по сравнению со средними значениями самой функции генерация/потребления. В противном случае, моделировать шум - пустая затея.
"Падеж электронов" - это уже классика. :lol:
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

Think_Different wrote: 20 Mar 2017 16:27 Думаю будет проще если Королева вам на пальцах объяснит суть задачи :roll:
Полностью согласен. Теперь ждем выхода самой Королевы. :D
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: Machine Learning again

Post by tessob »

Снежная Королева wrote: 21 Mar 2017 13:40Может поэтому европейцы не понимают что такое dynamic hedging?
Наверное именно в этом и дело. Сейчас читаю это, раз наверное в пятый, и чувствую собственные волосяные луковицы. Чудна, чудна ты Австралийская энергетика. :angry:

Европейцы используют суточный спотовый рынок, т.к. очень легко планировать работу оборудования. Есть классический двугорбый график потребления и в пределах суток любые случайные блуждания вдоль него хорошо усредняются к достаточно малым отклонениям. Опять же, зная данный график энергетики спокойно планируют режимы работы турбин на сутки вперед, всегда понятно когда нужно запускать дополнительные турбины и когда их останавливать. Никакой паники. Кроме того, если сеть начинает потреблять больше, чем генерируется в настоящий момент, то энергетики с легкостью повышают выработку ЭЭ, т.к. потом всегда можно найти источники фактического перерасхода (хоть через месяц). Технически это тоже не сложно, т.к. в среднем турбины работают в интервале 35-70% от максимума, где у них максимальное КПД и минимальный износ. Такой подход берет свое начало еще из работ Максвела о регуляторах, где он 150 лет назад доказал, что микроменеджмент снижает эффективность системы в целом (привет Agile 8) ).

Как можно управлять угольными генераторами в получасовом горизонте, я вообще слабо понимаю, если честно. Т.е. если мне нужно срочно снизить объем генерации, то мне нужно как-то заставить кучу угля под котлом гореть менее интенсивно. При этом у чугунного котла есть еще собственная теплоемкость, да и разгоряченные молекулы воды в этом котле продолжат еще некоторое время врубаться в друг друга. А еще есть инертная турбина, весом в несколько тонн, которая раскручивается этим паром... Все, я теперь знаю, когда Европейские энергетики будут тянуть с оплатой по контрактам, я буду их пугать тем, что после смерти они вместо ада сразу переродятся в Австралийских энергетиков!!!
:evil:

Единственное, что я до сих пор не понимаю из вашего рассказа - это то почему вы так упорно хотите измерять потребление на конечных клиентах в оперативном режиме. Это же просто другой участок той же электрической цепи. Это же вообще никак не связано с вашим получасовым рынком ЭЭ. У вас как я понимаю цена на спотах в большей мере обусловлена текущей себестоимостью генерации в конкретный момент времени, а не тем кто и на сколько напотреблял.
User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: Machine Learning again

Post by АццкоМото »

Снежная Королева wrote: 21 Mar 2017 21:09 (цена может быть отрицательная -$1000), вы платите за возможность генерировать. Весело, правда?
А в чем смысл? Кипятить океан выходит на $1000 дешевле
Мат на форуме запрещен, блдж!
User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: Machine Learning again

Post by АццкоМото »

Снежная Королева wrote: 21 Mar 2017 22:55
АццкоМото wrote: 21 Mar 2017 22:30
Снежная Королева wrote: 21 Mar 2017 21:09 (цена может быть отрицательная -$1000), вы платите за возможность генерировать. Весело, правда?
А в чем смысл? Кипятить океан выходит на $1000 дешевле
Выключить нельзя угольную станцию.
это понятно. но перестать продавать лепестричество же можно?
Мат на форуме запрещен, блдж!
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

Похоже на задачу хеджирования из финансовой математики (типа put/call options). Интересно, существует ли аналитическое решение в предположении определённой модели поведения. А как можно формализовать модель? И в чем принципиальная разница между суточным планированием и часовым (в смысле самой аналитики)?
Как накапливать электричество? Наверное, типа конденсаторы/батареи заряжать.
Easbayguy
Уже с Приветом
Posts: 10700
Joined: 17 Jul 2003 22:11

Re: Machine Learning again

Post by Easbayguy »

Снежная Королева wrote: 20 Mar 2017 07:21 Вы не поняли мою проблему, может быть я плохо объясняю. Мне не надо ходить на станции, у меня есть все данные по генераторам в реальном времени, включая scada и dispatch, это как бы public knowledge. Чего у меня нет, это данных по потреблению каждым клиентом в реальном времени, и я уверена, что если бы эти данные были доступны, решились бы многие проблемы на уровне страны. Не все, но многие.
У вас же там смарт метерс везде выкатывают!
Пх'нглуи мглв'нафх Ктулху Р'лайх угахнагл фхтагн
User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: Machine Learning again

Post by АццкоМото »

Снежная Королева wrote: 21 Mar 2017 23:10 А куда его девать? :)
ну я потому и написал фигурально - "кипятить океан". мало ли куда деть можно. биткоины майнить, например :lol:
Мат на форуме запрещен, блдж!
User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: Machine Learning again

Post by АццкоМото »

Физик-Лирик wrote: 22 Mar 2017 01:01 Как накапливать электричество? Наверное, типа конденсаторы/батареи заряжать.
воду закачивать вверх?
хотя илон маск хлестался как раз эту проблему как раз в этой самой оффстралии решить как раз этими самыми кумуляторами. буквально неделю-другую назад
Мат на форуме запрещен, блдж!
blanko27
Уже с Приветом
Posts: 2261
Joined: 17 Jun 2003 04:41
Location: Just like US

Re: Machine Learning again

Post by blanko27 »

Интересно заглянуть в голову другого человека - конспекты книг, статей, и курсов, на которых некто месье Винсент Зункинд побывал/прочитал за последнее время Article, book and MOOC summaries by Vincent Zoonekynd (2017-02)
...а мы такой компанией, возьмем, да и припремся к Элис!
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: Machine Learning again

Post by tessob »

Снежная Королева wrote: 21 Mar 2017 21:09Спотовая цена формируется не из себестоимости, а из bids, как на аукционе. То есть вы можете поставить bid даже ниже себестоимости. Например, угольные генераторы отключить нельзя, и поэтому когда цена идёт вниз (цена может быть отрицательная -$1000), вы платите за возможность генерировать. Весело, правда? Это происходит когда over supply: ветра и солнца когда много. Но да, наш рынок в полной ж сейчас. Такого бардака не было даже в СССР.
Я так понимаю, что это не цена -1K, а разница между спотовой ценой и себестоимостью генерации. Просто падая в минус вы минимизируете величину потерь, т.к. если вы перестанете генерировать ЭЭ полностью, то уголь гореть все равно не перестанет и сгорит еще на -20K.

Если смотреть на ситуацию в целом, то похоже, что "зеленые" поимели всю Австралийскую энергетику. Просто ветряная и солнечная генерация не имеет инерции и их себестоимость не содержит топливной составляющей. Там только операционные расходы, амортизация и обслуживание активов. В силу этого они всегда могут называть bids ниже ваших, т.к. на 30 минут вперед они вполне могут предсказать солнце и ветер. По сути нет ни одного сценария при котором вы будете выигрывать. Они же могут наращивать ветряки и солнечные батареи до тех пор, пока не сравняются с вами по объему генерации. После чего вы будете генерировать только по ночам в безветренную погоду. :wink:

Мне кажется, что вам нужно двигаться в сторону: bitcoin; алюминиевого заводика (вторичной переработки); производства сапфировых стекол и т.п. Короче, туда, где лишней ЭЭ не бывает, а потребление условно константное.

Как DS сможет чем-либо помочь я теперь точно не понимаю.
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: Machine Learning again

Post by tessob »

Физик-Лирик wrote: 22 Mar 2017 01:01Похоже на задачу хеджирования из финансовой математики (типа put/call options).
Не особо. Каждый участник называет свою цену и объем генерации, который он может предоставить по такой цене. Можно назвать несколько цен (по возрастанию) с разными объемами. Далее все подобные ставки от всех участников сортируются по цене и начиная с наименьшей цены выбирается тот объем генерации, который нужен рынку. Это чем то похоже на очень короткие фьючерсы. Подобным образом на европейском рынке торгуется природный газ. Только с газом есть еще продажа излишков на том же рынке.

Физик-Лирик wrote: 22 Mar 2017 01:01Интересно, существует ли аналитическое решение в предположении определённой модели поведения. А как можно формализовать модель? И в чем принципиальная разница между суточным планированием и часовым (в смысле самой аналитики)?
Можно свести задачу к системе нелинейных уравнений и решить аналитически. Можно решить численно. Тоже ничего сложного, т.к. исследовать целевую функцию нужно в очень небольших окрестностях. Мы же всегда знаем в где мы находимся и куда нам нужно идти (вверх или вниз). Только на практике я не встречал хороших мат. моделей. Энергетики на станциях вполне неплохо справляются с решением данной задачи.

Разница между часовым и суточным планированием заключается в том, что при суточном планировании погоду предсказывает альтернативная энергетика, а при часовом традиционная. Если бы в Австралии был бы суточный стоповый рынок, то ветряки бы орошали огурцы в теплицах и освещали коровники. Ровно так, как это происходит в Европе. Просто потому, что альтернативная генерация физически не смогла бы называть bids для суточного рынка, т.к. неустойка от недопоставки перекрывала бы доход. Короче, это две абсолютно разные модели рынка ЭЭ.
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

tessob wrote: 22 Mar 2017 07:47 Не особо. Каждый участник называет свою цену и объем генерации, который он может предоставить по такой цене. Можно назвать несколько цен (по возрастанию) с разными объемами. Далее все подобные ставки от всех участников сортируются по цене и начиная с наименьшей цены выбирается тот объем генерации, который нужен рынку. Это чем то похоже на очень короткие фьючерсы. Подобным образом на европейском рынке торгуется природный газ. Только с газом есть еще продажа излишков на том же рынке.
Так правильно. Хеджирования опции стоком предполагает аналогичные процессы. Не с точки зрения, как всё происходит (здесь, конечно, по-другому), а именно "абстрактных" процессов. Наверное, и модель можно по подобию создать.
tessob wrote: 22 Mar 2017 07:47 Можно свести задачу к системе нелинейных уравнений и решить аналитически. Можно решить численно. Тоже ничего сложного, т.к. исследовать целевую функцию нужно в очень небольших окрестностях. Мы же всегда знаем в где мы находимся и куда нам нужно идти (вверх или вниз). Только на практике я не встречал хороших мат. моделей. Энергетики на станциях вполне неплохо справляются с решением данной задачи.
Каких уравнений? Алгебраических, дифференциальных, стохастических дифференциальных? Вы вроде как про последние упоминали. Не смогли ли Вы кратко описать? Я в области энергетики никогда не работал.
Решить нелинейную систему аналитически? Вы, наверное, просто гений математики. Честно говорю.
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: Machine Learning again

Post by tessob »

Физик-Лирик wrote: 22 Mar 2017 13:05Так правильно. Хеджирования опции стоком предполагает аналогичные процессы. Не с точки зрения, как всё происходит (здесь, конечно, по-другому), а именно "абстрактных" процессов. Наверное, и модель можно по подобию создать.
Я не совсем понимаю что и чем вы планируете хеджировать. Это рынок одного товара - ЭЭ. В начале часа все производители назначают свою цену продажи и объем ЭЭ в ваттах. Цена действительна в очень узком временном интервале. При этом цена альтернативной генерации всегда значительно ниже вашей цены. Мало того, она еще может быть ниже вашей себестоимости. Соответственно в плюсе вы можете оказаться только при том условии, что их мощность уже выбрана и ваша цена является следующей по величине. Могут быть такие ситуации, как описывала Королева, когда спрос падает, а уголь уже горит. Тогда вам выгодно продавать уже по любой цене, даже на 1000$ ниже себестоимости.

Да, вы не можете на этом рынке скупить все споты, которые ниже вашей цены и перевыставить по своей цене. Тут такой фокус не работает. Так же, купив или продав мощность вы обязаны исполнить свои обязательства через полчаса и не можете повлиять на это время.
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: Machine Learning again

Post by tessob »

Физик-Лирик wrote: 22 Mar 2017 13:05 Каких уравнений? Алгебраических, дифференциальных, стохастических дифференциальных? Вы вроде как про последние упоминали. Не смогли ли Вы кратко описать? Я в области энергетики никогда не работал.
Решить нелинейную систему аналитически? Вы, наверное, просто гений математики. Честно говорю.
Черт, я как знал, что нужно писать Арифметически...
Вы не допускаете, что если в системе уравнений все неизвестные в какой-то момент времени оказываются детерминированы, то от этого она не перестает быть системой? В идеале все сойдется к интегрированию довольно узкого участка гладкой функции. Все остальное окажется константами. Хотя, может это только я один считаю, что не перестанет...

Самой сложное, что вам необходимо посчитать при определении цены - это сколько калорий придется израсходовать для генерации заданного объема мощности. Зная калорийность угля (лаборатория скажет), можно вычислить объем угля. Цена угля - константа. Все остальное тоже будет константой.

Сразу оговорюсь. Численно имеет смыл решать тогда, когда вы хотите выбирать оптимальное сочетание работы нескольких сильно разных генераторов. Так же вы можете заявлять для каждого типа генераторов свои споты с разными ценами. И еще вопрос что тут лучше.
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

tessob wrote: 22 Mar 2017 15:02 [Я не совсем понимаю что и чем вы планируете хеджировать.
Насколько я понял формулировку, есть "опция" - электричество и есть "сток" - генерация энергии. Если цена электричества растёт, то стоимость "опции" падает (аж до отрицательной величины). Это компенсируется генерированием энергии по высокой цене.
tessob wrote: 22 Mar 2017 15:55 ... что нужно писать Арифметически...
Вы не допускаете, что если в системе уравнений все неизвестные в какой-то момент времени оказываются детерминированы, то от этого она не перестает быть системой? В идеале все сойдется к интегрированию довольно узкого участка гладкой функции. Все остальное окажется константами. Хотя, может это только я один считаю, что не перестанет...
Честно говоря, я не совсем понимаю. Если вначале была система, то она и останется системой. Вы имеете в виду, что вначале (что это значит?) была система стохастических диффуров? Или что-то другое? Стохастические диффуры тоже можно. Может какие ссылки есть? А если стохастические диффуры, то как моделируется стохастика? Броуновским движением и в итоге все сводится с интегралу Ито? Или просто стохастическая часть отбрасывается в коротком промежутке времени? Я не работал с электрическим рынком, отсюда и вопросы.
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: Machine Learning again

Post by tessob »

Физик-Лирик wrote: 22 Mar 2017 17:10Честно говоря, я не совсем понимаю. Если вначале была система, то она и останется системой. Вы имеете в виду, что вначале (что это значит?) была система стохастических диффуров? Или что-то другое?
Мне кажется, настало время приходить к единому знаменателю. :D
В общем, после последних уточнений Королевы статистические диффуры можно смело отбросить (забыть) как и случайные блуждания. Они как были, так и остались, но на переформулированную задачу они уже больше не влияют. Текущая задача сводится к очень простой постановке:
  1. есть один покупатель (он не один, но на спотовом рынке ведет себя как один)
  2. есть множество продавцов
  3. у каждого продавца есть множество генераторов (с равными или разными свойствами)
  4. каждый генератор создает некоторое количество идентичного продукта - ВАТТ (от нуля до константы)
  5. каждый ватт принадлежащий любому генератору имеет стоимость больше нуля (стоимость считается не линейно, это функция от режима работы, т.к. КПД отличается в разных режимах )
  6. каждый продавец имеет дополнительную константу затрат, которые не зависят от генерации
Нужно установить цену на ВАТТ, которая максимизирует прибыль. Прибыль - это свободная переменная.
В случае Королевы, есть несколько продавцов которые всегда будут называть цену ниже чем ее. Однако:
  • если спрос меньше или равен их предложению, то ваша прибыль становится отрицательной (т.к. уголь продолжает сгорать под турбиной)
  • если спрос больше их предложения, то на эту разницу вы можете предложить свою цену
Соответственно весь хеджинг только в этом месте.

Зная мощность таких демпинговых продавцов и график потребления ЭЭ, как мне кажется, не особо сложно посчитать когда нужно и не нужно делать споты, что бы потом не уходить в минус.

Физик-Лирик, возможно Вы в этом сможете увидеть некую минимакс оптимизацию, но в этой теме я уже совсем слаб.

Физик-Лирик wrote: 22 Mar 2017 17:10Если цена электричества растёт, то стоимость "опции" падает (аж до отрицательной величины).
Спот не может быть отрицательным. Он всегда больше нуля. Прибыль может быть отрицательная.

З.Ы. Если что в постановке не понятно, то лучше переспрашивайте. Реально сложно все учесть сходу.
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

tessob wrote: 22 Mar 2017 18:30 Мне кажется, настало время приходить к единому знаменателю. :D
В общем, после последних уточнений Королевы статистические диффуры можно смело отбросить (забыть) как и случайные блуждания. Они как были, так и остались, но на переформулированную задачу они уже больше не влияют.
Нужно установить цену на ВАТТ, которая максимизирует прибыль. Прибыль - это свободная переменная.
Спасибо. Теперь понятнее.
А чью прибыль надо максимизировать, покупателя или продавца? Я так понимаю продавца. Хотя максимум продавца есть минимум для покупателя. :D
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

tessob wrote: 22 Mar 2017 18:30 Спот не может быть отрицательным. Он всегда больше нуля. Прибыль может быть отрицательная.
Под "опцией" я скорее имел в виду разность между покупочной и продажной ценой, о чем писала Королева выше.
tessob
Уже с Приветом
Posts: 576
Joined: 07 Jan 2016 13:04

Re: Machine Learning again

Post by tessob »

Физик-Лирик wrote: 22 Mar 2017 18:52 А чью прибыль надо максимизировать, покупателя или продавца? Я так понимаю продавца. Хотя максимум продавца есть минимум для покупателя. :D
Королева продавец. Мы вроде с этого начинали. Нет, конечно, если на форум придет покупатель с интересным предложением, то... :mrgreen:

У меня мозг в минимакс оптимизацию и теорию игр совсем не работает. Я часто переслушиваю (пока катаюсь по 800км) или перечитываю некоторые вещи. Вроде все логично и как-то даже хорошо согласуется со многими бизнес задачами. Однако, когда сталкиваюсь с чем-то прикладным, чаще пытаюсь обойти, чем решать. :-)
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

Снежная Королева wrote: 22 Mar 2017 22:47 Я не только продавец, но и покупатель. Компания имеет два бизнеса: генераторы и retail в одном флаконе.

Спотовая цена таки может быть отрицательной, диапазон возможной цены от -$1000 до $14,800 при среднегодовом $50-150.
Собственно, это я и называл хеджированием в предыдущих постах. Как можно выбрать стратегию, чтобы в любой момент времени быть "мартингалом"? :D Типа продал контракт, а чтобы избежать падения от высоких цен - вкладываешься в производство. Ну чем не аналог "опции"?
Физик-Лирик
Уже с Приветом
Posts: 5104
Joined: 19 Oct 2004 01:46

Re: Machine Learning again

Post by Физик-Лирик »

Снежная Королева wrote: 22 Mar 2017 22:47 Остальное пошла перечитывать :D
Остальное как-то выглядит по другому.
User avatar
Сабина
Уже с Приветом
Posts: 19045
Joined: 11 Jan 2012 09:25
Location: CA

Re: Machine Learning again

Post by Сабина »

https://www.youtube.com/watch?v=wOwblaKmyVw
User avatar
Сабина
Уже с Приветом
Posts: 19045
Joined: 11 Jan 2012 09:25
Location: CA

Re: Machine Learning again

Post by Сабина »

Ну вот приехали :). Гугл говорит что chatbots have the potential to replace data analysts :D
https://www.youtube.com/watch?v=wOwblaKmyVw

Return to “Работа и Карьера в IT”