Machine Learning again

[Физик-Лирик]

Что касается самой задачи, то она, мягко говоря, странная. Ее можно сформулировать немного проще. Предположим, что есть ассиметричная монетка, где орел выпадает с вероятностью 0.7 (решка 0.3). Вы играете в игру с единственным оппонентом и называете сторону, которая выпадет следующей. Если вы выигрываете, то получаете 1$, если проигрываете, то платите его. Нужно просто ставить на орла. Вы же пытаетесь строить модель случайного процесса, основывая свой выбор на предыдущих значениях. Это только математическая сторона.

В такой постановке есть одна проблема. Предполагается, что у игроков (по крайней мере, у постоянно ставившего на "орла") есть неограниченный капитал. Обычно, при формулировки задачи финансового рынка через стохастические диффуры предполагается, что процесс ("гейн процесс") ограничен снизу.

[Физик-Лирик]

Я правда не понимаю как знания об объеме потребления каждым отдельным клиентом могут улучшить существующую модель управления режимами работы турбин. Объем потребления конечных потребителей будет всегда меньше величины генерации на случайную величину с большой дисперсией.
Более того, если такие потери являются случайной величиной, а сама задача является попыткой оптимизировать функцию от объема потребления и случайной величины, то результатом такой функции тоже будет случайная величина. Можно заменить случайную величину потерь мат ожиданием, но при большой дисперсии это будет уже "оптимизация средней по больнице".

Я не знаю, какую задачу решает Королева, но ведь можно рассмотреть задачу с точки зрения задачи расписания (известная задача). Можно спрогнозировать расписание потребления энергии, а потом оптимизировать с точки зрения включения/отключения генераторов. Потери и т.п. можно моделировать как нормальное распределения с нулевым средним и постоянным стандартным отклонением. Неопределённость можно трактовать этим распределением. Предполагается, что дисперсия не очень велика по сравнению со средними значениями самой функции генерация/потребления. В противном случае, моделировать шум - пустая затея.
"Падеж электронов" - это уже классика.

[Физик-Лирик]

Думаю будет проще если Королева вам на пальцах объяснит суть задачи

Полностью согласен. Теперь ждем выхода самой Королевы.

[tessob]

Может поэтому европейцы не понимают что такое dynamic hedging?

Наверное именно в этом и дело. Сейчас читаю это, раз наверное в пятый, и чувствую собственные волосяные луковицы. Чудна, чудна ты Австралийская энергетика.

Европейцы используют суточный спотовый рынок, т.к. очень легко планировать работу оборудования. Есть классический двугорбый график потребления и в пределах суток любые случайные блуждания вдоль него хорошо усредняются к достаточно малым отклонениям. Опять же, зная данный график энергетики спокойно планируют режимы работы турбин на сутки вперед, всегда понятно когда нужно запускать дополнительные турбины и когда их останавливать. Никакой паники. Кроме того, если сеть начинает потреблять больше, чем генерируется в настоящий момент, то энергетики с легкостью повышают выработку ЭЭ, т.к. потом всегда можно найти источники фактического перерасхода (хоть через месяц). Технически это тоже не сложно, т.к. в среднем турбины работают в интервале 35-70% от максимума, где у них максимальное КПД и минимальный износ. Такой подход берет свое начало еще из работ Максвела о регуляторах, где он 150 лет назад доказал, что микроменеджмент снижает эффективность системы в целом (привет Agile ).

Как можно управлять угольными генераторами в получасовом горизонте, я вообще слабо понимаю, если честно. Т.е. если мне нужно срочно снизить объем генерации, то мне нужно как-то заставить кучу угля под котлом гореть менее интенсивно. При этом у чугунного котла есть еще собственная теплоемкость, да и разгоряченные молекулы воды в этом котле продолжат еще некоторое время врубаться в друг друга. А еще есть инертная турбина, весом в несколько тонн, которая раскручивается этим паром... Все, я теперь знаю, когда Европейские энергетики будут тянуть с оплатой по контрактам, я буду их пугать тем, что после смерти они вместо ада сразу переродятся в Австралийских энергетиков!!!


Единственное, что я до сих пор не понимаю из вашего рассказа - это то почему вы так упорно хотите измерять потребление на конечных клиентах в оперативном режиме. Это же просто другой участок той же электрической цепи. Это же вообще никак не связано с вашим получасовым рынком ЭЭ. У вас как я понимаю цена на спотах в большей мере обусловлена текущей себестоимостью генерации в конкретный момент времени, а не тем кто и на сколько напотреблял.

[АццкоМото]

(цена может быть отрицательная -$1000), вы платите за возможность генерировать. Весело, правда?

А в чем смысл? Кипятить океан выходит на $1000 дешевле

[АццкоМото]

(цена может быть отрицательная -$1000), вы платите за возможность генерировать. Весело, правда?

А в чем смысл? Кипятить океан выходит на $1000 дешевле

Выключить нельзя угольную станцию.

это понятно. но перестать продавать лепестричество же можно?

[Физик-Лирик]

Похоже на задачу хеджирования из финансовой математики (типа put/call options). Интересно, существует ли аналитическое решение в предположении определённой модели поведения. А как можно формализовать модель? И в чем принципиальная разница между суточным планированием и часовым (в смысле самой аналитики)?
Как накапливать электричество? Наверное, типа конденсаторы/батареи заряжать.

[Easbayguy]

Вы не поняли мою проблему, может быть я плохо объясняю. Мне не надо ходить на станции, у меня есть все данные по генераторам в реальном времени, включая scada и dispatch, это как бы public knowledge. Чего у меня нет, это данных по потреблению каждым клиентом в реальном времени, и я уверена, что если бы эти данные были доступны, решились бы многие проблемы на уровне страны. Не все, но многие.

У вас же там смарт метерс везде выкатывают!

[АццкоМото]

А куда его девать?

ну я потому и написал фигурально - "кипятить океан". мало ли куда деть можно. биткоины майнить, например

[АццкоМото]

Как накапливать электричество? Наверное, типа конденсаторы/батареи заряжать.

воду закачивать вверх?
хотя илон маск хлестался как раз эту проблему как раз в этой самой оффстралии решить как раз этими самыми кумуляторами. буквально неделю-другую назад

[blanko27]

Интересно заглянуть в голову другого человека - конспекты книг, статей, и курсов, на которых некто месье Винсент Зункинд побывал/прочитал за последнее время Article, book and MOOC summaries by Vincent Zoonekynd (2017-02)

[tessob]

Спотовая цена формируется не из себестоимости, а из bids, как на аукционе. То есть вы можете поставить bid даже ниже себестоимости. Например, угольные генераторы отключить нельзя, и поэтому когда цена идёт вниз (цена может быть отрицательная -$1000), вы платите за возможность генерировать. Весело, правда? Это происходит когда over supply: ветра и солнца когда много. Но да, наш рынок в полной ж сейчас. Такого бардака не было даже в СССР.

Я так понимаю, что это не цена -1K, а разница между спотовой ценой и себестоимостью генерации. Просто падая в минус вы минимизируете величину потерь, т.к. если вы перестанете генерировать ЭЭ полностью, то уголь гореть все равно не перестанет и сгорит еще на -20K.

Если смотреть на ситуацию в целом, то похоже, что "зеленые" поимели всю Австралийскую энергетику. Просто ветряная и солнечная генерация не имеет инерции и их себестоимость не содержит топливной составляющей. Там только операционные расходы, амортизация и обслуживание активов. В силу этого они всегда могут называть bids ниже ваших, т.к. на 30 минут вперед они вполне могут предсказать солнце и ветер. По сути нет ни одного сценария при котором вы будете выигрывать. Они же могут наращивать ветряки и солнечные батареи до тех пор, пока не сравняются с вами по объему генерации. После чего вы будете генерировать только по ночам в безветренную погоду.

Мне кажется, что вам нужно двигаться в сторону: bitcoin; алюминиевого заводика (вторичной переработки); производства сапфировых стекол и т.п. Короче, туда, где лишней ЭЭ не бывает, а потребление условно константное.

Как DS сможет чем-либо помочь я теперь точно не понимаю.

[tessob]

Похоже на задачу хеджирования из финансовой математики (типа put/call options).

Не особо. Каждый участник называет свою цену и объем генерации, который он может предоставить по такой цене. Можно назвать несколько цен (по возрастанию) с разными объемами. Далее все подобные ставки от всех участников сортируются по цене и начиная с наименьшей цены выбирается тот объем генерации, который нужен рынку. Это чем то похоже на очень короткие фьючерсы. Подобным образом на европейском рынке торгуется природный газ. Только с газом есть еще продажа излишков на том же рынке.

Интересно, существует ли аналитическое решение в предположении определённой модели поведения. А как можно формализовать модель? И в чем принципиальная разница между суточным планированием и часовым (в смысле самой аналитики)?

Можно свести задачу к системе нелинейных уравнений и решить аналитически. Можно решить численно. Тоже ничего сложного, т.к. исследовать целевую функцию нужно в очень небольших окрестностях. Мы же всегда знаем в где мы находимся и куда нам нужно идти (вверх или вниз). Только на практике я не встречал хороших мат. моделей. Энергетики на станциях вполне неплохо справляются с решением данной задачи.

Разница между часовым и суточным планированием заключается в том, что при суточном планировании погоду предсказывает альтернативная энергетика, а при часовом традиционная. Если бы в Австралии был бы суточный стоповый рынок, то ветряки бы орошали огурцы в теплицах и освещали коровники. Ровно так, как это происходит в Европе. Просто потому, что альтернативная генерация физически не смогла бы называть bids для суточного рынка, т.к. неустойка от недопоставки перекрывала бы доход. Короче, это две абсолютно разные модели рынка ЭЭ.

[Физик-Лирик]

Не особо. Каждый участник называет свою цену и объем генерации, который он может предоставить по такой цене. Можно назвать несколько цен (по возрастанию) с разными объемами. Далее все подобные ставки от всех участников сортируются по цене и начиная с наименьшей цены выбирается тот объем генерации, который нужен рынку. Это чем то похоже на очень короткие фьючерсы. Подобным образом на европейском рынке торгуется природный газ. Только с газом есть еще продажа излишков на том же рынке.

Так правильно. Хеджирования опции стоком предполагает аналогичные процессы. Не с точки зрения, как всё происходит (здесь, конечно, по-другому), а именно "абстрактных" процессов. Наверное, и модель можно по подобию создать.

Можно свести задачу к системе нелинейных уравнений и решить аналитически. Можно решить численно. Тоже ничего сложного, т.к. исследовать целевую функцию нужно в очень небольших окрестностях. Мы же всегда знаем в где мы находимся и куда нам нужно идти (вверх или вниз). Только на практике я не встречал хороших мат. моделей. Энергетики на станциях вполне неплохо справляются с решением данной задачи.

Каких уравнений? Алгебраических, дифференциальных, стохастических дифференциальных? Вы вроде как про последние упоминали. Не смогли ли Вы кратко описать? Я в области энергетики никогда не работал.
Решить нелинейную систему аналитически? Вы, наверное, просто гений математики. Честно говорю.

[tessob]

Так правильно. Хеджирования опции стоком предполагает аналогичные процессы. Не с точки зрения, как всё происходит (здесь, конечно, по-другому), а именно "абстрактных" процессов. Наверное, и модель можно по подобию создать.

Я не совсем понимаю что и чем вы планируете хеджировать. Это рынок одного товара - ЭЭ. В начале часа все производители назначают свою цену продажи и объем ЭЭ в ваттах. Цена действительна в очень узком временном интервале. При этом цена альтернативной генерации всегда значительно ниже вашей цены. Мало того, она еще может быть ниже вашей себестоимости. Соответственно в плюсе вы можете оказаться только при том условии, что их мощность уже выбрана и ваша цена является следующей по величине. Могут быть такие ситуации, как описывала Королева, когда спрос падает, а уголь уже горит. Тогда вам выгодно продавать уже по любой цене, даже на 1000$ ниже себестоимости.

Да, вы не можете на этом рынке скупить все споты, которые ниже вашей цены и перевыставить по своей цене. Тут такой фокус не работает. Так же, купив или продав мощность вы обязаны исполнить свои обязательства через полчаса и не можете повлиять на это время.