Docker for zOS. Что это и зачем?

[Palych]

... и это выливается в росте очередей и снижению респонс тайм. Поскольку у нас OLTP приложение, то пользователи начинают роптать, перелогиниваться, перезапускать задания. Т.е. еще больше грузить систему тупыми повторами. Все рано или поздно выполняется, ничего не падает, но дольше.

Кстати, мы эту проблему решали достаточно эффективно, в довольно большом масштабе:
Когда пользователь запрашивает какую-нибудь транзакцию - он так или иначе ограничен во времени ожидания.
Если это время передавать вниз по цепочке вызовов сервисов (вычитая каждый раз уже потраченное время) - можно распознать момент когда транзакция точно не будет выполнена в указанное время, и ответить: "Вы даёте нереальные планы! Этот... как его... Волюнтаризм!"
Для этого правда приходится заглянуть в будущее, чтобы узнать сколько транзакция будет выполняться. Но для мыслящего человека это не проблема.

[iDesperado]

Но, даже без теоритических обоснований только для БД с мф подготовили 16 cpu, 256 GB и не факт что хватит.

мартышка так и не отличает cpu от cores и vcpu

Я согласен что догмат о разделении AS и DB (он кстати не совсем современный, ему лет 20) порождает кучу проблем, зачастую на пустом месте.

ну проблем все же сильно меньше чем таким же анонизмом заниматься в бд. вот сколько надо выделить пользовательским процессам в бд с их pl/sql кодом ? там то вообще памятью не дают управлять. в реале получается в pl/sql ты вообще никак не управляешь и только страдаешь, а в жава у тебя 100500 вариантов GC и offheap если хочется совсем вручную порулить.
а разделяют AS от бд зачастую потому как перфоменс кратно вырастает за счет памяти. на двух серверах в двое больше памяти, у AS кеш, у базы сильно больше кеш. достать данные из кеша дб по нетворку в сотни более быстрая операция, чем юлозить головками HDD в рамках одного сервера. т.е. на двух серверах гораздо больше шансов засунуть активную часть данных в память и снизить на порядок требования к i/o.

/mod on/ вне зависимости от того кто прав или нет такие обращения недопустимы/mod off/

[iDesperado]

Для этого правда приходится заглянуть в будущее, чтобы узнать сколько транзакция будет выполняться. Но для мыслящего человека это не проблема.

это уже работает. запускаю джобу - датабрикс видит, херасе, 10Тб перемалоть, добавляет в кластер на лету дополнительно 8 нод. после расчета эти 8 выключает.

[Мальчик-Одуванчик]

Но, даже без теоритических обоснований только для БД с мф подготовили 16 cpu, 256 GB и не факт что хватит.

так и не отличает cpu от cores

Я правильно понял что в имеющемся у zVlad мэйнфрейме стоит 4 шестиядерных проца и только 32 гига памяти?

У меня на дешевейшей китайской материнке, специально сделанной для выводящихся из эксплуатации оптеронов, стоит 32 гига памяти. Но даже на 16 ядер как-то маловато.
Я там как раз докеры пускаю, изображающие несколько компов.

[iDesperado]

Я правильно понял что в имеющемся у zVlad мэйнфрейме стоит 4 шестиядерных проца и только 32 гига памяти?

нет, это ближе к ядрам. т.е. у него плата, на нем гигантский чип, в одном чипе 8 мейнфреймовских cpu. 4 cpu им позволяют использовать, 4 в резерве. то же самое с памятью, на самом деле там полно памяти, но она простаивает, т.к. активировать чудовищно дорого. в разы дешевле купить несколько x86 и там гонять java app, получая гораздо больший уровень реданденси и перфоменса. хотя бы за счет памяти.

[Bobeg]

а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.

[zVlad]

Но, даже без теоритических обоснований только для БД с мф подготовили 16 cpu, 256 GB и не факт что хватит.

так и не отличает cpu от cores

Я правильно понял что в имеющемся у zVlad мэйнфрейме стоит 4 шестиядерных проца и только 32 гига памяти?

У меня на дешевейшей китайской материнке, специально сделанной для выводящихся из эксплуатации оптеронов, стоит 32 гига памяти. Но даже на 16 ядер как-то маловато.
Я там как раз докеры пускаю, изображающие несколько компов.

Нет, Вы поняли не правильно. Читать здесь (в начале 3-ей страницы если лень читать все):

https://www.ibm.com/downloads/cas/A8NB3NRZ

Поменьше слушайту гопоту форумскую.

[zVlad]

а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.

А Вы думаете cloud data centers холодные?

[Bobeg]

а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.

А Вы думаете cloud data centers холодные?

Дата центры очень горячие и очень шумные.
Но я не об этом.

500 ватт на один процессор это ж круть. Пишут что половину этой мощности тратит огромный кеш. Процессор разогнан до очень высокой скорости и оптисизирован под скорость, не под экономию.
Так что устройство лютое. Не знал таких подробностей раньше.

[Bobeg]

РАМ у мейнфрейма тоже может быть очень большой. Если скажем простому человеку кажется что 1-4 терабайта это много рама то у мейнфрейма рама может быть значительно больше. Пишут про 40 тб.

[Bobeg]

Хорошая машынка для биг даты, удобная.

[zVlad]

а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.

А Вы думаете cloud data centers холодные?

Дата центры очень горячие и очень шумные.
Но я не об этом.

500 ватт на один процессор это ж круть. Пишут что половину этой мощности тратит огромный кеш. Процессор разогнан до очень высокой скорости и оптисизирован под скорость, не под экономию.
Так что устройство лютое. Не знал таких подробностей раньше.

Вы смотрите на мф с максимально возможной конфигурацией. Большенство использований МФ ограничиваются гораздо меньшими конфигурациями. Про наш МФ я написал выше все.
Я прямо сейчас на митинге по уходу с МФ. Докладчик бойко доложил сколько интел серверов(вм) уже построили и сказал что остается еще 17 чтобы приобрести (in Azure) и зарядить. Уже заряжены порядка 20.
Я не стану утверждать что все эти сервера заменят тот один, маленький, мф, который сейчас ядро этого приложения - DB, AS. Но под DB взят сервер с 16 cores и 256GB. Количество AS в Azure будет 11!?, вместо тех 5-ти что живут в той же систем на МФ где и ДБ и где во второй партиции живут все осталь[ные Dev, QA, Training, etc...

[zVlad]

Хорошая машынка для биг даты, удобная.

Нет, не удобная. МФ не используется ни для чего одного, будь это бигдата или числодробилка. МФ используется как целая инфраструктура с набором всех стандартных серверов (DB, AS...), сервисов, мониторов, балансеров, DNS, AD, printing, file servers, NFSs, FTP servers, network routers, можете сами добавить что хотите серверное и сетевое.

Big data в принципе распределенная архитектура. МФ предоставляет централизацию всего на одном системе или нескольких в Parallel Sysplex - типа кластер, который может жить и на одном МФ.

P.S. IBM рекомендует (и я с ними полнозтью согласен) рассматривать МФ не как сервер, а как data center со всей инфраструктурой исключая storage on disks, and tapes. Другими словами это не только технически возможно, но и широко используется (хотя бы в самой IBM) в таком виду что на МФ реализована вся инфраструктура стандартного приложения обработки данных в различных областях бизнеса и дополнительно к самому МФ нужны только диски, ленты и выход в LAN, или WAN для связи с конечными пользователями через любые их устройства: десктопы, лаптопы, smartphones, etc... Причем на МФ может и не быть zOS.

[iDesperado]

РАМ у мейнфрейма тоже может быть очень большой. Если скажем простому человеку кажется что 1-4 терабайта это много рама то у мейнфрейма рама может быть значительно больше. Пишут про 40 тб.

не может быть. активировать 40Тб по деньгам превысит бюджет канады

Но под DB взят сервер с 16 cores и 256GB.

а когда тебя попросят сделать скриншот выяснится что это азуровские vcpu, а не cores

[zVlad]

а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.

Вы ничего не сказали о каналах ввода-вывода, OSAs, криптокарты, SSD, и другие допустройства, которые тоже там есть и у всех у них есть свои процессоры и память.