Docker for zOS. Что это и зачем?

Palych
Уже с Приветом
Posts: 14005
Joined: 16 Jan 2001 10:01

Re: Docker for zOS. Что это и зачем?

Post by Palych »

zVlad wrote: 12 Jan 2022 03:23... и это выливается в росте очередей и снижению респонс тайм. Поскольку у нас OLTP приложение, то пользователи начинают роптать, перелогиниваться, перезапускать задания. Т.е. еще больше грузить систему тупыми повторами. Все рано или поздно выполняется, ничего не падает, но дольше.
Кстати, мы эту проблему решали достаточно эффективно, в довольно большом масштабе:
Когда пользователь запрашивает какую-нибудь транзакцию - он так или иначе ограничен во времени ожидания.
Если это время передавать вниз по цепочке вызовов сервисов (вычитая каждый раз уже потраченное время) - можно распознать момент когда транзакция точно не будет выполнена в указанное время, и ответить: "Вы даёте нереальные планы! Этот... как его... Волюнтаризм!"
Для этого правда приходится заглянуть в будущее, чтобы узнать сколько транзакция будет выполняться. Но для мыслящего человека это не проблема.
iDesperado
Уже с Приветом
Posts: 1422
Joined: 28 Nov 2008 17:50

Re: Docker for zOS. Что это и зачем?

Post by iDesperado »

zVlad wrote: 12 Jan 2022 03:46 Но, даже без теоритических обоснований только для БД с мф подготовили 16 cpu, 256 GB и не факт что хватит.
мартышка так и не отличает cpu от cores и vcpu
Palych wrote: 12 Jan 2022 06:04 Я согласен что догмат о разделении AS и DB (он кстати не совсем современный, ему лет 20) порождает кучу проблем, зачастую на пустом месте.
ну проблем все же сильно меньше чем таким же анонизмом заниматься в бд. вот сколько надо выделить пользовательским процессам в бд с их pl/sql кодом ? там то вообще памятью не дают управлять. в реале получается в pl/sql ты вообще никак не управляешь и только страдаешь, а в жава у тебя 100500 вариантов GC и offheap если хочется совсем вручную порулить.
а разделяют AS от бд зачастую потому как перфоменс кратно вырастает за счет памяти. на двух серверах в двое больше памяти, у AS кеш, у базы сильно больше кеш. достать данные из кеша дб по нетворку в сотни более быстрая операция, чем юлозить головками HDD в рамках одного сервера. т.е. на двух серверах гораздо больше шансов засунуть активную часть данных в память и снизить на порядок требования к i/o.

/mod on/ вне зависимости от того кто прав или нет такие обращения недопустимы/mod off/
Last edited by iDesperado on 12 Jan 2022 07:44, edited 1 time in total.
iDesperado
Уже с Приветом
Posts: 1422
Joined: 28 Nov 2008 17:50

Re: Docker for zOS. Что это и зачем?

Post by iDesperado »

Palych wrote: 12 Jan 2022 07:28 Для этого правда приходится заглянуть в будущее, чтобы узнать сколько транзакция будет выполняться. Но для мыслящего человека это не проблема.
это уже работает. запускаю джобу - датабрикс видит, херасе, 10Тб перемалоть, добавляет в кластер на лету дополнительно 8 нод. после расчета эти 8 выключает.
User avatar
Мальчик-Одуванчик
Уже с Приветом
Posts: 15477
Joined: 27 Sep 2007 22:53

Re: Docker for zOS. Что это и зачем?

Post by Мальчик-Одуванчик »

iDesperado wrote: 12 Jan 2022 07:39
zVlad wrote: 12 Jan 2022 03:46 Но, даже без теоритических обоснований только для БД с мф подготовили 16 cpu, 256 GB и не факт что хватит.
так и не отличает cpu от cores
Я правильно понял что в имеющемся у zVlad мэйнфрейме стоит 4 шестиядерных проца и только 32 гига памяти?

У меня на дешевейшей китайской материнке, специально сделанной для выводящихся из эксплуатации оптеронов, стоит 32 гига памяти. Но даже на 16 ядер как-то маловато.
Я там как раз докеры пускаю, изображающие несколько компов.
iDesperado
Уже с Приветом
Posts: 1422
Joined: 28 Nov 2008 17:50

Re: Docker for zOS. Что это и зачем?

Post by iDesperado »

Мальчик-Одуванчик wrote: 12 Jan 2022 07:55 Я правильно понял что в имеющемся у zVlad мэйнфрейме стоит 4 шестиядерных проца и только 32 гига памяти?
нет, это ближе к ядрам. т.е. у него плата, на нем гигантский чип, в одном чипе 8 мейнфреймовских cpu. 4 cpu им позволяют использовать, 4 в резерве. то же самое с памятью, на самом деле там полно памяти, но она простаивает, т.к. активировать чудовищно дорого. в разы дешевле купить несколько x86 и там гонять java app, получая гораздо больший уровень реданденси и перфоменса. хотя бы за счет памяти.
Bobeg
Уже с Приветом
Posts: 1190
Joined: 26 Nov 2021 12:38

Re: Docker for zOS. Что это и зачем?

Post by Bobeg »

а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.
zVlad
Уже с Приветом
Posts: 16218
Joined: 30 Apr 2003 16:43

Re: Docker for zOS. Что это и зачем?

Post by zVlad »

Мальчик-Одуванчик wrote: 12 Jan 2022 07:55
iDesperado wrote: 12 Jan 2022 07:39
zVlad wrote: 12 Jan 2022 03:46 Но, даже без теоритических обоснований только для БД с мф подготовили 16 cpu, 256 GB и не факт что хватит.
так и не отличает cpu от cores
Я правильно понял что в имеющемся у zVlad мэйнфрейме стоит 4 шестиядерных проца и только 32 гига памяти?

У меня на дешевейшей китайской материнке, специально сделанной для выводящихся из эксплуатации оптеронов, стоит 32 гига памяти. Но даже на 16 ядер как-то маловато.
Я там как раз докеры пускаю, изображающие несколько компов.
Нет, Вы поняли не правильно. Читать здесь (в начале 3-ей страницы если лень читать все):

https://www.ibm.com/downloads/cas/A8NB3NRZ

Поменьше слушайту гопоту форумскую.
zVlad
Уже с Приветом
Posts: 16218
Joined: 30 Apr 2003 16:43

Re: Docker for zOS. Что это и зачем?

Post by zVlad »

Bobeg wrote: 12 Jan 2022 12:19 а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.
А Вы думаете cloud data centers холодные?
Bobeg
Уже с Приветом
Posts: 1190
Joined: 26 Nov 2021 12:38

Re: Docker for zOS. Что это и зачем?

Post by Bobeg »

zVlad wrote: 12 Jan 2022 15:05
Bobeg wrote: 12 Jan 2022 12:19 а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.
А Вы думаете cloud data centers холодные?
Дата центры очень горячие и очень шумные.
Но я не об этом.

500 ватт на один процессор это ж круть. Пишут что половину этой мощности тратит огромный кеш. Процессор разогнан до очень высокой скорости и оптисизирован под скорость, не под экономию.
Так что устройство лютое. Не знал таких подробностей раньше.
Bobeg
Уже с Приветом
Posts: 1190
Joined: 26 Nov 2021 12:38

Re: Docker for zOS. Что это и зачем?

Post by Bobeg »

РАМ у мейнфрейма тоже может быть очень большой. Если скажем простому человеку кажется что 1-4 терабайта это много рама то у мейнфрейма рама может быть значительно больше. Пишут про 40 тб.
Bobeg
Уже с Приветом
Posts: 1190
Joined: 26 Nov 2021 12:38

Re: Docker for zOS. Что это и зачем?

Post by Bobeg »

Хорошая машынка для биг даты, удобная.
zVlad
Уже с Приветом
Posts: 16218
Joined: 30 Apr 2003 16:43

Re: Docker for zOS. Что это и зачем?

Post by zVlad »

Bobeg wrote: 12 Jan 2022 15:11
zVlad wrote: 12 Jan 2022 15:05
Bobeg wrote: 12 Jan 2022 12:19 а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.
А Вы думаете cloud data centers холодные?
Дата центры очень горячие и очень шумные.
Но я не об этом.

500 ватт на один процессор это ж круть. Пишут что половину этой мощности тратит огромный кеш. Процессор разогнан до очень высокой скорости и оптисизирован под скорость, не под экономию.
Так что устройство лютое. Не знал таких подробностей раньше.
Вы смотрите на мф с максимально возможной конфигурацией. Большенство использований МФ ограничиваются гораздо меньшими конфигурациями. Про наш МФ я написал выше все.
Я прямо сейчас на митинге по уходу с МФ. Докладчик бойко доложил сколько интел серверов(вм) уже построили и сказал что остается еще 17 чтобы приобрести (in Azure) и зарядить. Уже заряжены порядка 20.
Я не стану утверждать что все эти сервера заменят тот один, маленький, мф, который сейчас ядро этого приложения - DB, AS. Но под DB взят сервер с 16 cores и 256GB. Количество AS в Azure будет 11!?, вместо тех 5-ти что живут в той же систем на МФ где и ДБ и где во второй партиции живут все осталь[ные Dev, QA, Training, etc...
zVlad
Уже с Приветом
Posts: 16218
Joined: 30 Apr 2003 16:43

Re: Docker for zOS. Что это и зачем?

Post by zVlad »

Bobeg wrote: 12 Jan 2022 15:18 Хорошая машынка для биг даты, удобная.
Нет, не удобная. МФ не используется ни для чего одного, будь это бигдата или числодробилка. МФ используется как целая инфраструктура с набором всех стандартных серверов (DB, AS...), сервисов, мониторов, балансеров, DNS, AD, printing, file servers, NFSs, FTP servers, network routers, можете сами добавить что хотите серверное и сетевое.

Big data в принципе распределенная архитектура. МФ предоставляет централизацию всего на одном системе или нескольких в Parallel Sysplex - типа кластер, который может жить и на одном МФ.

P.S. IBM рекомендует (и я с ними полнозтью согласен) рассматривать МФ не как сервер, а как data center со всей инфраструктурой исключая storage on disks, and tapes. Другими словами это не только технически возможно, но и широко используется (хотя бы в самой IBM) в таком виду что на МФ реализована вся инфраструктура стандартного приложения обработки данных в различных областях бизнеса и дополнительно к самому МФ нужны только диски, ленты и выход в LAN, или WAN для связи с конечными пользователями через любые их устройства: десктопы, лаптопы, smartphones, etc... Причем на МФ может и не быть zOS.
Last edited by zVlad on 12 Jan 2022 16:21, edited 1 time in total.
iDesperado
Уже с Приветом
Posts: 1422
Joined: 28 Nov 2008 17:50

Re: Docker for zOS. Что это и зачем?

Post by iDesperado »

Bobeg wrote: 12 Jan 2022 15:14 РАМ у мейнфрейма тоже может быть очень большой. Если скажем простому человеку кажется что 1-4 терабайта это много рама то у мейнфрейма рама может быть значительно больше. Пишут про 40 тб.
не может быть. активировать 40Тб по деньгам превысит бюджет канады
zVlad wrote: 12 Jan 2022 15:39 Но под DB взят сервер с 16 cores и 256GB.
а когда тебя попросят сделать скриншот выяснится что это азуровские vcpu, а не cores
zVlad
Уже с Приветом
Posts: 16218
Joined: 30 Apr 2003 16:43

Re: Docker for zOS. Что это и зачем?

Post by zVlad »

Bobeg wrote: 12 Jan 2022 12:19 а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.
Вы ничего не сказали о каналах ввода-вывода, OSAs, криптокарты, SSD, и другие допустройства, которые тоже там есть и у всех у них есть свои процессоры и память.
voyager3
Уже с Приветом
Posts: 1951
Joined: 11 Mar 2015 01:12

Re: Docker for zOS. Что это и зачем?

Post by voyager3 »

Уже давно задержки при передаче по сети на разумные расстояния пренебрежимо малы по сравнению с тормозами диска. Недаром RDMA всерьёз стали использовать. Есть, конечно мудрецы, у которых БД в Цюрихе, а приложение в Лондоне, и связаны они через бомж-провайдера, но, как говорится, при большом желании можно и бескостные части тела сломать.
Bobeg
Уже с Приветом
Posts: 1190
Joined: 26 Nov 2021 12:38

Re: Docker for zOS. Что это и зачем?

Post by Bobeg »

zVlad wrote: 12 Jan 2022 16:52
Bobeg wrote: 12 Jan 2022 12:19 а по поводу процессоров в меинфрейме з15, я почитал. горячий процессор. 500 ватт. но 5.2 гигагерца. 12 коров. каждая кора может ранать два треда ексекьюшена.
очень много кеша на каждой коре. гораздо больше чем на наших привычных амд интелах.
ну и типа в одной коробочке з15 хранит четыре таких штуковины. а коробочек может быть много. скажем 16 процессинг юнитов у простого сингл фрейм компутера.
192 коров на одном фрейме.

лютый киск. странные инструкции которых нет в обычных процессорах типа как децимал инструкции, компрессионные инструкции.
Вы ничего не сказали о каналах ввода-вывода, OSAs, криптокарты, SSD, и другие допустройства, которые тоже там есть и у всех у них есть свои процессоры и память.
я об этом низнаю ничего. я хотел просто понять чем в принципе процессоры мейнфрейма отличаются от обычных зионов и амд.
теперь узнал. весьма интересно.
Bobeg
Уже с Приветом
Posts: 1190
Joined: 26 Nov 2021 12:38

Re: Docker for zOS. Что это и зачем?

Post by Bobeg »

а следующий мейнфрейм процессор будет на семи нанометрах. телум.
количество коров увеличивается в два раза.
классная штука выходит.
zVlad
Уже с Приветом
Posts: 16218
Joined: 30 Apr 2003 16:43

Re: Docker for zOS. Что это и зачем?

Post by zVlad »

Bobeg wrote: 12 Jan 2022 18:08 а следующий мейнфрейм процессор будет на семи нанометрах. телум.
количество коров увеличивается в два раза.
классная штука выходит.
Поверьте мне классность МФ вовсе не в этом. Редко когда у IBM заказывают МФ с такими сумашхедшхими количествами кор. В большенстве случаев хватает меньше.
Классность МФ в zOS и в том что на нем можно выполнять большие фермы Linux, no Linux всех прелестей МФ использовать не может потому что МФ заточен под zOS, a zOS заточен под МФ. Это связка, тесная связка. Они вместе и одновременно растут. Linux лишь теоритически может использовать все возможности МФ, но для этого ему придется стать zOS, в том смысле чтобы обеспечить функциональность zOS и качества. А зачем? Уже есть один. Частично создана возмозность использовать больше МФ - через zCX (Dockers).
Bobeg
Уже с Приветом
Posts: 1190
Joined: 26 Nov 2021 12:38

Re: Docker for zOS. Что это и зачем?

Post by Bobeg »

то есть Вы, зВлад, против применения линукса на мейнфрейме, потому что вы больше любите зОС, я правильно понимаю?
zVlad
Уже с Приветом
Posts: 16218
Joined: 30 Apr 2003 16:43

Re: Docker for zOS. Что это и зачем?

Post by zVlad »

Bobeg wrote: 12 Jan 2022 18:43 то есть Вы, зВлад, против применения линукса на мейнфрейме, потому что вы больше любите зОС, я правильно понимаю?
Не совсем. Дело вовсе не в любви к zOS(MVS). В 80-е, начале 90-х и до конца я был фанатом VM (zVM). MVS я понимал через призму опыта работы с OS/360, SVS, TKS BOS, т.е систем до MVS. Ничего хорошего из того опыта сказать было невозможно. Системы те были ненадежными, капризными, тяжелыми. TKS был лучшим в этом смысле. Германская штучка. VM по сравнению с ними - бабочка, и пуля одновременно. Под VM же я гонял аналог старых ОС с элементами MVS на виртуальных машинах и считал что это лучшее для приложений требующих эту систему. Такк оно было на самом деле, но это были не те масштабы где MVS нужен и оправдан.
В MVS многое из тех систем было сохранено (JES2, TSO, VTAM, VSAM,...), но и добавлено (DFSMS, TCP/IP, ...). DB2 for MVS! Но это уже совсем другая, как оказалась, систем. Узнал я об этом только после 2006 года когда стал работать системным программиста zOS и прошел кучу IBM курсов по ней. Ну и конечно непосредственная работа, решение проблем, наблюдение внесли свою лепту в, если хотите, любовь к zOS.
Почитайте статью на Вики про MVS. Обратити особое внимание на сердства восстановления и контроля выполнения. Это базовые принципы которых нет нигде. С памятью MVS работает не так как принято в системах на Intel. Work Load Manager (WLM) наконец. Фактически MVS это виртуальные машины для MVS. Есть сходство с Docker = (примерно, похоже) JES2, плюс сам MVS. И Unix = zOS.
Bobeg
Уже с Приветом
Posts: 1190
Joined: 26 Nov 2021 12:38

Re: Docker for zOS. Что это и зачем?

Post by Bobeg »

мне не понять ... слишком я об этом мало знаю. мой опыт работы с вмс ограничен моим временем в квинс колледже где все что я мог делать это засылать программу на паскале и получать назад через некоторое время сообщение об ошибке компиляции. или иногда текст выполнения.
это была айбиэм 370, середина девяностых. собственно в союзе я успел посидеть перед черно-зеленым терминалом советского аналога системы 360.
а в америке даже к терминалу не подпустили.
я уже забыл как нужно было закидывать текст программы. то ли посылать по е-меилу, то ли еще как-то странно. не помню. какойто доморощеный метод разработаный местными профессОрами. издевательство было то еще. естественно никто не хотел работать с тем мейнфреймом, когда можно было тот же текст загнать в турбопаскаль и получить результат немедленно.
Last edited by Bobeg on 12 Jan 2022 22:22, edited 1 time in total.
alex_127
Уже с Приветом
Posts: 7723
Joined: 29 Mar 2000 10:01
Location: Kirkland,WA

Re: Docker for zOS. Что это и зачем?

Post by alex_127 »

voyager3 wrote: 12 Jan 2022 17:46 Уже давно задержки при передаче по сети на разумные расстояния пренебрежимо малы по сравнению с тормозами диска. Недаром RDMA всерьёз стали использовать. Есть, конечно мудрецы, у которых БД в Цюрихе, а приложение в Лондоне, и связаны они через бомж-провайдера, но, как говорится, при большом желании можно и бескостные части тела сломать.
у вас в посте противоречие между строчками. а еще со скоростью света, которую так просто не отменить.
voyager3
Уже с Приветом
Posts: 1951
Joined: 11 Mar 2015 01:12

Re: Docker for zOS. Что это и зачем?

Post by voyager3 »

alex_127 wrote: 12 Jan 2022 19:39 у вас в посте противоречие между строчками. а еще со скоростью света, которую так просто не отменить.
Вы, наверное, не вчитались. У самих же диски отдельно, вычислительная часть отдельно.
User avatar
Мальчик-Одуванчик
Уже с Приветом
Posts: 15477
Joined: 27 Sep 2007 22:53

Re: Docker for zOS. Что это и зачем?

Post by Мальчик-Одуванчик »

zVlad wrote: 12 Jan 2022 14:57
Мальчик-Одуванчик wrote: 12 Jan 2022 07:55
iDesperado wrote: 12 Jan 2022 07:39
zVlad wrote: 12 Jan 2022 03:46 Но, даже без теоритических обоснований только для БД с мф подготовили 16 cpu, 256 GB и не факт что хватит.
так и не отличает cpu от cores
Я правильно понял что в имеющемся у zVlad мэйнфрейме стоит 4 шестиядерных проца и только 32 гига памяти?

У меня на дешевейшей китайской материнке, специально сделанной для выводящихся из эксплуатации оптеронов, стоит 32 гига памяти. Но даже на 16 ядер как-то маловато.
Я там как раз докеры пускаю, изображающие несколько компов.
Нет, Вы поняли не правильно. Читать здесь (в начале 3-ей страницы если лень читать все):

https://www.ibm.com/downloads/cas/A8NB3NRZ

Поменьше слушайту гопоту форумскую.
"The H06 and H13 are designed with up to 6 and 13 configurable cores."

Вы написали что у Вас в конфигурации 4 процессора (H06 или H13?)

Или Вы имели ввиду один процессор с 4 ядрами?
Last edited by Мальчик-Одуванчик on 12 Jan 2022 22:32, edited 1 time in total.

Return to “Вопросы и новости IT”