Демократизация мейнфреймов

zVlad
Уже с Приветом
Posts: 15422
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Демократизация мейнфреймов

Post by zVlad »

krids wrote:
zVlad wrote:1. Хрошо. Тогда раскройте смысл вот этой Вашей фразы:
МФ-виртуализация != Виртуализация Linux на МФ.
Cмысл прост. Я абсолютно ЗА виртуализацию z/OS и абсолютно ПРОТИВ массовой виртуализации zLinux, ибо
первое естественно и необходимо, а второе противоестественно и экономически нецелессобразно, имхо.
Если кому-то очень нужно иметь рядом с DB2/zOS LPAR'ом application server на zLinux и не жалко денег на IFL, то
за ради бога. Но вот сказки про то как "стопицот тыщ Linux-серверов легко и дешево виртуализируются на десятке IFL" это к доктору.
.....
Под виртуализацией z/OS, я так понимаю, Вы имеете в виду выполнение z/OS в LPAR. Это так?
(Пожалуйста сделайте цитатой все это сообщение потому что разговор на эту тему еще не закончен).
zVlad
Уже с Приветом
Posts: 15422
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Демократизация мейнфреймов

Post by zVlad »

krids wrote:
zVlad wrote: Опыта работы на МФ? Опишите мне его, пожалуйста, в общих чертах. Где, кем и с чем Вы работали.
Нет. Вы неправильно поняли. Имелся ввиду опыт работы с SAP.
Хотя опыт работы с МФ в прошлом имелся (5 лет DB2/zOS application DBA, раз уж Вам так любопытно)
zVlad wrote: Обоснуйте, раскройте, Ваше заявление о 10%, тогда и посмотрим кто понимает о чем речь а кто не совсем.
Я прекрасно знаю как разрабатывают эффективные и производительные приложения для DB2/zOS (и сам в этом учавствовал) и, глядя каждый день на то, каким образом с базой данных (DB2/AIX) работает SAP, идея о размещении SAP Database Instance на DB2/zOS c точки зрения производительности и цены этой производительности лично для меня является весьма и весьма сомнительной.
Эмпирические 10% выведены из анализа особенностей структуры БД SAP, логики работы ABAP-программ, development-фичей СУБД, которые оно использует и опыта разборок с неэффективным SQL-кодом, который оно генерирует. Возможно кто-то сочтет этот процент более высоким, на мой взгляд он не более такового.
У меня тоже есть пяток лет работы DB2 DBA (просто DBA, не application). Есть у меня и ИБМ лайсэнс по DB2 (это не типично для МФ специалистов, но я потратил время и прошел тестирование).

Про 10% Вами было сказано в следующем контексте:
Вот-вот. Именно поэтому под БД SAP'а покупать СУБД, которая вместе с платформой стоит бешеных денег затем, чтобы неиспользовать и 10% её возможностей - это, имхо, бред.
Использование возможностей конечно зависит от дизайна приложения и требований к нему. Наше приложение, например, написано в прицеле и на DB2 и на Oracle и поэтому требованием было исплользование минимально особенностей обеих баз данных. По этому в нашем приложении нет ни первичных/вторичных ключей, ни триггеров/сторпроцедур (недавно скромно появились), ни многого другого. (Однако это не мешало наличию весьма своеобразных предикатов и неуместных коррелированных сабкуэри). Тем не менее наше приложение использует статический SQL (о чем собственно и говорилось в моем сообщении в реакции на которое Вы заявили о 10%). Тем не менее сказанное мною о динамическом SQL в DB2 вовсе не означало констатации недоиспользования возможностей DB2. Оба, динамический и статический SQL, совершенно нормальны в DB2. Здесь можно лишь говорить о разной производительности, да и то не всегда.
Ваша же фраза (см. здесь же выше) имеет совсем другой посыл и намекает на неразумную трату в приобретении DB2 для например SAP. А это уже совсем другой вопрос и ему нужно дать правильное обоснование. То что дизайн приложения для реляционной БД задал ограниченные потребности функциональности вовсе не означает что, например, оптимизатор DB2 лишь на 10% такой дизайн удовлетворяет. Нет оптимизатор выполняет все 100% того что может быть сделано для заданного дизайна. То же самое с механизмом блокировок, пулами, утилитами, секьюрити, бэкап/рестор и т.д. и т.п.. А что в случае с Оракл дела обстоят как то иначе?

Вот и у Вас кстати проскальзывает что на самом деле Вы говорите не о возможностях, а о производительности:
Я прекрасно знаю как разрабатывают эффективные и производительные приложения для DB2/zOS (и сам в этом учавствовал) и, глядя каждый день на то, каким образом с базой данных (DB2/AIX) работает SAP, идея о размещении SAP Database Instance на DB2/zOS c точки зрения производительности и цены этой производительности лично для меня является весьма и весьма сомнительной.
Сомнения хорошо бы хотя бы иллюстрировать примерами, а лучше дать теоритическое обоснование. Надеюсь Вы это понимаете? Ну а пока Вы готовите примеры и теоритические обоснования я расскажу свое мнение об этом.
Разработка DB2 для LUW началась много позже чем DB2 для z/OS. Разработчики DB2 для LUW сначала изучили внимательно DB2 для z/OS (я об этом знаю от одного из руководителей разработки DB2 для LUW), и их целью было максимально ипользовать подходы DB2 для z/OS. Разумеется стопроцентного совдания нет и не могло быть, но говоря в общем эти две БД во многом одинаковы. Так что Ваши сомнения о "о размещении SAP Database Instance на DB2/zOS c точки зрения производительности" как бы не очень убедительны с точки зрения теории.
Более того, если говорить о производительности как таковой, то еще дедушка Дэйт писал в 70-х для таких как Вы что производительность реляционных БД мало зависит от дизайна и может изменять путем оптимизации выполнения запросов в очень широких пределах, а также то что " ...двумя основными характеристиками производительности являются число операций ввода-вывода и продолжительность обработки (объем работы центрального процессора)." Первое зависит от физического дизайна БД, а второе во многом от оптимизатора, который у DB2 для z/OS на сегодня более продвинутый чем у какой-либо другой RDBMS. Алаверды, как говорится.
zVlad
Уже с Приветом
Posts: 15422
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Демократизация мейнфреймов

Post by zVlad »

krids wrote:
zVlad wrote: Просто когда делаются ни о чем не говорящие, понятные только пишущему, заявления, да еще с глубокомысленным видом эзотерика, то это невольно вызывает такую реакцию.
Я не предполагал, что слова "тяжелый", "custom-ворклоад" и "консолидация" (особенно в контексте System z) могут вызвать ступор у человека с 30-летним IT-бэкграундом. Пожайлуста, извините.

....
Ступор вызывает легкость с которой Вы манипулируете терминами применимость которых к МФ Вам мало понятна. Взять хотя бы "консолидация". Этот термин уместен для распределенных систем в которых уже, как говорится, до распределялись до ручки. МФ всегда позиционировалась как централизованная система, иными словами приложения на МФ всегда были консолидированы. В одном лишь случае можно верно говорить о консолидации на МФ это когда зоопарк распределенных систем консолидируется на МФ.
Что касаемо "тяжелый" то есть такая штука как SLA и по его выполнению или невыполнению судят обычно о том справляется ИТ с работой или нет, надо подбросить угольку или и так потянет.
zVlad
Уже с Приветом
Posts: 15422
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Демократизация мейнфреймов

Post by zVlad »

krids wrote:....
zVlad wrote:2. Укажите где, в чем, Вы усмотрели ограниченность моего просвещения? Не Вам ли следует воспользоваться Вашим же советом и просветиться в МФ прежде чем делать умозаключения?
Из Ваших комментариев у меня складыватся ощущение (возможно ошибочное), что про distributed-платформы (x86-64, risk/unix, etc) Вы знаете меньше, чем я про System z, так что это "симметричный ответ" на призывы к "ликбезу".
Не надо льстить себе. То что Вы очень поверхностные знания имеете о System z говорят (вопиют) Ваши неадекватные заявления и надуманные, не подкрепленные ничем, выводы.
В тоже время с "distributed-платформы (x86-64, risk/unix, etc)" мне и на МФ и в связи с МФ доводится иметь дело непосредственно. Более того (и Вы должны бы это знать) distributed обработка присуща и System z, а Unix - это одна из двух, наряду с MVS, стандартных операционных сред z/OS. С Линуксом на System z мне тоже довелось и довольно плотно поработать.
Для того чтобы по-настоящему знать System z нужна специальная подготовка, перечисленное же Вами относится к базовому уровню computer sciences. И всякий кто профессионально работает в ИТ это все знать должен. А с System z такая интересная штука получается что даже многолетний (хоть 30 лет) опыт работы с ней может не гарантировать достаточного понимания. И у меня есть тому масса примеров из моей практики. Так что Вы не растраивайтесь, Вы такой не один.
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Демократизация мейнфреймов

Post by iDesperado »

судя по "в нашем приложении нет ни первичных/вторичных ключей" лайсэнс по DB2 дают к МФ в благодарность за покупку :)
на самом же деле ключи дают огромный пласт информации оптимизатору, в оракле, например, есть целые SQL конструкции которые без наличия внешнего ключа не запускаются. например такое не пройдет без внешнего ключа
update (select t1.name as a,t2.name as b from tab1 t1 inner join tab2 t2 on t1.id = t2.id) set a='111' ;
(кстати у мсскл пройдет, мсскл кидает монетку выбирая значение которое запишется, интересно а как с этим у дб2 ?)
zVlad wrote:[DB2 для z/OS на сегодня более продвинутый чем у какой-либо другой RDBMS. Алаверды, как говорится.
учитывая, что все самые вкусные плюшки сначала появляются в db2 LUW (кляузы типа skip locked, навороты оптимистичной блокировки, xml ) и только спустя несколько лет в zOS меня терзают смутные сомнения и про оптимизатор ...
zVlad
Уже с Приветом
Posts: 15422
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Демократизация мейнфреймов

Post by zVlad »

iDesperado wrote:....
zVlad wrote:[DB2 для z/OS на сегодня более продвинутый чем у какой-либо другой RDBMS. Алаверды, как говорится.
учитывая, что все самые вкусные плюшки сначала появляются в db2 LUW (кляузы типа skip locked, навороты оптимистичной блокировки, xml ) и только спустя несколько лет в zOS меня терзают смутные сомнения и про оптимизатор ...
Вы опустили слово "оптимизатор" в моей цитате.
Да, некоторые синтаксические штучки порой появляются раньше в db2 LUW, но это лишь отражение того что подход к разработке и выпуску новых версий для DB2 for z/OS отличается от db2 LUW. В части же оптимизатора напрасно Вас мучают сомнения. Оптимизатор DB2 for z/OS - это цель к которой стремится, но никогда не достигнет, DB2 LUW, не достигнет и не потому что разработчики DB2 LUW глупее или у них нет алгоритмов оптимизации (эта одна фирма и секретов у них нет внутри, для других фирм ИБМ оптимизатор - это секрет), а по причине отличия z/OS(МФ) и LUW с их серверами. Об этом уже много здесь говорилось.
Zombie416
Уже с Приветом
Posts: 8881
Joined: 17 Jun 2003 04:41

Re: Демократизация мейнфреймов

Post by Zombie416 »

zVlad wrote:оптимизатора, который у DB2 для z/OS на сегодня более продвинутый чем у какой-либо другой RDBMS... Оптимизатор DB2 for z/OS - это цель к которой стремится, но никогда не достигнет, DB2 LUW, не достигнет и не потому что
По-моему, это из раздела "О религии".
User avatar
Dmitry67
Уже с Приветом
Posts: 28294
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Демократизация мейнфреймов

Post by Dmitry67 »

zVlad, а почему например Oracle мог сделать верхний уровень независимым от ОС, так что SQL одинаков (за исключением file names) что под Solaris что под Windows? зачем IBM тащить два проекта - видимо с разными code bases?
Last edited by Dmitry67 on 11 May 2011 14:38, edited 1 time in total.
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
zVlad
Уже с Приветом
Posts: 15422
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Демократизация мейнфреймов

Post by zVlad »

iDesperado wrote:судя по "в нашем приложении нет ни первичных/вторичных ключей" лайсэнс по DB2 дают к МФ в благодарность за покупку :)
на самом же деле ключи дают огромный пласт информации оптимизатору, в оракле, например, есть целые SQL конструкции которые без наличия внешнего ключа не запускаются. например такое не пройдет без внешнего ключа
update (select t1.name as a,t2.name as b from tab1 t1 inner join tab2 t2 on t1.id = t2.id) set a='111' ;
(кстати у мсскл пройдет, мсскл кидает монетку выбирая значение которое запишется, интересно а как с этим у дб2 ?)

...

Я не знаю как там в Оракле, но в общей теории БД первичные и внешниие ключи обеспечивают целостность по ссылкам, не более того. На выполнение или не выполнение стэйтментов они влияют только таким образом что не допускают нарушения целостности ссылок. В Вашем запросе целостность по ссылкам не нарушается поэтому я не вижу причин почему бы такой запрос не мог бы выполниться в ДБ2 или МССКЛ (предполагая что в качестве таблицы в update может использоваться сабселект, который в принципе мог бы быть заменен view, опять же предполагая что такой view будет updatable).

А этот Ваш Update я бы переписал (в первом приближении) таким образом:

update tab1 t1 set a='111' where exists (select * from tab2 t2 where t1.id = t2.id)

возможно inner join здесь вносит ньюансы, но так как я давно с ДБ2 не работал сходу точно сказать не могу. Но наш разговор не о конструкции которая не может выполняться без внешнего ключа, что само по себе странно.

Интересно что Dmitry67 скажет по поводу "мсскл кидает монетку выбирая значение которое запишется"?
User avatar
Dmitry67
Уже с Приветом
Posts: 28294
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Демократизация мейнфреймов

Post by Dmitry67 »

zVlad wrote:Я не знаю как там в Оракле, но в общей теории БД первичные и внешниие ключи обеспечивают целостность по ссылкам, не более того.
Ну да. Индексы - зло :lol:
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
User avatar
Dmitry67
Уже с Приветом
Posts: 28294
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Демократизация мейнфреймов

Post by Dmitry67 »

zVlad wrote: Интересно что Dmitry67 скажет по поводу "мсскл кидает монетку выбирая значение которое запишется"?
В некоторых случаях есть такой эффект
Причем если в 2000 он мог поменять значение несколько раз и оставалось последнее
то начиная с 2005 значением меняется только один раз (что видно в триггере и @@rowcount), но опять таки выбирает монетка.
Какова кверь - таков и результат...
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Демократизация мейнфреймов

Post by iDesperado »

zVlad wrote: Вы опустили слово "оптимизатор" в моей цитате.
Да, некоторые синтаксические штучки порой появляются раньше в db2 LUW, но это лишь отражение того что подход к разработке и выпуску новых версий для DB2 for z/OS отличается от db2 LUW. В части же оптимизатора напрасно Вас мучают сомнения. Оптимизатор DB2 for z/OS - это цель к которой стремится, но никогда не достигнет, DB2 LUW, не достигнет и не потому что разработчики DB2 LUW глупее или у них нет алгоритмов оптимизации (эта одна фирма и секретов у них нет внутри, для других фирм ИБМ оптимизатор - это секрет), а по причине отличия z/OS(МФ) и LUW с их серверами. Об этом уже много здесь говорилось.
вы снова выдаете желаемое за действительное. смотрим что у нас в суровой действительности:

IBM expects to integrate its advanced research in cost optimization strategies coming out of the Starburst project (undertaken in IBM's Almaden research laboratories in California) into both the MVS and Unix implementations of the DB2 database product. Gilles Fecteau, architect of DB2/6000 Parallel Edition, indicates that customers for this high-end database focused on DSS workloads should see the benefits of the Starburst research in the Common Server implementation of DB2 as early as the first half of 1997. Because the research prototype for IBM's optimizer technology was developed in C++, it will be a much faster path for integrating the advancements into DB2's Common Server database engine (which is also implemented in C++) than will be the case for DB2 on MVS (which is implemented in assembler and PL/X-390).

http://web.archive.org/web/200710092007 ... 03d15.html

т.е. основные плюшки оптимизатора db2 z/OS получал из проекта Starburst. смотрим что это за проект:
The Starburst prototype runs under AIX on IBM PC/RT
workstations, and is being implemented in C to increase
portability. Starburst is still in the early prototype phase of
implementation.
http://citeseerx.ist.psu.edu/viewdoc/do ... 1&type=pdf

zVlad, а есть ли темы в которых вы действительно разбираетесь ?
User avatar
Dmitry67
Уже с Приветом
Posts: 28294
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Демократизация мейнфреймов

Post by Dmitry67 »

iDesperado wrote:will be the case for DB2 on MVS (which is implemented in assembler and PL/X-390).
OMG!
assembler and PL/X-390 8O
Это не просто две ветви кода
Это... даже не знаю что сказать...
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
zVlad
Уже с Приветом
Posts: 15422
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Демократизация мейнфреймов

Post by zVlad »

Dmitry67 wrote:zVlad, а почему например Oracle мог сделать верхний уровень независимым от ОС, так что SQL одинаков (за исключением file names) что под Solaris что под Windows? зачем IBM тащить два проекта - видимо с разными code bases?
Насколько я понимаю Оракл практически не зависим от ОС и платформы. Так было задумано в дизайне. И это в принципе понятно поскольку Оракл не имел своей ОС. DB2 for z/OS с другой стороны очень тесно интегрирована и с z/OS и с железом МФ. Так что прямой перевод кода DB2 на LUW не представлялся возможным и поэтому DB2 for LUW имеет другой код базе.

В случае с DB2 тем не менее есть подмножество, и довольно широкое, SQL который одинаков для обоих кодебазе. Может что изменилось за 5-ть лет что я не работаю ДБ2, но думаю что только в лучшую сторону.

SQL вообще должен бы быть одинаков по идее между всеми производителями, и такое подмножество в самом деле имеется. Так что проблема скорее надумана чем реальна.

В отношении Оракл ИБМ делает дополнительные реверансы в виде имплементации оракловских подходов as is для облегчения перевода с Оракл на ДБ2. Делает ли подобное Оракл, или МС СКЛ было бы интересно узнать.
zVlad
Уже с Приветом
Posts: 15422
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Демократизация мейнфреймов

Post by zVlad »

Zombie416 wrote:
zVlad wrote:оптимизатора, который у DB2 для z/OS на сегодня более продвинутый чем у какой-либо другой RDBMS... Оптимизатор DB2 for z/OS - это цель к которой стремится, но никогда не достигнет, DB2 LUW, не достигнет и не потому что
По-моему, это из раздела "О религии".
Пока не знаешь предмета может и так показаться.

Return to “Вопросы и новости IT”