Демократизация мейнфреймов

zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

Abappy wrote:.....
2) о последовательности событий
zVlad wrote: Вторая ссылка судя по всему относится к концу 80-х когда до появления DB2 LUW было еще как минимум пять лет, а оптимизатор на МФ уже во всю использовался и совершенствовался.
Более подробно об истории DB2 и о том что появилось раньше и где можете почитать здесь:
2.1) по вашей ссылке о DB2 LUW говорится "An earlier version of the code that would become DB2 LUW (Linux, Unix, Windows) was part of an Extended Edition component of OS/2 called Database Manager." ... Вы хотите сказать, что в 80е его не существовало ?
2.2) фраза "In mid 2006, IBM announced "Viper," which is the codename for DB2 9 on both distributed platforms and z/OS. DB2 9 for z/OS was announced in early 2007. " скорее говорит в пользу теории Вашего оппонента.
2.1 А Вы дочитайте весь абзац, сопоставьте прочитанное с предметом спора и подумайте имеет ли отношение Ваш вопрос к предмету спора.

2.2 Т.е. Вы хотите на основании этой цитаты сделать вывод что DB2 (тогда еще просто DB2) появилось позже DB2 LUW? Cередина 2006 и начало 2007 это для таких вещей практически одновременно. При том это дело ИБМ в какой последовательности и когда аннонсировать продукты. Файнали, это два разных продукта в любом случае с разными группами пользователей. О чем Вы говорите?
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Демократизация мейнфреймов

Post by iDesperado »

zVlad wrote: Cылка наконец и у меня открылась. Я не понимаю чем этот обзор всего и вся помаленьку Вас так возбудил. Это частное мнения написавших этот обзор, которое дает ложное представление что де оптимизатор для Common Server и DB2 for MVS суть одно и тоже. Плюс делает очень спорное предположение что разработка на С++ может быть быстрее чем на PL/X-390 и ассемблере. Впрочем в 97 году такие заблуждения могли быть не редкость.

Кстати Вы процитировали буквально все что в ссылке говорится об оптимизаторе ИБМ. Негусто.
тут есть нюанс, доверия к этому обзору опубликованным в журнале, несравнимо больше, чем к вашим сочинениям и ссылкам на мифических людей в Торонто. тем более если вам не понятны такие выражения как "тяжелого custom-ворклоада", то вы попросту могли не понять слова специалиста.

ЗЫ. подправьте ссылку
http://ptgmedia.pearsoncmg.com/images/0 ... s/appe.pdf
там чего-то покарежилось
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

Abappy wrote:
zVlad wrote:
Zombie416 wrote:.....
Какие именно факты позволяют вам сделать выводы что "оптимизатора, который у DB2 для z/OS на сегодня более продвинутый чем у какой-либо другой RDBMS... Оптимизатор DB2 for z/OS - это цель к которой стремится, но никогда не достигнет, DB2 LUW, не достигнет и не потому что" ? При том что эээ, предвзятость, этих тезисов очевидна.
А Вы найдите факты опровегающие это мое предвзятое мнение и мы дружно посмеемся.
С этим всегда рад помочь (да и Вы сами уже писали). Оптимизатор DB2 в части касающейся динамического SQL лично я могу охарактеризовать только словами, за которые по головке на форуме не погладят. Одна "привычка" оптимизировать конкретный запрос не проанализировав значения всех переменных которые в данный конкретный момент в нём стоят уже достаточна для нездорового смеха. Поясню на примере

Есть две таблицы - в первой 10 миллионов (+-) записей, во второй 100 тысяч (+-) записей , создаётся запрос по объединению таблиц ( по ключу с соотношением 1:n ( то-есть н записей во второй таблице соответствует одна запись первой) ) с условием по одному из полей (не ключевых) второй таблицы (селект из второй таблицы с этим условием возвращает 1 тысячу (+-) записей . Вторичные индексы и по полям объединения и полям выборки и по всем вместе и т.д. - есть.

Все известные мне базы данных за исключением дб2 сначала выбирают данные из второй таблицы а потом с ними строят джойн с первой . Дб2 в зависимости от фазы луны и т.п. вещей в 50%+ случаев решает, что сначала стоит построить полный хэш джойн обеих таблиц, а потом уже к нему применить ограничение (и получить тысячу записей в результате).

Итого этот банальный запрос выполняется иногда больше 10 секунд.
1. Вы о каком DB2 говорите? Если Вы говорите о DB2 for z/OS, то
2. Вы уверены что это свойство именно динамического SQL, а не статического? В последнем случае значения переменных не могут быть известны поскольку "статический" означает что план доступа строится до рантайм. Если это все таки статический SQL, то
3. Известна ли Вам опция REOPT(VARS) команды BIND? Если мы с Вами дошли до этого вопроса и Вы ответили утвердительно, тогда
4. скажите о чем Вы говорите?
User avatar
Abappy
Уже с Приветом
Posts: 2555
Joined: 26 Sep 2002 15:45
Location: North-East of NA

Re: Демократизация мейнфреймов

Post by Abappy »

zVlad wrote: Cередина 2006 и начало 2007 это для таких вещей практически одновременно. При том это дело ИБМ в какой последовательности и когда аннонсировать продукты.
Я рад, что у нас с Вами полное понимание по этому вопросу. Более того, я также считаю что в ИБМ не сидят полные идиоты, и при одновременной разработке двух продуктов с очевидно существующей общей частью, велосипед будет изобретаться один, а не два раза, но целиком признаю Ваше право считать иначе.
zVlad wrote:
Файнали, это два разных продукта в любом случае с разными группами пользователей. О чем Вы говорите?
1. О том, что я поздравляю Вас с днём рождения
2. О том, что оптимизатор у ДБ2 из моего личного опыта иногда работает существенно хуже, чем оптимизаторы в других СУБД ( в моём случае лучше отработали _все_ СУБД которые я пробовал).

По второму пункту детали на предыдущей странице http://forum.privet.com/posting.php?mod ... &p=4686642
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

iDesperado wrote:....
ЗЫ. подправьте ссылку
http://ptgmedia.pearsoncmg.com/images/0 ... s/appe.pdf
там чего-то покарежилось
А так:

http://ptgmedia.pearsoncmg.com/images/0 ... s/appe.pdf
Zombie416
Уже с Приветом
Posts: 8881
Joined: 17 Jun 2003 04:41

Re: Демократизация мейнфреймов

Post by Zombie416 »

zVlad wrote: там в секции "Optimizer Differences" почитайте.
Так в этой секции же и написано что современные технологии оптимизации (ака Starbust) переносятся в OS/390 медленно и печально. Может быть когда-нибудь "some of it will find its way into OS/390", но пока страшно трогать старье, допиливаемое напильником больше 10 лет.
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

iDesperado wrote:....
тут есть нюанс, доверия к этому обзору опубликованным в журнале, несравнимо больше, чем ....
Я уже давно вышел из возраста преклонения перед иконами (журналами). И к моему сожалению е-mail-ы авторов статьи не работают и поэтому я не могу запросить у них объяснения.

You can email Stephen at sabrobst@jj.lcs.mit.edu and Owen at oroberts@tanning.com
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

Zombie416 wrote:
zVlad wrote: там в секции "Optimizer Differences" почитайте.
Так в этой секции же и написано что современные технологии оптимизации (ака Starbust) переносятся в OS/390 медленно и печально. Может быть когда-нибудь "some of it will find its way into OS/390", но пока страшно трогать старье, допиливаемое напильником больше 10 лет.
В этой секции всего двенадцать строчек и Вы так и не смогли их понять. Печально.
User avatar
Dmitry67
Уже с Приветом
Posts: 28294
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Демократизация мейнфреймов

Post by Dmitry67 »

Кончится тем что я поставлю DB2 на своем компе и сравню с MS SQL :)
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

Dmitry67 wrote:Кончится тем что я поставлю DB2 на своем компе и сравню с MS SQL :)
И что Вы будете сравнивать? Картинки, кнопки? Чтобы по настоящему сравнивать надо по настоящему поработать в реальных условиях.
Zombie416
Уже с Приветом
Posts: 8881
Joined: 17 Jun 2003 04:41

Re: Демократизация мейнфреймов

Post by Zombie416 »

zVlad wrote:В этой секции всего двенадцать строчек и Вы так и не смогли их понять. Печально.
Все даже проще, относящихся к теме строчек всего 6:

"The DB2 for common servers product uses the latest and greatest optimization technology from IBM's Almaden labs: the Starburst optimizer. Starburst is a database optimization research project that has been covered quite extensively in the academic press. Although some Starburst technology will find its way to DB2 for OS/390, the DB2 for 0S/390 optimizer will never be completely replaced by Starburst technology. The DB2 for OS/390 optimizer has been finely tuned for its environment over the course of more than a decade. "

И ничего подобного вашим выводам из них не следует, кроме того что усовершенствования в DB2 OS/390 приходят с большим опозданием, если вообще.
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Демократизация мейнфреймов

Post by iDesperado »

согласен с Zombie416, LUW получил "latest and greatest optimization technology", z/OS же получит только самые интересные плюшки, а весь оптимизатор мы перенести упаримся.
в общем-то это ровно то, что говорилось в обзоре dbmsmag - "advanced research in cost optimization strategies" в z/OS принесли из мира персоналок.

связь со Stephen Brobst думаю продуктивней искать тут
http://www.teradata.com/t/bios.aspx?id=6268
KinDzaDza
Уже с Приветом
Posts: 2272
Joined: 29 Jul 2005 17:39
Location: Калифорнийский Мухосранск

Re: Демократизация мейнфреймов

Post by KinDzaDza »

Хорошая тема, прочитал на одном дыхании. zVlad-а с днем рождения :beer:

Те же, там же, zVlad как всегда как глухарь на току - когда токует про МФ, ничего вокруг не видит и не слышит, можно брать голыми руками. Ну и правильно - "Ты, eто, зря слона ругаешь. Не продашь" (c)
Ну а что еше остается, если позиция IBM по тестам - "У нас есть такие приборы, но мы вам о них не расскажем!" (c) :mrgreen:

Наверное, пора принять новое правило - если в теме про МФ появляется zVlad, все остальные сразу засчитывают себе слив автоматически, приседают и делают два раза КУ. :-)
User avatar
Picasso
Уже с Приветом
Posts: 988
Joined: 05 Mar 2001 10:01
Location: ушел

Re: Демократизация мейнфреймов

Post by Picasso »

KinDzaDza wrote: Наверное, пора принять новое правило - если в теме про МФ появляется zVlad, все остальные сразу засчитывают себе слив автоматически, приседают и делают два раза КУ. :-)
Упрощаю правило: "В теме про МФ - появляется zVlad."
По-моему zVlada зовут Миша, и живет он в Портланде.
User avatar
Dmitry67
Уже с Приветом
Posts: 28294
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Демократизация мейнфреймов

Post by Dmitry67 »

zVlad wrote:
Dmitry67 wrote:Кончится тем что я поставлю DB2 на своем компе и сравню с MS SQL :)
И что Вы будете сравнивать? Картинки, кнопки? Чтобы по настоящему сравнивать надо по настоящему поработать в реальных условиях.
Ну можно создать таблички по несколько миллионов и сравнить небольшие тесты навскидку
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Демократизация мейнфреймов

Post by iDesperado »

Dmitry67 wrote: Ну можно создать таблички по несколько миллионов и сравнить небольшие тесты навскидку
нет смысла. даже если сравнивать просто планы вылезит тьма непоняток. например один делает фулскан, а другой ходит по индексам, но тут есть вариант, что МФ с допотопными дисками действительно разумней ходить по индексу, тогда как современный писюк гораздо быстрей сделает фулскан с флеш-диска
ну и сравнивать нужно с z/OS, LUW все таки другая ветвь кода, более современная и с большим набором плюшек.
User avatar
Abappy
Уже с Приветом
Posts: 2555
Joined: 26 Sep 2002 15:45
Location: North-East of NA

Re: Демократизация мейнфреймов

Post by Abappy »

iDesperado wrote:
Dmitry67 wrote: Ну можно создать таблички по несколько миллионов и сравнить небольшие тесты навскидку
нет смысла. даже если сравнивать просто планы вылезит тьма непоняток. например один делает фулскан, а другой ходит по индексам, но тут есть вариант, что МФ с допотопными дисками действительно разумней ходить по индексу, тогда как современный писюк гораздо быстрей сделает фулскан с флеш-диска
Вообще-то прелесть флеш-дисков именно в том, что на них можно быстро ходить по индексам. Фулскан с них будет не сильно быстрее (а иногда и медленнее) чем с "допотопных" :gen1:

iDesperado wrote: ну и сравнивать нужно с z/OS, LUW все таки другая ветвь кода, более современная и с большим набором плюшек.
а без разницы - у обоих глюки с оптимизацией (см. предыдущую страницу) :)
User avatar
Dmitry67
Уже с Приветом
Posts: 28294
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Демократизация мейнфреймов

Post by Dmitry67 »

Ну это имеет смысл для оценки ступеньки входа
Допустим я начинаю новый бизнес. Могу я использовать DB2 для небольшой базы, которая потом вырастет до неизвестно каких размеров?
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Демократизация мейнфреймов

Post by iDesperado »

Dmitry67 wrote:Ну это имеет смысл для оценки ступеньки входа
Допустим я начинаю новый бизнес. Могу я использовать DB2 для небольшой базы, которая потом вырастет до неизвестно каких размеров?
у меня глубокое имхо, что для оценки все равно должен привлекаться спец по той базе которую оцениваем. если оценивать будете только вы, то вы скорее всего протестируете дефолтный вариант или с той оптимизацией, с какой вы бы такую задачу на родном мсскл делали бы. например, вы вероятно все таблички 8к страницы разместили бы по дефолту, а в db2 можно поиграться и часть таблиц допустим на 32к страницы разместить. думаю там можно поиграться с несколькими кешами, допустим для некоторых таблиц отдельный пул выделить. но это кто-то с опытом db2 должен, кто о таких хитростях знает и спроектирует базу с учетом хитростей.
User avatar
Dmitry67
Уже с Приветом
Posts: 28294
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Демократизация мейнфреймов

Post by Dmitry67 »

Ну так большинство стартапов ставит именно дефолтную конфигурацию :)
А тут выясняется что надо сразу спеца по Db2 звать ...
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
sp123
Уже с Приветом
Posts: 1962
Joined: 24 Feb 2001 10:01
Location: Челябинск -> Everett, WA

Re: Демократизация мейнфреймов

Post by sp123 »

Dmitry67 wrote:Ну так большинство стартапов ставит именно дефолтную конфигурацию :)
А тут выясняется что надо сразу спеца по Db2 звать ...
Попытался представить себе стартап на MF/DB2. Не смог. А вообще интересно, такое в природе встречается? Из присутствующих кто-нибудь может поделиться опытом, впечатлениями? Ну не обязательно стартап, просто свежий крупный web проект. Что за объемы, каков траффик, проблемы и способы решений, все такое. Пока что мы много чего узнали про компанию, где работает zVlad. И все. И вся эта дискуссия хоть и интересна для чтения, но от реалий большинства читателей сильно далека. А хотелось бы ближе к жизни.
User avatar
Komissar
Уже с Приветом
Posts: 64875
Joined: 12 Jul 2002 16:38
Location: г.Москва, ул. Б. Лубянка, д.2

Re: Демократизация мейнфреймов

Post by Komissar »

sp123 wrote:
Dmitry67 wrote:Ну так большинство стартапов ставит именно дефолтную конфигурацию :)
А тут выясняется что надо сразу спеца по Db2 звать ...
Попытался представить себе стартап на MF/DB2. Не смог.
+1
User avatar
Dmitry67
Уже с Приветом
Posts: 28294
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Демократизация мейнфреймов

Post by Dmitry67 »

+2
а значит смерть мф лишь вопрос времени
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

Dmitry67 wrote:+2
а значит смерть мф лишь вопрос времени
Назовите дату. Хотя бы год и с точностью до двух лет.
User avatar
Dmitry67
Уже с Приветом
Posts: 28294
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Демократизация мейнфреймов

Post by Dmitry67 »

Угасание будет плавным в течение 10 лет,
Последние МФ будут гонять как виртуалки под VMware в режиме эмуляции. Медленно, но на суер пупер новом Intel выпуска 2020 года быстрее, чем 'реальные' - даже в режиме эмуляции.

Кстати ловите идею - это рынок.
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014

Return to “Вопросы и новости IT”