JP Morgan Chase Oracle database outage

[zVlad]

Все это очень резонно. Только сейчас появилась такая тенденция убегать на DB2 с других СУБД. Может это следствие маркетинговой активности IBM, может у людей действительно проблемы. Одна контора даже middleware пишет (ANTS SsacSA ), который на лету транслирует T-SQL и PL/SQL в DB2 SQL.

Компания супруги отказалась от продления многолетнего контракта с IBM.

.....

А причина? DB2 на МФ или LUW? А что в замен?

[oMoses]

Похоже что и Вы тоже не читали ссылку, с которой начали свою же тему. Про ЕМС там написано в частности явно и про другое что ускользнуло от Вашего в том числе внимания.

Да помню-помню - дескать, после тщательного изучения, EMC storage was ruled out! Просто кто-то от EMC быстрее подсуетился и доказал, что storage здесь был не при чем. Оно и понятно - репутация целой конторыц была поставлена на кон. Oracle отбится будет сложнее... Еще и потому, что Oracle + Sun теперь одна контора!

Интересно, как они это доказали. Типа, у нас в логе ошибок нет?

IMHO, инфу для статьи слил представитель EMC, участвовавший в escalation.

Точно, как это я сразу об этом не догадался?!

[zVlad]

Вот еще один давний прокол Оракл. Не все у них в порядке с RAC и это не вызывает удивления потому что их RAC - высосаная из пальца архитектура. Уж лучше бы они делали кластер как shared-nothing:
http://www.eweek.com/c/a/IT-Infrastruct ... te-Outage/

To get the site back up, Orbitzs technical team conducted a rapid rearchitecture of the site—it took less than a day, Jouzaitis said—to shift operations off of RAC.

[zVlad]

Вот еще интерсно про Оракл, называется "Update: Two-thirds of Oracle DBAs don't apply security patches":

http://www.computerworld.com/s/article/ ... ty_patches

There are two major reasons for the trend, Markovich said. The first and most important is that most DBAs fear the consequences of installing a patch on a running database, he said.

Совсем иначе обстоят дела в случае DB2 на МФ. Во-первых, секьюрити патчи появляются "once in blue moon". Во-вторых у Db2 DBAs на МФ хорошим тоном является делать мэйнтэнансе дважды в год, и в этом нет ничего выдающегося или опасного. Да в zOS это нормально. После того как я сделал апгрэйд на новый релиз в начале года, я сейчас занимаюсь мэйнтэнансем, который планирую завершить в ноябре, и в начале следущего года пойду на следущий релиз zOS. Никаких последствий ни я ни наш DBA не боимся.

Вот это тоже с точки зрения МФ-щика ни в какие ворота не лезет:

Some application vendors also don't certify Oracle patches to run with their applications, Markovich said. As a result, a database administrator might, for instance, be wary of installing a patch on an Oracle database that is being used by a SAP application because that might be grounds for the application vendor to refuse addressing any disruptions to the application, he said.

Нормальным считается не согласовывать с вендором аппликайшнс на каком уровне DB2 или zOS мы работаем. Вендора обязанность устранять нестывки с уровнем ИБМ продукта, а не наоборот.

Еще одна ситуация по другому выраженная на МФ:

Another problem is that companies that want to install the most recent Oracle patches need to first ensure that they have already installed the previous patch set, Markovich said. So companies that fail to keep up with the latest patches keep falling further behind with each patch set release, he said.

SMP/E - программа для инсталяций и мэйнтенансов позволяет установить отдельный патч предоставив точную информацию какие другие патчи должны быть установлены вместе с этим. Другими словами я могу годами не делать текущего мэнтенанса, но когда вдруг мне приспичило установить единственный нужный патч я могу это сделать без того чтобы устанавливать тысячи патчей, а всего может быть 10-20.

http://blogs.computerworld.com/dbas_not ... n_failures

[Flash-04]

ну как сказать, любой Windows администратор устанавливает пачи по крайней мере раз в две недели

[zVlad]

ну как сказать, любой Windows администратор устанавливает пачи по крайней мере раз в две недели

Тут другая история. Тут можно сравнивать с любимым матрасом, кишащим клопами, но очень уж дорогим сердцу (или незнанием/не желанием знать что есть в мире и другие матраcы).

[Flash-04]

просто ваш матрас под замком, поэтому клопы до него не добрались ещё

[zVlad]

просто ваш матрас под замком, поэтому клопы до него не добрались ещё

Не под большим замком чем сервера на Виндовс. Я это уже показывал. А недавно напрямую с МФ (через прохи сервер и Интернет) получал с ИБМ сервера в Boulder-е мэйнтенанс. Это на уровне системы, сами МФ бохы у нас сконфигурирован быть доступным удаленно через Интернет для ИБМ персонала в случае возникновения проблем с железом и для "call home" через прохи и Интернет (раньше это был dial-up, а теперь интернет).

[Flash-04]

господи... вы мне лучше скажите, если Windows сервер в продакшене за "огненной стеной" сконфигурирован только для получения апдейтов из Интернет (а на самом деле с корпоративного SUS сервера), пользователи никогда на нем не броузят, то откуда там взяться malware??? полная аналогия с вашим MF.

[crypto5]

просто ваш матрас под замком, поэтому клопы до него не добрались ещё

Не под большим замком чем сервера на Виндовс. Я это уже показывал. А недавно напрямую с МФ (через прохи сервер и Интернет) получал с ИБМ сервера в Boulder-е мэйнтенанс. Это на уровне системы, сами МФ бохы у нас сконфигурирован быть доступным удаленно через Интернет для ИБМ персонала в случае возникновения проблем с железом и для "call home" через прохи и Интернет (раньше это был dial-up, а теперь интернет).

По сравнению с 25% сайтов в интернете работающих под виндой это выглядит внушительно, и огромный шаг вперед

[mynameiszb]

Так что проблема скорее всего была не внезапной, но по индусской традиции все было ОК пока не наступил конец.

Если ребята в самом деле заложились на "великий бангалорский саппорт", то удивляться нечему.

У меня были случаи, когда по "секьюрити ризонам" работу должны были выполнять только те перцы ("а за что им тогда деньги платят?"), после чего они убивали тупо данные, выполнив разжеванную step-by-step процедуру через одно место.

И расстрелять показательно не разрешали ни одного. Т.к. это уже политическое решение. А данные перезальют. Они же. После долгой дрессировки и телефонных коллов и пр. радостей.

Впечатление, что там народ от сохи рулит, чуть успеют вызубрить названия 2-3-х команд, как вешают на себя ярлык гуру и срочно выезжают в более приятные страны...

[IvanGrozniy]

Вчера прислали

We recently experienced a service interruption that affected the chase.com website and mobile services, and we apologize if this created any difficulties for you. We have resolved the problem, and want to assure you that your account information was not compromised as a result of this outage.

We know that our customers rely upon the 24 hour access to their account information provided by Chase.com. This was not the level of service we know you expect, and we will work hard to better serve and communicate with you.

Your accounts and confidential information remain secure and we want to remind you that Chase will never ask for your personal information or login credentials via email.

Please accept our apology for any inconvenience this may have caused. We’re continuing to work hard to maintain your trust and confidence.

We’re always here to assist you.

[zVlad]

господи... вы мне лучше скажите, если Windows сервер в продакшене за "огненной стеной" сконфигурирован только для получения апдейтов из Интернет (а на самом деле с корпоративного SUS сервера), пользователи никогда на нем не броузят, то откуда там взяться malware??? полная аналогия с вашим MF.

Вы что хотите сказать что наш МФ только для получения апдейтов работает?

[Flash-04]

я хочу сказать что он у вас только для пользователей внутри открыт.

[zVlad]

я хочу сказать что он у вас только для пользователей внутри открыт.

Он у нас закрыт точно также как закрыты все сервера под Виндовс, Unix и пользовательские десктопы. МФ находится в том же самом субнет-е, на тех же свичах, раутерах и т.п. что и все остальное.

[Ivan Popugaev]

По сравнению с 25% сайтов в интернете работающих под виндой это выглядит внушительно, и огромный шаг вперед

Откуда 25%? У Майкрософта последние лет 15 ( с NT 4.0 ) цифра была на уровне 16 - 18%.

[Flying Hen]

А откуда информация про тенденции?

Ну скажем так, ходят слухи. Есть компания, http://www.ants.com, которая сделала ставку на такие миграции. Нанимают людей, пишут софт и готовятся к большому потоку клиентов. IBM взяла их в партнеры, так что наверное это жжжж неспроста.

Оракл уже давно такое ПО написал (в другую сторону конечно) и распространяет его бесплатно в составе sql developer.

SQL Developer делает one-time migration, а это совсем другое дело. То, о чем я говорю (ANTs software) фактически заставляет DB2 вести себя как Sybase или Oracle с точки зрения клиента. Все, что передается с клиента на сервер и обратно, переделывается на лету ихним middleware. Преимущество такого подхода в том, что не надо переписывать клиентскую часть.

[Dmitry67]

Не думаю что это работает на чем то более сложном, чем классический SQL года так 92го, а сложнее - гаш вправо, шаг влево...

[mynameiszb]

То, о чем я говорю (ANTs software) фактически заставляет DB2 вести себя как Sybase или Oracle с точки зрения клиента. Все, что передается с клиента на сервер и обратно, переделывается на лету ихним middleware. Преимущество такого подхода в том, что не надо переписывать клиентскую часть.

Интересно, какую они производительность при этом получают? Сколько не работал, реально заставить систему работать с тысячами транзакций в секунду на относительно слабом железе можно лишь реально используя фичи конкретной базы. Включая написанный процедурный код на сервере и пр.

И переносимость здесь - очень слабая. Даже в текущем крошечном приложении заливку данных для Oracle и MS SQL переписывал по разному, иначе оно ползало при унифицированных вызовах с клиента.

[crypto5]

По сравнению с 25% сайтов в интернете работающих под виндой это выглядит внушительно, и огромный шаг вперед

Откуда 25%? У Майкрософта последние лет 15 ( с NT 4.0 ) цифра была на уровне 16 - 18%.

Из неткрафта.

[Dmitry67]

То, о чем я говорю (ANTs software) фактически заставляет DB2 вести себя как Sybase или Oracle с точки зрения клиента. Все, что передается с клиента на сервер и обратно, переделывается на лету ихним middleware. Преимущество такого подхода в том, что не надо переписывать клиентскую часть.

Интересно, какую они производительность при этом получают? Сколько не работал, реально заставить систему работать с тысячами транзакций в секунду на относительно слабом железе можно лишь реально используя фичи конкретной базы. Включая написанный процедурный код на сервере и пр.

И переносимость здесь - очень слабая. Даже в текущем крошечном приложении заливку данных для Oracle и MS SQL переписывал по разному, иначе оно ползало при унифицированных вызовах с клиента.

Совершенно верно.
Если ваше приложение универсально и работает с любой базой, значит в каждой базе вы используете 5% фич. Зачем тогда вы платите деньги?
Ну а вспоминая что Oracle и MS SQL по разному интерпретируют даже стандарт SQL 92 (у Оракла пустая строка есть NULL) то помимо падения производительности гарантированы глюки даже не простых запросах

[mynameiszb]

Совершенно верно.
Если ваше приложение универсально и работает с любой базой, значит в каждой базе вы используете 5% фич. Зачем тогда вы платите деньги?
Ну а вспоминая что Oracle и MS SQL по разному интерпретируют даже стандарт SQL 92 (у Оракла пустая строка есть NULL) то помимо падения производительности гарантированы глюки даже не простых запросах

Совершенно верно. Тогда зачем рассказывать сказки про "универсальность"? Как только мы начинаем реально работать с большими объемами данных на хорошей нагрузке - все сказки идут лесом и полем. Именно поэтому выбор архитектуры в начале пути может сказаться потом. Когда надо будет переползать с платформы, не оправдавший надежд...

[Flying Hen]

Не думаю что это работает на чем то более сложном, чем классический SQL года так 92го, а сложнее - гаш вправо, шаг влево...

Насчет шаг влево - шаг вправо, я думаю, эти сложности сильно преувеличены. Большинство кода в коммерческих системах совершенно тривиально. В случае отдельных навороченных запросов существуют в/о контракторы, которые все починят

[Flying Hen]

Интересно, какую они производительность при этом получают? Сколько не работал, реально заставить систему работать с тысячами транзакций в секунду на относительно слабом железе можно лишь реально используя фичи конкретной базы. Включая написанный процедурный код на сервере и пр.

Насчет производительности не знаю. Теоретически она может быть похуже, но практически надо экспериментировать. Вся надежда на качество DB2

[mynameiszb]

В случае отдельных навороченных запросов существуют в/о контракторы, которые все починят

Лично наблюдал двух таких зубров. Которые за неделю проанилизировали систему и выдали рекомендации. Кратко: переписать все нахрен и перед этим уволить 99% "создателей системы". Оптимизации существующий "ужас-ужас" не подлежит