JP Morgan Chase Oracle database outage

[oMoses]

У банка Chase три дня не работала куча on-line сервисов - см. детали здесь...

В связи с этим подумалось:

1. Не дай бог работать в таком банке и поиметь проблемы с собственной базой - очень хорошо представляю то давление, которое руководство банка все эти дни оказывало на бедных "дибиэев"! Думаю, что каждый из них за те дни постарел минимум на три года...
2. Интересно, что даже такие монстры, у которых, казалось бы, деньги куры не клюют, подвержены подобным катастрофам. И никакие супер-кластеры с РАКами, EMC и Соляркой не спасли!
3. "...can be blamed on an Oracle bug" - хотелось бы узнать, какой именно....
4. "Oracle database was corrupted in about 4 files, and the corruption was mirrored on the hot backup. Hence the manual database restore starting early Tuesday morning" - как то все это очень подозрительно звучит. Что-же это за Оракловая бага такая, которая Oracle datafiles "кушает", да еще и на зеркало распространяется, а ни один бэкап такие штуки вовремя не улавливает и не лечит? Все-же больше на глюк EMC-storage смахивает... Ведь существуют же такие вещи, как data block checksum и пр... А если это был Oracle11g, то побитые блоки можно было и посредством lost-write failure detect on standby site обнаружить. И при наличии бэкапа их можно было вылечить, не тратя время на полное восстановление базы.... Не говоря уже про failover to physical standby (если она была, конечно).
5. "A third-party database company’s software caused a corruption of systems information, disabling our ability to process customer log-ins to chase.com. This resulted in a long recovery process" - это уже третья причина, называемая в заметке по ссылке выше! Так в чем-же дело было в действительности: Oracle bug, storage issue или third-party database company’s software?
6. "Somewhere around 1000 each auto and student loan applications were lost due to the outage" - кому-то крупно повезло!
7. "And by the way, even before all this started JPMorgan Chase had an open project to look into replacing Oracle, perhaps with DB2." - флаг им в руки! Как будто там меньше своих глюков и проблем! А перетащить такое хозяйство и функционал на новую платформу, да к тому же столь консервативную, как DB2 - это умереть можно....

P.S. А давно я сюда не писал! Привет "старичкам"!

[Komissar]

привет, Мозес

ответ простой - индусский аутсорсинг.

[oMoses]

To Komissar: Полагаешь? Уж Chase-то мог бы и не экономить на таких вещах!

(Привет, привет! Как поживаешь?)

[Komissar]

несколько лет назад, когда они все мои стейтменты переврали безбожно, я ужасно разозлился и дозвонился в конце концов до какого-то начальника в Тампе, кажется. Тот стал плакать на плече про индусов.

Пару удобных фич из старых стейтментов так и не восстановили до сих пор. Казззлы.

[Veronica]

Уж Chase-то мог бы и не экономить на таких вещах!

С тех пор как Джейми пришел в Чейс, он только и делает, что экономит. Буквально на всем, включая кофе и туалетную бумагу.
Как жаль, а была такая хорошая компания...

[Flying Hen]

7. "And by the way, even before all this started JPMorgan Chase had an open project to look into replacing Oracle, perhaps with DB2." - флаг им в руки! Как будто там меньше своих глюков и проблем! А перетащить такое хозяйство и функционал на новую платформу, да к тому же столь консервативную, как DB2 - это умереть можно....

Протестую! Это как раз тот случай, когда консерватизм благо. Не гнались бы за новыми фичами, глядишь бы не было проблем. Кстати, DB2 вполне не плохо эволюционизирует в последние годы.

[Flash-04]

3. "...can be blamed on an Oracle bug" - хотелось бы узнать, какой именно....

да кто же вас скажет? вот у меня недавно был случай: испортилась Oracle DB. Ошибка - "data file corrupted", номер не помню. При попытке recover говорит "отсутствует control file такой-то". И ведь правда отсутствует, был создан час назад и как корова языком слизнула. Дальше дока говорит что дело швах, и надо восстанавливать из бекапа. Вот и восстановили Чем это отличается от описанной выше ситуации?

[Flash-04]

7. "And by the way, even before all this started JPMorgan Chase had an open project to look into replacing Oracle, perhaps with DB2." - флаг им в руки! Как будто там меньше своих глюков и проблем! А перетащить такое хозяйство и функционал на новую платформу, да к тому же столь консервативную, как DB2 - это умереть можно....

это означает что скоро IBM продаст им ещё один mainframe но там глюки тоже бывают. В Канада у RBC как-то лег несколько лет назад, тоже очень похоже было по описанию.

[crypto5]

7. "And by the way, even before all this started JPMorgan Chase had an open project to look into replacing Oracle, perhaps with DB2." - флаг им в руки! Как будто там меньше своих глюков и проблем! А перетащить такое хозяйство и функционал на новую платформу, да к тому же столь консервативную, как DB2 - это умереть можно....

это означает что скоро IBM продаст им ещё один mainframe

А еще в Индии наймут 5000 программистов и 10000 тестеров чтобы переписать все с Oracle на DB2, они будут 8 раз переносить сроки, ну а чем закончится - зависит от жадности банка

[zVlad]

....7. "And by the way, even before all this started JPMorgan Chase had an open project to look into replacing Oracle, perhaps with DB2." - флаг им в руки! Как будто там меньше своих глюков и проблем! А перетащить такое хозяйство и функционал на новую платформу, да к тому же столь консервативную, как DB2 - это умереть можно....

Уж лучше один раз отмучиться чем иметь такие outages.
Меня поразили параметры кластера:

The Oracle cluster has 8 biggish Solaris boxes (T5420 with 64 GB of RAM).

А в DB2 глюков и проблем действительно меньше и разруливать такого типа проблемы ИБМ может быстрее и с меньшими последствиями для клиента.
В этой связи вспоминается единственный известный мне случай каррапшн данных в DB2 случившийся лет 5 назад. К моменту обнаружения каррапшн у ИБМ уже был патч. Сама каррапшн была локализована одной таблицей, в целом базу данных восстанавливать не пришлось, починили конкретно пострадавшие данные одной таблицы. Outage системы в целом не было (кроме одной из ~3000 транзакции).
А вот о случаях каррапшн в Оракл даже я, человек далекие от Оракл, слышал неоднократно. Так что на верном пути был JP Morgan Chase, и после этого случая полагаю они ускорят переход на DB2 (на МФ конечно).

[zVlad]

7. "And by the way, even before all this started JPMorgan Chase had an open project to look into replacing Oracle, perhaps with DB2." - флаг им в руки! Как будто там меньше своих глюков и проблем! А перетащить такое хозяйство и функционал на новую платформу, да к тому же столь консервативную, как DB2 - это умереть можно....

это означает что скоро IBM продаст им ещё один mainframe но там глюки тоже бывают. В Канада у RBC как-то лег несколько лет назад, тоже очень похоже было по описанию.

Ничего подобного. Мы здесь уже тот случай разбирали. Он был связан с ошибкой в batch job scheduling. DB2 там было не причем. Я в своем сообщении рассказал о действительно имевшем место быть каррапшн в DB2 и как мы с ним боролись.

[zVlad]

7. "And by the way, even before all this started JPMorgan Chase had an open project to look into replacing Oracle, perhaps with DB2." - флаг им в руки! Как будто там меньше своих глюков и проблем! А перетащить такое хозяйство и функционал на новую платформу, да к тому же столь консервативную, как DB2 - это умереть можно....

Протестую! Это как раз тот случай, когда консерватизм благо. Не гнались бы за новыми фичами, глядишь бы не было проблем. Кстати, DB2 вполне не плохо эволюционизирует в последние годы.

По-моему о консерватизме DB2 может говорить только человек ничего о DB2 не знающий. Оракл в этом смысле самое большее эталон выскочки, который внедряет фичи даже толком в них не разобравшись. Вот и довнедрялись.

[Dmitry67]

4. "Oracle database was corrupted in about 4 files, and the corruption was mirrored on the hot backup. Hence the manual database restore starting early Tuesday morning" - как то все это очень подозрительно звучит. Что-же это за Оракловая бага такая, которая Oracle datafiles "кушает", да еще и на зеркало распространяется, а ни один бэкап такие штуки вовремя не улавливает и не лечит?

По моему тут как раз все логично
Если верхний уровень попросил записать бредовый блок в базу, то нижние уровни должны as is этот бред отмиррорить и в бэкап положить - им же пофиг что на странице записано.

[KinDzaDza]

По-моему о консерватизме DB2 может говорить только человек ничего о DB2 не знающий. Оракл в этом смысле самое большее эталон выскочки, который внедряет фичи даже толком в них не разобравшись. Вот и довнедрялись.

Лирическое отступление.
Читая zVladа (не только в этой теме), складывается впечатление, что везде (ну кроме ИБМ конечно же), работают одни криворукие идиоты. И все, кто не работает на МФ - ущербные, жалкие людишки, которые чужие на этом празднике жизни и им всем крупно не повезло, потому что богоподобные творения непогрешимой ИБМ прошли мимо них.
Вот меня лично кроме Web Sphere и Eclipse ничего более от солнцеподобных не коснулось. Но и этих двух творений вполне достаточно, чтобы составить впечатление.

По теме.
Пока не известно, что именно там случилось и почему, как-то странно обвинять именно Оракл. А особенно странно говорить, что вот если бы там была DB2 на МФ, то такого (а какого?) никогда бы не произошло. В Оракле глюков конечно хватает, но конкретно в этой ситуации там может быть все что угодно.

[crypto5]

А вот о случаях каррапшн в Оракл даже я, человек далекие от Оракл, слышал неоднократно.

Вы слышали о случаях коррапшн из за ошибок в оракле?

[zVlad]

А вот о случаях каррапшн в Оракл даже я, человек далекие от Оракл, слышал неоднократно.

Вы слышали о случаях коррапшн из за ошибок в оракле?

А мы сейчас о чем говорим?

[crypto5]

А вот о случаях каррапшн в Оракл даже я, человек далекие от Оракл, слышал неоднократно.

Вы слышали о случаях коррапшн из за ошибок в оракле?

А мы сейчас о чем говорим?

Коррапшн в оракл вполне может быть != коррапшн из-за ошибки в оракл.

[zVlad]

По-моему о консерватизме DB2 может говорить только человек ничего о DB2 не знающий. Оракл в этом смысле самое большее эталон выскочки, который внедряет фичи даже толком в них не разобравшись. Вот и довнедрялись.

Лирическое отступление.
Читая zVladа (не только в этой теме), складывается впечатление, что везде (ну кроме ИБМ конечно же), работают одни криворукие идиоты. И все, кто не работает на МФ - ущербные, жалкие людишки, которые чужие на этом празднике жизни и им всем крупно не повезло, потому что богоподобные творения непогрешимой ИБМ прошли мимо них.
Вот меня лично кроме Web Sphere и Eclipse ничего более от солнцеподобных не коснулось. Но и этих двух творений вполне достаточно, чтобы составить впечатление.

....

Я неоднократно и подробно рассказывал о том что и как. Впечатление создавшееся у Вас от моих выступлений не адекватно говоримому мною. Мой поинт, если кратко, был и есть в том в каждом месте нужно использовать то что лучше подходит требованиям задачи и бизнеса. Использование 8-ми Соляр с Оракл в крупном банке - это глупость и она принесла плоды как мы видим.
И специально по WebSphere я высказывался без восхищения.

[crypto5]

Использование 8-ми Соляр с Оракл в крупном банке - это глупость.

Почему?

она принесла плоды как мы видим.

Это неправда, пока что не выяснили почему именно случился outage.

[oMoses]

7. А перетащить такое хозяйство и функционал на новую платформу, да к тому же столь консервативную, как DB2 - это умереть можно....

Протестую! Это как раз тот случай, когда консерватизм благо. Не гнались бы за новыми фичами, глядишь бы не было проблем. Кстати, DB2 вполне не плохо эволюционизирует в последние годы.

В общем и целом, согласен, консервативный подход в деле администрирования баз данных есть благо. Но столь кардинально менять платформу в надежде, что все после этого станет очень и очень хорошо - большая глупость. К таким вещам нужно относиться философски и не спешить делать столь нелепые выводы.

[oMoses]

3. "...can be blamed on an Oracle bug" - хотелось бы узнать, какой именно....

да кто же вас скажет? вот у меня недавно был случай: испортилась Oracle DB. Ошибка - "data file corrupted", номер не помню. При попытке recover говорит "отсутствует control file такой-то". И ведь правда отсутствует, был создан час назад и как корова языком слизнула. Дальше дока говорит что дело швах, и надо восстанавливать из бекапа. Вот и восстановили Чем это отличается от описанной выше ситуации?

Control files полагается иметь несколько... И потом, ошибка по части corrupted data block - не есть баг Оракла. Как правило - это глюк storage subsystem or OS.

[oMoses]

А в DB2 глюков и проблем действительно меньше.

Данное утверждение субъективно и в принципе недоказуемо. Еще раз повторюсь, что уже солидно вложившись в Солярку/Оракл/EMC, поздно думать про DB2. Уверен, что и имеющаяся система может работать (и почти наверняка работает!) успешно. А подобные катастрофы возможны везде...

Что меня удивляет, так это столь медленная скорость восстановления данных (3 дня!) при наличии таких продвинутых ресурсов. Вероятно, Комиссар, все-же прав - без индусского инопланетного разума здесь не обошлось....

[oMoses]

По моему тут как раз все логично. Если верхний уровень попросил записать бредовый блок в базу, то нижние уровни должны as is этот бред отмиррорить и в бэкап положить - им же пофиг что на странице записано.

Не совсем так. Если по минимуму, то нижний уровень должен был отрапортовать о наличии плохого блока, а правильный DBA - выловить это сообщение и вовремя, а главное верно, отреагировать.

[crypto5]

По моему тут как раз все логично. Если верхний уровень попросил записать бредовый блок в базу, то нижние уровни должны as is этот бред отмиррорить и в бэкап положить - им же пофиг что на странице записано.

Не совсем так. Если по минимуму, то нижний уровень должен был отрапортовать о наличии плохого блока, а правильный DBA - выловить это сообщение и вовремя, а главное верно, отреагировать.

А как нижний уровень догадается что блок плохой?

[zVlad]

Использование 8-ми Соляр с Оракл в крупном банке - это глупость.

1. Почему?

она принесла плоды как мы видим.

2. Это неправда, пока что не выяснили почему именно случился outage.

1. Потому что 1000 РС серверов заменили бы 8-мь Соляр за меньшие деньги. Интересно что у нас одна атомная станция два года назад тоже почему то ушли с одного МФ на 8 System p серверов.

2. Но разве о том что делалось восстановление БД с бэкапа мы не знаем? А какие еще могут причины для этого если технических не было?