Мы уходим с майнфрайм.

[mskmel]

дубль

[liamkin]

Оракла пока конь не валялся. У Оракл ДБА (а их два на миграции задействовано, один на OTG, второй на GoldenGate) нет времени и он ждет курсов по GoldenGate и эксперта из Оракл в помощь. Реально будем начинать в середине декабря.

Давайте по теме скажу. ГолденГейт очень дорогой - Голден не зря в названии. Менеджера похоже получили откат от Оракла. Требуйте свою долю!
Для передачи данных массово люди пользуют sqlloader - он бесплатно идет в составе Оракл РДБМС. И работает он очень быстро.
Если есть деньги, то нужно/правильно использовать ETL - DataStage или Informatica.
Оптимизация Оракла - отдельная задача, но решаемая, там есть встроенный генератор отчетов AWR, где говорится какие запросы жрут диск или ЦПУ.
8ядер и 32гб - ни о чем. У меня в домашнем компе 12 ядер-24 потока и 32 гб памяти. AMD 3900x -$400, RAM- $110.
Хотите нормальной Оракловой производительности - не жалейте памяти и ЦПУ. И смотрите отчеты AWR.

[DropAndDrag]

Я последний кто хочет чтобы МФ был выброшен в организации где я проработал 20 лет мэйнфрэймщиком, и никто бы меня не осудил если бы я вообще отказался участвовать как в OTG, так и в GG..

Какой-то махровый социализм - я хочу, я не хочу.
напоминает, как в россии жена умершего полковника не состоянии платить за квартиру и не хочет переезжать в меньшую, а только кричит - я жена полковника и идите все лесом!

[valchkou]

как то мигрировали оракл из приват ДС в амазон. Оказалось что не такое тривиальное дело и лицензия к тому же дороже.
Короче мы переписали все на кассандру с микро сервисами за 4 мес. Только на лицензии сэкономили 120к в год.
Сторед процедуры и скл ушли на яву.
Железо обошлось почти так же, с одним отличием - у кассандры 6 нод и high availability, а у оракла за те же бабки только одна гигантская VM.
Мигрировать с DB2 на Оракл считаю изначально было ошибкой. Но видимо бабло уже попилено. Жаль что меня к столу не пригласили

Насчет скалабилити, в отличие от приложений, базу так просто не проскалируешь вниз. Вверх да можно по надобности.
Но вниз, что за юзкейс такой? на своей практике не встречал

[Flash-04]

Плохо попилили. Могли бы и Oracle ZFS купить на ваших задачах, Влад, он бы 90% времени простаивал бы

[iDesperado]

Железо обошлось почти так же, с одним отличием - у кассандры 6 нод и high availability, а у оракла за те же бабки только одна гигантская VM.
Мигрировать с DB2 на Оракл считаю изначально было ошибкой. Но видимо бабло уже попилено. Жаль что меня к столу не пригласили

у оракла за те бабки в первую очередь acid и консистентное чтение. плюс гарантия что завтра, если что-то появится это что-то просто добавят в табличку и приджойнят. у noslq в этом плане все несколько сложнее.
оракл уже начинает уходить в легаси, но сдает позиции снизу, где з 4 месяца переписать что-то можно.

[valchkou]

Железо обошлось почти так же, с одним отличием - у кассандры 6 нод и high availability, а у оракла за те же бабки только одна гигантская VM.
Мигрировать с DB2 на Оракл считаю изначально было ошибкой. Но видимо бабло уже попилено. Жаль что меня к столу не пригласили

у оракла за те бабки в первую очередь acid и консистентное чтение. плюс гарантия что завтра, если что-то появится это что-то просто добавят в табличку и приджойнят. у noslq в этом плане все несколько сложнее.
оракл уже начинает уходить в легаси, но сдает позиции снизу, где з 4 месяца переписать что-то можно.

конечно речь тут совсем не о том что все нужно на кассандру или типа того переводить. Но оракл был явно оверкил под ту группу задач.
Кроме того разработчики заюзали какуюто фитчу в своих плскл, которая только с интерпрайз лицензией доступна.
в кассандре тоже можно сделать консистентное чтение задать CONSYSTENCY_LEVEL: ALL и пока все копии не запишутся, чтение их не увидит.
вот джойнить действительно проблематично.
У нас было конретное требование - zero down time.
Да с ораклом еще одна засада была, тестовые енв, лицензия на них такая же была, ну или близко по цене.
Кассандра бесплатно и к тому же динамически можно поднимать и убивать VM запросто для экономии средств. С ораклом не скажу, не знаю как у них там решается.
короче за два года как вышли в продакшн, никто к базе не приближался, один раз проапгрейдили с версии 2 до 3 и то на живую, zero down time.

[iDesperado]

в кассандре тоже можно сделать консистентное чтение задать CONSYSTENCY_LEVEL: ALL и пока все копии не запишутся, чтение их не увидит.

этого мало. оракл, за счет UNDO структуры, выдает согласованный набор на момент старта запроса (транзакции) и это гарантируется и на RAC кластере. а касандра на сколько помню просто выдает все, что закоммитилось. т.е. если писатель изменил запись и запись переехала из одной партиции в другую то соседний читатель запросто может получить эту запись дважды. в варианте до изменения и после.

У нас было конретное требование - zero down time.
Да с ораклом еще одна засада была, тестовые енв, лицензия на них такая же была, ну или близко по цене.

ну в кровавом ентерпрайзе все таки не один узел обычно, хотя бы standby настраивают и на простаивающем standby узле всякие dev/test
но это конечно не то что можно с бесплатным софтом вытворять, когда мы на каждый интегрейшен тест целый хадуп в докере поднимаем. интересно что это почти ничего не стоит по сравнению с "embedded" mariadb.

[Dmitry67]

Все таки у MS SQL хорошо сделано, что в dev edition все фичи доступны, а не как в оракле

[iDesperado]

Все таки у MS SQL хорошо сделано, что в dev edition все фичи доступны, а не как в оракле

а что это меняет, если dev edition для персонального пользования ? dev/uat среда то обычно где-то на шаред сервере и в пайплайнах jenkins и gitlab.

[Dmitry67]

Все таки у MS SQL хорошо сделано, что в dev edition все фичи доступны, а не как в оракле

а что это меняет, если dev edition для персонального пользования ? dev/uat среда то обычно где-то на шаред сервере и в пайплайнах jenkins и gitlab.

Я про фразу:

Да с ораклом еще одна засада была, тестовые енв, лицензия на них такая же была, ну или близко по цене.

Дев всегда можно и нужно толковать расширительно
Не PROD? Не Client facing? Идет отладка? Значит DEV

[deev_a_v]

Все таки у MS SQL хорошо сделано, что в dev edition все фичи доступны, а не как в оракле

а что это меняет, если dev edition для персонального пользования ?

Неверно.

Microsoft allows you to run any nonproduction workloads under Developer Edition, which is free, as long as your workloads aren't running production. This includes testing, training and user acceptance training.

[zVlad]

Оракла пока конь не валялся. У Оракл ДБА (а их два на миграции задействовано, один на OTG, второй на GoldenGate) нет времени и он ждет курсов по GoldenGate и эксперта из Оракл в помощь. Реально будем начинать в середине декабря.

Давайте по теме скажу. ГолденГейт очень дорогой - Голден не зря в названии. Менеджера похоже получили откат от Оракла. Требуйте свою долю!
Для передачи данных массово люди пользуют sqlloader - он бесплатно идет в составе Оракл РДБМС. И работает он очень быстро.
Если есть деньги, то нужно/правильно использовать ETL - DataStage или Informatica.
Оптимизация Оракла - отдельная задача, но решаемая, там есть встроенный генератор отчетов AWR, где говорится какие запросы жрут диск или ЦПУ.
8ядер и 32гб - ни о чем. У меня в домашнем компе 12 ядер-24 потока и 32 гб памяти. AMD 3900x -$400, RAM- $110.
Хотите нормальной Оракловой производительности - не жалейте памяти и ЦПУ. И смотрите отчеты AWR.

Работа с GoldenGate началась. GG работает иначе чем OTG и быстрее. GG больше жрет ЦПУ мэйнфрэйма и пихает на ремоте сервер быстрее. Вообще эти два способа очень разные и эффект разный.

С Informatica мы работали когда это еще называлось иначе. Сейчас мы работаем с IBM InfoSphere Data Replication. Это лучше чем Informatica и лучше чем GG.
Оптимизация репликации в том смысле как оптимизация произвольных запросов для бизнес логики не имеет смысла поскольку это тупое копирование изначально и потом передача изменений. Ничего больше. На этапе начальной загрузки на стороны исходника это тупой table scan, на таргет стороне чем меньше индексов тем лучше. В дальнейшем на таргет нужен лишь уникальный индекс, больше ничего. Памяти даже для репликации особо не нужнo.

[zVlad]

Данные переливались через 1Gb канал.

За условные 12 часов переливаются все 4ТБ в 4 ядра в виртуалке. Вопрос "как переливали" - остаётся открытым.
...

Ребята на днях переливали две таких таблицы одновременно. получилось 13 часов вместо 12.5. Переливали через Oracle Transparent Gateway.

[Flash-04]

не знаю чего народ на zVad так накинулся. У меня есть кое-какой опыт с Oracle, БД размером около терабайта вызвала нехилую головную боль у наших БД админов. Так оказалось что БД была в составе SIEM, что означало добавление сотен записей в секунду и выполнение постоянно нескольких десятков queries (alerts). В результате получилось, что БД перестала бекапится стандартными средствами Oracle. Бекап просто никогда не заканчивался! В итоге пришлось купить какую-то специализированную карту (непомню что за вендор был), которая позволяла как-то в обход стандартных средств делать с неё слепок. Сервер на котором все это "летало" был очень мощный - HP, что-то около полсотни коров, памяти от пуза, единственно, что диски были не SSD. Потом HP нафиг выкинул Oracle и поставил свой какой-то самопальный БД движок. Проблема ушла