Мы уходим с майнфрайм.

[Flash-04]

Смотрите, в наше время инклюзивности припомнят вам про индусов
Если серьезно, я в свое время был в офисе ArcSight и состав был там очень белый. Даже русские были.
Короче, рассказывайте сказки про быстрый Оракл который никто не видел кроме вас


<<таблицы обвешивать FK, джоинами>> и что потом с этой свалкой данных делать, в которой поиск нельзя делать? Ну это риторический вопрос.

<<миллионы tps>> это чё за единицы? Записи, элементарные IOPs или ещё чего? Вы вспомните в каких единицах измерялись диски ещё 5 лет назад. Там миллионами мягко говоря не пахло. Но Оракл у вас оказывается на ноутбуке работает быстрее чем hdd пишет. Супер! Ещё какие сказочки на ночь будут?

[Dmitry67]

Непонятно и про бэкапы в оракле
В сиквеле бэкап ничего не останавливает и не требует consistency. Как записалась так записалось.

Consistency востанавливается во время restore в самом конце, когда делается redo/undo

[mskmel]

Oracle, БД размером около терабайта ... добавление сотен записей в секунду и выполнение постоянно нескольких десятков queries (alerts).

Предположу сценарий при котором это всё тормозило - добавлять BLOBs больше размера блока. Оракл, хоть и лучше стал, но по прежнему БЛОБы не самый быстрый тип данных.

Вообще писать логи в Оракл это какое-то помешательство , есть масса более дешевых и эффективных решений.

Или диски были ну очень тормозные. В дикой природе заказчики иногда такоооое городят.

В результате получилось, что БД перестала бекапится стандартными средствами Oracle. Бекап просто никогда не заканчивался!

Бэкапить standby? Делать BCV?
Первый раз БД с которой работал и она перешагнула 10ТБ была в далёком 2004м... Проблем с незаканчивающимся бэкапом по причине самого Оракла не припомню.

В сиквеле бэкап ничего не останавливает

Оракле тоже пишет в датафайлы в режиме горячего бэкапа.

[mskmel]

Записи, элементарные IOPs или ещё чего? Вы вспомните в каких единицах измерялись диски ещё 5 лет назад. Там миллионами мягко говоря не пахло. Но Оракл у вас оказывается на ноутбуке работает быстрее чем hdd пишет. Супер! Ещё какие сказочки на ночь будут?

10 лет назад мигрировал на VMAX 40k, там уже были SSD. Может не миллионы IOPS, но железка тогда поразила своей скоростью после DMX
Так что 5 лет назад миллион в мидрейнже вполне реален, не помню когда XtremIO EMC купила, но точно больше 5 лет назад.

[mskmel]

Может кто-нибудь знает как управлять значением лимита по CPU time устанавливаемого когда задачи запускаются из ggsci.

Какую проблему решить пытаетесь? Что заставляет лимитировать CPU Time? Какой ОС?

[Flash-04]

Записи, элементарные IOPs или ещё чего? Вы вспомните в каких единицах измерялись диски ещё 5 лет назад. Там миллионами мягко говоря не пахло. Но Оракл у вас оказывается на ноутбуке работает быстрее чем hdd пишет. Супер! Ещё какие сказочки на ночь будут?

10 лет назад мигрировал на VMAX 40k, там уже были SSD. Может не миллионы IOPS, но железка тогда поразила своей скоростью после DMX
Так что 5 лет назад миллион в мидрейнже вполне реален, не помню когда XtremIO EMC купила, но точно больше 5 лет назад.

У нас в конторе EMC стоят. Стандарт был RAID5, кстати big nono для таких систем с большим потоком записи. С тех пор много воды утекло, уже стоят SSD и RAID 6.

Кстати помню ещё как говорили с "владельцами" стореджа и что мама, то есть vendor, строго настрого запретил использовать RAID 5, на что получили ответ, что для нас никто стандарты менять не будет

[zVlad]

Может кто-нибудь знает как управлять значением лимита по CPU time устанавливаемого когда задачи запускаются из ggsci.

Какую проблему решить пытаетесь? Что заставляет лимитировать CPU Time? Какой ОС?

Из непрочитанного: "Оно (ggsci) устанавливает 15 минут и задачи абэндятся по времени CPU. Native запуск (из командной строки) берет время от системы и управляется просто. Это функция setrlimit(). В документации найти не удалось.".

ОСь тут не причем. Вы ее все равно не знаете.

[mskmel]

Из непрочитанного: "Оно (ggsci) устанавливает 15 минут и задачи абэндятся по времени CPU. Native запуск (из командной строки) берет время от системы и управляется просто. Это функция setrlimit(). В документации найти не удалось.".

ulimit это установка лимитов пользователя под которым исполняется GG. По идее админ должен знать как это поменять. Как в Вашей ОС - Вам лучше знать.

[mskmel]

У нас в конторе EMC стоят. Стандарт был RAID5, кстати big nono для таких систем с большим потоком записи. С тех пор много воды утекло, уже стоят SSD и RAID 6.
Кстати помню ещё как говорили с "владельцами" стореджа и что мама, то есть vendor, строго настрого запретил использовать RAID 5, на что получили ответ, что для нас никто стандарты менять не будет

Потому что гладиолус. Создаётся одна большая raid group для десятков потребителей, и потом от них отрезаются LUN каждому по потребностям. На 1ТБ, с точки зрения владельцев хранилки, создавать свою raidgroup с хитрым уровнем рейда - нет смысла, действительно будет хуже, т.к. дисков там будет до десятка. Достаточный уровень внимания получается получить когда несколько VMAX 40k на одну задачу, но это совсем не на маленькую 1ТБ БД.

Сравнивать опыт 5+ лет назад с тем, что есть сейчас - неблагодарное занятие. И железо убежало вперёд, когда 0.1-0.5мсек IO service time не чудо, и Оракл во многих местах стал работать пооптимальнее.

[Flash-04]

Так то оно так, а Oracle сильно ускорился с тех времен? Обычно продукты тяжелеют со временем

[iDesperado]

Смотрите, в наше время инклюзивности припомнят вам про индусов
Если серьезно, я в свое время был в офисе ArcSight и состав был там очень белый. Даже русские были.
Короче, рассказывайте сказки про быстрый Оракл который никто не видел кроме вас

дело то не в том, что вы или я на привете сочиняем, важно на чем серьезные проекты работают. вы нам рассказываете, что белые ребята тормозную хрень наколхозили, тогда как рядом всякие NYSE или london stock exchange террабайты в день записывают в оракл. причем Лондон на оракл мигрировал не так давно, именно потому, что оракл самый быстрый.

<<миллионы tps>> это чё за единицы? Записи, элементарные IOPs или ещё чего? Вы вспомните в каких единицах измерялись диски ещё 5 лет назад. Там миллионами мягко говоря не пахло. Но Оракл у вас оказывается на ноутбуке работает быстрее чем hdd пишет. Супер! Ещё какие сказочки на ночь будут?

transactions per second, вот tpc-c тест 2012 года 5M транзакций в минуту на 80 ядрах (не секунду, но не суть. там транзакция это сотни строк и с делитами, и с апдейтами )
http://www.tpc.org/tpcc/results/tpcc_re ... =112032701

по факту в прямых руках, на олной машинке оракл может и обогнать многие noSQL за счет многоблочной записи. оракл за одну IO операцию сториджа может записать 128 оракловых блока, это 1Мб при 8к оракловом блоке. помню у инсерта еще был хинт /*+ APPEND */, который гарантировал, что писать будет пытаться четко в конец таблицы, давая больше шансов многоблочной записи. но понятно что индусы с барахолки принесут hdd, обвешают талицу FK и индеками и никакой многоблочной записи не будет. будет один блок от инсерт, смещение головки hdd - проверки referential integrity, добавление индекса и завного ... т.е. на 2 порядка более медленный поблочный долбежь.

[zVlad]

Из непрочитанного: "Оно (ggsci) устанавливает 15 минут и задачи абэндятся по времени CPU. Native запуск (из командной строки) берет время от системы и управляется просто. Это функция setrlimit(). В документации найти не удалось.".

ulimit это установка лимитов пользователя под которым исполняется GG. По идее админ должен знать как это поменять. Как в Вашей ОС - Вам лучше знать.

До входа в ggsci моя сессия имеет неограниченное время ЦПУ:


$ ulimit -a
core file 8192b
cpu time unlimited
.......

Запущенные в ggsci таски(manager, extract, pump) выполняются с ограничением 15 минут.

Приходится запускать их из командной строки. Вопрос остается не отвеченным. Но за попытку все равно спасибо.

Наткнулся с Ваший подачи на вот эту статью:

https://www.networkworld.com/article/26 ... limit.html

По началу очень напоминает роман Жюля Верна "Таинственный остров".

[mskmel]

Так то оно так, а Oracle сильно ускорился с тех времен? Обычно продукты тяжелеют со временем

Те же БЛОБы планомерно перепилили на SecureFiles.
RAC на Экзадате заметно быстрее стал, не только потому что железки быстрее, но и за счёт новых механизмов.
Оптимизатор и само исполнение execution plan стали умнее.
У них выбора нет кроме как тюнить. Сейчас сильно продвигается Multi-Tenant, в т.ч. в их Клауде, а это не средняя мелкая базулька среднего клиента в одном инстансе часто надо одной VM, а сразу пучок PDB.

Тут в топике про GG zVlad спрашивает, так 11 и 19 GG вообще небо и земля.

Идея гонять Оракл на Azure VM мне не понятна, т.к. много датацентров Оракла рядом с Азур и имеют приличные линки между друг-другом.

[mskmel]

Запущенные в ggsci таски(manager, extract, pump) выполняются с ограничением 15 минут.

Приходится запускать их из командной строки. Вопрос остается не отвеченным. Но за попытку все равно спасибо.

Интересное поведение Что в ggserr.log?

1. Что-то типа `strace -f` есть? Это если интересно покопать самому. В Linux\AIX\Solaris создаваемые процессы наследуют ulimit. На ГГ процессы ставить ulimit это... не дальновидно.
2. Открыть SR. Лицензии у вас вроде нет, но вдруг помогут? Не помогут - обратиться к account manager.

[zVlad]

.....
Тут в топике про GG zVlad спрашивает, так 11 и 19 GG вообще небо и земля.

Идея гонять Оракл на Azure VM мне не понятна, т.к. много датацентров Оракла рядом с Азур и имеют приличные линки между друг-другом.

Только GG 11 официально поддерживает хашу старую DB2 v9.1. Я на днях копался в Оракловском download и не нашел ничего для DB2 for zOS младше 11 версии кроме туманных слов о достовании DB2 for zOS с Linux, что вообщем то было бы интересно, но вся эта история все таки не мой стакан чая, и совсем не так интересно.

Насчет датацентров рядом друг с другом. Ну кто ж откажется от бабла?