Мы уходим с майнфрайм.

[Flash-04]

Смотрите, в наше время инклюзивности припомнят вам про индусов
Если серьезно, я в свое время был в офисе ArcSight и состав был там очень белый. Даже русские были.
Короче, рассказывайте сказки про быстрый Оракл который никто не видел кроме вас


<<таблицы обвешивать FK, джоинами>> и что потом с этой свалкой данных делать, в которой поиск нельзя делать? Ну это риторический вопрос.

<<миллионы tps>> это чё за единицы? Записи, элементарные IOPs или ещё чего? Вы вспомните в каких единицах измерялись диски ещё 5 лет назад. Там миллионами мягко говоря не пахло. Но Оракл у вас оказывается на ноутбуке работает быстрее чем hdd пишет. Супер! Ещё какие сказочки на ночь будут?

[Dmitry67]

Непонятно и про бэкапы в оракле
В сиквеле бэкап ничего не останавливает и не требует consistency. Как записалась так записалось.

Consistency востанавливается во время restore в самом конце, когда делается redo/undo

[mskmel]

Oracle, БД размером около терабайта ... добавление сотен записей в секунду и выполнение постоянно нескольких десятков queries (alerts).

Предположу сценарий при котором это всё тормозило - добавлять BLOBs больше размера блока. Оракл, хоть и лучше стал, но по прежнему БЛОБы не самый быстрый тип данных.

Вообще писать логи в Оракл это какое-то помешательство , есть масса более дешевых и эффективных решений.

Или диски были ну очень тормозные. В дикой природе заказчики иногда такоооое городят.

В результате получилось, что БД перестала бекапится стандартными средствами Oracle. Бекап просто никогда не заканчивался!

Бэкапить standby? Делать BCV?
Первый раз БД с которой работал и она перешагнула 10ТБ была в далёком 2004м... Проблем с незаканчивающимся бэкапом по причине самого Оракла не припомню.

В сиквеле бэкап ничего не останавливает

Оракле тоже пишет в датафайлы в режиме горячего бэкапа.

[mskmel]

Записи, элементарные IOPs или ещё чего? Вы вспомните в каких единицах измерялись диски ещё 5 лет назад. Там миллионами мягко говоря не пахло. Но Оракл у вас оказывается на ноутбуке работает быстрее чем hdd пишет. Супер! Ещё какие сказочки на ночь будут?

10 лет назад мигрировал на VMAX 40k, там уже были SSD. Может не миллионы IOPS, но железка тогда поразила своей скоростью после DMX
Так что 5 лет назад миллион в мидрейнже вполне реален, не помню когда XtremIO EMC купила, но точно больше 5 лет назад.

[mskmel]

Может кто-нибудь знает как управлять значением лимита по CPU time устанавливаемого когда задачи запускаются из ggsci.

Какую проблему решить пытаетесь? Что заставляет лимитировать CPU Time? Какой ОС?

[Flash-04]

Записи, элементарные IOPs или ещё чего? Вы вспомните в каких единицах измерялись диски ещё 5 лет назад. Там миллионами мягко говоря не пахло. Но Оракл у вас оказывается на ноутбуке работает быстрее чем hdd пишет. Супер! Ещё какие сказочки на ночь будут?

10 лет назад мигрировал на VMAX 40k, там уже были SSD. Может не миллионы IOPS, но железка тогда поразила своей скоростью после DMX
Так что 5 лет назад миллион в мидрейнже вполне реален, не помню когда XtremIO EMC купила, но точно больше 5 лет назад.

У нас в конторе EMC стоят. Стандарт был RAID5, кстати big nono для таких систем с большим потоком записи. С тех пор много воды утекло, уже стоят SSD и RAID 6.

Кстати помню ещё как говорили с "владельцами" стореджа и что мама, то есть vendor, строго настрого запретил использовать RAID 5, на что получили ответ, что для нас никто стандарты менять не будет

[zVlad]

Может кто-нибудь знает как управлять значением лимита по CPU time устанавливаемого когда задачи запускаются из ggsci.

Какую проблему решить пытаетесь? Что заставляет лимитировать CPU Time? Какой ОС?

Из непрочитанного: "Оно (ggsci) устанавливает 15 минут и задачи абэндятся по времени CPU. Native запуск (из командной строки) берет время от системы и управляется просто. Это функция setrlimit(). В документации найти не удалось.".

ОСь тут не причем. Вы ее все равно не знаете.

[mskmel]

Из непрочитанного: "Оно (ggsci) устанавливает 15 минут и задачи абэндятся по времени CPU. Native запуск (из командной строки) берет время от системы и управляется просто. Это функция setrlimit(). В документации найти не удалось.".

ulimit это установка лимитов пользователя под которым исполняется GG. По идее админ должен знать как это поменять. Как в Вашей ОС - Вам лучше знать.

[mskmel]

У нас в конторе EMC стоят. Стандарт был RAID5, кстати big nono для таких систем с большим потоком записи. С тех пор много воды утекло, уже стоят SSD и RAID 6.
Кстати помню ещё как говорили с "владельцами" стореджа и что мама, то есть vendor, строго настрого запретил использовать RAID 5, на что получили ответ, что для нас никто стандарты менять не будет

Потому что гладиолус. Создаётся одна большая raid group для десятков потребителей, и потом от них отрезаются LUN каждому по потребностям. На 1ТБ, с точки зрения владельцев хранилки, создавать свою raidgroup с хитрым уровнем рейда - нет смысла, действительно будет хуже, т.к. дисков там будет до десятка. Достаточный уровень внимания получается получить когда несколько VMAX 40k на одну задачу, но это совсем не на маленькую 1ТБ БД.

Сравнивать опыт 5+ лет назад с тем, что есть сейчас - неблагодарное занятие. И железо убежало вперёд, когда 0.1-0.5мсек IO service time не чудо, и Оракл во многих местах стал работать пооптимальнее.

[Flash-04]

Так то оно так, а Oracle сильно ускорился с тех времен? Обычно продукты тяжелеют со временем

[iDesperado]

Смотрите, в наше время инклюзивности припомнят вам про индусов
Если серьезно, я в свое время был в офисе ArcSight и состав был там очень белый. Даже русские были.
Короче, рассказывайте сказки про быстрый Оракл который никто не видел кроме вас

дело то не в том, что вы или я на привете сочиняем, важно на чем серьезные проекты работают. вы нам рассказываете, что белые ребята тормозную хрень наколхозили, тогда как рядом всякие NYSE или london stock exchange террабайты в день записывают в оракл. причем Лондон на оракл мигрировал не так давно, именно потому, что оракл самый быстрый.

<<миллионы tps>> это чё за единицы? Записи, элементарные IOPs или ещё чего? Вы вспомните в каких единицах измерялись диски ещё 5 лет назад. Там миллионами мягко говоря не пахло. Но Оракл у вас оказывается на ноутбуке работает быстрее чем hdd пишет. Супер! Ещё какие сказочки на ночь будут?

transactions per second, вот tpc-c тест 2012 года 5M транзакций в минуту на 80 ядрах (не секунду, но не суть. там транзакция это сотни строк и с делитами, и с апдейтами )
http://www.tpc.org/tpcc/results/tpcc_re ... =112032701

по факту в прямых руках, на олной машинке оракл может и обогнать многие noSQL за счет многоблочной записи. оракл за одну IO операцию сториджа может записать 128 оракловых блока, это 1Мб при 8к оракловом блоке. помню у инсерта еще был хинт /*+ APPEND */, который гарантировал, что писать будет пытаться четко в конец таблицы, давая больше шансов многоблочной записи. но понятно что индусы с барахолки принесут hdd, обвешают талицу FK и индеками и никакой многоблочной записи не будет. будет один блок от инсерт, смещение головки hdd - проверки referential integrity, добавление индекса и завного ... т.е. на 2 порядка более медленный поблочный долбежь.

[zVlad]

Из непрочитанного: "Оно (ggsci) устанавливает 15 минут и задачи абэндятся по времени CPU. Native запуск (из командной строки) берет время от системы и управляется просто. Это функция setrlimit(). В документации найти не удалось.".

ulimit это установка лимитов пользователя под которым исполняется GG. По идее админ должен знать как это поменять. Как в Вашей ОС - Вам лучше знать.

До входа в ggsci моя сессия имеет неограниченное время ЦПУ:


$ ulimit -a
core file 8192b
cpu time unlimited
.......

Запущенные в ggsci таски(manager, extract, pump) выполняются с ограничением 15 минут.

Приходится запускать их из командной строки. Вопрос остается не отвеченным. Но за попытку все равно спасибо.

Наткнулся с Ваший подачи на вот эту статью:

https://www.networkworld.com/article/26 ... limit.html

По началу очень напоминает роман Жюля Верна "Таинственный остров".

[mskmel]

Так то оно так, а Oracle сильно ускорился с тех времен? Обычно продукты тяжелеют со временем

Те же БЛОБы планомерно перепилили на SecureFiles.
RAC на Экзадате заметно быстрее стал, не только потому что железки быстрее, но и за счёт новых механизмов.
Оптимизатор и само исполнение execution plan стали умнее.
У них выбора нет кроме как тюнить. Сейчас сильно продвигается Multi-Tenant, в т.ч. в их Клауде, а это не средняя мелкая базулька среднего клиента в одном инстансе часто надо одной VM, а сразу пучок PDB.

Тут в топике про GG zVlad спрашивает, так 11 и 19 GG вообще небо и земля.

Идея гонять Оракл на Azure VM мне не понятна, т.к. много датацентров Оракла рядом с Азур и имеют приличные линки между друг-другом.

[mskmel]

Запущенные в ggsci таски(manager, extract, pump) выполняются с ограничением 15 минут.

Приходится запускать их из командной строки. Вопрос остается не отвеченным. Но за попытку все равно спасибо.

Интересное поведение Что в ggserr.log?

1. Что-то типа `strace -f` есть? Это если интересно покопать самому. В Linux\AIX\Solaris создаваемые процессы наследуют ulimit. На ГГ процессы ставить ulimit это... не дальновидно.
2. Открыть SR. Лицензии у вас вроде нет, но вдруг помогут? Не помогут - обратиться к account manager.

[zVlad]

.....
Тут в топике про GG zVlad спрашивает, так 11 и 19 GG вообще небо и земля.

Идея гонять Оракл на Azure VM мне не понятна, т.к. много датацентров Оракла рядом с Азур и имеют приличные линки между друг-другом.

Только GG 11 официально поддерживает хашу старую DB2 v9.1. Я на днях копался в Оракловском download и не нашел ничего для DB2 for zOS младше 11 версии кроме туманных слов о достовании DB2 for zOS с Linux, что вообщем то было бы интересно, но вся эта история все таки не мой стакан чая, и совсем не так интересно.

Насчет датацентров рядом друг с другом. Ну кто ж откажется от бабла?

[Flash-04]

transactions per second, вот tpc-c тест 2012 года 5M транзакций в минуту на 80 ядрах (не секунду, но не суть. там транзакция это сотни строк и с делитами, и с апдейтами )
http://www.tpc.org/tpcc/results/tpcc_re ... =112032701

спасибо, посмотрел. Сразу глянул что это некий Sun Server стоимостью... $4 миллиона! Короче, все что вы говорите по поводу производительности, относится к очень дорогому железу и очень жирным клиентам. Контора в которой я работаю, отчитывается о более чем миллиардной прибыли в квартал, но в свое время не дала полмиллиона на апгрейд стореджа SSD. Потому я даже не знаю, насколько мал % клиентов, которые реально готовы раскошелится. Биржа - это хороший пример, но позвольте, ведь это по факту денежный принтер. Конторы, которые реально считают деньги, столько не платят. Я это из первых рук знаю, так как вижу бюджеты проектов в которых участвую.

P. S. А можно такой же хороший тест, но на лептопе? Мне тут на лептопе хороший перфоманс обещали

[zVlad]

Запущенные в ggsci таски(manager, extract, pump) выполняются с ограничением 15 минут.

Приходится запускать их из командной строки. Вопрос остается не отвеченным. Но за попытку все равно спасибо.

Интересное поведение Что в ggserr.log?

1. Что-то типа `strace -f` есть? Это если интересно покопать самому. В Linux\AIX\Solaris создаваемые процессы наследуют ulimit. На ГГ процессы ставить ulimit это... не дальновидно.
2. Открыть SR. Лицензии у вас вроде нет, но вдруг помогут? Не помогут - обратиться к account manager.

Ничего в ggserr.log нет, это было в репорте задачи и это был сигнал по времени ЦПУ за которорым шел абэнд.В принципе я нашел как это обойти. Действительно странно ограничивать задачи выполняемые по событиям которые надо обрабатывать постоянно.
В моем Unix-e процессы тоже наследуют ulimit, но не через ggsci.

[mskmel]

Сразу глянул что это некий Sun Server стоимостью... $4 миллиона! Короче, все что вы говорите по поводу производительности, относится к очень дорогому железу и очень жирным клиентам.

Так это был 2012ый год. Сейчас стоимость all flash SAN storage $1-$3\GB, принимая во внимание, что они поддерживают inline compression and de-deplication это не дорого.

[iDesperado]

спасибо, посмотрел. Сразу глянул что это некий Sun Server стоимостью... $4 миллиона! Короче, все что вы говорите по поводу производительности, относится к очень дорогому железу и очень жирным клиентам. Контора в которой я работаю, отчитывается о более чем миллиардной прибыли в квартал, но в свое время не дала полмиллиона на апгрейд стореджа SSD. Потому я даже не знаю, насколько мал % клиентов, которые реально готовы раскошелится. Биржа - это хороший пример, но позвольте, ведь это по факту денежный принтер. Конторы, которые реально считают деньги, столько не платят. Я это из первых рук знаю, так как вижу бюджеты проектов в которых участвую.

по ссылке интел сервер за $400к, сторидж да, $3.3 млн с 1.6 тысячами ssd. остальное софт.
и вот это из 2012 года прожевыет миллионы транзакций в минуту, а ваш ArcSight, о каком потоке событий идет речь ? 0.002%, 0.003% от этих 5М миллиона полновесных транзакци tpc-c ?
я сослался на tpc-c что бы указать, что люди с руками на оракле миллионы полновесных транзакций просовывали много, много лет назад. у вас же в ArcSight не tpc-c транзакции, а просто инсерты аппендом. нет делитов, нет апдейтов и блин, их же три штучки за день. поверьте, такой задачи не потребуется сторидж с 1.6 тысячами ssd за $3.3 млн.

[Flash-04]

Мне уже ничего проверять не надо слава Богу. ArcSight - RIP

[iDesperado]

Непонятно и про бэкапы в оракле
В сиквеле бэкап ничего не останавливает и не требует consistency. Как записалась так записалось.

Consistency востанавливается во время restore в самом конце, когда делается redo/undo

а, ну там было 2 варианта, один user managed, который у меня отложился в памяти и который останавливал запись в датафайлы. второй вариант, с rman, обходится без остановки

When performing a user-managed online backup, you must place your datafiles into backup mode with the ALTER DATABASE or ALTER TABLESPACE statement with the BEGIN BACKUP clause. When a tablespace is in backup mode, the database writes the before image for an entire block to the redo stream before modifying a block. The database also records changes to the block in the online redo log. Backup mode also freezes the datafile checkpoint until the file is removed from backup mode. Oracle Database performs this safeguard because it cannot guarantee that a third-party backup tool will copy the file header before copying the data blocks.

Unlike user-managed tools, RMAN does not require extra logging or backup mode because it knows the format of data blocks. RMAN is guaranteed not to back up fractured blocks. During an RMAN backup, a database server session reads each data block and checks whether it is fractured by comparing the block header and footer. If a block is fractured, then the session rereads the block. If the same fracture is found, then the block is considered permanently corrupt. Also, RMAN does not need to freeze the datafile header checkpoint because it knows the order in which the blocks are read, which enables it to capture a known good checkpoint for the file.

[starkiller]

Вопрос дилетанта... А почему у вас Оракл в Azure? У них ведь вроде есть свой клауд (OCI?), который теоретически соптимизирован под их же БД. Или с Оракл клауд есть какие-то known issues?

[Oleg Co]

Контора в которой я работаю, отчитывается о более чем миллиардной прибыли в квартал, но в свое время не дала полмиллиона на апгрейд стореджа SSD.

А вы думали почему у компании прибыль есть? Там полмиллиона сэкономили, там миллион - вот миллиард и получился.

Я в другой отрасли, где деньги щедро льются от правительства. Но немного сталкивался с промышленностью. Гигант из Dow Jones за "копейки" удавиться готов.

[zVlad]

Вопрос дилетанта... А почему у вас Оракл в Azure? У них ведь вроде есть свой клауд (OCI?), который теоретически соптимизирован под их же БД. Или с Оракл клауд есть какие-то known issues?

Потому что CIOs (их много) клиента решали задачу ликвидации собственных Data Centres (клиент имеет достаточно своих помещений чтобы сдавать их под дата центры, но почему то это оказалось "проблемой"). Вот их и погнало в облако Microsoft. Немэйнфэймовскую часть давно уходыта с Oracle на MS SQL, a Unix в Linux. МФ-ская часть оказалось что может быть только на Oracle - так вендор мудро решил. Вот и получилось Oracle на Linux в Azure.
Я с нетерпений жду и всячески способствую этому переходу - хочу посмотреть во что это выльется во всех смыслах: деньги, оо которых правда враыд ли что-нибудь изнают, ТТХ платформы/инфраструктуры в Azure на которой они смогут обеспечить клиенту то что до сих пор обеспечивалось на МФ. Ожидаю это будет очень познавательно в плане сравнения МФ и не-МФ. Причем комплексного сравнениюа и по железу и по софту. База - данные пользователя, бизнес логика, их фукционалы, и обьемы работ будут более-менее одинаковыми. Изменится только инфраструктура IT. Это будет очень интересно. Важное что я буду в курсе всей инфраструктуры в Azure.

[alex_127]

да потому, что это детский сад.

тут везде детский сад. в вашем посте тоже. но я не претендую на истину - моя задача решать проблемы.