New z14 mainfraime family.

User avatar
Dmitry67
Уже с Приветом
Posts: 28294
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: New z14 mainfraime family.

Post by Dmitry67 »

zVlad wrote: 29 Sep 2017 13:09 I/O - это главный киллер response time. Во всех применениях БД для OLTP (строго говоря, и это видимоо ввело некоторых в заблуждение, наше ERP приложение не чисто OLTP, который имеет дело с очень короткими транзакциями согласно теории. У нас весьма широкий спектр транзакций используется, есьть и такие что их можно смело отнести к OLAP) делаются попытки как можно больше данных поместить в память и мксимально сократить I/O. Мы не исключение.
Ну так поставьте несчастный тарабайт оперативки и забудьте про эту проблему, не выдержал я.
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
zVlad
Уже с Приветом
Posts: 15311
Joined: 30 Apr 2003 16:43

Re: New z14 mainfraime family.

Post by zVlad »

Dmitry67 wrote: 29 Sep 2017 13:47
zVlad wrote: 29 Sep 2017 13:09 I/O - это главный киллер response time. Во всех применениях БД для OLTP (строго говоря, и это видимоо ввело некоторых в заблуждение, наше ERP приложение не чисто OLTP, который имеет дело с очень короткими транзакциями согласно теории. У нас весьма широкий спектр транзакций используется, есьть и такие что их можно смело отнести к OLAP) делаются попытки как можно больше данных поместить в память и мксимально сократить I/O. Мы не исключение.
Ну так поставьте несчастный тарабайт оперативки и забудьте про эту проблему, не выдержал я.
Дима, какие проблемы? Нет у меня никаких проблем. SLA выполняется строго, пользователь доволен. Зачем мне терабайт памяти?
zVlad
Уже с Приветом
Posts: 15311
Joined: 30 Apr 2003 16:43

Re: New z14 mainfraime family.

Post by zVlad »

mskmel wrote: 28 Sep 2017 20:55 ...

Возьмем 1ТБ таблицу для экспериментов.

Code: Select all

SQL>select sum(bytes)/1024/1024 from dba_segments where owner='XX' and segment_name='YYYY';
        GB
----------
1115.62714
И прочитаем весь 1ТБ.

Code: Select all

SQL>select /*+ full(a) parallel(a,64) */ count(*) from XX.YYYY a;
  COUNT(*)
----------
5,XXX,XXX,XXX

Elapsed: 00:00:07.46
...
146025908  physical reads
...
--149GBs
--19,574,518 reads\sec
А можно Вас попросить прогнать другой запрос? Не с count(*) v SELECT, а что нибудь чтобы обрабатывались данные в строкax, например, сложение числовых данных, или сложение по столбцам, ну или еще чего-нибудь такое на Ваше усмотрение. Вы меня поняли конечно.
Спасибо.
mskmel
Уже с Приветом
Posts: 946
Joined: 24 Sep 2013 05:58
Location: US\GA

Re: New z14 mainfraime family.

Post by mskmel »

zVlad wrote: 29 Sep 2017 14:05А можно Вас попросить прогнать другой запрос? Не с count(*) v SELECT, а что нибудь чтобы обрабатывались данные в строкax
В общем то и не ожидалось, что простые мат операции над данными - будут медленнее чтения этих данных с диска.

Code: Select all

SQL>select /*+ full(a) parallel(a,64) */ sum(F1-F2) as ddd from YYYY a ;

DDD
-------------------------
               8.12345E+17

1 row selected.

Elapsed: 00:00:07.96
zVlad
Уже с Приветом
Posts: 15311
Joined: 30 Apr 2003 16:43

Re: New z14 mainfraime family.

Post by zVlad »

mskmel wrote: 29 Sep 2017 14:19
zVlad wrote: 29 Sep 2017 14:05А можно Вас попросить прогнать другой запрос? Не с count(*) v SELECT, а что нибудь чтобы обрабатывались данные в строкax
В общем то и не ожидалось, что простые мат операции над данными - будут медленнее чтения этих данных с диска.

Code: Select all

SQL>select /*+ full(a) parallel(a,64) */ sum(F1-F2) as ddd from YYYY a ;

DDD
-------------------------
               8.12345E+17

1 row selected.

Elapsed: 00:00:07.96
Небольшой рост времени (совсем небольшой) просматривается. Я правильно понимаю что на Вашем сервере нет больше никаких других работ?

Ну, и почему ж Вы упорно не делитесь конфигурацией Вашего сервера? Что в этом страшного может быть? Тут все свои, все понимают.

Подтвердите (или опровергните) что Вы имеете локальные диски, да еще поди SSD да еще поди с кэшем. Infiniband Вы сами называли, но это локальный интерфэйс, а в реальной жизни что на МФ что на серверах других архитектур широко используют все таки SAN-ы, NAS-ы там разные и у них нет таких скоростных каналов как Infiniband. Это внешнее подключение дисков.

Для Вашего сведения, ни для чего больше, официально задокументированная сумарная пропускная способность ввода-вывода z13 составляет 832 GBs. Там еще звездочка стоит и в сноске написано: No server can fully exploit its maximum I/O bandwidth.

Такиe вот дела. Спасибо еще раз. Надеюсь мы закончили меряться и можем перейти к обсуждению более интересных вопросов. Например CPL, command ring's, GP.
mskmel
Уже с Приветом
Posts: 946
Joined: 24 Sep 2013 05:58
Location: US\GA

Re: New z14 mainfraime family.

Post by mskmel »

zVlad wrote: 29 Sep 2017 14:53Подтвердите (или опровергните) что Вы имеете локальные диски, да еще поди SSD да еще поди с кэшем.
Диски не локальные, они могут быть доступны нескольким серверам.
zVlad wrote: 29 Sep 2017 14:53Infiniband Вы сами называли, но это локальный интерфэйс, а в реальной жизни что на МФ что на серверах других архитектур широко используют все таки SAN-ы, NAS-ы там разные и у них нет таких скоростных каналов как Infiniband.
"Наши на луну высадились!"
2005ый год, IBM подключает диски для DB2 через IB switches http://www.tpc.org/tpch/results/tpch_re ... =105051901
zVlad wrote: 29 Sep 2017 14:53 Надеюсь мы закончили меряться и можем перейти к обсуждению более интересных вопросов. Например CPL, command ring's, GP.
OK
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: New z14 mainfraime family.

Post by iDesperado »

zVlad wrote: 29 Sep 2017 13:09 Ты уже второй раз в этой теме приводишь какие-то числа безотносительно того что обсуждается. Придется удовлетворить твое упорство.
Во-первых, не кеши, а пулы. Это называется в DB2 Buffer Pool, и я тебе уже несколько раз говорил об этом.
Тот, один из буферных пулов (BP1 по видимому), про который ты говоришь, стал с тех пор несколько больше.
во первых Buffer Pool это название конкретного кеша. во вторых я говорил именно о сумме всех Buffer Pools из этого поста viewtopic.php?p=5993902#p5993902
еще не давно у вас вся "ERP" умещалась в 3.3Gb кеша, теперь подросло до 12Gb, все равно меньше моего ноутбука. если база действительно размером с 1ТБ, это просто архивные данные, в которые никто никогда не заглядывает. на моем лаптопе с 16Gb RAM и я не вижу абсолютно никаких препятствий гонять такую ерп на лаптопе с которого пишу.
zVlad wrote: 29 Sep 2017 13:09

Code: Select all

                                               R M F   S U M M A R Y   R E P O R T

            z/OS  V1R13              SYSTEM ID ****             START 09/27/2017-07.00.00  INTERVAL 00.29.59
                                     RPT VERSION V1R13 RMF      END   09/27/2017-16.00.00  CYCLE 6.000 SECONDS

NUMBER OF INTERVALS 18            TOTAL LENGTH OF INTERVALS 08.59.50
DATE   TIME     INT   CPU   DASD  DASD   JOB   JOB   TSO   TSO   STC   STC  ASCH  ASCH  OMVS  OMVS SWAP DEMAND
MM/DD HH.MM.SS MM.SS  BUSY  RESP  RATE   MAX   AVE   MAX   AVE   MAX   AVE   MAX   AVE   MAX   AVE RATE PAGING
09/27 07.00.00 29.59  32.6   1.9 367.0     6     0     2     1   112   112     0     0     4     3 0.00  17.67
09/27 07.30.00 29.59  53.9   2.0 538.2     4     0     2     2   112   112     0     0     4     3 0.00   2.47
09/27 08.00.00 30.00  52.0   2.0 478.0     3     0     3     3   112   112     0     0     4     3 0.00   0.98
09/27 08.30.00 30.00  54.8   1.8 658.4     3     0     8     5   112   112     0     0     4     3 0.00   0.89
09/27 09.00.00 29.59  57.7   1.7 667.2     4     0     8     8   112   112     0     0     4     3 0.00   5.70
09/27 09.30.00 30.00  77.8   1.9 590.9     7     1    10     8   113   111     0     0     5     3 0.00   0.39
09/27 10.00.00 29.59  70.8   2.1 656.0     7     1    10     9   113   112     0     0     5     3 0.00   0.20
09/27 10.30.00 30.00  66.5   1.8 788.5     5     0    10     9   113   112     0     0     4     3 0.00  25.55
09/27 11.00.00 29.59  64.4   2.0 635.1     4     0    10     8   112   112     0     0     5     3 0.00   6.45
09/27 11.30.00 29.59  50.2   2.0 569.6     4     0    10     8   112   112     0     0     4     3 0.00   3.92
09/27 12.00.00 30.00  36.9   2.3 404.1     4     0    10     7   112   112     0     0     5     3 0.00   2.77
09/27 12.30.00 29.59  43.7   2.4 453.4     4     0     7     6   112   112     0     0     4     3 0.00   1.40
09/27 13.00.00 29.59  56.6   2.2 528.8     4     0     9     8   112   112     0     0     4     3 0.00   1.93
09/27 13.30.00 29.59  67.9   2.1 671.6     5     1    11     9   112   111     0     0     4     3 0.00   0.37
09/27 14.00.00 29.59  59.2   2.6 576.5     5     0    12     9   112   112     0     0     5     3 0.00  10.68
09/27 14.30.00 30.00  53.9   1.9 550.7     3     0     6     5   112   112     0     0     5     3 0.00   0.85
09/27 15.00.00 30.00  52.7   2.3 496.4     2     0     9     7   112   112     0     0     4     3 0.00   1.58
09/27 15.30.00 30.00  33.2   3.4 426.2     3     0    11     9   113   112     0     0     4     3 0.00   0.38
TOTAL/AVERAGE         54.7   2.1 558.7     7     0    12     7   113   112     0     0     5     3 0.00   4.68
DASD RATE The activity per second for all direct access storage devices included in the report. The value reported corresponds to an accumulation of each DEVICE ACTIVITY RATE field in the Direct Access Device Activity report.

https://www.ibm.com/support/knowledgece ... 500513.htm

как я понимаю это IOPs на весь майнфрейм, в пике 788.5 IOPs. мой SSD диск в лаптопе способен давать тысячи IOPs, т.е. ио система лаптопа справиться с задачей, памяти 16Gb в лаптопе хватает на эту задачу, 12Gb под кеш выделить можно легко. в лаптопе 4 ядра i5, тоже с головой хватит. ваша "ERP" лупит миллионами DML по данным лежащим в 12Gb Buffer Pool, до ио доходит лишь пара сотен IOPs. такая "ERP" игрушка даже для моего лаптопа, на моем десктопе 32Gb, на нем вообще такую "ERP" inmemory можно гонять.
zVlad
Уже с Приветом
Posts: 15311
Joined: 30 Apr 2003 16:43

Re: New z14 mainfraime family.

Post by zVlad »

mskmel wrote: 29 Sep 2017 16:06 .....
zVlad wrote: 29 Sep 2017 14:53Infiniband Вы сами называли, но это локальный интерфэйс, а в реальной жизни что на МФ что на серверах других архитектур широко используют все таки SAN-ы, NAS-ы там разные и у них нет таких скоростных каналов как Infiniband.
"Наши на луну высадились!"
2005ый год, IBM подключает диски для DB2 через IB switches http://www.tpc.org/tpch/results/tpch_re ... =105051901
Вы все таки продолжаете меряться, неуклюже правда как то, из Вашего линка:
System Configuration:

x346 servers, each server with:
Processor: 1 x 3.6GHz Intel Xeon with 2MB cache
on 1 processor, 1 core, 2 threads
Memory: Eight (8) 512MB PC-3200 ECC SDRAM RDIMMs
Cluster Interconnect: One Voltaire HCA400 Dual-Port InfiniBand Host Channel Adapter
Disk Controllers: One ServeRAID-7k Ultra320 SCSI controller
Disk Drives: Total Disk Storage:
Six (6) 73.4GB 15K Ultra 320 SCSI disk drives 26,249 GB
User avatar
flip_flop
Уже с Приветом
Posts: 4379
Joined: 20 Jun 2001 09:01

Re: New z14 mainfraime family.

Post by flip_flop »

zVlad wrote: 29 Sep 2017 14:53 Infiniband Вы сами называли, но это локальный интерфэйс
Не вступая в дискуссию.

Когда я начал интересоваться Infiniband, лет 15 назад, мне казалось что он с самого начала позиционировался как сетевой интерфейс, в то время он был типа PCIe over network. Среднее расстояние по меди и дальнее по оптоволокну. Он мог применяться и локально, внутри компьютера, но его главное назначение было с самого начала именно сетевое. Сейчас внутри компьютера не применяется. Широко применялся и применяется в суперкомпьютерах между кластерами. Как здесь показано, для сетевых баз данных тоже.

Влад, откуда мнение о локальности? Оно ошибочно.
zVlad
Уже с Приветом
Posts: 15311
Joined: 30 Apr 2003 16:43

Re: New z14 mainfraime family.

Post by zVlad »

iDesperado wrote: 29 Sep 2017 16:24
zVlad wrote: 29 Sep 2017 13:09 Ты уже второй раз в этой теме приводишь какие-то числа безотносительно того что обсуждается. Придется удовлетворить твое упорство.
Во-первых, не кеши, а пулы. Это называется в DB2 Buffer Pool, и я тебе уже несколько раз говорил об этом.
Тот, один из буферных пулов (BP1 по видимому), про который ты говоришь, стал с тех пор несколько больше.
во первых Buffer Pool это название конкретного кеша. во вторых я говорил именно о сумме всех Buffer Pools из этого поста viewtopic.php?p=5993902#p5993902
еще не давно у вас вся "ERP" умещалась в 3.3Gb кеша, теперь подросло до 12Gb, все равно меньше моего ноутбука. если база действительно размером с 1ТБ, это просто архивные данные, в которые никто никогда не заглядывает. на моем лаптопе с 16Gb RAM и я не вижу абсолютно никаких препятствий гонять такую ерп на лаптопе с которого пишу.
....
Хочешь я тебе дам телефон нашего CIO и ты ему продашь идею гонять наше ERP приложение на твоем лаптопе? Какой ты мне процент дашь?

Да, ты прав, три года назад было 3.3 GB, тогда еще был z114 и в Prod был RAM 12 GB, уже в 2015 мы получили zBC12 и в Prod стало 24 GB и буферные пулы были увеличены, а как только наша DB2 DBA ушла в прошлом году на пенсию я еще их увеличил.

Что ж ты, уважаемый iDesperado, думаешь мы на месте стоим? Время идет, все меняется. Если бы ты прежде чем использовать данныe трех летней давности, уточнил у меня то мы бы не тратили зря время. Я и сам то уже позабыл о том что было три года назад и число 3.3 GB меня удивило, врет думаю как всегда :mrgreen: , один буферный пул только озвучивает, наверное. Ан нет оказалось, точно говорит, но не о сейчас.

Tем не менее молодец ты, iDesperado, умеешь работать с материалом, хвалю. Молодежь, учитесь.
zVlad
Уже с Приветом
Posts: 15311
Joined: 30 Apr 2003 16:43

Re: New z14 mainfraime family.

Post by zVlad »

flip_flop wrote: 29 Sep 2017 16:59
zVlad wrote: 29 Sep 2017 14:53 Infiniband Вы сами называли, но это локальный интерфэйс
Не вступая в дискуссию.

Когда я начал интересоваться Infiniband, лет 15 назад, мне казалось что он с самого начала позиционировался как сетевой интерфейс, в то время он был типа PCIe over network. Среднее расстояние по меди и дальнее по оптоволокну. Он мог применяться и локально, внутри компьютера, но его главное назначение было с самого начала именно сетевое. Сейчас внутри компьютера не применяется. Широко применялся и применяется в суперкомпьютерах между кластерами. Как здесь показано, для сетевых баз данных тоже.

Влад, откуда мнение о локальности? Оно ошибочно.
Товарищ никак не расколется по поводу своей конфигурации, вот и довел до греха старого мэйнфэймщика, причем не железячника. За всем не уследишь.

Kак ты и говоришь, я помню что Infiniband применялся внутри МФ. Сейчас (z13) какие-то "PCIe Gen 3 fanouts 16 GBps per port", но и "IFB HCA fanouts 6GBps per port" тоже есть. IFB - это Infiniband? Я в этом не очень шарю.
Last edited by zVlad on 29 Sep 2017 18:44, edited 1 time in total.
User avatar
flip_flop
Уже с Приветом
Posts: 4379
Joined: 20 Jun 2001 09:01

Re: New z14 mainfraime family.

Post by flip_flop »

zVlad wrote: 29 Sep 2017 17:18 Kак ты и говоришь, я помню что Infiniband применялся внутри МФ. Сейчас (z13) какие-то "PCIe Gen 3 fanouts 16 GBps per port", но и "IFB HCA fanouts 6GBps per port" тоже есть. IFB - это Infiniband? Я в этом не очень шартю.
Я совсем немного щупал железо МФ, так что в МФ не очень. Общепринятая аббревиатура - IB.

BW 6GBps (48 gbps) - странное число, но возможное, при старом IB DDR 12x (обычно, в моём мире - 1x, 2x, 4x, 8x, 16x, 32x). В общем, странно, но возможно в мире МФ, хозяин - барин.

Но в мире "современных технологий" :D - IB - это таки сетевой интерфейс. Было бы странно переносить один в один элементы из мира МФ в мир "открытых технологий" :D и наоборот. Это несколько снижает грамотность дискуссии, несколько повышая в то же время её развлекательность. Так что, продолжаем дискутировать, панове.
zVlad
Уже с Приветом
Posts: 15311
Joined: 30 Apr 2003 16:43

Re: New z14 mainfraime family.

Post by zVlad »

mskmel wrote: 27 Sep 2017 20:15
zVlad wrote: 27 Sep 2017 19:10И вообще, почему Вы так плохо думаете о людях?
'Think of how stupid the average person is, and realize half of them are stupider than that.'
Это утверждение абсолютно точно и этим оно пугает.

>Print screen из Task Manager
24% в пике на виртуалке. Ну не страшно ведь ;)
Это не виртуалка.
zVlad
Уже с Приветом
Posts: 15311
Joined: 30 Apr 2003 16:43

Re: New z14 mainfraime family.

Post by zVlad »

flip_flop wrote: 29 Sep 2017 18:08 ....
Я совсем немного щупал железо МФ, так что в МФ не очень. Общепринятая аббревиатура - IB.

BW 6GBps (48 gbps) - странное число, но возможное, при старом IB DDR 12x (обычно, в моём мире - 1x, 2x, 4x, 8x, 16x, 32x). В общем, странно, но возможно в мире МФ, хозяин - барин.

Но в мире "современных технологий" :D - IB - это таки сетевой интерфейс. Было бы странно переносить один в один элементы из мира МФ в мир "открытых технологий" :D и наоборот. Это несколько снижает грамотность дискуссии, несколько повышая в то же время её развлекательность. Так что, продолжаем дискутировать, панове.
Все таки IFB, в терминологии ИБМ это infiniband. Вот что в более подробном документе сказано об соединениях между CPU drowers и I/O drowers (внутре z13s):

I/O connectivity: PCIe and InfiniBand
z13s servers offer various improved I/O features and uses technologies such as PCIe and InfiniBand. This section briefly reviews the most relevant I/O capabilities.
z13s servers take advantage of PCIe Generation 3 to implement the following features:
-
PCIe Generation 3 (Gen3) fanouts that provide 16 GBps connections to the PCIe I/O features in the PCIe I/O drawers.
-
PCIe Gen3 fanouts that provide 8 GBps coupling link connections through the new IBM ICA SR. Up to eight ICA SR fanouts and up to 16 ICA SR ports are supported on an IBM z13s server, enabling improved connectivity for short distance coupling.
z13s servers take advantage of InfiniBand to implement the following features:
-
A 6 GBps I/O bus that includes the InfiniBand infrastructure (HCA2-C) for the I/O drawer for non-PCIe I/O features.
-
Parallel Sysplex coupling links using IFB include 12x InfiniBand coupling links (HCA3-O) for local connections and 1x InfiniBand coupling links (HCA3-O LR) for extended distance connections between any two zEnterprise CPCs. The 12x IFB link (HCA3-O) has a bandwidth of 6 GBps and the HCA3-O LR 1X InfiniBand links have a bandwidth of 5 Gbps.
mskmel
Уже с Приветом
Posts: 946
Joined: 24 Sep 2013 05:58
Location: US\GA

Re: New z14 mainfraime family.

Post by mskmel »

flip_flop wrote: 29 Sep 2017 18:08Но в мире "современных технологий" :D - IB - это таки сетевой интерфейс.
Сейчас грань между сетевым и несетевым размыта https://en.wikipedia.org/wiki/Converged_network_adapter
Помимо традиционного FC для подключения storage используются FCoE или iSCSI. В обоих случаях можно использовать IB линки. IB как мне кажется сдастся, уже пришёл 100Gb Ethernet за вменяемые деньги.
User avatar
sfbaguy1
Уже с Приветом
Posts: 1445
Joined: 14 Nov 2004 12:51

Re: New z14 mainfraime family.

Post by sfbaguy1 »

zVlad wrote: 28 Sep 2017 12:54
sfbaguy1 wrote: 28 Sep 2017 03:16 Я не в курсе про этот конкретно термин. Может вы могли бы уточнить из какой это оперы и как это относится к сравнению серверных чипов/платформ ?
Извиняюсь. Как всегда у меня переставились буквы в абревиатуре и я "придумал" подходящие слова для них.
Имелось в виду, конечно, CPL - Current Privilege Level, и далее DRL, RPL. Зачем эти четыре кольца команд если реально используется только два?

Давно хочу понять, может Вы обьясните, вот есть GP - General Protection, с ним связано много разных событий, в том числе выполнение привилегированной команды. Вопрос: есть возможность у обработчика GP распознать какая именно причина вызвала GP? Спасибо.
CPL сейчас реально используются только два. Это была какая то идея из 80x годов про больше чем два (kernel/user) режима хардвера. Это использовалось какое-то время в хайпервайзорах (ring compression). Но щас перешли
на поддержку хайпервайзоров в майкрокоде.

General Protection Faults - это низкоуровневые прерывания, например промах в таблице страниц. Я так понимаю вам
было бы интересно написать пользновательскую программу которая бы получала нотификации от системы об этих событиях ? Это возможно при наличии софтверной подсистемы трассировки (типа Dtrace а Солярисе). Возможно
в Виндоус и Линукс сейчас есть нечто подобное.
жизнь она и проще и сложней
zVlad
Уже с Приветом
Posts: 15311
Joined: 30 Apr 2003 16:43

Re: New z14 mainfraime family.

Post by zVlad »

sfbaguy1 wrote: 29 Sep 2017 19:35
zVlad wrote: 28 Sep 2017 12:54
sfbaguy1 wrote: 28 Sep 2017 03:16 Я не в курсе про этот конкретно термин. Может вы могли бы уточнить из какой это оперы и как это относится к сравнению серверных чипов/платформ ?
Извиняюсь. Как всегда у меня переставились буквы в абревиатуре и я "придумал" подходящие слова для них.
Имелось в виду, конечно, CPL - Current Privilege Level, и далее DRL, RPL. Зачем эти четыре кольца команд если реально используется только два?

Давно хочу понять, может Вы обьясните, вот есть GP - General Protection, с ним связано много разных событий, в том числе выполнение привилегированной команды. Вопрос: есть возможность у обработчика GP распознать какая именно причина вызвала GP? Спасибо.
CPL сейчас реально используются только два. Это была какая то идея из 80x годов про больше чем два (kernel/user) режима хардвера. Это использовалось какое-то время в хайпервайзорах (ring compression). Но щас перешли
на поддержку хайпервайзоров в майкрокоде.

General Protection Faults - это низкоуровневые прерывания, например промах в таблице страниц. Я так понимаю вам
было бы интересно написать пользновательскую программу которая бы получала нотификации от системы об этих событиях ? Это возможно при наличии софтверной подсистемы трассировки (типа Dtrace а Солярисе). Возможно
в Виндоус и Линукс сейчас есть нечто подобное.
Вопрос по GP был о том можно ли распознать какая именно из возможных причин GP имела место быть. Я смотрю на описание EEC для GP. Есть только слова про loading a segment descriptor exemption, иначе (написано) ECC = 0. Сохраняется указатель для адреса инструкции вызвавшей прерывание, но можно ли по нему понять что дело именно в выполнении привелигированной команд, или вообще определить, а что именно вызвало GP. Причин то GP может быть аж 32-е.

Page fault #14, и General Protection #13 - два разных прерывания в IDT.
User avatar
sfbaguy1
Уже с Приветом
Posts: 1445
Joined: 14 Nov 2004 12:51

Re: New z14 mainfraime family.

Post by sfbaguy1 »

zVlad wrote: 29 Sep 2017 20:09
sfbaguy1 wrote: 29 Sep 2017 19:35
zVlad wrote: 28 Sep 2017 12:54
sfbaguy1 wrote: 28 Sep 2017 03:16 Я не в курсе про этот конкретно термин. Может вы могли бы уточнить из какой это оперы и как это относится к сравнению серверных чипов/платформ ?
Извиняюсь. Как всегда у меня переставились буквы в абревиатуре и я "придумал" подходящие слова для них.
Имелось в виду, конечно, CPL - Current Privilege Level, и далее DRL, RPL. Зачем эти четыре кольца команд если реально используется только два?

Давно хочу понять, может Вы обьясните, вот есть GP - General Protection, с ним связано много разных событий, в том числе выполнение привилегированной команды. Вопрос: есть возможность у обработчика GP распознать какая именно причина вызвала GP? Спасибо.
CPL сейчас реально используются только два. Это была какая то идея из 80x годов про больше чем два (kernel/user) режима хардвера. Это использовалось какое-то время в хайпервайзорах (ring compression). Но щас перешли
на поддержку хайпервайзоров в майкрокоде.

General Protection Faults - это низкоуровневые прерывания, например промах в таблице страниц. Я так понимаю вам
было бы интересно написать пользновательскую программу которая бы получала нотификации от системы об этих событиях ? Это возможно при наличии софтверной подсистемы трассировки (типа Dtrace а Солярисе). Возможно
в Виндоус и Линукс сейчас есть нечто подобное.
Вопрос по GP был о том можно ли распознать какая именно из возможных причин GP имела место быть. Я смотрю на описание EEC для GP. Есть только слова про loading a segment descriptor exemption, иначе (написано) ECC = 0. Сохраняется указатель для адреса инструкции вызвавшей прерывание, но можно ли по нему понять что дело именно в выполнении привелигированной команд, или вообще определить, а что именно вызвало GP. Причин то GP может быть аж 32-е.

Page fault #14, и General Protection #13 - два разных прерывания в IDT.
Ну разумеется можно, как же иначе система работала бы. Вы собираетесь писать кернеловский код который это делает ? Я думал вы все больше по администраторской части.
жизнь она и проще и сложней
zVlad
Уже с Приветом
Posts: 15311
Joined: 30 Apr 2003 16:43

Re: New z14 mainfraime family.

Post by zVlad »

sfbaguy1 wrote: 29 Sep 2017 20:27 ...

Ну разумеется можно, как же иначе система работала бы. Вы собираетесь писать кернеловский код который это делает ? Я думал вы все больше по администраторской части.
Нет я не собираюсь ничего писать. Я читаю руководство по системному программированию для Интел и у меня возникают разные вопросы. Большенство из них я сам себе ответил, но вот этот не могу. Поэтому прошу помочь тех кто с этим работает. Аналоничные вещи на МФ мне известны и понятны.
User avatar
sfbaguy1
Уже с Приветом
Posts: 1445
Joined: 14 Nov 2004 12:51

Re: New z14 mainfraime family.

Post by sfbaguy1 »

zVlad wrote: 29 Sep 2017 20:41
sfbaguy1 wrote: 29 Sep 2017 20:27 ...

Ну разумеется можно, как же иначе система работала бы. Вы собираетесь писать кернеловский код который это делает ? Я думал вы все больше по администраторской части.
Нет я не собираюсь ничего писать. Я читаю руководство по системному программированию для Интел и у меня возникают разные вопросы. Большенство из них я сам себе ответил, но вот этот не могу. Поэтому прошу помочь тех кто с этим работает. Аналоничные вещи на МФ мне известны и понятны.
Ну вряд ли вам кто то скажет из головы какие биты где надо щупать в обработчике прерываний. Надо смотреть первоисточник - линуксовский код.

А вы реально писали обработчики прерываний на МФ ?
жизнь она и проще и сложней
User avatar
flip_flop
Уже с Приветом
Posts: 4379
Joined: 20 Jun 2001 09:01

Re: New z14 mainfraime family.

Post by flip_flop »

mskmel wrote: 29 Sep 2017 19:30
flip_flop wrote: 29 Sep 2017 18:08Но в мире "современных технологий" :D - IB - это таки сетевой интерфейс.
Сейчас грань между сетевым и несетевым размыта https://en.wikipedia.org/wiki/Converged_network_adapter

Это скорее грань между сетями SAN и сетями общего типа. "it "converges" access to, respectively, a storage area network and a general-purpose computer network." И там и там присутствует термин "network". Впрочем, я не в этой области сейчас, допускаю терминологическую размытость.

Помимо традиционного FC для подключения storage используются FCoE или iSCSI. В обоих случаях можно использовать IB линки. IB как мне кажется сдастся, уже пришёл 100Gb Ethernet за вменяемые деньги.
Пора бы уже :D
zVlad
Уже с Приветом
Posts: 15311
Joined: 30 Apr 2003 16:43

Re: New z14 mainfraime family.

Post by zVlad »

sfbaguy1 wrote: 29 Sep 2017 20:50
zVlad wrote: 29 Sep 2017 20:41
sfbaguy1 wrote: 29 Sep 2017 20:27 ...

Ну разумеется можно, как же иначе система работала бы. Вы собираетесь писать кернеловский код который это делает ? Я думал вы все больше по администраторской части.
Нет я не собираюсь ничего писать. Я читаю руководство по системному программированию для Интел и у меня возникают разные вопросы. Большенство из них я сам себе ответил, но вот этот не могу. Поэтому прошу помочь тех кто с этим работает. Аналоничные вещи на МФ мне известны и понятны.
Ну вряд ли вам кто то скажет из головы какие биты где надо щупать в обработчике прерываний. Надо смотреть первоисточник - линуксовский код.

А вы реально писали обработчики прерываний на МФ ?
Нет не писал. Но описание этих вещей в документации на МФ гораздо более прозрачно и понятно. Там нет тех наворотов с битами во многих разных местах как на Интел. Я мог бы легко Вам и любому другому объяснить общую схему обработки прерываний так что где и какие детали искать можно было бы уде самостоятельно найти.

Вообще именно эта тема - привилегированные команды меня заинтересовало в свете виртуализации. Согласитесь, это одна из важнейших проблем виртуализации - детектирование и эмулиция привилегированных команд. Я знаю про расширения для виртуализации в Интел и про режим соответствующий, но я хочу понять почему это не делается через обработку прерывания по выполнению таких команд с CPL > 0.
На МФ ОС на виртуальной машине запускается с CPL>0 (там это по другому конечно, но в принципе тоже самое), происходит прерывание, монитор ВМ через обработчик "GP" это выявляет используя информацию о том что это именно прерывание по привилегированной команде и эмулирует ее выполнение для ОС ВМ. Управление возвращается в точку следующую за прерыванием.
На МФ настоящие спецы хоть и не пишут ядер, но очень хорошо знают и используют на практике знания о внутреннем устройстве и работе как самой машины так и ОС.
Вот я и хочу перед пенсией разобраться с х86 и систем на них на таком же уровне какой имею на МФ.
mskmel
Уже с Приветом
Posts: 946
Joined: 24 Sep 2013 05:58
Location: US\GA

Re: New z14 mainfraime family.

Post by mskmel »

flip_flop wrote: 29 Sep 2017 21:03"it "converges" access to, respectively, a storage area network and a general-purpose computer network." И там и там присутствует термин "network". Впрочем, я не в этой области сейчас, допускаю терминологическую размытость.
Там вообще терминологический бардак.

Hyper-convergence (hyperconvergence) is a type of infrastructure system with a software-centric architecture that tightly integrates compute, storage, networking and virtualization resources and other technologies from scratch in a commodity hardware box supported by a single vendor.

"Модно" объединять узлы хранения И обработки данных, т.е. один большой шкаф где уже всё есть. Типа такого: https://www.dellemc.com/en-us/converged ... /index.htm , но подобное сейчас почти все пилят.
zVlad
Уже с Приветом
Posts: 15311
Joined: 30 Apr 2003 16:43

Re: New z14 mainfraime family.

Post by zVlad »

Кстати, для Page fault #14 прерывания определены биты в ECC содержательно описывающие разные причины и сопутствующюю информацию. Регистр CR2 содержит адрес вызвавший PF. С этим более менее понятно.
User avatar
flip_flop
Уже с Приветом
Posts: 4379
Joined: 20 Jun 2001 09:01

Re: New z14 mainfraime family.

Post by flip_flop »

mskmel wrote: 29 Sep 2017 21:28 "Модно" объединять узлы хранения И обработки данных, т.е. один большой шкаф где уже всё есть.
Хм... что-то мне это смутно напоминает ... big iron? :D

Кстати, в мире HPC основная файловая параллельная система - Lustre, и тоже шкафы с огромной скоростью передачи данных и/или объёмом данных. В мире data center что в основном применяется в этом качестве ?

Да и вообще, поделитесь конфигурацией, если не секрет, публика просит.

Return to “Вопросы и новости IT”