New z14 mainfraime family.

[zVlad]

Infiniband Вы сами называли, но это локальный интерфэйс

Не вступая в дискуссию.

Когда я начал интересоваться Infiniband, лет 15 назад, мне казалось что он с самого начала позиционировался как сетевой интерфейс, в то время он был типа PCIe over network. Среднее расстояние по меди и дальнее по оптоволокну. Он мог применяться и локально, внутри компьютера, но его главное назначение было с самого начала именно сетевое. Сейчас внутри компьютера не применяется. Широко применялся и применяется в суперкомпьютерах между кластерами. Как здесь показано, для сетевых баз данных тоже.

Влад, откуда мнение о локальности? Оно ошибочно.

Товарищ никак не расколется по поводу своей конфигурации, вот и довел до греха старого мэйнфэймщика, причем не железячника. За всем не уследишь.

Kак ты и говоришь, я помню что Infiniband применялся внутри МФ. Сейчас (z13) какие-то "PCIe Gen 3 fanouts 16 GBps per port", но и "IFB HCA fanouts 6GBps per port" тоже есть. IFB - это Infiniband? Я в этом не очень шарю.

[flip_flop]

Kак ты и говоришь, я помню что Infiniband применялся внутри МФ. Сейчас (z13) какие-то "PCIe Gen 3 fanouts 16 GBps per port", но и "IFB HCA fanouts 6GBps per port" тоже есть. IFB - это Infiniband? Я в этом не очень шартю.

Я совсем немного щупал железо МФ, так что в МФ не очень. Общепринятая аббревиатура - IB.

BW 6GBps (48 gbps) - странное число, но возможное, при старом IB DDR 12x (обычно, в моём мире - 1x, 2x, 4x, 8x, 16x, 32x). В общем, странно, но возможно в мире МФ, хозяин - барин.

Но в мире "современных технологий" - IB - это таки сетевой интерфейс. Было бы странно переносить один в один элементы из мира МФ в мир "открытых технологий" и наоборот. Это несколько снижает грамотность дискуссии, несколько повышая в то же время её развлекательность. Так что, продолжаем дискутировать, панове.

[zVlad]

И вообще, почему Вы так плохо думаете о людях?

'Think of how stupid the average person is, and realize half of them are stupider than that.'
Это утверждение абсолютно точно и этим оно пугает.

>Print screen из Task Manager
24% в пике на виртуалке. Ну не страшно ведь

Это не виртуалка.

[zVlad]

....
Я совсем немного щупал железо МФ, так что в МФ не очень. Общепринятая аббревиатура - IB.

BW 6GBps (48 gbps) - странное число, но возможное, при старом IB DDR 12x (обычно, в моём мире - 1x, 2x, 4x, 8x, 16x, 32x). В общем, странно, но возможно в мире МФ, хозяин - барин.

Но в мире "современных технологий" - IB - это таки сетевой интерфейс. Было бы странно переносить один в один элементы из мира МФ в мир "открытых технологий" и наоборот. Это несколько снижает грамотность дискуссии, несколько повышая в то же время её развлекательность. Так что, продолжаем дискутировать, панове.

Все таки IFB, в терминологии ИБМ это infiniband. Вот что в более подробном документе сказано об соединениях между CPU drowers и I/O drowers (внутре z13s):

I/O connectivity: PCIe and InfiniBand
z13s servers offer various improved I/O features and uses technologies such as PCIe and InfiniBand. This section briefly reviews the most relevant I/O capabilities.
z13s servers take advantage of PCIe Generation 3 to implement the following features:
-
PCIe Generation 3 (Gen3) fanouts that provide 16 GBps connections to the PCIe I/O features in the PCIe I/O drawers.
-
PCIe Gen3 fanouts that provide 8 GBps coupling link connections through the new IBM ICA SR. Up to eight ICA SR fanouts and up to 16 ICA SR ports are supported on an IBM z13s server, enabling improved connectivity for short distance coupling.
z13s servers take advantage of InfiniBand to implement the following features:
-
A 6 GBps I/O bus that includes the InfiniBand infrastructure (HCA2-C) for the I/O drawer for non-PCIe I/O features.
-
Parallel Sysplex coupling links using IFB include 12x InfiniBand coupling links (HCA3-O) for local connections and 1x InfiniBand coupling links (HCA3-O LR) for extended distance connections between any two zEnterprise CPCs. The 12x IFB link (HCA3-O) has a bandwidth of 6 GBps and the HCA3-O LR 1X InfiniBand links have a bandwidth of 5 Gbps.

[mskmel]

Но в мире "современных технологий" - IB - это таки сетевой интерфейс.

Сейчас грань между сетевым и несетевым размыта https://en.wikipedia.org/wiki/Converged_network_adapter
Помимо традиционного FC для подключения storage используются FCoE или iSCSI. В обоих случаях можно использовать IB линки. IB как мне кажется сдастся, уже пришёл 100Gb Ethernet за вменяемые деньги.

[sfbaguy1]

Я не в курсе про этот конкретно термин. Может вы могли бы уточнить из какой это оперы и как это относится к сравнению серверных чипов/платформ ?

Извиняюсь. Как всегда у меня переставились буквы в абревиатуре и я "придумал" подходящие слова для них.
Имелось в виду, конечно, CPL - Current Privilege Level, и далее DRL, RPL. Зачем эти четыре кольца команд если реально используется только два?

Давно хочу понять, может Вы обьясните, вот есть GP - General Protection, с ним связано много разных событий, в том числе выполнение привилегированной команды. Вопрос: есть возможность у обработчика GP распознать какая именно причина вызвала GP? Спасибо.

CPL сейчас реально используются только два. Это была какая то идея из 80x годов про больше чем два (kernel/user) режима хардвера. Это использовалось какое-то время в хайпервайзорах (ring compression). Но щас перешли
на поддержку хайпервайзоров в майкрокоде.

General Protection Faults - это низкоуровневые прерывания, например промах в таблице страниц. Я так понимаю вам
было бы интересно написать пользновательскую программу которая бы получала нотификации от системы об этих событиях ? Это возможно при наличии софтверной подсистемы трассировки (типа Dtrace а Солярисе). Возможно
в Виндоус и Линукс сейчас есть нечто подобное.

[zVlad]

Я не в курсе про этот конкретно термин. Может вы могли бы уточнить из какой это оперы и как это относится к сравнению серверных чипов/платформ ?

Извиняюсь. Как всегда у меня переставились буквы в абревиатуре и я "придумал" подходящие слова для них.
Имелось в виду, конечно, CPL - Current Privilege Level, и далее DRL, RPL. Зачем эти четыре кольца команд если реально используется только два?

Давно хочу понять, может Вы обьясните, вот есть GP - General Protection, с ним связано много разных событий, в том числе выполнение привилегированной команды. Вопрос: есть возможность у обработчика GP распознать какая именно причина вызвала GP? Спасибо.

CPL сейчас реально используются только два. Это была какая то идея из 80x годов про больше чем два (kernel/user) режима хардвера. Это использовалось какое-то время в хайпервайзорах (ring compression). Но щас перешли
на поддержку хайпервайзоров в майкрокоде.

General Protection Faults - это низкоуровневые прерывания, например промах в таблице страниц. Я так понимаю вам
было бы интересно написать пользновательскую программу которая бы получала нотификации от системы об этих событиях ? Это возможно при наличии софтверной подсистемы трассировки (типа Dtrace а Солярисе). Возможно
в Виндоус и Линукс сейчас есть нечто подобное.

Вопрос по GP был о том можно ли распознать какая именно из возможных причин GP имела место быть. Я смотрю на описание EEC для GP. Есть только слова про loading a segment descriptor exemption, иначе (написано) ECC = 0. Сохраняется указатель для адреса инструкции вызвавшей прерывание, но можно ли по нему понять что дело именно в выполнении привелигированной команд, или вообще определить, а что именно вызвало GP. Причин то GP может быть аж 32-е.

Page fault #14, и General Protection #13 - два разных прерывания в IDT.

[sfbaguy1]

Я не в курсе про этот конкретно термин. Может вы могли бы уточнить из какой это оперы и как это относится к сравнению серверных чипов/платформ ?

Извиняюсь. Как всегда у меня переставились буквы в абревиатуре и я "придумал" подходящие слова для них.
Имелось в виду, конечно, CPL - Current Privilege Level, и далее DRL, RPL. Зачем эти четыре кольца команд если реально используется только два?

Давно хочу понять, может Вы обьясните, вот есть GP - General Protection, с ним связано много разных событий, в том числе выполнение привилегированной команды. Вопрос: есть возможность у обработчика GP распознать какая именно причина вызвала GP? Спасибо.

CPL сейчас реально используются только два. Это была какая то идея из 80x годов про больше чем два (kernel/user) режима хардвера. Это использовалось какое-то время в хайпервайзорах (ring compression). Но щас перешли
на поддержку хайпервайзоров в майкрокоде.

General Protection Faults - это низкоуровневые прерывания, например промах в таблице страниц. Я так понимаю вам
было бы интересно написать пользновательскую программу которая бы получала нотификации от системы об этих событиях ? Это возможно при наличии софтверной подсистемы трассировки (типа Dtrace а Солярисе). Возможно
в Виндоус и Линукс сейчас есть нечто подобное.

Вопрос по GP был о том можно ли распознать какая именно из возможных причин GP имела место быть. Я смотрю на описание EEC для GP. Есть только слова про loading a segment descriptor exemption, иначе (написано) ECC = 0. Сохраняется указатель для адреса инструкции вызвавшей прерывание, но можно ли по нему понять что дело именно в выполнении привелигированной команд, или вообще определить, а что именно вызвало GP. Причин то GP может быть аж 32-е.

Page fault #14, и General Protection #13 - два разных прерывания в IDT.

Ну разумеется можно, как же иначе система работала бы. Вы собираетесь писать кернеловский код который это делает ? Я думал вы все больше по администраторской части.

[zVlad]

...

Ну разумеется можно, как же иначе система работала бы. Вы собираетесь писать кернеловский код который это делает ? Я думал вы все больше по администраторской части.

Нет я не собираюсь ничего писать. Я читаю руководство по системному программированию для Интел и у меня возникают разные вопросы. Большенство из них я сам себе ответил, но вот этот не могу. Поэтому прошу помочь тех кто с этим работает. Аналоничные вещи на МФ мне известны и понятны.

[sfbaguy1]

...

Ну разумеется можно, как же иначе система работала бы. Вы собираетесь писать кернеловский код который это делает ? Я думал вы все больше по администраторской части.

Нет я не собираюсь ничего писать. Я читаю руководство по системному программированию для Интел и у меня возникают разные вопросы. Большенство из них я сам себе ответил, но вот этот не могу. Поэтому прошу помочь тех кто с этим работает. Аналоничные вещи на МФ мне известны и понятны.

Ну вряд ли вам кто то скажет из головы какие биты где надо щупать в обработчике прерываний. Надо смотреть первоисточник - линуксовский код.

А вы реально писали обработчики прерываний на МФ ?

[flip_flop]

Но в мире "современных технологий" - IB - это таки сетевой интерфейс.

Сейчас грань между сетевым и несетевым размыта https://en.wikipedia.org/wiki/Converged_network_adapter

Это скорее грань между сетями SAN и сетями общего типа. "it "converges" access to, respectively, a storage area network and a general-purpose computer network." И там и там присутствует термин "network". Впрочем, я не в этой области сейчас, допускаю терминологическую размытость.

Помимо традиционного FC для подключения storage используются FCoE или iSCSI. В обоих случаях можно использовать IB линки. IB как мне кажется сдастся, уже пришёл 100Gb Ethernet за вменяемые деньги.

Пора бы уже

[zVlad]

...

Ну разумеется можно, как же иначе система работала бы. Вы собираетесь писать кернеловский код который это делает ? Я думал вы все больше по администраторской части.

Нет я не собираюсь ничего писать. Я читаю руководство по системному программированию для Интел и у меня возникают разные вопросы. Большенство из них я сам себе ответил, но вот этот не могу. Поэтому прошу помочь тех кто с этим работает. Аналоничные вещи на МФ мне известны и понятны.

Ну вряд ли вам кто то скажет из головы какие биты где надо щупать в обработчике прерываний. Надо смотреть первоисточник - линуксовский код.

А вы реально писали обработчики прерываний на МФ ?

Нет не писал. Но описание этих вещей в документации на МФ гораздо более прозрачно и понятно. Там нет тех наворотов с битами во многих разных местах как на Интел. Я мог бы легко Вам и любому другому объяснить общую схему обработки прерываний так что где и какие детали искать можно было бы уде самостоятельно найти.

Вообще именно эта тема - привилегированные команды меня заинтересовало в свете виртуализации. Согласитесь, это одна из важнейших проблем виртуализации - детектирование и эмулиция привилегированных команд. Я знаю про расширения для виртуализации в Интел и про режим соответствующий, но я хочу понять почему это не делается через обработку прерывания по выполнению таких команд с CPL > 0.
На МФ ОС на виртуальной машине запускается с CPL>0 (там это по другому конечно, но в принципе тоже самое), происходит прерывание, монитор ВМ через обработчик "GP" это выявляет используя информацию о том что это именно прерывание по привилегированной команде и эмулирует ее выполнение для ОС ВМ. Управление возвращается в точку следующую за прерыванием.
На МФ настоящие спецы хоть и не пишут ядер, но очень хорошо знают и используют на практике знания о внутреннем устройстве и работе как самой машины так и ОС.
Вот я и хочу перед пенсией разобраться с х86 и систем на них на таком же уровне какой имею на МФ.

[mskmel]

"it "converges" access to, respectively, a storage area network and a general-purpose computer network." И там и там присутствует термин "network". Впрочем, я не в этой области сейчас, допускаю терминологическую размытость.

Там вообще терминологический бардак.

Hyper-convergence (hyperconvergence) is a type of infrastructure system with a software-centric architecture that tightly integrates compute, storage, networking and virtualization resources and other technologies from scratch in a commodity hardware box supported by a single vendor.

"Модно" объединять узлы хранения И обработки данных, т.е. один большой шкаф где уже всё есть. Типа такого: https://www.dellemc.com/en-us/converged ... /index.htm , но подобное сейчас почти все пилят.

[zVlad]

Кстати, для Page fault #14 прерывания определены биты в ECC содержательно описывающие разные причины и сопутствующюю информацию. Регистр CR2 содержит адрес вызвавший PF. С этим более менее понятно.

[flip_flop]

"Модно" объединять узлы хранения И обработки данных, т.е. один большой шкаф где уже всё есть.

Хм... что-то мне это смутно напоминает ... big iron?

Кстати, в мире HPC основная файловая параллельная система - Lustre, и тоже шкафы с огромной скоростью передачи данных и/или объёмом данных. В мире data center что в основном применяется в этом качестве ?

Да и вообще, поделитесь конфигурацией, если не секрет, публика просит.