Демократизация мейнфреймов

[StrangerR]

1. Все таки, Вы можете хоть на минуту забыть про деньги и Ваш самый сильный и единственный аргумент? Вы можете просто ответить сколько FC карточек может быть у одного х86 сервера?.

Ни одной не поставлю. Это уже не нужно. Поставлю 2 10 гигабитных езернета + iSCSI или FCoE. На каждый сервер. Серверов в стойке ну пусть 20. Я столько ИО с дисковой системы не сниму никакими силами.

(Если очень кому хочется FC то скажем 2 - 4 карточки по 2 порта в каждой запросто. Но на хрена оно??)

А деньги и есть главный аргумент против МФ. Невыгодно оно, очень расточительно. У меня сейчас ограничитель заставляющий ставить новые железки - память. Сколько стоит 1 гиг памяти на МФ и сколько на делловском R710?

[zVlad]

1. Прокомментируйте назначение вот этого $30 000 000-ного чуда:

хттп://тпц.орг/ресултс/индивидуалресултс/Орацле/ОрацлеСПАРЦСуперЦлустершитхТ3-4сТПЦ-ЦЕС120210.пдф

Ну там же написано. $30М - это 27 штук серверов, не один. В каждом из которых по 4 процессора (в каждом из которых уйма ядер и потоков) и 512ГБ РАМ. Из которых собственно сервер, без дисков, "всего лишь" $200к. Притом что это ни разу не демократичный х86 ящик из Делл-а.

Назначение - продемонстрировать возможности

Остается только сказать сколько понадобится "демократичных х86 ячшиков" чтобы заткнуть это чудо по производительности.

[zVlad]

1. Все таки, Вы можете хоть на минуту забыть про деньги и Ваш самый сильный и единственный аргумент? Вы можете просто ответить сколько ФЦ карточек может быть у одного х86 сервера?.

...
(Если очень кому хочется ФЦ то скажем 2 - 4 карточки по 2 порта в каждой запросто. Но на хрена оно??)

...

Спасибо. Наконец-то хоть один из вас смог ответить на элементарный вопрос почти без упоминания денег.

[zVlad]

никак не изменит факта что последние лет десять ИБМ каждые два года выдает новых семейства МФ с постоянно распущими параметрами и снижающейся ценой на единицу.

На единицу чего? Производительности? Тогда этот тезис справедлив вообще для любого компьютера.

Никто и не говорил что это справедливо только для МФ, а вот обратные заявления проскальзывают то и дело.

[Zombie416]

Остается только сказать сколько понадобится "демократичных х86 ячшиков" чтобы заткнуть это чудо по производительности.

Зависит от теста. Думаю, штук 15-20, в кластере же.

[Zombie416]

Никто и не говорил что это справедливо только для МФ, а вот обратные заявления проскальзывают то и дело.

Обратные это какие? В смысле что МФ с каждым годом становятся менее мощными? Не припомню таких заявлений.

[iDesperado]

2zVlad
если хочеться чего-то конкретного, пожалуйста
http://www.tpc.org/results/FDR/tpce/HP. ... 01.fdr.pdf

4 сокета, 40 ядер, терабайт рама, 11 дополнительных контроллеров по 4 порта в каждом:
The P812 controllers each have 4 data ports. Each data port was connected to a single D2700 Disk enclosure with 25 x 72GB 15K RPM SFF SAS disks, for a total of 4 enclosures per P812.
всего 1100 15К дисков. все это счастье, вместе с софтом чуть дороже 1/4 стоимости МФ с 10 ядрами и 258 гб рама и без дисковой субсистемы.

[flip_flop]

....
Да, по тактовой частоте з196 лидирует - выше 5 ГГц. Отдельные зионы идут с > 4 ГГц. Но по производительности важна не столько частота сколько архитектура, поэтому надо смотреть на суммарную производительность по тестам. Потом - использование параллельных ядер и потоков с поддержкой ширпотребовских компилляторов - [x86_64] здесь лидируют по числу ядер и по числу потоков по сравнению с з196. Вкратце - оба чипа хороши, нет между ними бездны. Но один закрыт, узкоспециализированный и дорогой (нет - ужасно дорогой), второй поддерживает открытые стандарты, широкого потребления и дешевый.

Во-первых, а где Вы видели такой параметр "число потоков" для процессора МФ.

Во-вторых, вот Вы говорите "Но по производительности важна не столько частота сколько архитектура, поэтому надо смотреть на суммарную производительность" - это приятно слышать, потому что лет пять назад когда частота процессоров МФ была ниже частоты Интел мне здесь заявляли мол твой МФ слабак. Сейчас наоборот, но это не главное. Я согласен, но давайте сравнивать ввод-вывод - следущий важный параметр архитектуры. Так чем знамение Ваш "демократический МФ" в области ввода-вывода?

Не видел такой параметр для процессора МФ. Для зиона на одном чипе это двадцать - десять ядер, каждое ядро поддерживает до двух потоков [multithreading], т.е. ОС будет видеть 20 "виртуальных" процессоров на одном чипе. По вводу выводу - начнем с процессора и памяти. Внутренний кэш третьего уровня - 30 МБ вс 24 МБ на з196. На процессоре 4 канала демократичной 1.333 ГТ/с [DDR3] с [ECC] и прочим [RAS], чип поддерживает до 32 ГБ на димм , полоса пропускания памяти 4*10.7 ГБ/с~=43 ГБ/с. 4 канала собственно ИО - [QPI] обеспечивают 4*25.6 ГБ/с=102.4 ГБ/с. Это только по одному процессору . Далее более интересно, так как процессор поддерживает открытые индустриальные стандарты - "обвязываем" процессоры чипсетами по выбору, как "родными" от Интела, так и от сторонних производителей. ИО в этом случае может быть самое разное, собранное из [PCI-Gen2], [Gen3] на подходе, [SATA Gen2/3, SAS Gen1/2, USB2/3, Ethernet 1g/10G, FC., Infiniband etc.]. Например, я уже приводил на первой странице сервер от ИБМ - тоненький ящичек [2U per chassis, 2 CPU, 2 TB RAM, 5 PCIe Gen2 = 5*16 GB/s = 80 GB/s, 10GbE]. з196 идет только в модули от МФ, поддерживают закрытые системы МФ и подобных данных у меня по нему нет, может вы приведете?

П.С. Заметьте, я тоже нигде не говорил о деньгах

[StrangerR]

....
Да, по тактовой частоте з196 лидирует - выше 5 ГГц. Отдельные зионы идут с > 4 ГГц. Но по производительности важна не столько частота сколько архитектура, поэтому надо смотреть на суммарную производительность по тестам. Потом - использование параллельных ядер и потоков с поддержкой ширпотребовских компилляторов - [x86_64] здесь лидируют по числу ядер и по числу потоков по сравнению с з196. Вкратце - оба чипа хороши, нет между ними бездны. Но один закрыт, узкоспециализированный и дорогой (нет - ужасно дорогой), второй поддерживает открытые стандарты, широкого потребления и дешевый.

Во-первых, а где Вы видели такой параметр "число потоков" для процессора МФ.

Во-вторых, вот Вы говорите "Но по производительности важна не столько частота сколько архитектура, поэтому надо смотреть на суммарную производительность" - это приятно слышать, потому что лет пять назад когда частота процессоров МФ была ниже частоты Интел мне здесь заявляли мол твой МФ слабак. Сейчас наоборот, но это не главное. Я согласен, но давайте сравнивать ввод-вывод - следущий важный параметр архитектуры. Так чем знамение Ваш "демократический МФ" в области ввода-вывода?

Не видел такой параметр для процессора МФ. Для зиона на одном чипе это двадцать - десять ядер, каждое ядро поддерживает до двух потоков [multithreading], т.е. ОС будет видеть 20 "виртуальных" процессоров на одном чипе. По вводу выводу - начнем с процессора и памяти. Внутренний кэш третьего уровня - 30 МБ вс 24 МБ на з196. На процессоре 4 канала демократичной 1.333 ГТ/с [DDR3] с [ECC] и прочим [RAS], чип поддерживает до 32 ГБ на димм , полоса пропускания памяти 4*10.7 ГБ/с~=43 ГБ/с. 4 канала собственно ИО - [QPI] обеспечивают 4*25.6 ГБ/с=102.4 ГБ/с. Это только по одному процессору . Далее более интересно, так как процессор поддерживает открытые индустриальные стандарты - "обвязываем" процессоры чипсетами по выбору, как "родными" от Интела, так и от сторонних производителей. ИО в этом случае может быть самое разное, собранное из [PCI-Gen2], [Gen3] на подходе, [SATA Gen2/3, SAS Gen1/2, USB2/3, Ethernet 1g/10G, FC., Infiniband etc.]. Например, я уже приводил на первой странице сервер от ИБМ - тоненький ящичек [2U per chassis, 2 CPU, 2 TB RAM, 5 PCIe Gen2 = 5*16 GB/s = 80 GB/s, 10Gbe]. з196 идет только в модули от МФ, поддерживают закрытые системы МФ и подобных данных у меня по нему нет, может вы приведете?

П.С. Заметьте, я тоже нигде не говорил о деньгах

Главное, я не вижу задач для таких супер-систем, кроме
- базы данных, но там есть Oracle DB машина которая собрана на интелах и кроет все эти мейнфреймы на много лет вперед
- обработки видео но там как раз кластеры на дешевых джанковых системах работают везде и всюду.
Все остальное что у меня под рукой есть - лопает память, а процессоры нужны лишь изредка да и то задачки больше похожи на распознание видео или изображений, к примеру.

Кроме того в случае МФ мощности для девелеперов (которые прожорливы как молодые львы) придется размещать на тех же МФ то есть на тех же деньгах за скорость и деньгах за память. Что крайне расточительно.

[flip_flop]

Главное, я не вижу задач для таких супер-систем, кроме
- базы данных, но там есть Орацле ДБ машина которая собрана на интелах и кроет все эти мейнфреймы на много лет вперед
- обработки видео но там как раз кластеры на дешевых джанковых системах работают везде и всюду.
Все остальное что у меня под рукой есть - лопает память, а процессоры нужны лишь изредка да и то задачки больше похожи на распознание видео или изображений, к примеру.

Кроме того в случае МФ мощности для девелеперов (которые прожорливы как молодые львы) придется размещать на тех же МФ то есть на тех же деньгах за скорость и деньгах за память. Что крайне расточительно.

Мой поинт был в том, что сейчас на ширпотребе можно собрать сервер, ориентированный на память и на ИО, а не только на [HPC] и инженерные задачи, там другие приоритеты и все уже схвачено, МФ там и не пахнет. Впрочем, это уже другая история. Мы здесь о традиционной почве МФ, типа разнообразные огромные трансакции типа дебит-кредит или закупки билетов. Вот уже аэрокомпании на облака переходят. Но МФ будут вечными, [COBOL] надо поддерживать, так что всем хватит своих любимых блюд

[StrangerR]

Главное, я не вижу задач для таких супер-систем, кроме
- базы данных, но там есть Орацле ДБ машина которая собрана на интелах и кроет все эти мейнфреймы на много лет вперед
- обработки видео но там как раз кластеры на дешевых джанковых системах работают везде и всюду.
Все остальное что у меня под рукой есть - лопает память, а процессоры нужны лишь изредка да и то задачки больше похожи на распознание видео или изображений, к примеру.

Кроме того в случае МФ мощности для девелеперов (которые прожорливы как молодые львы) придется размещать на тех же МФ то есть на тех же деньгах за скорость и деньгах за память. Что крайне расточительно.

Мой поинт был в том, что сейчас на ширпотребе можно собрать сервер, ориентированный на память и на ИО, а не только на [HPC] и инженерные задачи, там другие приоритеты и все уже схвачено, МФ там и не пахнет. Впрочем, это уже другая история. Мы здесь о традиционной почве МФ, типа разнообразные огромные трансакции типа дебит-кредит или закупки билетов. Вот уже аэрокомпании на облака переходят. Но МФ будут вечными, [COBOL] надо поддерживать, так что всем хватит своих любимых блюд

Ну, я поглядел на цифири которые оракл выдал на своей DB machine, и на архитектуру - скушает он эти MF-ы. Там сильно лучше архитектура. И все намного дешевле - кластер связанный 40 мбитными инфибандами, с умными дисковыми стойками и на обычных интелловских 2 процессорных железках. И с флешем в качестве промежуточной памяти (в итоге им вообще не нужны оказались SAS диски, как показал опыт, к общему изумлению).

[flip_flop]

Главное, я не вижу задач для таких супер-систем, кроме
- базы данных, но там есть Орацле ДБ машина которая собрана на интелах и кроет все эти мейнфреймы на много лет вперед
- обработки видео но там как раз кластеры на дешевых джанковых системах работают везде и всюду.
Все остальное что у меня под рукой есть - лопает память, а процессоры нужны лишь изредка да и то задачки больше похожи на распознание видео или изображений, к примеру.

Кроме того в случае МФ мощности для девелеперов (которые прожорливы как молодые львы) придется размещать на тех же МФ то есть на тех же деньгах за скорость и деньгах за память. Что крайне расточительно.

Мой поинт был в том, что сейчас на ширпотребе можно собрать сервер, ориентированный на память и на ИО, а не только на [HPC] и инженерные задачи, там другие приоритеты и все уже схвачено, МФ там и не пахнет. Впрочем, это уже другая история. Мы здесь о традиционной почве МФ, типа разнообразные огромные трансакции типа дебит-кредит или закупки билетов. Вот уже аэрокомпании на облака переходят. Но МФ будут вечными, [COBOL] надо поддерживать, так что всем хватит своих любимых блюд :Д

Ну, я поглядел на цифири которые оракл выдал на своей ДБ мачине, и на архитектуру - скушает он эти МФ-ы. Там сильно лучше архитектура. И все намного дешевле - кластер связанный 40 мбитными инфибандами, с умными дисковыми стойками и на обычных интелловских 2 процессорных железках. И с флешем в качестве промежуточной памяти (в итоге им вообще не нужны оказались САС диски, как показал опыт, к общему изумлению).

Ну, в архитектурах датабазных машин я не копенгаген, тут вам с зВлад надо дискутировать. А насчет флеша в качестве промежуточной памяти - согласен. Есть одна российская компания, делающая суперкомпьютеры со своими карточками и стойками на ширптотребе, так у них тоже мне эта идея понравилась - масса легкого тихого флэша вместо дисков - дешево и сердито Да и собственно масса SSD на марше - пока дороговато, но развивается и дешевеет "стремительным домкратом".

Маленькую поправку в Ваш текст можно? Инфинибанд не мбитный а Гбитный.

[iDesperado]

нашел убийственный аргумент. тесты реальной задачи. Peoplesoft
http://www.oracle.com/us/solutions/benc ... 67486.html

Итак берем 9-way z10 EC 2097-709 c DS8300 (6512 MIPS) проиграл 8-way SPARC Enterprise M5000 (32 cores) с флеш сториджом. причем заметно проиграл 87.4 минуты, против 50.11 минут. базы совершенно одинаковы, задача совершенно одинакова. у МФ было 8 потоков, у M5000 32.

8-way SPARC Enterprise M5000 (32 cores)
http://www.oracle.com/us/media1/ps9-na- ... 078501.pdf

9-way z10 EC 2097-709 c DS8300
http://www.oracle.com/us/solutions/benc ... 366176.pdf

ну и для контрольного выстрела, старенький 8-way Itanium rx-7640 (16 cores)
http://www.oracle.com/us/solutions/benc ... 166421.pdf
на той же задаче, с обычными SAS дисками проиграл 10% (96.17 минут)

лично у меня нет сомнений в том, что 40 современных ядер Xeon, порвут как тузик грелку rx-7640 (16 cores) и соответственно 6512 MIPS.

P.S. что характерно у z10 CPU были загружены от 70% до 85%, а 16-cores Itanium 60%-84%, у SPARC CPU загрузить даже на 45% удалось.

[StrangerR]

Ну, в архитектурах датабазных машин я не копенгаген, тут вам с зВлад надо дискутировать. А насчет флеша в качестве промежуточной памяти - согласен. Есть одна российская компания, делающая суперкомпьютеры со своими карточками и стойками на ширптотребе, так у них тоже мне эта идея понравилась - масса легкого тихого флэша вместо дисков - дешево и сердито Да и собственно масса SSD на марше - пока дороговато, но развивается и дешевеет "стремительным домкратом".

Маленькую поправку в Ваш текст можно? Инфинибанд не мбитный а Гбитный.

Там не флеш вместо дисков. Там ФЛЕШ ПАМЯТЬ как компонента самой системы. И оракл о ней знает и использует. Это не диски изображаемые на флеше, а реально - ПАМЯТЬ системы с особыми свойствами.

[StrangerR]

И это еще ДО екзадаты и систсем с флешем. Оные порвут МФ в мелкую крошку - там выигрыш на WareHouse задачах доходил до 10 - 100 раз, на TPC-С видимо меньше но тоже - супротив дисковых стоек которые ЗНАЮТ структуру базы данных и умеют делать поиск по таблицам или запись в оные (дисковые стойки, не центральная система) - МФ не вытянет - против лома нет приема (а у МФ нет своего лома).

И это база. Как раз базу на МФ еще есть какой то смысл тащить. Все остальное туда тащить - брр, на фига???