Миф: как IBM победил БЭСМ

[avitya]

ну так процессоры сильно помогают с виртуализацией в наше время, в биосе главное правильные флажки выставить

[zVlad]

Мы делали тест на i7, 4 кора давали производительность 3.6 больше чем один кор, а в режиме hyperthreading - 8 давали 5.6

Ага, ваши результаты четко показывают, что мерилась производительность мултитретинка... Он будет больше чем больше любых коров, даже HT...
Ето не производительность потоковая... Далеко не все задачи являются мултитретинговыми и MF например заточен не под них.
Но если ваши задачи именно мултитретинговые, но нечего лучше мулти-корес любых причем и нет. Ето например задачи в РТ серверах на тoй самой Джаве, php и прочей шелухе...

МФ еще тем отличается от, скажем, Интел тем что каналы ввода-вывода работают независимо от CPU и любая операция ввода-вывода запущенная CPU выполнятся автомомно, задача переходит в ожидание, а CPU становится свободным для другой задачи. Однопотоковой задачей с вводом-выводом невозможно загрузить один CPU сколько-нибудь серьезно.

Если в случае Интел о какой-то реальной мультизадачности стало возможным говорить с появлениям больше одного CPU (или полноценного кора), то реальный уровень мультизадачности на МФ как правило выше количества CPU. Реальная мультизадачность это когда все готовые задачи либо выполняются на CPU, либо ожидают ввода-вывода. Это отличается от того когда задача насильно прерывается и CPU отдается другой, чтобы создать видимость многозадачности.

Ввод-вывод на МФ тоже очень отличается от ввода -вывода на Интел. Я обычно говорю операция ввода-вывода, но на самом деле каналом ВВ в один пинок от CPU выполняется целая программа ВВ, порой состоящая из сотен операций, котoрые могут выполняться в цикле. Я видел как работала задача форматирования диска и получилось время выполнения несколько минут, время CPU несколько десятых секунды и всего лишь одна операция ввода-вывода. Эта особенность и обеспечивает реальную многозадачность на МФ.

[ARARAT.]

ну так процессоры сильно помогают с виртуализацией в наше время, в биосе главное правильные флажки выставить

Я люблю "мучить" CPU всякими там оверклокингами, я побаловался вдоволь с етими "флажками"...
Например у меня сейчас дома главный PC именно на 8 коров с оверклокингом по всему что можно было(не только CPU) с сильным охолождением и так далее.
Жрет етот оверклакнутый CPU порядка 400 ватт(вся система порядка 600, ето на 22nm процессоре), но добиться максимальной мощности на всех 8 невозможно, они во первых на самом деле 4 кора, во вторых они физически не могут все вместе работать на максимальной частоте.
Мулти-третинг работает просто великолепно, и мулти-третовая производительность отменная, но потоковая далеко от хорошего...
Но да для виртуальки подходит отменно...

[Easbayguy]

Ну учитывая что только один человек из сотен людей на Привете использует МФ и тот скоро выйдет на пенсию,
то спор конечно беспредметный.

[ARARAT.]

Мы делали тест на i7, 4 кора давали производительность 3.6 больше чем один кор, а в режиме hyperthreading - 8 давали 5.6

Ага, ваши результаты четко показывают, что мерилась производительность мултитретинка... Он будет больше чем больше любых коров, даже HT...
Ето не производительность потоковая... Далеко не все задачи являются мултитретинговыми и MF например заточен не под них.
Но если ваши задачи именно мултитретинговые, но нечего лучше мулти-корес любых причем и нет. Ето например задачи в РТ серверах на тoй самой Джаве, php и прочей шелухе...

МФ еще тем отличается от, скажем, Интел тем что каналы ввода-вывода работают независимо от CPU и любая операция ввода-вывода запущенная CPU выполнятся автомомно, задача переходит в ожидание, а CPU становится свободным для другой задачи. Однопотоковой задачей с вводом-выводом невозможно загрузить один CPU сколько-нибудь серьезно.

Если в случае Интел о какой-то реальной мультизадачности стало возможным говорить с появлениям больше одного CPU (или полноценного кора), то реальный уровень мультизадачности на МФ как правило выше количества CPU. Реальная мультизадачность это когда все готовые задачи либо выполняются на CPU, либо ожидают ввода-вывода. Это отличается от того когда задача насильно прерывается и CPU отдается другой, чтобы создать видимость многозадачности.

Ввод-вывод на МФ тоже очень отличается от ввода -вывода на Интел. Я обычно говорю операция ввода-вывода, но на самом деле каналом ВВ в один пинок от CPU выполняется целая программа ВВ, порой состоящая из сотен операций, котoрые могут выполняться в цикле. Я видел как работала задача форматирования диска и получилось время выполнения несколько минут, время CPU несколько десятых секунды и всего лишь одна операция ввода-вывода. Эта особенность и обеспечивает реальную многозадачность на МФ.

Все ети тесты мерят исключительно много-тритность простейших арифметических(однотипных) операция "внутри" самого кора... Поетому показывают огромную производительность, но в реальной жизни регистры не гоняются туда-сюда внутри коров. В реальности идут постоянные обращения к меморы(причем не каш memory, a random/dinamic aceess) и IO.
Поетому и получаются огромные много-тритные показатели производительности однотипных(внутри корных операций), но в реальноти не высокая производительность(низкая производительность разнотипных операций, особенно не внутри коров, а "общения" етих коров с "наружним миром") когда надо брать данные с меморы в рандом режиме(без ужастия каш) или с ИО каналов...

[ARARAT.]

Ну учитывая что только один человек из сотен людей на Привете использует МФ и тот скоро выйдет на пенсию,
то спор конечно беспредметный.

Я работаю на MF например...

Вы сильно ошибаетесь если думаете что MF сейчас нет.
Они как были в серизных местах, так и стоят. Просто сейчас резко развился кастомер(доступ с customer PC через инет) бизнес для Джав, PHP и прочих browser based applications, вот именно его front end не на MF. Но кстати, даже там ядро не редко тот-же самый MF типе машины стоят и на них крутится главное.
Наша компания например "снаружи" выглядит как web based, на самом деле ето только web based frond end, ядро MF.

[iDesperado]

МФ еще тем отличается от, скажем, Интел тем что каналы ввода-вывода работают независимо от CPU и любая операция ввода-вывода запущенная CPU выполнятся автомомно, задача переходит в ожидание, а CPU становится свободным для другой задачи. Однопотоковой задачей с вводом-выводом невозможно загрузить один CPU сколько-нибудь серьезно.

но в 21 веке это выглядит архаизмом, ведь на интел серверах давно идет мода на инмемори базы данных и стоят сотни гиг памяти. как может соревноваться МФ с этими каналами, против интела, у которого 500 гб вашей базы Онтарио запросто умещается в буферном кеше ? там где МФ будет юлозить жестким диском интел просто обратиться к памяти, писать будет лишь лог транзакций.

[Palych]

Все ети тесты мерят исключительно много-тритность простейших арифметических(однотипных) операция "внутри" самого кора... Поетому показывают огромную производительность, но в реальной жизни регистры не гоняются туда-сюда внутри коров. В реальности идут постоянные обращения к меморы(причем не каш memory, a random/dinamic aceess) и IO.
Поетому и получаются огромные много-тритные показатели производительности однотипных(внутри корных операций), но в реальноти не высокая производительность(низкая производительность разнотипных операций, особенно не внутри коров, а "общения" етих коров с "наружним миром") когда надо брать данные с меморы в рандом режиме(без ужастия каш) или с ИО каналов...

Чуть выше Dmitry67 приводил результаты тестов реального приложения. Довольно близко к линейному росту...

[Palych]

МФ еще тем отличается от, скажем, Интел тем что каналы ввода-вывода работают независимо от CPU и любая операция ввода-вывода запущенная CPU выполнятся автомомно, задача переходит в ожидание, а CPU становится свободным для другой задачи. Однопотоковой задачей с вводом-выводом невозможно загрузить один CPU сколько-нибудь серьезно.

Иными словами - CPU каналов стоят незадействованные, в то время как основные процессоры по уши заняты.
В такой ситуации если сделать CPU универсальными - в принципе можно получить выигрышь производительности на том же количестве процессоров.

[StrangerR]

МФ еще тем отличается от, скажем, Интел тем что каналы ввода-вывода работают независимо от CPU и любая операция ввода-вывода запущенная CPU выполнятся автомомно, задача переходит в ожидание, а CPU становится свободным для другой задачи. Однопотоковой задачей с вводом-выводом невозможно загрузить один CPU сколько-нибудь серьезно.

Иными словами - CPU каналов стоят незадействованные, в то время как основные процессоры по уши заняты.
В такой ситуации если сделать CPU универсальными - в принципе можно получить выигрышь производительности на том же количестве процессоров.

В том то и дело. И тенденция сейчас именно такая. Та же Oracle DB машина - обычные серверы работают как сторейдж серверы и заодно делают и простые операции над базой данных Железного рейда там нет вообще. Аналогично - гугл, нету железных рейдов. Да, нужно чтоьбы была флеш память но и только.

И во времена БЭСМА, когда железо было дорогое, у ЕС пар весь уходил в кучу каналов которые занимали кучу железа но ничего не делали большую часть времени. В то время как бэсм да, получала 60+ прерываний при работе печати на 1 строку (по числу букв на барабане) но отрабатывала это без напряга.

[StrangerR]

Кстати, особенно прикольно видеть как любители виртуальных машин сравнивают производительность с физическими машинами...
Просто обсмеятся и не жить.

Виртуальные машины очень удобны конечно, но про етот самый логический оверхеад(огромную софтверную прослойку между желeзом и виртуалкой, на которую расходуется не мало ресурсов как CPU так и меморы(жрет как вне себя просто) как минимум) "почему то" все сразу забывают...
Ето тоже самое как сравнивать физический/аппаратный RAID контроллер с софтверным и говорить, что софтвербый по производительности не хуже...
Ладно, как я уже сказал не интересно сравнивать не сравнимое...

Оверхед там давно известен. Примерно 10 процентов. Учитывая то, что апгрейд железа после этого делается движением мышки, а не кучей геммороя, ВМ-ки через 2 - 3 года оказываются работающими на самом новом железе, а физика так обычно и стоит года 3 - 4 так как апгрейдить её крайне геморно. И в итоге виртуальки выигрывают. Мы уже все базы даже переводим на виртуалки, наплевав на весь и всякий оверхед. Выгодно потому что.

(RAID аппаратный выигрывает только за счет write back, что требует флеш памяти, капаситора или батарейки. Да и то уже есть тенденция ухода от оного и не слабая)

[StrangerR]

Нет я не против Wintel, но в больших ИТ его широкое использование ведет к катастрофам на самом деле. Это показал наш недавний DR test, только из-за проблем связанных с Wintel мы не уложились в отпущенное щедро время.

сразу вспоминается одна из историй Влада, как в его канторе пять лет настраивали оракловый dataguard и так и не смогли поднять. пять лет ушло на уникальную задачу, которая успешно решалась в подавляющем большинстве студентами минимум в нескольких миллионах компаний.

Что такое "оракловый dataguard"?

Physical standby + Fast Failover

[ARARAT.]

Кстати, особенно прикольно видеть как любители виртуальных машин сравнивают производительность с физическими машинами...
Просто обсмеятся и не жить.

Виртуальные машины очень удобны конечно, но про етот самый логический оверхеад(огромную софтверную прослойку между желeзом и виртуалкой, на которую расходуется не мало ресурсов как CPU так и меморы(жрет как вне себя просто) как минимум) "почему то" все сразу забывают...
Ето тоже самое как сравнивать физический/аппаратный RAID контроллер с софтверным и говорить, что софтвербый по производительности не хуже...
Ладно, как я уже сказал не интересно сравнивать не сравнимое...

Оверхед там давно известен. Примерно 10 процентов. Учитывая то, что апгрейд железа после этого делается движением мышки, а не кучей геммороя, ВМ-ки через 2 - 3 года оказываются работающими на самом новом железе, а физика так обычно и стоит года 3 - 4 так как апгрейдить её крайне геморно. И в итоге виртуальки выигрывают. Мы уже все базы даже переводим на виртуалки, наплевав на весь и всякий оверхед. Выгодно потому что.

(RAID аппаратный выигрывает только за счет write back, что требует флеш памяти, капаситора или батарейки. Да и то уже есть тенденция ухода от оного и не слабая)

Нет StrangerR, ето не 10% как они вам пишут в идеале на однотипные операции на корах... Реальный если включить рандом меморы аццесс и самое главное I-O он возростает до где-то 20-25%. Кроме того оверхеад по CPU, ето не единственное что оверхеад, memory overhead тоже сильное значение имеет, все вируталки required больше memory. Мы ето почувствовали когда переходили с физической машины на ету самую виртуальную на фронт енд. Когда старый физический сервер тянул с запасом процентов 20 гдето, после установки вирутальки тот-же самый server стал не хватать memory и CPU забивало под 100% часто. Пришлось upgrade делать. Ето четко покзывает оверхеад етих вируалок...
Правда одно хорошо, upgrade на intel based серверах очень дешев(сравнительно) now days, ето спасает. Именно поетому етот overhead не так заметен, т.е. upgrade железа сделал и вроде все Ок стало, но сам оверхеад остается и никуда не девается.
И про RAID аппаратный тоже не верно, аппаратный RAID полностью(абсолютно) разгружает CPU, для системы показываются просто контейнеры(и система вообще нечего не знает о етих контейнерах, никаких дриверов под систему не надо), все RAID внутри аппаратного. Все кeши внутри аппаратного так-же, основная память тоже не рашодуется и да появляется защита данных батарейкой(один раз нас ето "спасло" помню), которую никак не сделать в софтваре вообще... Они потетому и стоят не мало настоящие аппаратные, так как ето по сути микро-компутер, а не один чип как сотверные...

[StrangerR]

Блин, а я не знаю, имея под тысячу виртуалок, имея все почти продакшен системы уже на VMware, более 5 терабайтов суммарной оперативки, прямо сейчас трахаясь с апгрейдом VC?

Оверхед реальный где то процентов 10. Но если бы даже был и 30, это бы не волновало абсолютно. Потому что эти 30 процентов рояли не играютЮ, а вот возможность апгрейднуть железо на ходу мышкой - играет и весьма - весьма. Парочки переносов MS SQL серверов с железки на железку нам хватило за глаза, чтобы избавиться от этого мазохизма. С тех пор делали замену дисков на ходу, перенос на новые железки на ходу, перенос на новый SAN на ходу. Заметим еще что если линукс на железке еще можно вынести, то винду с её недо - LVM в котором нету даже простейшей операции эвакуации диска или переноса часть вольмов, а также которая вместо нормального системного mpio вечно юзает свой, как и сетевой бондинг - свой и у всех вендоров разный - то физическая винда это вообще ужас ужасный... нафиг такое... нету больше и слава богу!

С райдами - я же говорю, на сегодня тенденция все делать на софте, и единственное что мешает совсем уж массовым софтовым райдам - отстуствие кэша для write back. Клауды почти все уже давно сидят на софтовых райдах.

появляется защита данных батарейкой(один раз нас ето "спасло" помню)

Ага ага.. Я её давно выключил на всех важных серверах. Потому чро она конечно _есть_ но при сбое памяти кэша или пропадании батарейки вы получаете вдребезги разломанную память от которой не спасают никакие журналы. Оставил только на дев системах которым если что - ничего не будет, сделаем заново.

За все время было - 2 пропадания оных батареек (кто вам сказал что у вас питание в офисе не пропадет на 72 часа?) и два сбоя кэш памяти. Во всех случаях содержимое диска - в полную труху. Более менее надежны лишь
- кэш совмешенный с капаситором и флеш памятью, как на новых HP - пропадание питания не страшно. Правда при сбое памяти - та же труха.
- ну и SAN-ы с двумя контроллерами - сбои памяти не страшны, проходили.

А так нужно этими _батарейками_ пользоваться очень осторожно. Штука хорошая но ... слегка небезопасная...

[ARARAT.]

Блин, а я не знаю, имея под тысячу виртуалок, имея все почти продакшен системы уже на VMware, более 5 терабайтов суммарной оперативки, прямо сейчас трахаясь с апгрейдом VC?

Оверхед реальный где то процентов 10. Но если бы даже был и 30, это бы не волновало абсолютно. Потому что эти 30 процентов рояли не играютЮ, а вот возможность апгрейднуть железо на ходу мышкой - играет и весьма - весьма. Парочки переносов MS SQL серверов с железки на железку нам хватило за глаза, чтобы избавиться от этого мазохизма. С тех пор делали замену дисков на ходу, перенос на новые железки на ходу, перенос на новый SAN на ходу. Заметим еще что если линукс на железке еще можно вынести, то винду с её недо - LVM в котором нету даже простейшей операции эвакуации диска или переноса часть вольмов, а также которая вместо нормального системного mpio вечно юзает свой, как и сетевой бондинг - свой и у всех вендоров разный - то физическая винда это вообще ужас ужасный... нафиг такое... нету больше и слава богу!

С райдами - я же говорю, на сегодня тенденция все делать на софте, и единственное что мешает совсем уж массовым софтовым райдам - отстуствие кэша для write back. Клауды почти все уже давно сидят на софтовых райдах.

Я не знаю у вас там тысяча, 10 тысячь или что там, я реально видел переход с физической на виртуальную поетому и говорю и что и как получилось с етого с оверхеад...
А Винда ето вообще маразм, мы давным давно от нее отказались нафиг, все на линуксе крутится. Винда только на персоналках стоит на floor...
Про RAID я уже написал... Дешивизна вот главный двигатель софтваре RAID(как кстати и тех самых Intel based серверов), а отнють не перформанце или низкий оверхеад. Мы же говорим именно об етом.
PS Кстати, "мы" ето уже не раз проходили, попытки все сделать в софтваре, рано или поздно все возвращается обратно на аппаратку, так перформанце(и разгрузка главного CPU) у аппаратки физически выше просто...