Миф: как IBM победил БЭСМ

User avatar
Dmitry67
Уже с Приветом
Posts: 28283
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Миф: как IBM победил БЭСМ

Post by Dmitry67 »

А как в мф решается проблема синхронизации кешей?
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: Миф: как IBM победил БЭСМ

Post by АццкоМото »

zVlad wrote:
АццкоМото wrote:...А давайте не переходить на личности? Или - беттер йет - не скакать с субжа на субж?
.... - то вон в "о жизни" жара идет, что людей создали какие-то тараканы с обратной стороны луны. ну, в смысле фантазия прет как раз там :)
Извините погорячился, но и Вы тоже от темы далеко отходите и неправильно понимаете тех с кем говорите, в данном случае меня. Поэтому я бы ожидал услышать дополнительные вопросы, а не финальные заключения. Мы же здесь не для того чтобы на тезис овечать антитезисом и удаляться в гордом одиночестве, мы, кмк, здесь чтoбы проверить свои мысли на чужом мнении, именно свои мысли, а не то что кому то невеяло вброшенными нами текстами. Поэтому не стесняйтесь - спрашивайте, не торопитесь отпихиваться от собеседника ссылаясь на индустрию - индустрия она больше чем Вам кажется на самом деле. Заранее извиняюсь что опять разгoрячился,
Я просто зацепился за тезис, который мне показался неверным, о чем и сказал
Если у вас есть аргументы в пользу того, что он верен - я с удовольствием послушаю и, возможно, поменяю свое мнение
zVlad wrote:просто я ожидаю от молодежи более глубого мышления.
А вот голубого мышления от меня не дождетесь. В мои молодежные 40 странно было бы начать косить под СЕО фруктовой компании
Мат на форуме запрещен, блдж!
User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: Миф: как IBM победил БЭСМ

Post by АццкоМото »

Palych wrote:Кстати, а возможно ли как-то снимать статистику с процессора на живой машине?
Например - статистику использования кешей?
Ммм... а какую именно статистику использования?
Мат на форуме запрещен, блдж!
User avatar
tengiz
Уже с Приветом
Posts: 4468
Joined: 21 Sep 2000 09:01
Location: Sammamish, WA

Re: Миф: как IBM победил БЭСМ

Post by tengiz »

Palych wrote:Кстати, а возможно ли как-то снимать статистику с процессора на живой машине?
Например - статистику использования кешей?
На Интеле - уже давно возможно.
Cheers
zVlad
Уже с Приветом
Posts: 16196
Joined: 30 Apr 2003 16:43

Re: Миф: как IBM победил БЭСМ

Post by zVlad »

Palych wrote:
zVlad wrote:У нас например в DB2 одна из самых потребных таблиц хранится в сжатом виде чтобы поместиться целиком в памяти. Страницы разжимаются на лету по мере обращения к ним. Крипто тоже плотно используется в том же DB2. Есть такие приложения где это критично.
А на сколько процентов у вас заняты подсистемы криптографии и сжатия?
Криптографии на Production у нас 0(ноль). Сжатие пытаюсь найти.

Вот как выглядит отчет по 30-минутному интервалу:

Code: Select all

                                           C R Y P T O  H A R D W A R E  A C T I V I T Y
                                                                                                                           PAGE    1
            z/OS V1R13               SYSTEM ID EAEA             DATE 11/03/2014            INTERVAL 30.00.003
                                     RPT VERSION V1R13 RMF      TIME 14.30.00              CYCLE 6.000 SECONDS
-------- ICSF SERVICES ----------------------------------------------------------------------------------------------------
        ---- ENCRYPTION -----    ---- DECRYPTION -----    ----- MAC ------    -------- HASH ---------    ------ PIN -------
         SDES    TDES     AES     SDES    TDES     AES    GENERATE  VERIFY    SHA-1  SHA-256  SHA-512    TRANSLATE   VERIFY
RATE     0.00    0.00    0.00     0.00    0.00    0.00        0.00    0.00     0.00     0.00     0.00         0.00     0.00
SIZE     0.00    0.00    0.00     0.00    0.00    0.00        0.00    0.00     0.00     0.00     0.00
User avatar
flip_flop
Уже с Приветом
Posts: 4375
Joined: 20 Jun 2001 09:01

Re: Миф: как IBM победил БЭСМ

Post by flip_flop »

Palych wrote:
zVlad wrote:
Palych wrote:
zVlad wrote: Intel уперлся в тупик с ростом производительности путем повышения частоты
...
А IBM не упёрся в этот тупик?
В чём их подход радикально отличается?
Мы говорил только о chip-e CP (у IBM называется PU - Processor Unit), OK.
Их подход отличается тем что они не упираются в наращивание кОров. В текущем семействе - EC12 (2012) - кОров всего 6 на chip-e. Но у них больше cash size и у каждого кора есть свой unit for compression and encryption.
Как мы выяснили - наращивание кОров имеет ограничение: из-за ненинейного роста производительности их нельзя наращивать бесконечно.
А увеличение cash size и добавление unit for compression and encryption не имеет ограничений?
Это (ограничение наращивания коров) - миф. Джентельмены, которые делают суперкомпъютеры об этом не знают и наращивают число узлов из-за линейной масштабируемости ( http://www.drdobbs.com/parallel/exceedi ... 836?pgno=3 ) . Разумеется, для масштабируемых задач. Для масштабируемости коров на чипе - тоже неплохо ( http://nar.ucar.edu/2013/cisl/accelerat ... ithmically ). Мой скромный опыт показывает следующее - для простых реализаций (типа простейшего OpenMP) для чипа с 61 ядром и 244-мя потоками при увеличении числа потоков до примерно 122 - рост производительности был линеен (идеален), затем несколько замедлялся (но никогда не насыщался, а монотонно увеличивался) и при максимально числе потоков в 244 составлял примерно 2/3 от потенциального максимума. Да, не максимум, но и не половина. Да и Дмитрий67 приводил тесты. Но желающие их могут игнорировать, конечно, типа "зелен виноград", не та консерватория и так далее.

Масса интересных технологий в развитии, я не вижу повода для "плача Ярославны". Что не отменяет, конечно, неудачных реализаций "на местах".
User avatar
flip_flop
Уже с Приветом
Posts: 4375
Joined: 20 Jun 2001 09:01

Re: Миф: как IBM победил БЭСМ

Post by flip_flop »

АццкоМото wrote:
Palych wrote:Кстати, а возможно ли как-то снимать статистику с процессора на живой машине?
Например - статистику использования кешей?
Ммм... а какую именно статистику использования?
Ну, например, статистику использования кешей ("попаданий" и "промахов" в L2 и L3 cache):
https://software.intel.com/en-us/articl ... tilization
Иногда этой статистики достаточно чуть более чем полностью.
User avatar
АццкоМото
Уже с Приветом
Posts: 15242
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: Миф: как IBM победил БЭСМ

Post by АццкоМото »

flip_flop wrote:
АццкоМото wrote:
Palych wrote:Кстати, а возможно ли как-то снимать статистику с процессора на живой машине?
Например - статистику использования кешей?
Ммм... а какую именно статистику использования?
Ну, например, статистику использования кешей ("попаданий" и "промахов" в L2 и L3 cache):
https://software.intel.com/en-us/articl ... tilization
Иногда этой статистики достаточно чуть более чем полностью.
ок-ок, джясьть аськинь :)
Мат на форуме запрещен, блдж!
zVlad
Уже с Приветом
Posts: 16196
Joined: 30 Apr 2003 16:43

Re: Миф: как IBM победил БЭСМ

Post by zVlad »

flip_flop wrote:
zVlad wrote:

Я еще раз приноношу свои извинения за пропуск Xeon-ов и их параметров, но честно говоря тенденция от этого не меняется, остается немного больше 2 MB на кор. i7 на странице интел я просмотрел весь:

http://www.intel.com/content/www/us/en/ ... essor.html

больше 8 МB не вижу. Опять не туда посмотрел?
Извининя приняты. Проехали :fr:

Куда смотреть - вначале на общий список: http://ark.intel.com/#@Processors

Затем выбираем. Например: http://ark.intel.com/products/family/79 ... s#@Desktop и далее:
http://ark.intel.com/products/82930/Int ... o-3_50-GHz

Не забываем про Server Processors, на данный момент наиболее интересные эти:
http://ark.intel.com/products/family/78 ... ly#@Server
и эти:
http://ark.intel.com/products/family/78 ... ly#@Server
и эти:
http://ark.intel.com/products/family/71 ... rs#@Server
Просмотрел. Спасибо.
Чем больше кОров тем меньше cash. Это понятно.

Как Вы думаете чем вызванно большое разнообразие конфигураций продуктов (CPU) Intel? По количеству кОров, размерам cash-ей, наверняка еще чему нибудь. У меня есть обяснение, свое, но хотелось бы сначала выслушать специалиста по конкретному направлению.
zVlad
Уже с Приветом
Posts: 16196
Joined: 30 Apr 2003 16:43

Re: Миф: как IBM победил БЭСМ

Post by zVlad »

Palych wrote:...Как мы выяснили - наращивание кОров имеет ограничение: из-за ненинейного роста производительности их нельзя наращивать бесконечно.
А увеличение cash size и добавление unit for compression and encryption не имеет ограничений?

Все имеет ограничение. Физические в первую очередь. Самоограничения тоже имеются, но в рыночной экономике самоограничение - это сдача позиций конкурентам называется.

Есть кристал кремния, на нем сегодня можно разместить ~ 10 000 000 000 транзисторов. Возникает вопрос чем эти транзисторы занять.

Решается этот вопрос по разному в зависимости от цели. Если цель быстро обсчитывать много независимых и простых по содержанию процессов (степень простоты тоже вопрос интересный), то делаем максимальное количество исполнительных юнитов (а чем они проще тем их можно уместить на кристале больше). И это называется GPU (Nvidia).

Если цель не четко определена то выпускается большая номенклатура самых разнообразных конфигураций, с самыми разнообразными количествами кОров и размерами cash-ей. Это путь выбранный Intel. Intel продает чип-ы в розницу. Готовые компьютеры делают и Intel и многие другие исходя из своего понимания какими они должны быть. Конечный пользователь голову ломает что же ему то надо на самом деле.

Если цель достичь наилучшего результата для смеси самых разнообразных и связанных нагрузок, то кроме кОров и cash-ей на кристал помещают и другие компоненты, при этом стараются воплотить эти компоненты самым наиполнейшим образом. Сейчас это compression and crypto, будут и другие. Это, как вы уже догадались, путь выбранный IBM на MF. При таком подходе chip-ы не продаются в розницу, а из них делаются готовые компьютеры позволяющие программно конфигуриваться в огромном диапазоне мощностей CPU, размеров памяти, дополнительных устройств - для той же криптографии там где on-board crypto недостаточно и другого. Все это под управлением ОС способных все это использовать даже если прикладные программы не способны это использовать и конечно с предоставлением возможности использования программами. При этом у конечного пользователя задача выбора гораздо проще - надо всего лишь определиться с выбором одной из двух моделей семейства BC, и пяти моделей семейства EC. А все остально можно уже подогнать на местe, в процессе использования, более того автоматически это будет подогнано (в случае zOS).
User avatar
flip_flop
Уже с Приветом
Posts: 4375
Joined: 20 Jun 2001 09:01

Re: Миф: как IBM победил БЭСМ

Post by flip_flop »

zVlad wrote: Просмотрел. Спасибо.
Чем больше кОров тем меньше cash. Это понятно.
Это не так. Строго говоря, чем больше коров, тем больше кеш. В пересчёте на кор, удельный кеш примерно одинаков, за исключением отдельной группы оптимизированных по частоте процессоров. Посмотрите статью по Xeon v2600 v3: http://www.microway.com/knowledge-cente ... rocessors/
Там есть во втором графике выбор L3 Cache и там данные как по суммарному кеш так и по удельному (на ядро). Все данные из спецификаций, но более иллюстративные, и, что самое главное - просто правильные. Влад, пожалуйста, будьте внимательны и делайте правильные выводы. Без умения понимать прочитанное никакой дискуссии не получится, уж извините.
Как Вы думаете чем вызванно большое разнообразие конфигураций продуктов (CPU) Intel? По количеству кОров, размерам cash-ей, наверняка еще чему нибудь. У меня есть обяснение, свое, но хотелось бы сначала выслушать специалиста по конкретному направлению.
Я не специалист по направлению бизнеса, не маркетолог, совсем. Так, погулять вышел, "джясьть аськинь :)" (© Аццкомото)
Моё частное, не корпоративное совсем, мнение совпадает с объяснением из той же статьи:
Разнообразие вызвано делением области предпочтительного применения на 4 сегмента:
1. Дешёвые процессоры - оптимизированное отношение производительность/цена
2. Усовершенствованные процессоры - максимальная производительность для большинства задач
3. Процессоры с увеличенным числом коров - повышенная производительность для масштабируемых задач
4. Оптимизированные по частоте процессоры (с относительно малым числом коров, повышенном объёмом кеша на ядро, другим режимом турбо и т.д.) - повышенная производительность для малопоточных задач

Это только для одной серии и ширпотреба, для Xeon-Е7 вступают другие критерии, для десктопных процессоров - третьи и т.д. В результате имеем богоугодное разнообразие вместо "единственно правильного" "марксизма от ЭВМ".
zVlad
Уже с Приветом
Posts: 16196
Joined: 30 Apr 2003 16:43

Re: Миф: как IBM победил БЭСМ

Post by zVlad »

flip_flop wrote:... Влад, пожалуйста, будьте внимательны и делайте правильные выводы.....
Я понял что меня сконфузило. В этой ссылке:

http://ark.intel.com/products/family/71 ... rs#@Server

там где в других пишется размер cache-a порписано max memory size.

Тем не менее:

Intel® Xeon Phi™ Coprocessor 7120A - 61 cores L2 Cache 30.5 MB ~ .5 MB per core, и

Intel® Xeon® Processor E5-1660 v3 - 8 cores Intel® Smart Cache 20 MB = 2.5MB per core в пять раз больше.

Чем отличается "L2 Cache" от "Intel® Smart Cache"?

P.S. Еще одна закономерность - чем больше кОров тем меньше герц.
Last edited by zVlad on 04 Nov 2014 20:33, edited 1 time in total.
oshibka_residenta
Уже с Приветом
Posts: 4435
Joined: 13 Feb 2002 10:01
Location: Bay Area

Re: Миф: как IBM победил БЭСМ

Post by oshibka_residenta »

zVlad wrote: У нас например в DB2 одна из самых потребных таблиц хранится в сжатом виде чтобы поместиться целиком в памяти. Страницы разжимаются на лету по мере обращения к ним.
Эти пляски с бубнами нужны для MF где память дороже золота. На Интел мы просто добавим памяти сколько надо.
Да, не эстетично, зато дешево, надежно и практично.
iDesperado
Уже с Приветом
Posts: 1422
Joined: 28 Nov 2008 17:50

Re: Миф: как IBM победил БЭСМ

Post by iDesperado »

который раз Влад не имея представления о базисе, начинает рассуждать. хорошо хоть глубокий анализ о тупике не на базе Атома сделан.
реально же на десктопе Интел уже сделал целиком компьютер на чипе, разместив серьезную видеокарту и northbridge на процессоре.
Palych
Уже с Приветом
Posts: 13976
Joined: 16 Jan 2001 10:01

Re: Миф: как IBM победил БЭСМ

Post by Palych »

oshibka_residenta wrote:
zVlad wrote: У нас например в DB2 одна из самых потребных таблиц хранится в сжатом виде чтобы поместиться целиком в памяти. Страницы разжимаются на лету по мере обращения к ним.
Эти пляски с бубнами нужны для MF где память дороже золота. На Интел мы просто добавим памяти сколько надо.
Да, не эстетично, зато дешево, надежно и практично.
К тому же по идее должно быть быстрее...
Кстати, в MacOS память тоже сжимается.
User avatar
flip_flop
Уже с Приветом
Posts: 4375
Joined: 20 Jun 2001 09:01

Re: Миф: как IBM победил БЭСМ

Post by flip_flop »

zVlad wrote: Тем не менее:

Intel® Xeon Phi™ Coprocessor 7120A - 61 cores L2 Cache 30.5 MB ~ .5 MB per core, и

Intel® Xeon® Processor E5-1660 v3 - 8 cores Intel® Smart Cache 20 MB = 2.5MB per core в пять раз больше.
Это разные архитектуры, процессор супротив ко-процессора. О ко-процессоре можно много обсуждать, но это другое животное, с другой архитектурой системы памяти, это нечто между CPU и GPGPU.
Чем отличается "L2 Cache" от "Intel® Smart Cache"?
http://en.wikipedia.org/wiki/Smart_Cache
В процессоре это L3 cache. Те же 2.5 MB/core для 18-ти ядерного E5-2699 v3: 18*2.5=45 MB
User avatar
Dmitry67
Уже с Приветом
Posts: 28283
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Миф: как IBM победил БЭСМ

Post by Dmitry67 »

Серьезную видеокарту? Давайте сравним с линейкой nvidia
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
iDesperado
Уже с Приветом
Posts: 1422
Joined: 28 Nov 2008 17:50

Re: Миф: как IBM победил БЭСМ

Post by iDesperado »

zVlad wrote:При таком подходе chip-ы не продаются в розницу, а из них делаются готовые компьютеры позволяющие программно конфигуриваться в огромном диапазоне мощностей CPU, размеров памяти, дополнительных устройств - для той же криптографии там где on-board crypto недостаточно и другого. Все это под управлением ОС способных все это использовать даже если прикладные программы не способны это использовать и конечно с предоставлением возможности использования программами. При этом у конечного пользователя задача выбора гораздо проще - надо всего лишь определиться с выбором одной из двух моделей семейства BC, и пяти моделей семейства EC. А все остально можно уже подогнать на местe, в процессе использования, более того автоматически это будет подогнано (в случае zOS).
если эти чипы столь прекрасны и универсальны, почему они для ИБМ второстепенный бизнес, а основной доход дают чипы созданные для unix pSeries ? зачем производить pSeries если "делаются готовые компьютеры позволяющие программно конфигуриваться в огромном диапазоне мощностей CPU, размеров памяти, дополнительных устройств " ? и вообще, что за полумеры в области софта ? зачем куча баз данных на МФ, зачем куча ОСей, почему бы и тут не лишить пользователя выбора ? что за дискриминация по чиповому признаку ? всех под одну гребенку на zOS и db2, не согласных расстрелять !
iDesperado
Уже с Приветом
Posts: 1422
Joined: 28 Nov 2008 17:50

Re: Миф: как IBM победил БЭСМ

Post by iDesperado »

Dmitry67 wrote:Серьезную видеокарту? Давайте сравним с линейкой nvidia
пожалуйте http://www.techpowerup.com/reviews/Inte ... GPU/3.html
User avatar
flip_flop
Уже с Приветом
Posts: 4375
Joined: 20 Jun 2001 09:01

Re: Миф: как IBM победил БЭСМ

Post by flip_flop »

iDesperado wrote:который раз Влад не имея представления о базисе, начинает рассуждать. хорошо хоть глубокий анализ о тупике не на базе Атома сделан.
реально же на десктопе Интел уже сделал целиком компьютер на чипе, разместив серьезную видеокарту и northbridge на процессоре.
Атом - тоже не тупик, и на его основе делают серверы, просто в определённой нише. Впрочем, на МФ они не покушаются, пока :D

Интеграция развивается, да. Из новых вещей стоит отметить NVMe, по PCIe вместо видеокарты стоит SSD, связанный напрямую с процессором с массой усовершенствований протокола. У меня сейчас двух террабайтная карточка с 4x PCIe Gen3, с устойчивой скоростью чтения 3.2 ГБ/сек (не Гб/сек а именно ГБ/сек), с устойчивой скоростью записи 2.5 ГБ/сек и с латентностью менее 10 микросекунд. Некоторые вроде вычислительные тесты идут в два раза быстрее с этой карточкой вместо обычного SSD (который тоже не плох в виде SATA Gen3 [6 Gb/sec]). Очень доволен :great:
User avatar
Dmitry67
Уже с Приветом
Posts: 28283
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Миф: как IBM победил БЭСМ

Post by Dmitry67 »

iDesperado wrote:
Dmitry67 wrote:Серьезную видеокарту? Давайте сравним с линейкой nvidia
пожалуйте http://www.techpowerup.com/reviews/Inte ... GPU/3.html
Вы смеетесь?

http://www.hardwareluxx.ru/index.php/ar ... ml?start=2

40 GPU cores max?????

Вот что у меня дома
http://www.geforce.com/hardware/desktop ... ifications

1344 CUDA cores
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
User avatar
flip_flop
Уже с Приветом
Posts: 4375
Joined: 20 Jun 2001 09:01

Re: Миф: как IBM победил БЭСМ

Post by flip_flop »

iDesperado wrote:
Dmitry67 wrote:Серьезную видеокарту? Давайте сравним с линейкой nvidia
пожалуйте http://www.techpowerup.com/reviews/Inte ... GPU/3.html
Интегральную как бы "карточку" на чипе с дискретными (иногда огромными) картами в виде PCIe? Не совсем корректно. Впрочем для среднего сегмента NVidia можно и сравнить, примерно одинаково. Из отдельным моментов такой интегральной графики надо упомянуть использование eDRAM, детище божественной IBM. Так что, такая графика, по крайней мере, богоугодная :pray: :D
User avatar
flip_flop
Уже с Приветом
Posts: 4375
Joined: 20 Jun 2001 09:01

Re: Миф: как IBM победил БЭСМ

Post by flip_flop »

Dmitry67 wrote:
iDesperado wrote:
Dmitry67 wrote:Серьезную видеокарту? Давайте сравним с линейкой nvidia
пожалуйте http://www.techpowerup.com/reviews/Inte ... GPU/3.html
Вы смеетесь?

http://www.hardwareluxx.ru/index.php/ar ... ml?start=2

40 GPU cores max?????

Вот что у меня дома
http://www.geforce.com/hardware/desktop ... ifications

1344 CUDA cores
Это разные коры. По тестбенчам верхний сегмент видеокарточек быстрее Ирис-Про в разы, но не в десятки/сотни раз, как следовало бы из отношения коров.
iDesperado
Уже с Приветом
Posts: 1422
Joined: 28 Nov 2008 17:50

Re: Миф: как IBM победил БЭСМ

Post by iDesperado »

Dmitry67 wrote:1344 CUDA cores
я человек технический, меня корами не накормишь, мне fps подавай и на реальной задачи. как видите на играх вполне сравнимо с начальным сегментом Nvidia, но суть не в сегменте, а в "застое". с этим "застоем" через несколько лет похоже низший ценовой сегмент видеокарт перестанет существовать.
zVlad
Уже с Приветом
Posts: 16196
Joined: 30 Apr 2003 16:43

Re: Миф: как IBM победил БЭСМ

Post by zVlad »

flip_flop wrote:
zVlad wrote: Просмотрел. Спасибо.
Чем больше кОров тем меньше cash. Это понятно.
Это не так. Строго говоря, чем больше коров, тем больше кеш. В пересчёте на кор, удельный кеш примерно одинаков, за исключением отдельной группы оптимизированных по частоте процессоров. Посмотрите статью по Xeon v2600 v3: http://www.microway.com/knowledge-cente ... rocessors/
Там есть во втором графике выбор L3 Cache и там данные как по суммарному кеш так и по удельному (на ядро)......
Посмотрел. Подтверждаю что в этом семействе поддерживается одинаковый размер cache на core - 2.5 MB.

Return to “Вопросы и новости IT”