Демократизация мейнфреймов

uncle_Pasha
Уже с Приветом
Posts: 19924
Joined: 30 Aug 2000 09:01
Location: WA

Re: Демократизация мейнфреймов

Post by uncle_Pasha »

zVlad wrote:Например, если в одном случае мы имеем 6Gb/sec, а в другом 4*8 Gb/sec то понятно что во втором случае ввод-вывод более мощный и можно ожидать бОльшую производительность системы в целом.
Надо еще чтобы дисковая подсистема обеспечивала эти 4*8 Gb/sec.
Т.е. прежде, чем вы получите бОльшу производительность, придется потратить еще XXX млн баксов.
С другой стороны, подключив ту же подсистему по iSCSI используя 4x10GB Ethernet можно получить тот же bandwidth для системы стоимостью на пару порядков ниже.

Удачи!
Zombie416
Уже с Приветом
Posts: 8881
Joined: 17 Jun 2003 04:41

Re: Демократизация мейнфреймов

Post by Zombie416 »

zVlad wrote:во втором случае ввод-вывод более мощный и можно ожидать бОльшую производительность системы в целом.
Но при этом если суммарный bandwidth всех каналов выражается в десятках и сотнях гигабит в секунду, то заткнется все это на уровне процессора(-ов). Просто не потянет хоть как-то серьезно обработать эти данные (разве что файлы копировать выйдет).

А между тем даже в современном лаптопе суммарная мощность внешних "каналов" - это несколько SATA 6Gb/s, впридачу к парочке 5-10-20 GB/sec интерфейсов (ака USB3/DisplayPort/ThunderBolt ...).

Так что считать "мощность" количеством карточек которые можно одновременно засунуть приведет к интересным, но бесполезным результатам. Это примерно как считать что 64-х портовый switch в 8 раз "мощнее" чем 8-ми портовый. А чего, 64 разъема *1Gb/s = аж 64Gb/s, воткнул в лаптоп и вуаля ? :)
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Демократизация мейнфреймов

Post by iDesperado »

zVlad wrote: Я предлагаю оценивать ввод-вывод между сервером и внешним устройством (дисками). Почему? На мой взгляд это самый близкий к потребительскому пониманию производительности уровень архитектуры. Например, если в одном случае мы имеем 6Gb/sec, а в другом 4*8 Gb/sec то понятно что во втором случае ввод-вывод более мощный и можно ожидать бОльшую производительность системы в целом.
хи-хи, помниться в глубоком детстве я тоже считал что машинка с 2 литровым двигателем поедет в 2 раза быстрее чем машинка с 1 литром. а когда подрос оказалось, что сколько литров на жигуль не воодрузи, он кардинально лучше не поедет. у вас, zVlad, слегка примитивные представления об архитектуре сложных систем.
User avatar
Dmitry67
Уже с Приветом
Posts: 28294
Joined: 29 Aug 2000 09:01
Location: SPB --> Gloucester, MA, US --> SPB --> Paris

Re: Демократизация мейнфреймов

Post by Dmitry67 »

Ну хорошо, а вот вы представьте что вы - аналог Стива Джобса в IBM.
Вы видите как запахло жареным.
Конечно, хорошую мину при плохой игре никто не отменял, но что делать то глобально им?
Зарегистрированный нацпредатель, удостоверение N 19719876044787 от 22.09.2014
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

iDesperado wrote:нашел убийственный аргумент. тесты реальной задачи. Пеоплесофт
хттп://шшш.орацле.цом/ус/солутионс/бенчмарк/аппс-бенчмарк/пеоплесофт-167486.хтмл

Итак берем 9-шаы з10 ЕЦ 2097-709 ц ДС8300 (6512 МИПС) проиграл 8-шаы СПАРЦ Ентерприсе М5000 (32 цорес) с флеш сториджом. причем заметно проиграл 87.4 минуты, против 50.11 минут. базы совершенно одинаковы, задача совершенно одинакова. у МФ было 8 потоков, у М5000 32.
...

Сколько у 9-way z10 cores?
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

iDesperado wrote:
zVlad wrote: Вы плохо знаете (точнее совсем не знаете) матчасть МФ и чем она отличается от тех пирогов, которые Вы тоже скорее всего мало знаете. Именно поэтому Вы пришли к совершенно не верному выводу что Ваш пример равен по производительности МФ с 10 ядрами 258 гигами и, я добавлю, 128-мью 8-ми Гб-ными каналами ввода-вывода.
Моих многочисленных разъяснений здесь Вы тоже не читали (или не поняли).
я понимаю, что в вашем возрасте это уже сложно, но все таки я бы вам посоветовал немного поднять квалификацию и не думать, что кто-то глупее вас.
128 8 Гб-шные каналы это конечно круто, но я вам показал конкретный тест где всего 4 канала по сути заткнули ваш МФ. утилизация процев 90%, т.е. в суровой дейсвительности эта сотня каналов никогда не понадобиться, а реально будет использоваться максимум десяток.

Говорить такую чушь какую Вы говорите здесь, делать заявления которые ничем кроме Ваших иллюзий не подкрепленны, не уметь даже посчитать количество процессоров и сравнивать 9 с 32-мя все это в любом возрасте называется одинаково - невежество.
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

uncle_Pasha wrote:
zVlad wrote:Например, если в одном случае мы имеем 6Gb/sec, а в другом 4*8 Gb/sec то понятно что во втором случае ввод-вывод более мощный и можно ожидать бОльшую производительность системы в целом.
Надо еще чтобы дисковая подсистема обеспечивала эти 4*8 Gb/sec.
Т.е. прежде, чем вы получите бОльшу производительность, придется потратить еще XXX млн баксов.
С другой стороны, подключив ту же подсистему по iSCSI используя 4x10GB Ethernet можно получить тот же bandwidth для системы стоимостью на пару порядков ниже.

Удачи!
Zombie416 wrote:
zVlad wrote:во втором случае ввод-вывод более мощный и можно ожидать бОльшую производительность системы в целом.
Но при этом если суммарный bandwidth всех каналов выражается в десятках и сотнях гигабит в секунду, то заткнется все это на уровне процессора(-ов). Просто не потянет хоть как-то серьезно обработать эти данные (разве что файлы копировать выйдет).

.
Vot diski dlya MF:

http://www-03.ibm.com/systems/storage/d ... index.html
Support for 2 to 32 host adapters and up to 128 Fibre Channel/FICON® host ports
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Демократизация мейнфреймов

Post by iDesperado »

zVlad wrote: Говорить такую чушь какую Вы говорите здесь, делать заявления которые ничем кроме Ваших иллюзий не подкрепленны, не уметь даже посчитать количество процессоров и сравнивать 9 с 32-мя все это в любом возрасте называется одинаково - невежество.
невежество это путать processors с cores.
zVlad, вы требуете конкретики, получив конкретику в виде тестов вы верещите об иллюзиях. давайте вы выдохните, успокоитесь и без перехода на учительский тон попробуете по русски сформулировать свою мысль.
User avatar
flip_flop
Уже с Приветом
Posts: 4379
Joined: 20 Jun 2001 09:01

Re: Демократизация мейнфреймов

Post by flip_flop »

Zombie416 wrote:
zVlad wrote:во втором случае ввод-вывод более мощный и можно ожидать бОльшую производительность системы в целом.
[Но при этом если суммарный bandwidth всех каналов выражается в десятках и сотнях гигабит в секунду, то заткнется все это на уровне процессора(-ов). Просто не потянет хоть как-то серьезно обработать эти данные (разве что файлы копировать выйдет).

А между тем даже в современном лаптопе суммарная мощность внешних "каналов" - это несколько SATA 6Gb/s, впридачу к парочке 5-10-20 GB/sec интерфейсов (ака USB3/DisplayPort/ThunderBolt ...).

Так что считать "мощность" количеством карточек которые можно одновременно засунуть приведет к интересным, но бесполезным результатам. Это примерно как считать что 64-х портовый switch в 8 раз "мощнее" чем 8-ми портовый. А чего, 64 разъема *1Gb/s = аж 64Gb/s, воткнул в лаптоп и вуаля ? :)]
uncle_Pasha wrote:[Надо еще чтобы дисковая подсистема обеспечивала эти 4*8 Gb/sec.
Т.е. прежде, чем вы получите бОльшу производительность, придется потратить еще XXX млн баксов.
С другой стороны, подключив ту же подсистему по iSCSI используя 4x10GB Ethernet можно получить тот же bandwidth для системы стоимостью на пару порядков ниже.]
Ну да, примерно так. Внутренний слой (PCIe со стороны чипсета, который с другой стороны "говорит" с CPU) подключается к карточкам с контроллерами, которые связывают PCie с внешними ИО. Прелесть открытых индустриальных систем в том, что они допускают множество решений от разных OEM, например уже упомянутые 10GbE (реализаций и стандартов тьма на самом деле), 1GbE, Fibre Channel, Infiniband, SAS, etc. Не говоря уже о "родных" контроллерах SAS/eSATA сидящих на чипсете. На уровне архитектуры недавно появилась поддержка на аппаратном уровне (в добавление к программной поддержке) виртуализации ИО, что делает систему ИО более умной и производительной.

Но! Как уже говорилось - более мошный ввод-вывод для дисков приводит к более высокой производитэности при прочих равных условиях . Использование большего числа ядер/потоков, памяти большего обьема, промежуточных уровней памяти может оказать существенно более весомый эффект чем собственно работа с дисковой системой (которая не такая уж и плохая в серверах сегодня, слава богу не эпоха динозавров и малюсеньких млекопитающих на дворе - это раньше могучие дисководы от мейнфреимов впечатляли :D ). Так что решения варьриуруются и баланс определяется конкретными требованиями. Например, уже упомянутая мечта [Dmitry67] и предмет внимания [StrangeR] в виде Оракловой екзадата ДБ машины. Которая кстати, как и многие другие примеры, основываются на предудыщих версиях зионов. На новых процессорах будет еще быстрее и еще надежнее. Передаю эстафету [StrangeR] .
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

iDesperado wrote:
zVlad wrote: Говорить такую чушь какую Вы говорите здесь, делать заявления которые ничем кроме Ваших иллюзий не подкрепленны, не уметь даже посчитать количество процессоров и сравнивать 9 с 32-мя все это в любом возрасте называется одинаково - невежество.
невежество это путать процессорс с цорес.
зВлад, вы требуете конкретики, получив конкретику в виде тестов вы верещите об иллюзиях. давайте вы выдохните, успокоитесь и без перехода на учительский тон попробуете по русски сформулировать свою мысль.

Так может Вы все таки расскажите сколько коров у того МФ где 9 ways?
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Демократизация мейнфреймов

Post by iDesperado »

zVlad wrote: Так может Вы все таки расскажите сколько коров у того МФ где 9 ways?
девять, девять коров 6512 MIPS, стоимостью $6,141,671.
StrangerR
Уже с Приветом
Posts: 38016
Joined: 14 Dec 2006 20:13
Location: USA

Re: Демократизация мейнфреймов

Post by StrangerR »

uncle_Pasha wrote:
zVlad wrote:Например, если в одном случае мы имеем 6Gb/sec, а в другом 4*8 Gb/sec то понятно что во втором случае ввод-вывод более мощный и можно ожидать бОльшую производительность системы в целом.
Надо еще чтобы дисковая подсистема обеспечивала эти 4*8 Gb/sec.
Т.е. прежде, чем вы получите бОльшу производительность, придется потратить еще XXX млн баксов.
С другой стороны, подключив ту же подсистему по iSCSI используя 4x10GB Ethernet можно получить тот же bandwidth для системы стоимостью на пару порядков ниже.

Удачи!
А потом придет Оракл с ексадатой и окажется что эти гигабайты в секунду вообще не нужны, потому что дисковая стойка сама фулл табле скан делает по таблицам.
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

iDesperado wrote:нашел убийственный аргумент. тесты реальной задачи. Peoplesoft
http://www.oracle.com/us/solutions/benc ... 67486.html

Итак берем 9-way z10 EC 2097-709 c DS8300 (6512 MIPS) проиграл 8-way SPARC Enterprise M5000 (32 cores) с флеш сториджом. причем заметно проиграл 87.4 минуты, против 50.11 минут. базы совершенно одинаковы, задача совершенно одинакова. у МФ было 8 потоков, у M5000 32.

8-way SPARC Enterprise M5000 (32 cores)
http://www.oracle.com/us/media1/ps9-na- ... 078501.pdf

9-way z10 EC 2097-709 c DS8300
http://www.oracle.com/us/solutions/benc ... 366176.pdf
....



А вот точно такой же МФ, но время ужене 80минут, а 59:

http://www.oracle.com/us/solutions/benc ... 166431.pdf
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Демократизация мейнфреймов

Post by iDesperado »

zVlad wrote: А вот точно такой же МФ, но время ужене 80минут, а 59:

http://www.oracle.com/us/solutions/benc ... 166431.pdf
8)
http://forum.privet.com/viewtopic.php?p ... 2#p4677252
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

iDesperado wrote:
zVlad wrote: Так может Вы все таки расскажите сколько коров у того МФ где 9 шаыс?
девять, девять коров 6512 MIPS, стоимостью $6,141,671.

Девять (в тесте использовалось только 8 ) коров против 32? И Вы считаете это адекватное сравнение?
Кроме того у МФ 24 GB RAM против 64 GB SPARC.
А что же Вы не обьявляете цену SUN SPARC M5000?
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Демократизация мейнфреймов

Post by iDesperado »

zVlad wrote: Девять (в тесте использовалось только 8 ) коров против 32? И Вы считаете это адекватное сравнение?
конечно же я не считаю адекватным сравнивать хреновину за $6 млн, с машинкой которая не стоит и 10% от этой суммы.
zVlad wrote: Кроме того у МФ 24 GB RAM против 64 GB SPARC.
А что же Вы не обьявляете цену SUN SPARC M5000?
железка M5000 8 процессоров, 64 Gb RAM стоит менее $180,000
https://shop.sun.com/store/product/d468 ... 0020a9ed93

оракл стоит $47.5 за ядро, плюс опции, пусть будет parttitioning, vault, advanced и label security, все вместе менее $1.5М (за оракл)
http://www.oracle.com/us/corporate/pric ... 070617.pdf
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Демократизация мейнфреймов

Post by iDesperado »

iDesperado wrote: оракл стоит $47.5 за ядро, плюс опции, пусть будет parttitioning, vault, advanced и label security, все вместе менее $1.5М (за оракл)
http://www.oracle.com/us/corporate/pric ... 070617.pdf
извиняюсь наврал, для SPARC коефициент сегодня уже 0.5, т.е. не $1.5М, а только $750K
User avatar
flip_flop
Уже с Приветом
Posts: 4379
Joined: 20 Jun 2001 09:01

Re: Демократизация мейнфреймов

Post by flip_flop »

zVlad wrote:Вот диски для МФ:

http://www-03.ibm.com/systems/storage/d ... /index.htm
Support for 2 to 32 host adapters and up to 128 Fibre Channel/FICON® host ports
Впечатляет, да.

Сколько процессоров подразумевает МФ, который может использовать такую дисковую систему в максимальной конфигурации? Какая скорость передачи данных (datarate) у FICON?

В принципе, сервер с таким же уровнем поддержки FC тоже можно собрать (можно и больше наагрегировать, в принципе :D ), не уверен правда нужно ли и как это дело максимально использовать.
User avatar
flip_flop
Уже с Приветом
Posts: 4379
Joined: 20 Jun 2001 09:01

Re: Демократизация мейнфреймов

Post by flip_flop »

iDesperado wrote:
zVlad wrote: Кроме того у МФ 24 GB RAM против 64 GB SPARC.
А что же Вы не обьявляете цену SUN SPARC M5000?
железка M5000 8 процессоров, 64 Gb RAM стоит менее $180,000
https://shop.sun.com/store/product/d468 ... 0020a9ed93

оракл стоит $47.5 за ядро, плюс опции, пусть будет parttitioning, vault, advanced и label security, все вместе менее $1.5М (за оракл)
http://www.oracle.com/us/corporate/pric ... 070617.pdf
Согласен с zVlad - дорого это. Пора, пора переходить на демократичные альтернативы.

Кое-кто облизывается :kofe: , глядя на вкусный и предстоящий быть сьеденным кусок пирога от рынка как мейнфремов так и от серверов верхнего сегмента. :D
StrangerR
Уже с Приветом
Posts: 38016
Joined: 14 Dec 2006 20:13
Location: USA

Re: Демократизация мейнфреймов

Post by StrangerR »

flip_flop wrote:
zVlad wrote:Вот диски для МФ:

http://www-03.ibm.com/systems/storage/d ... /index.htm
Support for 2 to 32 host adapters and up to 128 Fibre Channel/FICON® host ports
Впечатляет, да.

Сколько процессоров подразумевает МФ, который может использовать такую дисковую систему в максимальной конфигурации? Какая скорость передачи данных (datarate) у FICON?

В принципе, сервер с таким же уровнем поддержки FC тоже можно собрать (можно и больше наагрегировать, в принципе :D ), не уверен правда нужно ли и как это дело максимально использовать.
Тонкость в том что такие скорости не нужны - дисковые системы их выдать все равно не смогут по жизни. ОНи выдают примерно на порядок меньше.

(А там где все таки нужны - там обычно проще кластерные решения которые легко масштабируются).

А вообще говоря, это не технический а бизнес вопрос. МФ это
- огромные разовые инвестиции
- привязка к одному вендору
- высокая цена всех ресурсов

Не МФ это
- гибкость вендоров
- дешевые ресурсы
НО В ОБМЕН НА
- нужно R&D и нужно уметь разрабатывать и деплоить на кластерах и облаках.

Если денег много а задача узкая - то МФ это неплохо. Если задача размытая а деньги экономятся то никаких МФ и в проекте не просмотрится.
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

iDesperado wrote:
zVlad wrote: Девять (в тесте использовалось только 8 ) коров против 32? И Вы считаете это адекватное сравнение?
конечно же я не считаю адекватным сравнивать хреновину за $6 млн, с машинкой которая не стоит и 10% от этой суммы.

...
Ссылочку про $6 млн тоже не сочтите за труд показать.
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Демократизация мейнфреймов

Post by iDesperado »

zVlad wrote: Ссылочку про $6 млн тоже не сочтите за труд показать.
http://www.tech-news.com/publib/pl2097.html
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

flip_flop wrote:
zVlad wrote:Вот диски для МФ:

хттп://шшш-03.ибм.цом/сыстемс/стораге/диск/дс8000/индех.хтм
Суппорт фор 2 то 32 хост адаптерс анд уп то 128 Фибре Чаннел/ФИЦОН® хост портс
Впечатляет, да.

Сколько процессоров подразумевает МФ, который может использовать такую дисковую систему в максимальной конфигурации? Какая скорость передачи данных (датарате) у ФИЦОН?

В принципе, сервер с таким же уровнем поддержки ФЦ тоже можно собрать (можно и больше наагрегировать, в принципе :Д ), не уверен правда нужно ли и как это дело максимально использовать.
FICON Express8 - 8 Gb/s . Максимальные кофигурации делаются индивидуально и, как я полагаю, не априори, а по мере надобности. К нашему 5-ти процессорному МФ дисковая подсистема подключена 6-тью каналами FICON Express4 - 4 Gb (всего у нас 16 FICON портов) и они не сильно загружены. Для нашей конфигурации количество каналов в первую очередь определяется требованиями реданденси и распарралеливанием ввода-вывода. Дело в том что операции ввода-вывода могу выполняться по любому из доступных каналов. Все диски доступны по любому каналу тоже. Система находит незанятый канал и назначает его для ввода-вывода. Таким образом осуществляется мультипроцессирование ввода-вывода подобно мультипроцессированию центральных процессоров.
User avatar
flip_flop
Уже с Приветом
Posts: 4379
Joined: 20 Jun 2001 09:01

Re: Демократизация мейнфреймов

Post by flip_flop »

zVlad wrote:
flip_flop wrote:
zVlad wrote:Вот диски для МФ:

хттп://шшш-03.ибм.цом/сыстемс/стораге/диск/дс8000/индех.хтм
Суппорт фор 2 то 32 хост адаптерс анд уп то 128 Фибре Чаннел/ФИЦОН® хост портс
Впечатляет, да.

Сколько процессоров подразумевает МФ, который может использовать такую дисковую систему в максимальной конфигурации? Какая скорость передачи данных (датарате) у ФИЦОН?

В принципе, сервер с таким же уровнем поддержки ФЦ тоже можно собрать (можно и больше наагрегировать, в принципе :Д ), не уверен правда нужно ли и как это дело максимально использовать.
FICON Express8 - 8 Gb/s . Максимальные кофигурации делаются индивидуально и, как я полагаю, не априори, а по мере надобности. К нашему 5-ти процессорному МФ дисковая подсистема подключена 6-тью каналами FICON Express4 - 4 Gb (всего у нас 16 FICON портов) и они не сильно загружены. Для нашей конфигурации количество каналов в первую очередь определяется требованиями реданденси и распарралеливанием ввода-вывода. Дело в том что операции ввода-вывода могу выполняться по любому из доступных каналов. Все диски доступны по любому каналу тоже. Система находит незанятый канал и назначает его для ввода-вывода. Таким образом осуществляется мультипроцессирование ввода-вывода подобно мультипроцессированию центральных процессоров.
Ага, спасибо. Для серверов примерно то же самое можно делать, по крайней мере наше hardware так позволяет.
zVlad
Уже с Приветом
Posts: 15312
Joined: 30 Apr 2003 16:43

Re: Демократизация мейнфреймов

Post by zVlad »

iDesperado wrote:нашел убийственный аргумент. тесты реальной задачи. Peoplesoft
http://www.oracle.com/us/solutions/benc ... 67486.html

Итак берем 9-way z10 EC 2097-709 c DS8300 (6512 MIPS) проиграл 8-way SPARC Enterprise M5000 (32 cores) с флеш сториджом. причем заметно проиграл 87.4 минуты, против 50.11 минут. базы совершенно одинаковы, задача совершенно одинакова. у МФ было 8 потоков, у M5000 32.

8-way SPARC Enterprise M5000 (32 cores)
http://www.oracle.com/us/media1/ps9-na- ... 078501.pdf

9-way z10 EC 2097-709 c DS8300
http://www.oracle.com/us/solutions/benc ... 366176.pdf

...
Хочу еще сказать по этим тестам что они готовились и проводились Оракл-ом самостоятельно. На их совести остается вопрос насколько эти тест-ы проводились корректно в случае с МФ. Чтобы не бытьголословным я укажу на факт что в случае с МФ потоков заданий было всего восемь, в то время как на сантехнике 32. Почему? Почему хотя бы не одинаково. А если запустить 64 потока на МФ. Проконфигурацию ввода вывода тоже нет ни слова в отчете.
Кроме того есть много возможностей настройки ДБ2. Выполнялись ли они? В какой степени? На это нет ответа в материалах Оракл вовсе.

В целом я склонен сомневаться что эти тесты что-либо показывают. Для презентабельности такие тесты должны либо организовываться вендором, либо должен присутствовать представитель, который дает свой отчет тоже. Иначе там все что угодно может быть.

Return to “Вопросы и новости IT”