Акела промахнулся! В смысле, Интел обосрался

[zVlad]

Я больше не каркаю!!!! Оказывается не все МФ у нас перестреляли.

zVlad, срочно хелп!

Попросили у товарищей выгрузку некоторых данных в текстовый файл, еще не зная что на той стороне МФ.
Умный разработчик сказал - сделал:
- Выгрузил, копирую!
30 минут
- Мужик, а ты надеюсь его gzip?
- У нас тут MF и нет gzip!
- ????
30 минут позже
- во! Скачалось ко мне на PC. Пакую...
10 минут позже
- круто, всего 3ГБ вышло
Доставил его мне, а там МФ формат! Какой идиот это придумал?!

Как ЭТО сконвертировать в человеческий формат под Linux\Solaris\HPUX\Windows? Я попросил ребят в нормальный формат, они делают, но они эту выгрузку много часов ждали.
последнее поле

Code: Select all

ХХХ POSITION( 135 ) TIMESTAMP EXTERNAL( 26) NULLIF( 161)='?

Правда что у zos нет gzip?

Есть команда tar и опция -z для компрессии.

P.S. В zOS есть свои сжималки ими мы обычно и пользуемся для обмена в формате наборов данных.

Что значит "а там МФ формат"?

Вашему мф-щику наверно не доводилось плотно работать в USS. Мне доводилось и таких проблем я не знаю, все межплатформенное решается нормально. Ваши эмоции ("какой идиот это придумал") здесь совершенно не уместны.

[zVlad]

[....
последнее поле

Code: Select all

ХХХ POSITION( 135 ) TIMESTAMP EXTERNAL( 26) NULLIF( 161)='?

...

Это похоже на фрагмент DB2 утилиты LOAD.

[Flash-04]

Таким образом из 2400 коров может оказаться что 240 будут заняты только решением задачи о том на какой кор сдиспетчировать готовую задачу. У каждого кора, если все они под одной системой и система эта с разделением времени будет свой таймер, считающий квант времени и прерывающий процесс, только затем чтобы посмотреть а нет ли другой готовой задачи для выполнения. А когда прерванная задача будет сдиспетчированая не на тот проц где она выполнялась, то данные уже загруженные в тот проц надо будет снова грузить в другой, освободившийся проц. И так далее и тому подобное.

Влад, вы же наверное знаете про FPGA? Делаются под конкретную задачу, больше ничего такая система делать не умеет, но за то таааак эффективно что не какой MF за ним не угонится ни по скорости, ни по эффективности.

[StrangerR]

ну так сдуру можно сами знаете что сломать... Те же алерты - правило _лучше не получить алерт чем его получить_ никто не отменял. Мне не приходят почему-то ложные алерты, а систем и серверов до хрена. Потому что алерт это АЛЕРТ а высокая загрузка CPU - ну если она такая часов 20 то ворнинг можно и прислать, а так это даже не событие, и это никогда не алерт в принципе...

А что с ассетами? Виртуалки и все, виртуальное железо от физического не зависит...

[StrangerR]

Перед возвращением дисков мы их инициализируем так что прочитать с них ничего не получится. Есть у нас такие средства.

Нда. У нас такое даже наш слабенький аудит не прошло бы... Инициализировать (даже форматировать) вообще то недостаточно.

Например? Как можно прочитать что было записано на дорожке диска если вся она размагничена. Как можно прослушать песню с магнитной ленты если на нее записали другую песню или просто шум?
Я знаю один способ: подвигать магнитными головками туда-сюда. У нас используется мнгократная, очень много, запись специальных кодов. Специалисты по дискам считают этот способ надежным. Хотя, учитывая что зачастую при жизни дисков доступ к ним не на сто процентов закрыт, то удаление информации уже снятой с носителей путем физического уничтожения носителей выглядит наивным.

Ну, запись такая есть и считается ОК, но по жизни проще уничтожать, так как например если диск FAILED то фиг вы его перезапишете но вот считать с него _враг не дремлет_ вполне себе сможет... Только что убил идею очередного писателя что _перед уничтожением диски перезаписываются_ задав простой вопрос _вот есть SAN xx, мы его снимаем, там диски несовместимы с твоей виндой и их там сотня, кто и как будет их блин инициализировать??_ и записали в документ слово ИЛИ.

[zVlad]

Таким образом из 2400 коров может оказаться что 240 будут заняты только решением задачи о том на какой кор сдиспетчировать готовую задачу. У каждого кора, если все они под одной системой и система эта с разделением времени будет свой таймер, считающий квант времени и прерывающий процесс, только затем чтобы посмотреть а нет ли другой готовой задачи для выполнения. А когда прерванная задача будет сдиспетчированая не на тот проц где она выполнялась, то данные уже загруженные в тот проц надо будет снова грузить в другой, освободившийся проц. И так далее и тому подобное.

Влад, вы же наверное знаете про FPGA? Делаются под конкретную задачу, больше ничего такая система делать не умеет, но за то таааак эффективно что не какой MF за ним не угонится ни по скорости, ни по эффективности.

Нет я не знаю про FPGA. Но Вы не можете не знать от меня что МФ, хоть и обладает самым производительным процессором в мире, но по скорости ни за чем не гоняется. Это сфера суперкомпьютеров, а МФ относится к универсальным, общего применения, серверам обработки информации. Базы данных, транзакции, пакетные задания и т.п..
Что Вы хотели обозначить словом "эффективность" я не знаю поэтому не комментирую.

[flip_flop]

Таким образом из 2400 коров может оказаться что 240 будут заняты только решением задачи о том на какой кор сдиспетчировать готовую задачу. У каждого кора, если все они под одной системой и система эта с разделением времени будет свой таймер, считающий квант времени и прерывающий процесс, только затем чтобы посмотреть а нет ли другой готовой задачи для выполнения. А когда прерванная задача будет сдиспетчированая не на тот проц где она выполнялась, то данные уже загруженные в тот проц надо будет снова грузить в другой, освободившийся проц. И так далее и тому подобное.

Влад, вы же наверное знаете про FPGA? Делаются под конкретную задачу, больше ничего такая система делать не умеет, но за то таааак эффективно что не какой MF за ним не угонится ни по скорости, ни по эффективности.

Категорически не согласен. FPGA. Буква P (programmable) - является ключевым. А вот специализированная ASIC (не общего назначения, а именно под конретную задачу, с минимумом программирования, микрокод там кое где, регистры там - и баста) будет быстрее всего. Да и FPGA - классная штука, если раньше программировать надо было в HDL, то теперь появились тулсы на C и даже на Питоне.

Впрочем, мы отвлеклись от темы, МФ почти не виден.

P.S. zVlad - FPGA - разновидность ПЛИС (Программируемые Логические Интегральные Схемы) - электронщики и иже с ними должны были изучать их с весьма лохматых времён, в мои студенческие времена (конец 70-х, начало 80х) мы их проходили.

[zVlad]

ну так сдуру можно сами знаете что сломать... Те же алерты - правило _лучше не получить алерт чем его получить_ никто не отменял. Мне не приходят почему-то ложные алерты, а систем и серверов до хрена. Потому что алерт это АЛЕРТ а высокая загрузка CPU - ну если она такая часов 20 то ворнинг можно и прислать, а так это даже не событие, и это никогда не алерт в принципе...

А что с ассетами? Виртуалки и все, виртуальное железо от физического не зависит...

По алертам они взяли, если не ошибаюсь, что-то готовое от Микрософт. С дефолтами предустановленнымт и т.п.. Сейчас вроде поднастроили.
На МФ я стараюсь (-лся) делать так чтобы проблема решалась автоматически. Не все но так решено.
Виртуальное железо это всегда, кроме эмулируемого и симулируемого железа, в конечном счете становится реальным железом. Ну а вообще у них там много организационных проблем. Есть запросы и такие что виртуалки не принимаются и мне понятно почему. Тогда надо заводить реальный сервер. Много несовместимостей с новым железом, с новыми версиями Windows - у них до сих пор есть сервера под Win2000, и чуть ли не NT.
Вообще конечно это не моя область. Я просто хотел показать что там много ненужной суеты и суета та от, как не крути, плохой, дешевой, платформы серверов на х86. У нас многие те суетливые движения исключены в принципе. Никто например никогда не просит админ прав. Все нужные права даем мы - секьюрити админы RACF.
На новые мф, версии ОС и БД мы всегда переходили без проблем. Сейчас правда этот процесс намеряно заморожен и мы сильно отстали от текущих версий. Сам мф пока всего два поколения в зад: 12-ое при текущем 14-ом.

[zVlad]

.....

P.S. zVlad - FPGA - разновидность ПЛИС (Программируемые Логические Интегральные Схемы) - электронщики и иже с ними должны были изучать их с весьма лохматых времён, в мои студенческие времена (конец 70-х, начало 80х) мы их проходили.

Спасибо. Я закончил институт в 1979 году по специальности автоматика и телемеханика, но про микросхемы 580 серии читал тогда. Сам использовал только микросхемы с фиксированной логикой, регистр последовательного приближения и микросхемы память - 256 бит если не ошибаюсь. Восемь их у меня было для байта. Но кроме института и в армии немного я к микросхемам не прикасался больше.

[mskmel]

Что значит "а там МФ формат"?

Во всём мире принято выгрузку из БД в файл это csv, а не какая-то бинарная субстанция.

ЗЫЖ за tar -z спасибо, завтра буду пытаться умничать

[StrangerR]

У нас полностью запрещены запросы на РЕАЛЬНЫЙ сервер. За последние 3 года ни единого такого запроса не выполнили, все ушли в топку. Некоторые брыкались, но... все туда же...

Аргумент простой - во первых, докажите на фига это вам, во вторых, _гу пусть даже сегодня это будет быстрее процентов на 20. НО уже в следующем году облако то ускорится и мы просто мышкой сдвинем и все, а физическая машина так и останется говном мамонта_.

А так как все винды виртуальные, то нет никаких проблем _совместимости с железом_. Оно всегда виртуальное и одинаковое.

Виртуальное железо это всегда, кроме эмулируемого и симулируемого железа, в конечном счете становится реальным железом. Ну а вообще у них там много организационных проблем. Есть запросы и такие что виртуалки не принимаются и мне понятно почему. Тогда надо заводить реальный сервер. Много несовместимостей с новым железом, с новыми версиями Windows - у них до сих пор есть сервера под Win2000, и чуть ли не NT.

[zVlad]

Что значит "а там МФ формат"?

Во всём мире принято выгрузку из БД в файл это csv, а не какая-то бинарная субстанция.
......

То что известно Вам это еще не весь мир.
А .csv это слишком нестабильный формат, зависящий от данных, чтобы на него можно было полагаться в тех областях в которых исплользуют DB2 . Я с ним работал и долго получал из Excel разные неожиданности.
Тот формат что Вы видите не единственный с которым работает DB2, но .csv в них нет и лично мне очень даже понятно почему.
Как, например, в .csv Вы передадите пустое значение, NULL?
Зачем у вас вообще тянут таким образом данные из DB2? Почему не запросами? Через ODBC, или JDBC, я уже промолчу про SQLJ.

P.S. данные в формате .csv можно выгрузить из DB2 показав утилите UNLOAD вот примерно такой простой стейтмент (функции преобразования в текст есть любые) :
SELECT "'"COL1"','"||COL2"','"||.... FROM ....

Подскажите Вашим DB2-шникам, что они интересно скажут.

Р.P.S. А то что Вам дали и Вы назвали МФ формат, это формат вывода утилиты UNLOAD для использования в другой утилите - LOAD. Там могут быть данные во внутреннем формате. Но ввод для LOAD может быть сформирован и польностью в текстовом виде. В нормальном мире возможно все, надо только знать и думать, вместо того чтобы показывать свою слабость через никому не нужные эмоции и ссылки на несуществующие миры.

[zVlad]

...
ЗЫЖ за tar -z спасибо, завтра буду пытаться умничать

zOS это две интегрированные системы: MVS и Unix. Каждая со своим полным набором средств работы. Команда tar юниксовская, и любые другие команды юникс так или иначе в zOS имеются.

[Flash-04]

Нет я не знаю про FPGA. Но Вы не можете не знать от меня что МФ, хоть и обладает самым производительным процессором в мире, но по скорости ни за чем не гоняется. Это сфера суперкомпьютеров, а МФ относится к универсальным, общего применения, серверам обработки информации. Базы данных, транзакции, пакетные задания и т.п..
Что Вы хотели обозначить словом "эффективность" я не знаю поэтому не комментирую.

Влад, вот вы вроде большой, а в сказки верите ну нет у IBM каких-то супер-убер технологий которых нет и у кого. Их же процессоры в своё время не выдержали конкуренции с "ширпотребом" от Intel в секторе серверов и PC, а ведь боролись. Поэтому когда вы говорите что вот "не посоветовались со специалистами IBM, не сделали оптимизацию", это и говорит о том что выиграть IBM-вский процессор может только на коде который "вылизан" под него. Но позвольте, а стоимость такого "вылизывания"??? Вот и выходит в итоге что золотые решения от IBM. И когда вы говорите вот, почему то клиент так и держит систему на MF, это просто говорит о том что стоимость "переезда" большая, и потом ещё баги вылавливать, проще сидеть на том же самом по принципу "работает - не ломай".

[Flash-04]

Категорически не согласен. FPGA. Буква P (programmable) - является ключевым. А вот специализированная ASIC (не общего назначения, а именно под конретную задачу, с минимумом программирования, микрокод там кое где, регистры там - и баста) будет быстрее всего. Да и FPGA - классная штука, если раньше программировать надо было в HDL, то теперь появились тулсы на C и даже на Питоне.

ASIC да, очень быстрый. Не стал даже упоминать.