Айтишники на пенсии

Moderator: sss1

zVlad
Уже с Приветом
Posts: 15420
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Айтишники на пенсии

Post by zVlad »

АццкоМото wrote: 03 Jun 2017 23:47 .....Нет, не надо мне ничего про DML statements. Единственное, что меня может заинтересовать - суть транзакций. Ибо пока все кричит о жопоголовом дизайне, но не зная сути доказать это невозможно
Жаль, я надеялся что количество выполненных DML, которых намного больше чем количество транзакций, что то Вам скажет. Ну не хотите так не будем.
Вы спрашиваете о сути наших транзакций и не дождавшись этого называете их творением "жопоголового дизайна". А вдруг окажется что все в порядке? Кто тогда будет выглядеть жопоголовым?
Ладно, попробую описать "суть транзакций", хотя я далеко не девелопер этого приложения. Транзакции нашего приложения делятся на два вида:
- совокупность Кобол программ выполняемых в CICS и реализующих заданную бизнес логику с обращением в БД DB2 (на языке SQL, если хотите), выполняемых по запросам работников нашего клиента в оперативном режиме с целевым временем ответа не более 1 секунды (это контролируемый SLA параметр за не соблюдение которого следуют штрафы);
- удаленные запросы в DB2 из WebSphere, которые, кстати, в те 2.5 млн. не входят. Это могут быть вызовы хранимых процедур или прямых DML.

Если Вам что-то не ясно не торопитесь делать поспешные выводы, задайте дополнительный вопрос. Я дам дополнительные пояснения.
User avatar
АццкоМото
Уже с Приветом
Posts: 15276
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: Айтишники на пенсии

Post by АццкоМото »

zVlad wrote: 04 Jun 2017 03:15
АццкоМото wrote: 03 Jun 2017 23:47 .....Нет, не надо мне ничего про DML statements. Единственное, что меня может заинтересовать - суть транзакций. Ибо пока все кричит о жопоголовом дизайне, но не зная сути доказать это невозможно
Жаль, я надеялся что количество выполненных DML, которых намного больше чем количество транзакций, что то Вам скажет. Ну не хотите так не будем.
Вы спрашиваете о сути наших транзакций и не дождавшись этого называете их творением "жопоголового дизайна". А вдруг окажется что все в порядке? Кто тогда будет выглядеть жопоголовым?
Ладно, попробую описать "суть транзакций", хотя я далеко не девелопер этого приложения. Транзакции нашего приложения делятся на два вида:
- совокупность Кобол программ выполняемых в CICS и реализующих заданную бизнес логику с обращением в БД DB2 (на языке SQL, если хотите), выполняемых по запросам работников нашего клиента в оперативном режиме с целевым временем ответа не более 1 секунды (это контролируемый SLA параметр за не соблюдение которого следуют штрафы);
- удаленные запросы в DB2 из WebSphere, которые, кстати, в те 2.5 млн. не входят. Это могут быть вызовы хранимых процедур или прямых DML.

Если Вам что-то не ясно не торопитесь делать поспешные выводы, задайте дополнительный вопрос. Я дам дополнительные пояснения.
Бро, я вроде был предельно ясен: все указывает на жопоголовость, но без знания сути этого не доказать. Отсюда следует, что возможно никакой жопоголовости нет. Хотя поверить в это трудно.

А вот все эти Кобол, веб-сфера и прочие умные слова не имеют никакого отношения к сути. Просто инструменты.

Приведу пример, до крайности упрощённый. Вот у вас есть поток данных. Их все нужно сохранить. А ещё — высчитать текущее среднее. Один погромист будет сохранять в базу банных, а потом делать к ней запрос. Другой — просто сохранять и хранить в оперативке текущую сумму и количество данных. Фефективность различается на порядки. Ощущение, что у вас погромисты первого типа.

Если я пойму, в чем именно суть транзакции (например: выпуск ещё одной акции ОйБеЭм и пересчет долей всех 100500 акционеров), я могу почесать жопу и прикинув хрен к носу сказать либо "ого, всего в секунду уложились, круто!", либо — "ну я же говорил, жопоголовы"
Мат на форуме запрещен, блдж!
User avatar
АццкоМото
Уже с Приветом
Posts: 15276
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: Айтишники на пенсии

Post by АццкоМото »

zVlad wrote: 04 Jun 2017 02:55
АццкоМото wrote: 03 Jun 2017 23:47
Не вполне понятно, зачем вы пересказали меня, только значительно хуже
Я хотел было еще раз попытаться разжевать что поддержание целостности данных в БД через commit или rollback это лишь один вид транзакций, но потом подумал а должен ли я заниматься ликбезом, и ответил себе: нет не должен.
Если вы не заметили, я БД не упоминал от слова "совсем". Так что ликбез существует только в вашей голове. Я дал вполне сносное, хотя и не идеальное определение. Вы же дали чудовищное.
Мат на форуме запрещен, блдж!
zVlad
Уже с Приветом
Posts: 15420
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Айтишники на пенсии

Post by zVlad »

АццкоМото wrote: 04 Jun 2017 03:39 ......

Если я пойму, в чем именно суть транзакции (например: выпуск ещё одной акции ОйБеЭм и пересчет долей всех 100500 акционеров), я могу почесать жопу и прикинув хрен к носу сказать либо "ого, всего в секунду уложились, круто!", либо — "ну я же говорил, жопоголовы"
Вы слыхали про такой класс приложений, называемых Enterprise Resource Planning, ERP. Это многомодульные комплексы приложений автоматизирующие различные задачи, области деятельности предприятия. SAP R3 одно из таких. Наше называется Asset Suite:
http://new.abb.com/enterprise-software/ ... -suite-eam
zVlad
Уже с Приветом
Posts: 15420
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Айтишники на пенсии

Post by zVlad »

АццкоМото wrote: 04 Jun 2017 03:43
zVlad wrote: 04 Jun 2017 02:55
АццкоМото wrote: 03 Jun 2017 23:47
Не вполне понятно, зачем вы пересказали меня, только значительно хуже
Я хотел было еще раз попытаться разжевать что поддержание целостности данных в БД через commit или rollback это лишь один вид транзакций, но потом подумал а должен ли я заниматься ликбезом, и ответил себе: нет не должен.
Если вы не заметили, я БД не упоминал от слова "совсем". Так что ликбез существует только в вашей голове. Я дал вполне сносное, хотя и не идеальное определение. Вы же дали чудовищное.
Когда Вы говорите "должно обосраться, но вернуть данные в исходное состояние" Вы говорите о журнале изменений, на основание которого только и можно это сделать, а также о commit и rollback. Софт который имеет такие функции и элементы обычно называются БД. Вы конечно можете использовать другие названия, если хотите, но мне эти названия не известны и особой нужды их знать у меня нет.
User avatar
АццкоМото
Уже с Приветом
Posts: 15276
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: Айтишники на пенсии

Post by АццкоМото »

zVlad wrote: 04 Jun 2017 04:14
АццкоМото wrote: 04 Jun 2017 03:39 ......

Если я пойму, в чем именно суть транзакции (например: выпуск ещё одной акции ОйБеЭм и пересчет долей всех 100500 акционеров), я могу почесать жопу и прикинув хрен к носу сказать либо "ого, всего в секунду уложились, круто!", либо — "ну я же говорил, жопоголовы"
Вы слыхали про такой класс приложений, называемых Enterprise Resource Planning, ERP. Это многомодульные комплексы приложений автоматизирующие различные задачи, области деятельности предприятия. SAP R3 одно из таких. Наше называется Asset Suite:
http://new.abb.com/enterprise-software/ ... -suite-eam
Я знаю про erp, хотя не очень хорошо. Беда в том, что о сути транзакции до сих пор неизвестно ничего.
Мат на форуме запрещен, блдж!
User avatar
АццкоМото
Уже с Приветом
Posts: 15276
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: Айтишники на пенсии

Post by АццкоМото »

zVlad wrote: 04 Jun 2017 04:20
АццкоМото wrote: 04 Jun 2017 03:43
zVlad wrote: 04 Jun 2017 02:55
АццкоМото wrote: 03 Jun 2017 23:47
Не вполне понятно, зачем вы пересказали меня, только значительно хуже
Я хотел было еще раз попытаться разжевать что поддержание целостности данных в БД через commit или rollback это лишь один вид транзакций, но потом подумал а должен ли я заниматься ликбезом, и ответил себе: нет не должен.
Если вы не заметили, я БД не упоминал от слова "совсем". Так что ликбез существует только в вашей голове. Я дал вполне сносное, хотя и не идеальное определение. Вы же дали чудовищное.
Когда Вы говорите "должно обосраться, но вернуть данные в исходное состояние" Вы говорите о журнале изменений, на основание которого только и можно это сделать, а также о commit и rollback. Софт который имеет такие функции и элементы обычно называются БД. Вы конечно можете использовать другие названия, если хотите, но мне эти названия не известны и особой нужды их знать у меня нет.
Во-первых, я не говорил про "вернуть данные взад", я говорил — "ничего не изменить"
Во-вторых, данные могут быть где угодно, в оперативке, например. БД была придумана инертностью вашего мышления. Ибо да, очень часто транзакции связаны с БД. Но я был аккуратен в определениях и не завязывался на них.
Мат на форуме запрещен, блдж!
zVlad
Уже с Приветом
Posts: 15420
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Айтишники на пенсии

Post by zVlad »

АццкоМото wrote: 04 Jun 2017 05:34
zVlad wrote: 04 Jun 2017 04:20
АццкоМото wrote: 04 Jun 2017 03:43
zVlad wrote: 04 Jun 2017 02:55
АццкоМото wrote: 03 Jun 2017 23:47
Не вполне понятно, зачем вы пересказали меня, только значительно хуже
Я хотел было еще раз попытаться разжевать что поддержание целостности данных в БД через commit или rollback это лишь один вид транзакций, но потом подумал а должен ли я заниматься ликбезом, и ответил себе: нет не должен.
Если вы не заметили, я БД не упоминал от слова "совсем". Так что ликбез существует только в вашей голове. Я дал вполне сносное, хотя и не идеальное определение. Вы же дали чудовищное.
Когда Вы говорите "должно обосраться, но вернуть данные в исходное состояние" Вы говорите о журнале изменений, на основание которого только и можно это сделать, а также о commit и rollback. Софт который имеет такие функции и элементы обычно называются БД. Вы конечно можете использовать другие названия, если хотите, но мне эти названия не известны и особой нужды их знать у меня нет.
Во-первых, я не говорил про "вернуть данные взад", я говорил — "ничего не изменить"
Во-вторых, данные могут быть где угодно, в оперативке, например. БД была придумана инертностью вашего мышления. Ибо да, очень часто транзакции связаны с БД. Но я был аккуратен в определениях и не завязывался на них.
Вот поэтому я и дал более широкое определение чтобы снять явную завязку на БД в Вашем. Вы же почему то посчитали что просто пересказал Вас. А я так не считаю.
И вообще, по моему Вы пытаетесь выкручиваться. Говорил/не говорил, вернуть данные в зад/ничего не изменять. Не слишком ли долго мы топчемся на одном месте из-за этого?
zVlad
Уже с Приветом
Posts: 15420
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Айтишники на пенсии

Post by zVlad »

АццкоМото wrote: 04 Jun 2017 05:31
zVlad wrote: 04 Jun 2017 04:14
АццкоМото wrote: 04 Jun 2017 03:39 ......

Если я пойму, в чем именно суть транзакции (например: выпуск ещё одной акции ОйБеЭм и пересчет долей всех 100500 акционеров), я могу почесать жопу и прикинув хрен к носу сказать либо "ого, всего в секунду уложились, круто!", либо — "ну я же говорил, жопоголовы"
Вы слыхали про такой класс приложений, называемых Enterprise Resource Planning, ERP. Это многомодульные комплексы приложений автоматизирующие различные задачи, области деятельности предприятия. SAP R3 одно из таких. Наше называется Asset Suite:
http://new.abb.com/enterprise-software/ ... -suite-eam
Я знаю про erp, хотя не очень хорошо. Беда в том, что о сути транзакции до сих пор неизвестно ничего.
Там очень много разных транзакций, там полторы тысячи таблиц (не все у нас используются), более трех тысяч программ, туча панелей для gui. Web морда есть. Как можно кратко объяснить суть этого всего? Я лично не понимаю. Там есть транзакции которые выполняются больше десяти минут и вовлекают миллионы страниц данных. Одна транзакция это работа выполненная между нажатием клавиши Ввод и получением следущего экрана с результатом "запроса".
User avatar
АццкоМото
Уже с Приветом
Posts: 15276
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: Айтишники на пенсии

Post by АццкоМото »

zVlad wrote: 04 Jun 2017 14:45 Вот поэтому я и дал более широкое определение чтобы снять явную завязку на БД в Вашем. Вы же почему то посчитали что просто пересказал Вас. А я так не считаю.
И вообще, по моему Вы пытаетесь выкручиваться. Говорил/не говорил, вернуть данные в зад/ничего не изменять. Не слишком ли долго мы топчемся на одном месте из-за этого?
Але, в танке? Сделайте мне одолжение, выделите красным, где в моем определении завязка на БД? цЫтата:
Транзакция — это неделимая совокупность операций, которая должна либо закончиться успехом, либо обосраться, но не изменить ничего (немного неточно, но суть такова).
Мат на форуме запрещен, блдж!
User avatar
АццкоМото
Уже с Приветом
Posts: 15276
Joined: 01 Mar 2007 05:18
Location: VVO->ORD->DFW->SFO->DFW->PDX

Re: Айтишники на пенсии

Post by АццкоМото »

zVlad wrote: 04 Jun 2017 14:52 Там очень много разных транзакций, там полторы тысячи таблиц (не все у нас используются), более трех тысяч программ, туча панелей для gui. Web морда есть. Как можно кратко объяснить суть этого всего? Я лично не понимаю. Там есть транзакции которые выполняются больше десяти минут и вовлекают миллионы страниц данных. Одна транзакция это работа выполненная между нажатием клавиши Ввод и получением следущего экрана с результатом "запроса".
1) намедни вы говорили, что транзакции занимают от полусекунды до секунды, а за превышение порога в 1 секунду карают анально. теперь выясняется, что и больше 10 минут - легко. видимо, компания любителей пассивного анала, как иначе объяснить
2) как вишенка на торте - это утверждение, что транзакция - это все чюдеса промеж нажатием на ввод и следующим экраном. 10+ минут. охрененно в 2017 году. представляю, как я пользуюсь сей шайтан-машиной и наблюдаю, как растут ногти
3) вы можете сколько угодно рассказывать про "там много транзакций" и "там 100500 таблиц". это нисколько не приближает нас к разгадке, что же там такого сложного, что все так долго. скорей всего, причина в том, что вы и сами не знаете. вы же одмин. вы видите, сколько таблиц, какая загрузка процессора или там объем выжратой памяти. а что именно делает эта аццкая штуковина вы даже не понимаете. отсюда вера в то, что это все вообще имеет смысл и правильно спроектировано - абсолютно слепа и обусловлена исключительно ощущениями.

таки дела, малятки. все печально
Мат на форуме запрещен, блдж!
iDesperado
Уже с Приветом
Posts: 1349
Joined: 28 Nov 2008 17:50

Re: Айтишники на пенсии

Post by iDesperado »

iDesperado wrote: 02 Jun 2017 11:51 ничего там не делается. в вопросах ИТ этот клоун делился историей как выросшая нагрузка регулярно превышала SLA и никаких ресурсов куций МФ не родил, что бы вписаться в SLA. месяц они обсуждали бюджет на активацию новых ресурсов МФ, а проблема решалась просто добавкой индекса. добавили индекс и все залетало. т.е. технологии на столько устарели, что даже 25+ лет опыта DBA не видит что тормоза просто из-за неоптимального SQL. и никакой магии, если кривому запросу нужно IO, МФ, не родит дополнительную пропускную способность, а просто дохнет под нагрузкой, нарушая SLA.

UPDATE: присказка той истории тут viewtopic.php?f=46&t=200376
во, нашел ту исторю с индексом, который на 40% снизил нагрузку МФ
viewtopic.php?f=46&t=200958

просто вдумайтесь, у чудиков МФ дох под нагрузкой нарушая SLA, а они не видели, что дело лишь в неоптимальном SQL
zVlad
Уже с Приветом
Posts: 15420
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Айтишники на пенсии

Post by zVlad »

АццкоМото wrote: 04 Jun 2017 17:16
zVlad wrote: 04 Jun 2017 14:52 Там очень много разных транзакций, там полторы тысячи таблиц (не все у нас используются), более трех тысяч программ, туча панелей для gui. Web морда есть. Как можно кратко объяснить суть этого всего? Я лично не понимаю. Там есть транзакции которые выполняются больше десяти минут и вовлекают миллионы страниц данных. Одна транзакция это работа выполненная между нажатием клавиши Ввод и получением следущего экрана с результатом "запроса".
1) намедни вы говорили, что транзакции занимают от полусекунды до секунды, а за превышение порога в 1 секунду карают анально. теперь выясняется, что и больше 10 минут - легко. видимо, компания любителей пассивного анала, как иначе объяснить
2) как вишенка на торте - это утверждение, что транзакция - это все чюдеса промеж нажатием на ввод и следующим экраном. 10+ минут. охрененно в 2017 году. представляю, как я пользуюсь сей шайтан-машиной и наблюдаю, как растут ногти
3) вы можете сколько угодно рассказывать про "там много транзакций" и "там 100500 таблиц". это нисколько не приближает нас к разгадке, что же там такого сложного, что все так долго. скорей всего, причина в том, что вы и сами не знаете. вы же одмин. вы видите, сколько таблиц, какая загрузка процессора или там объем выжратой памяти. а что именно делает эта аццкая штуковина вы даже не понимаете. отсюда вера в то, что это все вообще имеет смысл и правильно спроектировано - абсолютно слепа и обусловлена исключительно ощущениями.

таки дела, малятки. все печально
1) намедни я говорил о средних значениях, которые таки да ниже секунды получаются. Для контороля SLA определены наиболее критичные транзакции, которые выполняются роботами с каждой location клиента (их больше десятка) по времени и замеряется время выполнения. Показания этих роботов и используется для SLA. ОТ ПОЛУСЕКУНДЫ ДО СЕКУНДЫ ЭТО средние опять же значениям с пяти серверов приложений (CICS), которые выполняются на продакшн (на МФ) одновременно и по которым разбросаны пользователи этого приложения (исходя из их территориального нахождения). Да разница между ними существенна на мой взгляд и это как-то объясняется, но я не знаю как. Как то так.
2) вам помогут ножницы. Есть несколько причин для долгих транзакций. Дествительно запрос порождающий большой объем работ. Это во первых. Во вторых есть транзакции которые выполняются не только на МФ, но и на, как говорится, mainstream платформах и эти мэйнстрим "подвисают". И третьих, когда пользователь не задает границ поиска (что ему настоятельно рекомендуют делать на трэйнингах) и как результат запрос идет на всю базу данных, которая у нас не архивировалась ни разу, т.е. с середины 90-х, затем результат сортируется и показывает последние iteams, видимо то что и нужно ленивому пользователю. Вот Вам кстати суть некоторых транзакций - поиск всего по БД, накопленной за пару десятков лет, сортировка по дате и показ последних событий,
3) да я админ, да я слежу за средними величинами, использованием CPU, удовлетворением SLA. Но я так или иначе знаю довольно точно некоторые транзакции которые настраивал на лучшую перформанс. Но это капля в море, океане, и я не решаюсь пытаться описать стиль наших транкзаций. А если мог, то тогда у Вас не хватило бы мозгов во все это вникнуть и понять. Форум не место для такого глубокого погружения. В предыдущем пункте я тем не менне дал описания одного из классов транзакций.
Еще я могу сказать уверенно потому что знаю что когда наше приложение переводят на майнстрим платформы то ТТХ серверов для той же нагрузки с которой справляется МФ увеличивается во многие разы, если не десятки. На 4 корах и 24 GB ни одна из платформ кроме МФ с такой работой не справится даже приближенно.
zVlad
Уже с Приветом
Posts: 15420
Joined: 30 Apr 2003 16:43
Has thanked: 1 time

Re: Айтишники на пенсии

Post by zVlad »

АццкоМото wrote: 04 Jun 2017 17:07
zVlad wrote: 04 Jun 2017 14:45 Вот поэтому я и дал более широкое определение чтобы снять явную завязку на БД в Вашем. Вы же почему то посчитали что просто пересказал Вас. А я так не считаю.
И вообще, по моему Вы пытаетесь выкручиваться. Говорил/не говорил, вернуть данные в зад/ничего не изменять. Не слишком ли долго мы топчемся на одном месте из-за этого?
Але, в танке? Сделайте мне одолжение, выделите красным, где в моем определении завязка на БД? цЫтата:
Транзакция — это неделимая совокупность операций, которая должна либо закончиться успехом, либо обосраться, но не изменить ничего (немного неточно, но суть такова).
Я понимаю откуда это Ваше непонимание элементарных вещей. Оно из несистематического образование. Вы обучались по микрософтовским или оракловским методичкам. Поэтому некоторые фундаментальные вещи Вами усвоены не полно, не точно. Вы даже мою подсказку про Unit of Work пропустили мимо ушей. С другой стороны продолжаете делать основной упор на целостность данных по значениям, которое без "обосраться" тоже не может внятно объяснить. Не мне объяснить, себе. Я то прекрасно понимаю о чем Вы пытаетесь сказать.
Пусть, если найдутся, нас рассудят другие форумчане,
User avatar
flip_flop
Уже с Приветом
Posts: 4379
Joined: 20 Jun 2001 09:01

Re: Айтишники на пенсии

Post by flip_flop »

zVlad wrote: 04 Jun 2017 21:27
АццкоМото wrote: 04 Jun 2017 17:07
zVlad wrote: 04 Jun 2017 14:45 Вот поэтому я и дал более широкое определение чтобы снять явную завязку на БД в Вашем. Вы же почему то посчитали что просто пересказал Вас. А я так не считаю.
И вообще, по моему Вы пытаетесь выкручиваться. Говорил/не говорил, вернуть данные в зад/ничего не изменять. Не слишком ли долго мы топчемся на одном месте из-за этого?
Але, в танке? Сделайте мне одолжение, выделите красным, где в моем определении завязка на БД? цЫтата:
Транзакция — это неделимая совокупность операций, которая должна либо закончиться успехом, либо обосраться, но не изменить ничего (немного неточно, но суть такова).
Пусть, если найдутся, нас рассудят другие форумчане,
Ой! А Вы уверены в этом? Ну тогда поехали:
зВлад: ...явную завязку на БД в Вашем...
Аццко: ... выделите красным, где в моем определении завязка на БД? ...
зВлад: ... бла-бла-бла... (flip_flop: и ни слова о БД и красного нет)

Где логика, Карл?!

Со своей колокольни: меня угораздило заниматься немного Inter Process Communication, где, на мой взляд, было много трансакций (по tcp/ip и по Shared Memory) и совсем не было этих ваших БД.

Итак, очередное свидетельство отсутствия логики и присутствия проблем понимания прочитанного со стороны зВлада.

Ну, и пусть другие выскажутся :D

Return to “Пенсии”