Три приема на работу без увольнения.

[zVlad]

Вы, valchkou, лично, конечно молодец. Вы сэкономили работодателю кучу денег. Но я надеюсь Вы понимаете что Вам это удалось потому что Вами "переписанный" процесс позволил это сделать. В силу ли простоты, в силу ли каких то других обстоятельств трудно сказать. Но такой "подвиг" не гарантирован во многих других применениях. С нуля писать да, можно.

Именно так, комбинация процессов и решений под них! Я все прекрасно понимаю и даже больше чем вы думаете.
Компания меня наняла как тех лида для переезда с монолита на амазон/микросервисы.
выделили и бюджет и людей. Я проделал огромный анализ, нашел решение получше, запилил РоС, снял замеры, представил план руководству.
Я не буду рассуждать про преимущества и недостатки кассандры, технические параметры и тд и тп. Зачем?
Мы много переписали с нуля за 3 года, но не все на кассандру.
Конкретно на тот 1 процесс было затрачено 6 человеко/мес, что примерно 100 тыс, +стоимость VM, что оказалось равно лецензии оракла на год.

....

Уже 4 года как я ушел оттуда, но остался чел с той команды, супортят.
По его словам все работает как часы, включая кассандру, а во мне он увидел того самого "гениального русского программиста" о котором он так много слышал в детских сказках.
Встретив вас или другого "русского программиста" этот человек автоматически поставит вас в один ряд со мной.
Вопщем поддержал я отечественную марку не уранив в грязь лицом.

Раскажите, пожaлуйста, что Вы использовали из Касандры кроме базовых возможностей работы с данными и того что она бесплатная. Я имею в виду: распределенност, "single point of failure (whatever it means), кластерность, open-source-ность, и т.п., репликативность (masterless).
Как Вам далось отсутствие joins, and subqueries, и вообще бедность выразительных средств языка манипилирования и описания данных?

[kyk]

лет так через 25

до какого возраста собираешься программировать?

[Boriskin]

Я злой потому что меня никто не слушает. А не слушают меня потому что я на МФ и МФ у нас никому уже не интересен.

Один в поле не воин, в том что МФ никому не интересен виноваты не вы а IBM.
Это IBM должен был всех убеждать, ублажать и выбивать свое место под солнцем.
А ваша задача была всего лишь купаться в лучах их славы. Но они все просрали.

При этом я вижу что у вас есть возможность хлопнуть дверью напоследок, но не в смысле разосраться вконец и все бросить,
а срубить бабла по-крупному в сложившейся ситуации, да так что вам еще и спасибо скажут.

А вот тут я с Вами не соглашусь. То что происходит на нашей фирме это частный случай. Да, таких частных случаев много... было.
Но сейчас ситуация несколько изменилась.
Пару месяцев назад был у нас митинг с ИБМ представителями. За пределами темы митинга они рассказали что у них (в Канаде это) бум сброса на МФ, среди которых не только те кто уже с МФ был, но и те кто не был никогда.

Влад, вы вроде опытный пенсионер, но местами наивняк как у второкурсницы - обещать жениться совсем не означает поход в ЗАГС.
Ведь банальная вещь - проверить, вешает ли вам хлопец из IBM sales лапшу на уши (выдавая желательное за действительное) или реально кто-то покупает эти самые мейнфреймы, чтоб гонять на них линукс.

Подсказка - бумом не пахнет, немного отлипло от многолетнего падения оборота.

[zVlad]

Я злой потому что меня никто не слушает. А не слушают меня потому что я на МФ и МФ у нас никому уже не интересен.

Один в поле не воин, в том что МФ никому не интересен виноваты не вы а IBM.
Это IBM должен был всех убеждать, ублажать и выбивать свое место под солнцем.
А ваша задача была всего лишь купаться в лучах их славы. Но они все просрали.

При этом я вижу что у вас есть возможность хлопнуть дверью напоследок, но не в смысле разосраться вконец и все бросить,
а срубить бабла по-крупному в сложившейся ситуации, да так что вам еще и спасибо скажут.

А вот тут я с Вами не соглашусь. То что происходит на нашей фирме это частный случай. Да, таких частных случаев много... было.
Но сейчас ситуация несколько изменилась.
Пару месяцев назад был у нас митинг с ИБМ представителями. За пределами темы митинга они рассказали что у них (в Канаде это) бум сброса на МФ, среди которых не только те кто уже с МФ был, но и те кто не был никогда.

Влад, вы вроде опытный пенсионер, но местами наивняк как у второкурсницы - обещать жениться совсем не означает поход в ЗАГС.
Ведь банальная вещь - проверить, вешает ли вам хлопец из IBM sales лапшу на уши (выдавая желательное за действительное) или реально кто-то покупает эти самые мейнфреймы, чтоб гонять на них линукс.

Подсказка - бумом не пахнет, немного отлипло от многолетнего падения оборота.

Ваш жаргон мне не нравится. В смысле вообще. Что Вы хотите за ним спрятать? Какие комплексы? Я не психолог, могу догадываться, но не буду.
"хлопец из IBM sales" старше меня, т.е. под 70. Он, в начале нулевых, обосновал постановку Linux на МФ.
Сними(те) лапшу со своих ушей и идите .... сами догадаетесь куда.

1.3. На форуме не допускаются сообщения, которые оскорбляют или унижают участников или ставят их в неудобное положение. Не допускается пренебрежительное отношение к участникам.
Не допускаются утверждения или намёки о том, что кто-то из участников обладает негативными свойствами. В частности, недопустимы "расклейки ярлыков", советы обратиться к психиатру, раздача диагнозов оппонентом и прочие утверждения и намёки о ненормальности или неадекватности оппонента. Любая двусмысленность модераторами понимается в худшую сторону.

[iDesperado]

Ваш жаргон мне не нравится. В смысле вообще. Что Вы хотите за ним спрятать? Какие комплексы? Я не психолог, могу догадываться, но не буду.

ты не психолог, ты дурачек. тебе сейлы ibm врут в глаза, прекрасно понимая, что ты схаваешь любую выдуманную их пургу. никто не гоняет линукс на zOS потому, что даже small bussness сегодня терабайты памяти ставит, а в zOS это будет стоить миллионы долларов. mid size бизнес уже просто не поместиться в куцие ресурсы устаревших платформ ibm.

в касандре нет транзакций между узлами, там атомрность на уровне "документа". область применения касандры - бигдата, почти не пересекается с рдбмс.
хотя по транзакциям, то что прикрутили в качестве двухфазного комита - убивает всю скорость и прелесть касандры, потому почти не пользуется т.к. проигрывает обычным рдбмс

1.1. На форуме не допускается использование некорректных методов ведения спора или дискуссии. Наиболее популярные из них приводятся в книге проф. С.И.Поварнина "Искусство спора" (pdf: docs/povarnin_spor.pdf audio: docs/Povarnin_Spor_mp3_pdf.zip). Эта книга настоятельно рекомендуется модераторам и участникам этого форума.
1.2. Основная форма общения между незнакомыми участниками - только на "Вы". Если Ваш собеседник не против, то можете перейти с ним на "ты". Если же на Ваше "ты" собеседник отвечает "Вы", то, пожалуйста, перейдите на "Вы". Любая фамильярность в отношении незнакомого участника или того, кто такого отношения не принимает, расценивается как попытка оскорбления. 3 дня

[Boriskin]

Ваш жаргон мне не нравится. В смысле вообще. Что Вы хотите за ним спрятать? Какие комплексы? Я не психолог, могу догадываться, но не буду.
"хлопец из IBM sales" старше меня, т.е. под 70. Он, в начале нулевых, обосновал постановку Linux на МФ.
Сними(те) лапшу со своих ушей и идите .... сами догадаетесь куда.

Я не червонец, чтоб нравиться всем.
Разжевывая предыдущую мысль - посмотри обороты подраздлеления IBM, которое торгует МФ, софтом и сервисом для оных и убедись, что IBM-мовский сейсл, мягко говоря, преувеличивает "бум". Но как говорится "на дурака не нужен нож, ему покажешь медный грош и делай с ним что хошь", когда человек уверен в том, что МФ нужны всем, совсем не трудно убедить его в том, что их (МФ) просто сметают с прилавков, даже если этого в реале не происходит.

[Boriskin]

ты не психолог, ты дурачек. тебе сейлы ibm врут в глаза, прекрасно понимая, что ты схаваешь любую выдуманную их пургу. никто не гоняет линукс на zOS потому, что даже small bussness сегодня терабайты памяти ставит, а в zOS это будет стоить миллионы долларов. mid size бизнес уже просто не поместиться в куцие ресурсы устаревших платформ ibm.

Злой ты, взял все и сразу ... по яйцам, да еще и с разбега, и без предварительных ласок! Шоковая терапия прям.

[zVlad]

...

Я не ч....

Лично Вы мне не очень то и нужны. Посты я Ваши читаю и реагирую иногда. А вот Вы мои посты чиатете не внимательно. Обижаете.
А с ИБМ я без Вас как нибудь разберусь. И ИБМ как-нибудь без Вас разберется со своими делами.

[zVlad]

ты не психолог, ты дурачек. тебе сейлы ibm врут в глаза, прекрасно понимая, что ты схаваешь любую выдуманную их пургу. никто не гоняет линукс на zOS потому, что даже small bussness сегодня терабайты памяти ставит, а в zOS это будет стоить миллионы долларов. mid size бизнес уже просто не поместиться в куцие ресурсы устаревших платформ ibm.

Злой ты, взял все и сразу ... по яйцам, да еще и с разбега, и без предварительных ласок! Шоковая терапия прям.

iDesperado как обычно себе по яицам, с разбега. Это до чего надо докатиться чтобы заявить что "... никто не гоняет линукс на zOS...". Мог бы у меня спросить "гоняют Linux на zOS" или нет.

[Boriskin]

Лично Вы мне не очень то и нужны.

Спасибо, успокоил, а то я уж было начал волноваться и оглядываться. Пис.

[zVlad]

Лично Вы мне не очень то и нужны.

Спасибо, успокоил, а то я уж было начал волноваться и оглядываться. Пис.

С Новым Годом! Удачи!

[valchkou]

Раскажите, пожaлуйста, что Вы использовали из Касандры кроме базовых возможностей работы с данными и того что она бесплатная. Я имею в виду: распределенност, "single point of failure (whatever it means), кластерность, open-source-ность, и т.п., репликативность (masterless).
Как Вам далось отсутствие joins, and subqueries, и вообще бедность выразительных средств языка манипилирования и описания данных?

всего понемногу, например тот же TTL когда база сама удаляет ненужные данные. Фейловер и реданденси на 3 региона. Timeseries
join быд не нужен, данные были денормализованы и оптимизированы под запросы определенного вида.
Это в кассандре самое важное, понять как именно будут данные доставаться. Если сразу не понятно или слишком много вариантов то сразу НЕТ.

Но основная фишка была даже не столько в самой кассанде, сколько клиент-драйвер + кассанда.
- Драйвер понимает топологию базы и умеет раскидывать запросы по нодам а так же автоматический феловер по заданной стратегии.
- возможность распараллеливать запросы.
Наш процесс на оракле давал 10 сек, что то типа select group by на 1 мл строк. Не все так просто, там были и stored procedures и joins еще какая то оптимизация сделанная не глупым инженером.

Я перенeс бизнес логику включая критерии groupby на яву, типа мап-редюс, а данные стал получать с касандры в сыром виде. Например нужно аггрегировать данные с 1000 девайсов.
запускаем 1000 запросов в кассандру используя типа fork-join и результат просто мержим в Ява приложении.
для сравнения 10 сек превратились в 5.

Я лично кассандру не рекомендую, потому что сложно, нужно очень хорошо понимать не только саму технологию но и бизнес процесс и клиентский код и как и зачем и почему.
С RDBMS как правило таких проблем нет, одни супортят базу другие делают дизайн схемы, по общепринятым лекалам а третьи пишут запросы.

[valchkou]

лет так через 25

до какого возраста собираешься программировать?

Мой план минимум 2 года назад был стать Директором через 5 лет и типа СТО через 10.
В менеджера я уже прошел, иду дальше. Если нужно будет кодить чтобы продолжать расти буду кодить.
Пока нужно.

[zVlad]

Раскажите, пожaлуйста, что Вы использовали из Касандры кроме базовых возможностей работы с данными и того что она бесплатная. Я имею в виду: распределенност, "single point of failure (whatever it means), кластерность, open-source-ность, и т.п., репликативность (masterless).
Как Вам далось отсутствие joins, and subqueries, и вообще бедность выразительных средств языка манипилирования и описания данных?

всего понемногу, например тот же TTL когда база сама удаляет ненужные данные. Фейловер и реданденси на 3 региона. Timeseries
join быд не нужен, данные были денормализованы и оптимизированы под запросы определенного вида.
Это в кассандре самое важное, понять как именно будут данные доставаться. Если сразу не понятно или слишком много вариантов то сразу НЕТ.

Но основная фишка была даже не столько в самой кассанде, сколько клиент-драйвер + кассанда.
- Драйвер понимает топологию базы и умеет раскидывать запросы по нодам а так же автоматический феловер по заданной стратегии.
- возможность распараллеливать запросы.
Наш процесс на оракле давал 10 сек, что то типа select group by на 1 мл строк. Не все так просто, там были и stored procedures и joins еще какая то оптимизация сделанная не глупым инженером.

Я перенeс бизнес логику включая критерии groupby на яву, типа мап-редюс, а данные стал получать с касандры в сыром виде. Например нужно аггрегировать данные с 1000 девайсов.
запускаем 1000 запросов в кассандру используя типа fork-join и результат просто мержим в Ява приложении.
для сравнения 10 сек превратились в 5.

Я лично кассандру не рекомендую, потому что сложно, нужно очень хорошо понимать не только саму технологию но и бизнес процесс и клиентский код и как и зачем и почему.
С RDBMS как правило таких проблем нет, одни супортят базу другие делают дизайн схемы, по общепринятым лекалам а третьи пишут запросы.

Спасибо за развернутый ответ. Позвольте попридираться.
TTL по-моему надуманная проблема чтобы делать из этого отдельную фукцию БД. В нашей БД данные вообще никогда не удаляются. Есть некоторые зачатки архивирования, но немного.
Фаловер это банальная репликация, есть во всех полноценных БД. У нас не используется вообще. У нас сервер надежный (с реданденци на уровне железа) его выход из строя означает дизастер и есть DR scenario для этого, которым ни разу за 20+ лет не воспользовались ни разу, только ежегодные тесты.
Денормализация возможна для узкого набора запросов. Фактически денормализированная модель эквивалентна поереходу на фаиловую систему. Оптимизатор не нужен, все запросы превращаются в table scan. Остается только индексация и поддержака уникальности, если еще для нее остается возможность после денормализации, разве что по исскусственному полю. Индексация на уровне файлов тоже возможна в некоторых файловы системах.
Распараллеливание больше чем количство CPU (или колиство узлов помноженное на CPU в каждом узле) большого смысла не имеет. 1000 параллельных процессов одновременно выполняться бне будут. Буду сидеть в очередях. Количество CPU и узлов тоже не означает линейный рост производительности. Издержки растут.
10 секунд превратить в 5 возможно и без изменения движка данных.
RDBMS для того и придуман был чтобы разделить хранение и манипулирование дабнными от логики запросов. Точнее все виды запросов были сведены к ограниженному, но весьма универсаьному набору опереций. Дла модели данных оставлены были только требование нормализации. Формальные требования, пригодные для широчайшего круга задач обработки данных.
По мне Касандра это повторение эволюции обработки данных (БД) с начала. Были уже в прошлом БД не реляционные, а иерахические, сетевые и просто в файлах с индексами и прямым доступом. Были HD с механизмами индексации на уровне железа.

[valchkou]

Спасибо за развернутый ответ. Позвольте попридираться.

легче шуруп забить молотком чем гвоздь закрутить отверткой.

доказать целесообразность выбранной технологии 3мя предложениями не получится. Там было много всего, начиная от требований руководства и заканчивая конкретными техническими параметрами.
по нормальному нужно сделать презентация на пару часов, начиная с бизнес процессов и заканчивая отдельными фитчами, как они вписываются и что конкретно упрощают или решают.

без понимания этих деталей дискуссия не имеет смысла и обычный бесплатный mysql перекрывает кассандру как и другие узко направленные решения, по многим параметрам