IT горячка в Сиэттле, эпизод 2

[Notghin]

О ком мы вообще разговариваем? $15 в час и $5000 в год на обучение? это associate degree из местного community college в лучшем случае.

Я тоже теряюсь в догадках, о чем вообще речь. Началось все с утверждения, что "Происходит массовый корпоративный переход в индостан". На что я возразил, что это не относится к growth companies. А потом, через серию аргументов типа "а у вас зато негров линчуют" дошло до H1. Похоже, моих скромных способностей явно не хватает, чтобы следить за полетом вашей мысли, так что предлагаю закончить.

Спасибо хоть кончить не предлагаете. Не вы ли писали следующее:

У Гуглов и других _растущих_ компаний проблемы совсем иного плана, и перенос продуктов в индостан для них (по большей части) особого смысла не имеет.

Я вам и объяснил, что там и так половина сотрудников на контракте и H1b. Нахрена им сотрудники на контрактах и визах, если у них нет финансовой мотивации? (по вашим словам). Где вы видели бизнес не ориентированный на $$$? Если к власти придут демократы через 50 лет в США не останется ни бизнеса нормального, ни белых ИТшников.

[Сабина]

В стартапе, где я работала в 2016 году мы перевели все (весь зоопарк, графовые базы, кафку, кассандру, ES, хадуп, не говоря уж про мелочевку типа спарка со скалой и им подобных, git, ci/cd и тыды) за два (!!) дня в продакшне с AWS, который стал жрать какое то неразумное количество денег, на ажур, который на тот момент давал полтора года free ride. у нас, правда, этим занимался очень толковый девопс чувак. а я была архитектором, и вот мне вообще ничего не пришлось подстраивать, он все перевел и все встало и забегало... разве что мои offline long tail search&personalization алгоритмы я со времем смогла оттюнить так, что они на тех же ресурах забегали в 2 раза быстрее, но это было чисто из любви к искусству)). так что ажур вполне себе конкурент AWS... чего я до сих пор не скажу про гугловский клауд. как он был незрелым 4 года назад, так и до сих пор не очень... но стараются, да.

Ну ОК, я понимаю что ВМ там раздают, но чтобы меня совсем переубедить в их конкурентноспособности - можно озвучить названия тех самые product offerings от них ?
Кафка например. Зашла к ним как то на стенд - дайте говорю про Кафку. Выдали три флаера со словами event hubs, рассказать про это на стенде никто не мог внятно, конференция называлась Кафка саммит . Больше я про это не слышала нигде и никогда.
То что у нас на работе в Ажуре - самопал поверх ВМs. Наверное дешево и сердито, и можно это все поддерживать кровью и потом программеров, гордо крича что мы cloud agnostic. Можно ли там построить хорошую и надежную data pipeline с минимаьными затратами труда на plumbing и максимальным выхлопом ? I do not think so

Вот на чем вы гоняли "мелочевку типа Спарк" в AWS и куда ее потом в Ажур перенесли ?

[Сабина]

Ну, я вообще-то не особо главный по тарелочкам клауд-архитект, но разве EMR, это - в переводе на наши деньги - не спарк и прочий опер-соурс, привинченный к амазоновской инфре (ec2, s3 и тп)? Если так, то это, наверно, не так уж трудно собрать на ажуре? С BigQuery/BigTable, наверно, сложнее будет, это да, но вопрос многим ли этот биг-тэйбл нужен? Особенно для enterprise или public sector IT, которым скомандовали мигрировать все их легаси аппликухи в клауд - а это сейчас основной источник роста у cloud vendors, а вовсе не series A стартапы, пилящие нетленку.

Разница простая на самом деле Iaas vs PaaS or Saas например. Амазон доминировал долго потому что был первым и налегал на оба фронта. Потом подключился Ажур, но они налегают на IaaS, ну как минимум я мало слышу про их product offerings и тут никто поделиться так и не соизволил
За тех кому не нужны Bigdata не скажу, они наверное многие в онпремах сидят еще, это ж не просто избавиться от имеющейся инфры. В облако идут только за тем что не хватает по хорошему. И учитывая обороты big data /ds/ml следующая динамика вполне себе предсказуемая и растет GCP семимильными шагами именно в то самое последнее время о котором я говорила, а не в 2016-м году

[rtogan]

Ну, я вообще-то не особо главный по тарелочкам клауд-архитект, но разве EMR, это - в переводе на наши деньги - не спарк и прочий опер-соурс, привинченный к амазоновской инфре (ec2, s3 и тп)? Если так, то это, наверно, не так уж трудно собрать на ажуре? С BigQuery/BigTable, наверно, сложнее будет, это да, но вопрос многим ли этот биг-тэйбл нужен? Особенно для enterprise или public sector IT, которым скомандовали мигрировать все их легаси аппликухи в клауд - а это сейчас основной источник роста у cloud vendors, а вовсе не series A стартапы, пилящие нетленку.

Разница простая на самом деле Iaas vs PaaS or Saas например. Амазон доминировал долго потому что был первым и налегал на оба фронта. Потом подключился Ажур, но они налегают на IaaS, ну как минимум я мало слышу про их product offerings и тут никто поделиться так и не соизволил
За тех кому не нужны Bigdata не скажу, они наверное многие в онпремах сидят еще, это ж не просто избавиться от имеющейся инфры. В облако идут только за тем что не хватает по хорошему. И учитывая обороты big data /ds/ml следующая динамика вполне себе предсказуемая и растет GCP семимильными шагами именно в то самое последнее время о котором я говорила, а не в 2016-м году

А где источник этой диаграммы?

[fleshold]

Вот это да! Поздравляю! Такие деньжищи! Да еще у вас и жена работает на хорошей работе. Это получается, что вам можно будет выйти на пенсию молодым! Круть. Не надо будет пахать до 65ти лет.

Я тоже такого мнения, чтобы дети ходили в садик. Сидеть целыми днями дома с мамой - это ж с ума сойти можно. Да, в садике бродят детские болезни. Ну без них в любом случае детский организм не натренирует свой иммунитет. Так что, ничего страшного. Мы когда с сыном сидели дома целый день на матернити лив, так ему надоело, мне надоело, нудно!

да вы обалдели - как на привете пишут он где-то в серединке... ну может с женой повезло, это да

Вспомнилась картинка

[kyk]

где такие зачОтные картинки берёшь?

[Сабина]

Хорошая статья про то как AI changes software business landscape
https://a16z.com/2020/02/16/the-new-bus ... -software/

[Eleanor377]

да вы обалдели - как на привете пишут он где-то в серединке... ну может с женой повезло, это да

Пусть пишут . В серединке или нет, а пахать до старости не надо! Ни жене, ни ему!

[VovaK98]

За тех кому не нужны Bigdata не скажу, они наверное многие в онпремах сидят еще, это ж не просто избавиться от имеющейся инфры.

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.
Потом периодически оттуда выборки надо сливать и раздавать кастомерам на USB - вот как?

[IvanGrozniy]

За тех кому не нужны Bigdata не скажу, они наверное многие в онпремах сидят еще, это ж не просто избавиться от имеющейся инфры.

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.
Потом периодически оттуда выборки надо сливать и раздавать кастомерам на USB - вот как?

С этими облаками нужно мировоззрение менять. Тру-менеджер сначала установку должен дать, мол, переносим все в облака и ничего другое не волнует. А с остальными "мелочами" по пути разберемся. Например, в вашем случае он сможет попозже предложить сляпать веб-ю-ай для клиентов, что на флешках ничего не передавать файлы
А если серьезно, то зачастую когда смотрю на это энтузиазм роботников по переносу всего подряд в облако и, якобы, экономии денег, так и хочется пальцем у виска покрутить. Делаем сейчас проект. Изначально начальники решили - идем в облако с базенками своими. Я им многократные претензии выдавал, что дорого в конце-концов выйдет. А они всем втирали, что, почти забесплатно это будет. Есть скидка, мол... Пришла пора писать приложение, а базы нет. Из них никто отвественность за разрешение по оплате облачных услуг брать не хочет, так как дорого выходит. Я им настроил базу в сетке на стареньком сервере баз данных, пока разработка идет. Успокоились на несколько месяцев... Настала пора тестировать новую программу на отдельном сервере с быстрой базой данной. Сейчас считают сколько будет стоить тру Azure DB. Получается более тысячи долларов в месяц. И это только для нужд тестирования! Вчера один такой шустрый начальник собирал у работников бесплатные кредиты, которые Azure дает новым пользователям (по $150), чтобы хоть как-то начать. Думаю, что даже на месяц не наскреб копеек. Ну это пример в моей текущей работы.
Были еще примеры с этими облаками лет 7 назад. Та же самая история - облачные сервисы дороже, если нужен большой траффик и мощный сервер. Дешевле самим поставить сервер с лицензией в дата центре с выделенной интернет линией.

[-helloworld-]

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.

Отправить диски обычной почтой. Никто такие данные не "заливает" в облако.

[VovaK98]

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.

Отправить диски обычной почтой. Никто такие данные не "заливает" в облако.

Решение как бы есть, называется snowball
https://aws.amazon.com/snowball/
Проблема в том, что все равно за weekend не успеваем. Да и потом обратно как оттуда выборки рассылать. Веб-интерфейс не опция, давать клиентам скачивать по 300-500 гигабайтов каждому в рабочее время не фан.
А тем временем база жиреет и пухнет.

[VovaK98]

А если серьезно, то зачастую когда смотрю на это энтузиазм роботников по переносу всего подряд в облако и, якобы, экономии денег, так и хочется пальцем у виска покрутить.

Облако - по крайней мере AWS - это в большинстве случаев никакая не экономия. Гибкость инфраструктуры, reliability, scalability, AMI backups, DR-regions, serverless architecture, легкость и автоматизация управления инфраструктурой, всякие другие вкусности - это да. Но не экономия.
И да - у амазона support нам нра. В датацентре такого не было и нет, по крайней мере у нас в компашке так сложилось.

[Komissar]

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.

Отправить диски обычной почтой. Никто такие данные не "заливает" в облако.

Решение как бы есть, называется snowball
https://aws.amazon.com/snowball/
Проблема в том, что все равно за weekend не успеваем. Да и потом обратно как оттуда выборки рассылать. Веб-интерфейс не опция, давать клиентам скачивать по 300-500 гигабайтов каждому в рабочее время не фан.
А тем временем база жиреет и пухнет.

у нас была база в 5 пб, оказалось, чтобы перекачать ее на "снежок", понадобятся годы.

[Сабина]

За тех кому не нужны Bigdata не скажу, они наверное многие в онпремах сидят еще, это ж не просто избавиться от имеющейся инфры.

Проблема не столько от инфраструктуры избавиться, сколько перелить б-м значительное кол-во данных в облако. Вот есть у меня SQL база в 4тб, как ее в AWS перелить хотя бы за выходные, чтобы кастомеров не напрячь? Понятия не имею.
Потом периодически оттуда выборки надо сливать и раздавать кастомерам на USB - вот как?

Проблема надуманная. Давно есть куча наработанных технологий. Часто той же Кафкой перекачивают