Ну вот и пришла к нам биг дата

[Uzito]

Воскресное о наболевшем.

Несколько лет в конторе витали идеи окучить данные, собираемые в процессе обработки главного продукта компании. Типа сделать из шелухи продукт на продажу. Наняли большую голову, индюшка с PhD Прастимама Сантакришнаила (имя зашифрованое). Гениальный дата учёный, ажно в ебее пару лет проработал. Вот уже полтора года уже сидит в мраморной башне и переодически выдает на гора презентации и ездит на конференции больших дата инженеров и архитекторов. Каким-то образом умудрился получить в подчинение всех разработчиков отчётности и метрик из отдела разработки. Реального опыта выпуска продукта у него нет, зато есть 20 лет опыта вождения руками и рассказывания сказок как всё будет замечательно когда будет биг дата.

Проект номер раз: голова решила, а давайте мы будет продавать спонсорам (фарма компаниям) данные о самых лучших врачах (сайтах), которые проводят клинические испытания. Говно вопрос - слили данные с семи тыщ испытаний из разных систем (половина нормальная, треть так-себе, остальные практически мусор), полгода решали как измерять перформанс врачебный. Дальше полгода решали что делать с врачами которые в каждом клиническом испытании регистриуются по новой и практически каждый раз вводят разные данные/переезжают/женятся/продают свои клиники другим докторам. Типа в одном испытании врач Елена Козлова, а в другом она уже Элайна Бирюзовая. Решили посадкой девки на два месяца, которая 8 часов в день смотрела на экран и жала кнопку "смержить". Запустили продукт в продакшен - данные замечательно сливаются и объединяются по всем линиям, только вот покупателей нет. Типа сватали и тем и этим, пару запросов от спонсоров пришлось выискивать руками, так как они были слишком сложны для автоматизации. А потом случился облом в виде GDPR и практически 80% врачей из EU сказали на%уй-на%уй, вычеркните меня из своей базы. Год работы и лям баксов выброшен на свалку.

Проект номер два: голова решила, а что это мы пользуемся устаревшими технологиями (Oracle Reports), мол у нас тут есть экспериментальный проект Logi InfoStudioкоторый мы затачиваем каждый раз три месяца для каждого исследования, давайте мы всю отчетность теперь делать будет в нём, да еще запустим это в облака (Amazon AWS). Официально в нашем главном продукте компании где-то 250-300 разных отчетов и метрик для спонсоров. Голова долго думала и сказала, нам нужно всё сделать быстро, давайте мне список, я выберу 10 самых используемых отчётов. Десять отчётов, неделю на каждый, пообещали CEO что к ноябрю 2017 было всё в продакшене. Прошел сентябрь, владельцы бизнес направлений рвали волосы и стонали что никак не могут согласиться запускать исследования с минимальным набором отчётов. К ноябрю собрали новые требования к отчётам, смержили пять старых в один новый. Шесть месяцев настраивали передачу данных из оракловой базы в амазоновские вёдра, json mappings, staging, talend etc. Всё делалось людьми не имевшими никакого представления о том, что собственно они загружают в базу и какие связи имеются между данными. По славной индюшковой традиции, которую я видел последний раз лет 15 назад, каждое исследование поместили в отдельную схему. Типа так быстрее, изоляция данных, всё такое. Про то, что метрики нужно запускать и вычислять по всем испытаниям одного спонсора, как-то забыли. Шесть месяцев индюшковые разработчики с кривыми данными в единственной схеме пытались сделать отчёты. Думаю не нужно говорить, что разработчики отчётов тоже не имели никакого представления о том, что за данные они пытаются визуализировать и почему измерения кардиограмм никак нельзя выводить в одной и той же табличке с измерениями легких или обработанными дневниками. Месяц назад голова радостно сообщила, что они таки продали первое исследования которе будет визуализированов в новой системе. Дата начала 1 Августа, и там будет ажно 800 ЭКГ за два года. Мы в основной системе обрабатываем 10-20х этого объема за день. Последние две недели голова отбивает тревожные телеграммы в тим чате и беспрерывно вопрошает "What is the root cause of X? We need to solve it." и подбадривает девопсов разгребающих баги на выходных "it takes a village". Сдадется мне, деревня и копание корешков для него было недалёкой реальностью.

Я сначала проекта как-то еще волновался, переживал за результат, но сейчас просто смеюсь. Как говорится, some people need to learn the hard way and at least from time to time land on this earth instead of flying in the clouds.

ПС: Извините за писанину, выпускаю пар.

ПС2: Cовсем забыл. За три недели до официально релиза голова решила, что Оracle ЕЕ на амазоне стоит слишком дорого, вы ребятки покедова даунгрейд до Standard Edition сделайте, а так я решил что мы на PostgreSQL переходим. И наплевать что 6 месяцев разработки сделаны на оракле с разными фичами.

[Sergunka]

Если компания не может избавится от индуса надо избавлятся от компании.

[Lisa]

Проект номер раз: голова решила, а давайте мы будет продавать спонсорам (фарма компаниям) данные о самых лучших врачах (сайтах), которые проводят клинические испытания. <...> Запустили продукт в продакшен - данные замечательно сливаются и объединяются по всем линиям, только вот покупателей нет. Типа сватали и тем и этим, пару запросов от спонсоров пришлось выискивать руками, так как они были слишком сложны для автоматизации. А потом случился облом в виде GDPR и практически 80% врачей из EU сказали на%уй-на%уй, вычеркните меня из своей базы. Год работы и лям баксов выброшен на свалку.

А где, извините, было все бизнес начальство? Они что, инвестируют в технический проект не подумав как, кому, и за сколько его можно будет продать? И никто про надвигающееся GDPR не знал? Сюрприз, типа. Такие вопросы не должны быть в ведении технических лидов.

[АццкоМото]

Uzito дружище, тейк ит изи. У нас, пожалуй, и похуже идиотизм случается. По крайней мере, в плане убытков. Вот пару месяцев назад проводили стресс тест бэкэнда. И ушло реальных, а не тестовых заказов реальным поставщикам на вполне реальные 40 лямов. Бывает, чо. Я все ещё люблю эту работу.

В любой относительно большой конторе есть идиотизм. Это данность. Ну а дальше... Если идиотизм превалирует, нужно менять контору. Если в основном здравый смысл, то просто ржать над идиотизмом и идти дальше.

[Sergunka]

Я тоже могу много интересного рассказать про биг дату и идиотов, но причем тут биг дата?

это просто классика - "По тому, как ты метешь, люди думают о нашем городе." (с)

[nyekimov]

а что означает - it takes a village? никогда раньше не слышал, хоть уже пару месяцев работаю среди индусов.

[DropAndDrag]

что вы к индусам пристали. нашими айтишниками вытворяется что-то невероятное.
да и что вы к биг дейта пристали. на стыковании виндоус, мака и линуксов можно так классно бабла сосать - скажем в виндоус домейн главный в компании, а на каждом линуксовских серверов юзеров ручками добавлять ...

[Serguei666]

а что означает - it takes a village? никогда раньше не слышал, хоть уже пару месяцев работаю среди индусов.

Пословица такая, "it takes a village to raise a child". В смысле - все получится только если все будут участвовать. Сомневаюсь, что пословица индийская

[Uzito]

А где, извините, было все бизнес начальство? Они что, инвестируют в технический проект не подумав как, кому, и за сколько его можно будет продать? И никто про надвигающееся GDPR не знал? Сюрприз, типа. Такие вопросы не должны быть в ведении технических лидов.

Начальству было рассказано как всё будет замечательно и что будет еще один продукт который они могут продавать спонсору и превращать мусор в бриллианты.
Про GDPR были какие-то витания в общих чертах, при регистрации врачей у них была галочка "хочу чтобы мои данные обрабатывались ля-ля-ля", но большинство ее просто не ставили.

В любой относительно большой конторе есть идиотизм. Это данность. Ну а дальше... Если идиотизм превалирует, нужно менять контору. Если в основном здравый смысл, то просто ржать над идиотизмом и идти дальше.

Да я особо-то не переживаю. Мне хорошо платят, хотят они копать канаву от забора и до обеда, я всегда рад помочь. Скорее всего этот второй проект выйдет пшиком и наш боголикий PhD свалит куда-нибудьт еще продвигать свои великии идеи, а мы уж тут по-старинке маленькой датой отобьемся.

что вы к индусам пристали. нашими айтишниками вытворяется что-то невероятное.

Я не про индюшков, я про теоретиков вообще-то. Теории это конечно хорошо, но практика и работа в реальных проектах бьют теории и в хвост и в гриву.

Cегодняшний его емейл:

I will be available Monday and Tuesday at work. Wednesday Through Friday, however, I will be at MIT at their 12th Annual Chief Data Officer conference. Most of you already know that I have been invited to speak. I will be presenting team’s ground breaking work on our modern cloud-based data platform using modern cloud techniques, architecture and serverless computing. I will be presenting some AI use cases as well that we recently worked on in collaboration with Innovation Lab. Exciting time.

Please visit ... for speakers, abstracts, topics, agendas and schedule. An impressive gathering of talents, academicians, CEOs and visionaries in this emerging big data space. I have been slotted to speak on Day 2 for an hour. I will be fully prepared in front of this crowed to kick some butts.

[Вячеслав Викторович]

А где, извините, было все бизнес начальство? Они что, инвестируют в технический проект не подумав как, кому, и за сколько его можно будет продать? И никто про надвигающееся GDPR не знал? Сюрприз, типа. Такие вопросы не должны быть в ведении технических лидов.

Начальству было рассказано как всё будет замечательно и что будет еще один продукт который они могут продавать спонсору и превращать мусор в бриллианты.
Про GDPR были какие-то витания в общих чертах, при регистрации врачей у них была галочка "хочу чтобы мои данные обрабатывались ля-ля-ля", но большинство ее просто не ставили.

В любой относительно большой конторе есть идиотизм. Это данность. Ну а дальше... Если идиотизм превалирует, нужно менять контору. Если в основном здравый смысл, то просто ржать над идиотизмом и идти дальше.

Да я особо-то не переживаю. Мне хорошо платят, хотят они копать канаву от забора и до обеда, я всегда рад помочь. Скорее всего этот второй проект выйдет пшиком и наш боголикий PhD свалит куда-нибудьт еще продвигать свои великии идеи, а мы уж тут по-старинке маленькой датой отобьемся.

что вы к индусам пристали. нашими айтишниками вытворяется что-то невероятное.

Я не про индюшков, я про теоретиков вообще-то. Теории это конечно хорошо, но практика и работа в реальных проектах бьют теории и в хвост и в гриву.

Cегодняшний его емейл:

I will be available Monday and Tuesday at work. Wednesday Through Friday, however, I will be at MIT at their 12th Annual Chief Data Officer conference. Most of you already know that I have been invited to speak. I will be presenting team’s ground breaking work on our modern cloud-based data platform using modern cloud techniques, architecture and serverless computing. I will be presenting some AI use cases as well that we recently worked on in collaboration with Innovation Lab. Exciting time.

Please visit ... for speakers, abstracts, topics, agendas and schedule. An impressive gathering of talents, academicians, CEOs and visionaries in this emerging big data space. I have been slotted to speak on Day 2 for an hour. I will be fully prepared in front of this crowed to kick some butts.

Ну посети конфу, выдай ему пару увесистых вопросов удароф...
Прикольно будет, если к ещё более жирному спонсору свалит...
ЗЫ
У меня дочь в уни бигдату и МЛ качала с группой товарищей. Собирали инфу по брокерам, управлению инвестиционных портфелей и оценкам клиентов их работы.
Ну корелляция получилась 50/50 , т.е. близкой к случайной.
Потом данные почистили, ну как-то вроде какая-то корреляция появилась.
Вообщем шаманство это всё. От данных почти всё зависит. Из говна конфетку не слепить.

[ie]

I have been slotted to speak on Day 2 for an hour.

вот вы смеетесь, а пасанчик элегантно распиливает бабло.
и за этот час пока он там бла-бла он получит больше чем мы с вами.
такша надо не смиятся а перенимать опыт.

[8K]

Из говна конфетку не слепить.

Что значит "не слепить"?

Х.., завернутый в газету, заменяет сигарету.

[Lisa]

А где, извините, было все бизнес начальство? Они что, инвестируют в технический проект не подумав как, кому, и за сколько его можно будет продать? И никто про надвигающееся GDPR не знал? Сюрприз, типа. Такие вопросы не должны быть в ведении технических лидов.

Начальству было рассказано как всё будет замечательно и что будет еще один продукт который они могут продавать спонсору и превращать мусор в бриллианты.
Про GDPR были какие-то витания в общих чертах, при регистрации врачей у них была галочка "хочу чтобы мои данные обрабатывались ля-ля-ля", но большинство ее просто не ставили.

То есть начальство все это прохлопало ушами. Я вашего типа не защищаю, но похоже в данном конктерном примере проблема не с ним вовсе. Если начальство готово инвестировать поверив на слово туманным обещаниям и не проведя никакого бизнес анализа, то кто ему буратино...

[Komissar]

Рыба гниет с головы. Некомпетентное начальство, которому пофиг конечный результат - и вот нанимают таких индюшков.
А он не дурак - вместо того, чтобы, засучив рукава, разгребать дерьмо на работе, спикает на конференциях, билдит себе нетворк и резюме. Свалит от вас с повышением, и к гадалке не ходи!

[Uzito]

Рыба гниет с головы. Некомпетентное начальство, которому пофиг конечный результат - и вот нанимают таких индюшков.
А он не дурак - вместо того, чтобы, засучив рукава, разгребать дерьмо на работе, спикает на конференциях, билдит себе нетворк и резюме. Свалит от вас с повышением, и к гадалке не ходи!

Да однозначно свалит, вот месяца через три завестятся его акции и махнёт он нам ручкой, тока его и видали. Тем более проект в полной жопе.

[Мальчик-Одуванчик]

Рыба гниет с головы. Некомпетентное начальство, которому пофиг конечный результат - и вот нанимают таких индюшков.
А он не дурак - вместо того, чтобы, засучив рукава, разгребать дерьмо на работе, спикает на конференциях, билдит себе нетворк и резюме. Свалит от вас с повышением, и к гадалке не ходи!

Да однозначно свалит, вот месяца через три завестятся его акции и махнёт он нам ручкой, тока его и видали. Тем более проект в полной жопе.

В чистом виде "эффективный мэнеджер".
Но что самое удивительное, эта маниловщина с биг датой и машобучем порой застилает глаза и вполне вменяемому руководству.

[fruit6]

Речь, судя по всему, идет не о Биг дате, а о клауде с постгресом.
Запилить постгрес индюшки из деревень смогут со временем, как разгадают требования. И Биг дату они запилят, если потребуется, не стоит питать иллюзий.

[Ulitkan]

В чистом виде "эффективный мэнеджер".
Но что самое удивительное, эта маниловщина с биг датой и машобучем порой застилает глаза и вполне вменяемому руководству.

А откуда оно взялось, это вменяемое руководство?
У нас, к примеру, ценится не сделанная работа, а чтобы использовалось побольше buzzwords: machine learning, big data, IoT, blockchain. А то, что нет никаких продуктов на основе этих чудесных инноваций никого не волнует. У меня, к примеру, прямо в годовые цели записали: 2 innovations or more. В реальности, конечно, прийдется записать в innovations что попало. Придираться никто не будет - начальник у меня не полный идиот, слава богу. Но факт остается фактом.

[Sergunka]

Речь, судя по всему, идет не о Биг дате, а о клауде с постгресом.
Запилить постгрес индюшки из деревень смогут со временем, как разгадают требования. И Биг дату они запилят, если потребуется, не стоит питать иллюзий.

К слову сказать с годами птицы могут обсидеть любой проект и даже создать видимость работоспособности.

[Boriskin]

ПС: Извините за писанину, выпускаю пар.

Может "поравалить"?

[Uzito]

Может "поравалить"?

Реально меня погода в NJ больше раздражает, нежли обстановка на работе.
Платят хорошо, бенефиты отличные, а что делать мне особо без разницы. Зато вот научился в новой тулзе репорты лабать.

[Физик-Лирик]

У меня дочь в уни бигдату и МЛ качала с группой товарищей. Собирали инфу по брокерам, управлению инвестиционных портфелей и оценкам клиентов их работы.
Ну корелляция получилась 50/50 , т.е. близкой к случайной.
Потом данные почистили, ну как-то вроде какая-то корреляция появилась.
Вообщем шаманство это всё. От данных почти всё зависит. Из говна конфетку не слепить.

Естественно, все от данных зависит. Естественно, на плохих данных модель не построить. Но в большинстве случаев, данные то как раз хорошие. В этом и отличие хорошего ученого от просто ученого, что грамотный специалист это понимает, будет использовать хорошие данные (а если их нет - не будет тратить времени), сможет оценить пределы применимости модели и т.п. В приведенном примере, после "данные почистили", результаты улучшились. И пардон... анализ кала тут абсолютно не причем. Основная проблема - бизнес ни фига не понимает, даже задачи правильно сформулировать не может. Понятно, бизнесу на фиг никакой дейта сайнс не нужен. Начальство навязало ... что им теперь делать? А тут еще новоявленные дейта сайнтисты, знающие о МЛ лишь по названиям питоновских функций и новомодным словам, смутно представляя, что такое производная. Вот такой симбиоз и рождает ... кал ... . Прямо на радость бизнесу с его конфеткой.

[Мальчик-Одуванчик]

Вот такой симбиоз и рождает ... кал ... . Прямо на радость бизнесу с его конфеткой.

Зато потом этот кал завернут в блестящую упаковку и за небольшой откат впарят пенсам или в зравохранение.

[Физик-Лирик]

Вот такой симбиоз и рождает ... кал ... . Прямо на радость бизнесу с его конфеткой.

Зато потом этот кал завернут в блестящую упаковку

Ну так естственно. Здесь самое главное, чтобы в процессе впиндюривания этой самой упаковки в комнате не оказалось ботаников. А то они ребята ушлые, вопросы неудобные начинают задавать. Просят содержание упаковки показать. Все им расскажи, да покажи ... А там внутри упаковки такое ... коричневое ... благоухающее, хоть нос затыкай. В результате впиндюриющие оказываются публично политыми этим ароматным веществом своего же происхождения, а местный "продуктовый менеджер", забрызганный той же ароматной массой, нервно обтекает, не зная, чем прикрыться на публике. Ну ведь было же сказано, что на митинг только менеджеров и бизнес-аналов звали. Какой ... этих ботанов пригласил? А теперь вопрос на засыпку: чем вся эта совершенно нетипичная и выдуманная история закончится?

[Мальчик-Одуванчик]

теперь вопрос на засыпку: чем вся эта совершенно нетипичная и выдуманная история закончится?

Аккуратно соберут продукт нетипичной истории и перепакуют сначала в гандон, а потом в упаковку "наших конкурентов-партнеров" и впарят по-новой.
В итоге в соседнем подразделении или в дружественной фирме появится должность вице-президента по некоторым свойствам гомологически-изотопных рекурсивных абелевых вложений, который, ну совершенно случайно, окажется внучатым племянником одного из руководителей пенсионного фонда.
Скромного и честнейшего человека.
Продукт-манагер не получит премии за явный косяк и надолго забудет про повышение. Ботана задвинут еще подальше.

PS: Ведь не зря понятие "аналитик" является синонимом слова "жопа".