Датасатанисты и иже с ними

[Сабина]

Сабина, если для работы, вам оно не надо, поверьте мне. Дата сайенс это 80% DE, еще 10% знание конкретного бизнеса, 5% анализ и 5% sales (виз, презентации, snake oil stakeholder influence).

Анализ делать стоит армия желающих business majors etc, и за это не платят. Sales надо иметь credentials + харизма. Простые смертные делают деньги в DE.

Не надо вам time series, выучите лучше Airflow, db, Medallion, Holistic, Looker или ещё какой модный DE tool.

Вы не понимаете. Как раз таки Data engineering tools ( airflow, spark, streaming, GCP ML stack etc ) я владею на А+. В данном случае мне нужно представить данные чтобы отстоять свою идею - development project . А когда у тебя час времени и большая аудитория - Visualization is the key

Сам был примерно в такой ситуации при защите первого data science проекта. Помогло штудирование всякой теории при ответе на всякие вопросы. Плюс в пилоте проект был - почти готовую сетку взяли из книги . Те на вопросы "как" тоже смогли ответить.
Снежная Королева пытается донести мысль, что Вам может не хватить теоретических знаний при защите. Хотя они у Вас возможно есть.
Мы примерно год вспоминали линейную алгебру, тервер и статистику. Плюс ковыряли на курсах библиотеки.

Ничего там страшного нет - все проходили в универе. Я лично два раза мимо проходил.

То что знаний нет - не спорю, да и не претендую на них. Речь идёт не о конференции какой нибудь, а об основании внутреннего проекта, в тиме где я уже 3 года работаю, о бОльшем тиме - не только backend/Data engineers. Цель - показать сколько всего интересного можно дополнительно извлечь из данных, которые мы собираем ( этот кусок я уже написала в этом году, есть данные, просто на пальцах объяснять и показывать муторно, с правильными картинками было бы куда яснее и быстрее).

[Mmodel]

Помоему вы пытаете сделать что-то такое что само по себе много затрат и усилий стоит.
Как показать их, в том смысле визуализировать это очень большая работа.
Но возможно найти что-то стандартное уже готовое что будет хорошо визуализовать, но это тоже работа, в смысле сам поиск это тоже работа.

[Сабина]

Вот эти библиотеки в классе будут разжевывать, сказали что 10-ю строками Питона смогу построить fancy timeseries chart. Будем поглядеть

[Сабина]

Цель - показать сколько всего интересного можно дополнительно извлечь из данных, которые мы собираем ( этот кусок я уже написала в этом году, есть данные, просто на пальцах объяснять и показывать муторно, с правильными картинками было бы куда яснее и быстрее).

А вы думаете, они не знают?
Вопрос не в том, что можно извлечь insights, вопрос в том что потом с этими insights делать.

Любой analytics project, это три вещи.
Thing 1: DE
Thing 2: DS (analysis, insights)
Thing 3: Change management.

Самая быстрая, лёгкая и приятная (но на которую надо 10 лет учиться), это Thing 2.
Однако, Thing 3 ответственна за 95% failure rate of all proje ts.

В общем, зря потратите время.

Извините но я уже запуталась в ваших советах и рекомендациях . Это безотносительно того что на ответ на мой изначальный вопрос они мало похожи. И вы практически ничего не знаете о каком проекте речь. Такое ощущение что вы либо пытаетесь меня от чего то отговорить или сделать акцент на том что я не data scientist отвечая в этой теме. Я - не! Надеюсь это внесло ясность

Сначала вы писали что 80% - это data engineering. А анализа там всего ничего. Теперь пишет что анализ - это самое приятное, но результаты никому не нужны.

Моя ситуация вообще к этому всему никаким местом не относится. Я решаю очень сильно наболевшую проблему для всех, прямо сейчас. Собрала данные, которые помогают найти решение, выложила их в cloud storage в parquet, для BigQuery . Написала кучу кверей, пытаюсь объяснить возможное решение.
Дата сатанисты не просто не хотят вникнуть, они после двух , сказанных мной предложений начинают демонстративно перебивать. Из того что они говорят очевидно что они ни минуты не потратили на прочтение и продолжают говорить «мне надо Х», не понимая что им уже дали Х, У и Z. Или просто на дурку стараются это так представить перед другими на митинге что они - “жертва» несовершенных DE процессов.
А проблемы надо решать совместно, а не спихивать друг на друга.

Собственно визуализация - это мощный инструмент донесения смысла быстро и эффективно, именно это и хочу сделать. А timeseries - это база, основа.
Хоть агрегируй данные и в Excel чарты рисуй .
Мне вообще странно что у них нет этих tools, данные собраны, вычищены и давно им поданы в чистом виде.


Поэтому у меня

[sp123]

Сабина, у вас в конторе должно быть что-нибудь стандартное для визуализации а-ля Tableau. Аналитики это дело любят, и красивый dashboard на знакомом для них инструменте, думается, воспримут позитивно.


Sent from my iPhone using Tapatalk Pro

[Mmodel]

А проблемы надо решать совместно, а не спихивать друг на друга.

это для инвесторов, конректно для Information Rigths provison в term sheet для VC ?

[Сабина]

Сабина, у вас в конторе должно быть что-нибудь стандартное для визуализации а-ля Tableau. Аналитики это дело любят, и красивый dashboard на знакомом для них инструменте, думается, воспримут позитивно.


Sent from my iPhone using Tapatalk Pro

У мня нет никаких слов кроме определённых когда речь заходит про инфру

[Mmodel]

Что-то мне кажется у sales отдела должны быть свои графики

[Mmodel]

Сабина, так и не понятно куда вы там собираетесь показывать, preferred shareholders?

[Физик-Лирик]

Дата сатанисты не просто не хотят вникнуть, они после двух , сказанных мной предложений начинают демонстративно перебивать. Из того что они говорят очевидно что они ни минуты не потратили на прочтение и продолжают говорить «мне надо Х», не понимая что им уже дали Х, У и Z. Или просто на дурку стараются это так представить перед другими на митинге что они - “жертва» несовершенных DE процессов.
А проблемы надо решать совместно, а не спихивать друг на друга.

Я, конечно, не знаю, как у вас все работает, но подсовывать ученым квирес - зачастую дело гиблое. Не потому, что они не знают, а потому, что им не интересно. У вас в группе, похоже, нет контакта между подруппами. Возможно, вопрос к менеджеру. Для данного проекта я бы начал с четкой постановки задачи и определениия критериев оценки. Я здесь особо не вникал, но четкости не очень вижу. Отсюда и разговоры на разных языках. Хотите визуализации - возьмите любой тулс. И еще мой очень субъективный совет - очень осторожно влезайте в их вотчину. Зачастую ученые очень ревниво к этому относятся. Отчасти потому, что сейчас имеет место заменить реальную науку на программистко-аналитические потуги (аналитика еще та). И не давайте себя перебивать. Вежливо, но твердо пресекайте эти попытки заткнуть рот. Хотя моим советам следовать совершенно не обязательно.

[Сабина]

Дата сатанисты не просто не хотят вникнуть, они после двух , сказанных мной предложений начинают демонстративно перебивать. Из того что они говорят очевидно что они ни минуты не потратили на прочтение и продолжают говорить «мне надо Х», не понимая что им уже дали Х, У и Z. Или просто на дурку стараются это так представить перед другими на митинге что они - “жертва» несовершенных DE процессов.
А проблемы надо решать совместно, а не спихивать друг на друга.

Я, конечно, не знаю, как у вас все работает, но подсовывать ученым квирес - зачастую дело гиблое. Не потому, что они не знают, а потому, что им не интересно. У вас в группе, похоже, нет контакта между подруппами. Возможно, вопрос к менеджеру. Для данного проекта я бы начал с четкой постановки задачи и определениия критериев оценки. Я здесь особо не вникал, но четкости не очень вижу. Отсюда и разговоры на разных языках. Хотите визуализации - возьмите любой тулс. И еще мой очень субъективный совет - очень осторожно влезайте в их вотчину. Зачастую ученые очень ревниво к этому относятся. Отчасти потому, что сейчас имеет место заменить реальную науку на программистко-аналитические потуги (аналитика еще та). И не давайте себя перебивать. Вежливо, но твердо пресекайте эти попытки заткнуть рот. Хотя моим советам следовать совершенно не обязательно.

Какие это учёные ? Вас не поймёшь. Королева говорит что лучше любого инженера 80 процентов времени сама данные все готовит. А тут «учёные» которые SQL не хотят понимать ?
Прямо какие то непонятные крайности
Кстати в данной ситуации они влезают в нашу вотчину . Я вообще не сильно понимаю почему их подключили к этому процессу. Тем более непонятно почему они это делают открывая дверь пинком ноги

[Физик-Лирик]

Какие это учёные ? Вас не поймёшь. Королева говорит что лучше любого инженера 80 процентов времени сама данные все готовит. А тут «учёные» которые SQL не хотят понимать ?
Прямо какие то непонятные крайности

А что конкретно не понятно? То, что не хотят залезать в ваш сиквел? Не то, чтобы они "не хотят понимать", а просто им не интересно. Крайности, не крайности - воспринимайте как данность. Вы, похоже, не очень много с учеными взаимодействовали (не путать с дейта инженерами) - присоединяйтесь. Либо приспосабливайтесь к такому взаимодействию, либо переучивайте их .

Кстати в данной ситуации они влезают в нашу вотчину . Я вообще не сильно понимаю почему их подключили к этому процессу. Тем более непонятно почему они это делают открывая дверь пинком ноги

Зачем они подключились? Так менеджмент, наверное, сказал, вот и влезли. Им самим может это и на фиг не надо. Насчет "пинком ноги" - так потому, что вы у них, скорее всего, авторитетом не пользуетесь. Как начнут проффесионально уважать - сразу все изменится. Вот выучите вы про временные ряды (мы вам ут можем материальчик подобрать), начнете рассуждать про их слабую статционарноть (рядов я имею в виду ), как выдадите им про экспоненциальное сглаживание - вот тогда с вами пойдут чай пить. А так ... . Или возглавьте их группу. Уважения все равно не добъетесь, но зато хоть бояться будут .

[Mmodel]

Сабина, а вы нюанс не создаёте такой деятельностью?
Может вас натолкнули на такое? Типа микро-менеджеры?

Я бы получил одобрение на такое от серезного менеджмента, но тут надо будет показать что это стоит для компании, а не просто от балды.

Другими словами

И еще мой очень субъективный совет - очень осторожно влезайте в их вотчину

[Mmodel]

Если допустим инвесторам надо, то у них есть свои представления какие графики они хотят видеть, тогда есть какая-то третия компания которая эти стандарты реализовывает для кучи компаний, а не так что в какой-то компании пилят для себя только и на это уходит куча времени.

[Komissar]

Ну хочет человек запилить свой индивидуальный проект, выйти из обоймы он-колл и вообще позаниматься интересными вещами вместо рутины. Но индусы вокруг все это на 2 метра под землю видят и просекают, поэтому добровольно не дадут. Лучше потратить время на литкод и найти другую работу.

Чегой-то добрый я сегодня.