BI, Data Analyst, Data Mining несколько вопросов.

[ie]

вот допустим придет контрактор спец по BI, его просто пустить в чисто поле (баззу данных)
и пусть себе посется? надо ведь ему какие то ориетиры дать.
типа наковыряй нам самородков да побольше, побольше....

это я типа мыслю в слух.

ну дык какие-то бизнес-мысли должны быть у вашего руководства. типа "вот было бы неплохо знать сколько людей спит на правом боку, а сколько на левом. выпустим правые и левые подушки"

да, конешно, в том или другом виде все это есть. это все развивается, но для этого нужно только время.
каких то дополнительных аналитикал скилз тут особо не нужно (я могу ошибаться)
дело в том что в воздухе витает такая идея что придет бизнес аналист и займется бизнесс интележенс
и построит нам дата вархауз и.... и тагда будет все кошерно и правильно.
вот это я хочу понять. что КОНКРЕТНО будет по другому?
то есть какие материал дифференсес мы поимеем.

может я копаю слишком глубоко.
но я чуствую что мне надо быть вкурсе событий.
иначе они меня маржиналайз.

[flip_flop]

А в чем сложность в Octave делать?

для меня в том что я первый раз о таком услышал придётся читать на старости лет... эх

Да ну, делов то, какие наши годы. Проблема в том, что Октав в виндоузе идет через терминал, не надо никакой ВМ, но нет хорошего Гуя, графика есть а Гуя нет, в отличии от Матлаба, СайЛаба, СайПайя. Но для изучения темы, это всё равно что судить о качестве книги по качеству бумаги. В самой хорошей (по старой памяти) книге по МЛ (от Митчелла) я вообще программ не помню. А концепции помню. На другой стороне спектра - куча поваренных книг с кучей программ на любых языках но с весьма слабым содержанием и профанацией теории.

[Kateryna]

вот допустим придет контрактор спец по BI, его просто пустить в чисто поле (баззу данных)
и пусть себе посется? надо ведь ему какие то ориетиры дать.
типа наковыряй нам самородков да побольше, побольше....

это я типа мыслю в слух.

ну дык какие-то бизнес-мысли должны быть у вашего руководства. типа "вот было бы неплохо знать сколько людей спит на правом боку, а сколько на левом. выпустим правые и левые подушки"

да, конешно, в том или другом виде все это есть. это все развивается, но для этого нужно только время.
каких то дополнительных аналитикал скилз тут особо не нужно (я могу ошибаться)
дело в том что в воздухе витает такая идея что придет бизнес аналист и займется бизнесс интележенс
и построит нам дата вархауз и.... и тагда будет все кошерно и правильно.
вот это я хочу понять. что КОНКРЕТНО будет по другому?
то есть какие материал дифференсес мы поимеем.

может я копаю слишком глубоко.
но я чуствую что мне надо быть вкурсе событий.
иначе они меня маржиналайз.

теоретически, если будет построен дата варехауз и использоваться какой-то тулз для отчетов, то специальный человек для SQL и Excel репортов не нужен постоянно.

-наиболее часто используемые отчеты будут уже созданы, заскедулены и каждый час/утро/неделю ваш босс будет видеть красиво отформатированный отчет на странице компании в интранете (SharePoint, etc) или email или Excel если большой любитель
-для каких-либо регулярных митингов все будут использовать один стандартный отчет с текущим состоянием дел итд
-если кому-то понадобиться что-то кастомизировать, то без помощи SQL он/она смогут построить свой новый красивый отчет и размахивать им на митинге
-если вы используете несколько разных систем ERP, CRM итд, данные из них будут сведены вместе в одном дата варехаузе и отчете
т.е. в одном отчете сможете посмотреть сколько и каких рекламных компаний было организовано и какой объем продаж или сколько новых кастомеров набежало после этого


Вам еще нужно решить какой тулз использовать для репортов и загрузки данных. А там такое разнообразие сейчас... от монстров дорогущих типа Майкрософт и Оракла до чего-то опен соурсного или вообщего облачного. В последнем случае и устанавливать ничего физически на сайте не надо. Бери и пользуйся (и плюйся на качество)

Кстати, если используете не самодельные системы а какие-то стандартные типа SAP, SalesForce итд, то во многих тулзах есть готовый шаблоны дата варехаузов и репортов. Наполняются вашими данными и все готово для использования. Хорошо работает если ваша исходная система не очень кастомизирована.

[mynameiszb]

теоретически, если будет построен дата варехауз и использоваться какой-то тулз для отчетов, то специальный человек для SQL и Excel репортов не нужен постоянно.

А можно тут поподробнее, а то вы как-то "опустили" один из важных пунктов.
Кто построит это хранилище? На каких принципах и кто будет сопровождать-развивать? Консалтеры со стороны?

[hrum]

BI есть Business Intelligence, обычно понимается написание отчётов или предоставление продвинутым аналитикам доступа к данным с помощью создания OLAP solutions (e.g., SSAS cubes). Data Mining есть подраздел Business Intelligence который позволяет с помощью различных методов статистического анализа находить закономерности в бизнес данных которые используются как для reactive так и proactive действий. Боссу, которого 1 шт., рекомендуется найти контрактора или компанию которая специализируются в BI или data mining (это разные вещи).

да, я тоже думаю на счет котрактора. как это растолковать грамотно.
народ тут не сильно умудренный, и похоже ведутся на базз вордс, к сожалению.
я думаю больше о практикал стороне дела. что конкретно это даст? какие бенефиты?
вот допустим придет контрактор спец по BI, его просто пустить в чисто поле (баззу данных)
и пусть себе посется? надо ведь ему какие то ориетиры дать.
типа наковыряй нам самородков да побольше, побольше....

это я типа мыслю в слух.

Сначала придут бизнес аналитики, которые поговорят с пользователями и те объяснят что им нужно. Потом придёт архитектор и сархитектит приложение. Потом привезут девелоперов и они наваяют вам дата мартов или дата варехаузов, а потом поверх них всяких отчётов или приборных досок каких (dashboards).

По поводу бенефитов то от data warehousing/business intelligence их по крайней мере два. Во-первых, можно гонять отчёты against data warehouse во время работы бизнес-систем не опасаясь что они замедлят их работу. Во-вторых можно сделать отчёты на основе данных собранных из нескольких систем. По крайней мере так говорит теория.

[mynameiszb]

Дайте паре продвинутых пользователей доступ к данным, и всё. Они будет рисовать отчёты just-in-time.

Для этих продвинутых пользователей желательно сделать некий промежуточный сервер с выжимкой по данным. Потому что пустить их на обычный - они своими продвинутыми отчетами его положат просто на раз-два. Наступали на это...

[hrum]

поговорят с пользователями и те объяснят что им нужно

а поскольку пользователи сами не знают, что им нужно сейчас, не говоря уже о том, что они не могут предусмотреть, что им понадобится в будущем, BI tools всегда опаздывают, дорого и т.п.

Дайте паре продвинутых пользователей доступ к данным, и всё. Они будет рисовать отчёты just-in-time.

Бизнес пользователи всегда лучше нас знают чего им надо. Если я приду в компанию и буду учить CFO какие отчёты ему нужны я там долго не продержусь.

В последнее время я смотрю концепция Enterprise Data Warehouse (когда строится Data Warehouse со всей информацией из всех систем компании) отошла в прошлое. Сейчас часто хотят Data Marts (то есть данные по одной subject area, например продажи, операции, финансы, и пр). Они всё равно требуют каких-то ETL (Extract/Transform/Load) и схем данных, но могут быть построены довольно быстро. А потом уже на основе этих Data Marts можно делать отчёты или dashboards, либо девелоперами либо advanced business users.

Есть ещё интересные системы такие как QlikView который одновременно система отчётов и построения Data Marts (включая ETLs). Не думаю что конечные пользователи смогут с ней справиться, но девелоперы могут собрать системы в разы быстрее чем с использованием других систем, не говоря уж о сборке "руками" (SSIS/SQL/etc).

[Kateryna]

теоретически, если будет построен дата варехауз и использоваться какой-то тулз для отчетов, то специальный человек для SQL и Excel репортов не нужен постоянно.

А можно тут поподробнее, а то вы как-то "опустили" один из важных пунктов.
Кто построит это хранилище? На каких принципах и кто будет сопровождать-развивать? Консалтеры со стороны?

Я не уточнила, что имела ввиду небольшие компании, с устоявщимся бизнес-процесом, с одним, максимум 2 источником данных, без крейзи кастомизации стандартных приложений типа SalesForce etc.

Там и делов-то на пару недель и сопровождать-развивать нечего. Ну может раз в год новый отчет добавить.

Такое вполне имеет место быть. Из моего опыта такие проекты очень неприятные для консалтеров, так денег мало, часов мало отводиться и все строго контролируется. Из-за лишнего часа работы скандалы возникают, так как бюджетом не запланировано и денег нет, значит нет.

А для больших и средних компаний конечно своего человека на борту надо держать.

[mynameiszb]

Я не уточнила, что имела ввиду небольшие компании, с устоявщимся бизнес-процесом, с одним, максимум 2 источником данных, без крейзи кастомизации стандартных приложений типа SalesForce etc.

Там и делов-то на пару недель и сопровождать-развивать нечего. Ну может раз в год новый отчет добавить.

Я как раз на таких "маленьких" проектах и подрывался пару раз. Оба раза был в штате - начинали "по чуть-чуть". Тут допилить, там добавить. Хранилище простенькое сделать. Но аппетит приходит во время еды. Не успеет год закончится, а уже и хранилище выросло, и таблиц там - как тараканов, а еще отчеты на него привинтили, о которых не думал и не договаривались заранее.

Последнее, что было - народ радостно запрыгал и стал лить по террабайту в месяц данных. Причем эту первичку никто агрегировать не давал и требовал, чтобы оно все летало...

[Kateryna]

поговорят с пользователями и те объяснят что им нужно

а поскольку пользователи сами не знают, что им нужно сейчас, не говоря уже о том, что они не могут предусмотреть, что им понадобится в будущем, BI tools всегда опаздывают, дорого и т.п.

Дайте паре продвинутых пользователей доступ к данным, и всё. Они будет рисовать отчёты just-in-time.

Бизнес пользователи всегда лучше нас знают чего им надо. Если я приду в компанию и буду учить CFO какие отчёты ему нужны я там долго не продержусь.

В последнее время я смотрю концепция Enterprise Data Warehouse (когда строится Data Warehouse со всей информацией из всех систем компании) отошла в прошлое. Сейчас часто хотят Data Marts (то есть данные по одной subject area, например продажи, операции, финансы, и пр). Они всё равно требуют каких-то ETL (Extract/Transform/Load) и схем данных, но могут быть построены довольно быстро. А потом уже на основе этих Data Marts можно делать отчёты или dashboards, либо девелоперами либо advanced business users.

Есть ещё интересные системы такие как QlikView который одновременно система отчётов и построения Data Marts (включая ETLs). Не думаю что конечные пользователи смогут с ней справиться, но девелоперы могут собрать системы в разы быстрее чем с использованием других систем, не говоря уж о сборке "руками" (SSIS/SQL/etc).

Я тоже заметила такую тенденцию.
Облачное BI с которым я имела несчастье работать именно так и рекламируется. Для бизнесс юзеров, не нужна поддержка IT , так как все в облаке, тулз включает в себя все - и системы отчетов и построение стар схемы и ETL и коннекторы к транзакционным системам облачным. Прежде всего SalesForce.
Кроме того там уже есть готовые шаблоны дата мартов. Указывай свой логин к SalesForce, активируй выкачку и процессинг данных и можно работать с отчетами. Естественно, все хорошо, если исходная система не слишком кастомизирована и бизнесс-процессы нормальные.

К сожалению, бизнесс пользователи очень редко знают что им надо, а тем более, практически никто не в состоянии описать это. Людей с аналитическим складом ума даже в ИТ очень мало, не говоря уж о простом народе в поле. Большинству надо одна большая кнопка, которую нажимаешь (а лучше даже чтоб это происходило автоматически) и появлялся один отчет с одной цифрой, желательно положительной для твоего отдела/департамента. Где-то 2-3 нормальных на 20 человек балласта привыкших работать с чем-то, что было создано до них и объяснить значения данных они не могут, не говоря уже о том, откуда их взять. И эти 2-3 разбирающихся в данных и бизнесс процессе, либо уже покинули компанию, либо постоянно заняты чем-то другим.

[Kateryna]

Я не уточнила, что имела ввиду небольшие компании, с устоявщимся бизнес-процесом, с одним, максимум 2 источником данных, без крейзи кастомизации стандартных приложений типа SalesForce etc.

Там и делов-то на пару недель и сопровождать-развивать нечего. Ну может раз в год новый отчет добавить.

Я как раз на таких "маленьких" проектах и подрывался пару раз. Оба раза был в штате - начинали "по чуть-чуть". Тут допилить, там добавить. Хранилище простенькое сделать. Но аппетит приходит во время еды. Не успеет год закончится, а уже и хранилище выросло, и таблиц там - как тараканов, а еще отчеты на него привинтили, о которых не думал и не договаривались заранее.

Последнее, что было - народ радостно запрыгал и стал лить по террабайту в месяц данных. Причем эту первичку никто агрегировать не давал и требовал, чтобы оно все летало...

Какие террабайты...
Вам попались совсем не маленькая компания. Даже если там работает 2.5 человека включая вас, но речь идет о террабайтах это совсем другой расклад
Маленькая компания - это 100 кастомеров и 3000 ордеров в Excel за все время ее существования. Это может быть не компания, а какой-то департмент. Читай выше про дата марты.

Впрочем такие случаи как ваш тоже возможен. Видела конкретные примеры, когда работали с контракторами пару лет, потом бизнесс разросся и стали искать на постоянку кого-то

[mynameiszb]

Какие террабайты...

Те самые, которые неожиданно всплывают после реализации фразы "аппетит приходит во время еды".
Если типовой бизнес с 3 тысячами транзакций в год - да, проблем нет. Воткнули что-то из коробки, получили 2-3 стандартизированных отчета и нормально.
Куда как хуже, когда потихоньку начинают бегать разные цифры и появляется человек, который пытается из них что-то выжать.
Цифры забить в базу легко. Даже простейшую связку сделать между словарями и платежками. Но вот потом люди из этого выскребают нечто, о чем и не догадывались. И начинают озвучивать хотелки со страшной силой. И количество и разнообразие данных для анализа растет как снежный ком.

[Easbayguy]

Какие террабайты...

Те самые, которые неожиданно всплывают после реализации фразы "аппетит приходит во время еды".
Если типовой бизнес с 3 тысячами транзакций в год - да, проблем нет. Воткнули что-то из коробки, получили 2-3 стандартизированных отчета и нормально.
Куда как хуже, когда потихоньку начинают бегать разные цифры и появляется человек, который пытается из них что-то выжать.
Цифры забить в базу легко. Даже простейшую связку сделать между словарями и платежками. Но вот потом люди из этого выскребают нечто, о чем и не догадывались. И начинают озвучивать хотелки со страшной силой. И количество и разнообразие данных для анализа растет как снежный ком.

Московский опыт озвучиваете?

[mynameiszb]

Московский опыт озвучиваете?

Если бы.
"Темза, сэр" (с) народ

Лишний раз тогда убедился, что айтишный бардак и желание "сейчас и как-нибудь" - от страны и национальности не зависит.

[Ol]

С другой стороны, я давно не могу понять, зачем в наш век быстрых технологий, когда практически любой бизнес аналист знающий SQL/R (а эти skills сейчас практически по умолчанию), нарисует вам любой кастомизированный отчёт, и быстро, нужны какие-то особенные BI tools? Мне кажется, достаточно чтобы можно было достать данные из базы в более-менее удобоваримой форме и причесать их сиквелом. Остальное делается в R. Разве что у вас таки Big Data, которая в R не влазит (R ограничен оперативной памятью), но тогда Revolution Analytics вроде бы за $1000 продают решение этой проблемы.

Для того кубы и строят, чтобы не зависить от людей знающих SQL. Визуализировал куб (самое простое в экселе) - и одними дропдаунами строятся любые мыслимые отчеты.