Что творится с дейта сайнсом?

User avatar
Sergunka
Уже с Приветом
Posts: 34164
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Что творится с дейта сайнсом?

Post by Sergunka »

tessob wrote: 08 May 2018 15:52 Мне не надо на них смотреть. Я там работаю. Чем крупнее компания, тем меньше там математики, логики и просто здравого смысла.
Да, Вы просто брат по разуму :fr: Мне наш разговор напомнил бессмертное высказывание Гильберта когда его спросили почему он пишет учебник по мат-физике - "потому, что мат-физика слишком сложна для физиков" (с)
"A patriot must always be ready to defend his country against his government." Edward Abbey
User avatar
Sergunka
Уже с Приветом
Posts: 34164
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Что творится с дейта сайнсом?

Post by Sergunka »

Lisa wrote: 08 May 2018 15:13 Недостаточно просто придти и создать мат. алгоритмы. Вокруг них нужно сделать систему, изменить бизнес процессы на использование этой системы, внедрить ее, поддерживать. Если этого не делать, то никакая самая распрекрасная математика никому нужна не будет.
phpBB [video]


"Узнаю брата Колю!"(с) т.е. иными словами надо развести лохов по полной :gen1:
"A patriot must always be ready to defend his country against his government." Edward Abbey
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: Что творится с дейта сайнсом?

Post by Lisa »

Sergunka wrote: 08 May 2018 20:21
Lisa wrote: 08 May 2018 15:13 Недостаточно просто придти и создать мат. алгоритмы. Вокруг них нужно сделать систему, изменить бизнес процессы на использование этой системы, внедрить ее, поддерживать. Если этого не делать, то никакая самая распрекрасная математика никому нужна не будет.
"Узнаю брата Колю!"(с) т.е. иными словами надо развести лохов по полной :gen1:
Эммм. В каком смысле?
tessob
Уже с Приветом
Posts: 549
Joined: 07 Jan 2016 13:04

Re: Что творится с дейта сайнсом?

Post by tessob »

Larsonsager wrote: 08 May 2018 19:55б) вроде как всё перечисленное вами не имеет никакого отношения к дата-сайнсу. Мы говорим о дата-сайнсе, при чём здесь графы и потоки?
Как при чем!? Я сказал Физику-Лирику, что дружба математики и индустрии складывается, мягко говоря, хреновато. Вас это возмутило, но из контр примеров вы смогли привести только:
- контроль качества
- расчет пропускных способностей
- социологию
- страхование

Мало того, что это не тянет на изначально заявленные "дофига", но, из всего приведенного вами списка, индустрией является только страхование. Понимания того, каким образом вы собрались контролировать качество математикой у меня нет. Что касается теории массового обслуживания, то формула Литтла используется для расчета очередей, а для расчета пропускных способностей как раз используются потоки в сетях и теория графов, те самые, которые тут ни при чем.
Larsonsager
Уже с Приветом
Posts: 1860
Joined: 02 Sep 2016 20:26

Re: Что творится с дейта сайнсом?

Post by Larsonsager »

> но из контр примеров вы смогли привести только:

не "смог", а удосужился. Могу еще кучу. Инвестфонды. Радиолокация. Оцифровка книг. Интернет-реклама. Геологоразведка. Анализ эффективности для вывода лекарств на рынок.

Планирование дорог. Мой одноклассник еще в конце 90-х годов в МАИ работал над системой расчета трафика, и это были не высокомудрые научные разработки без реальных приложений, а напротив, реальная инженерная система. Он её не разрабатывал как учёный, а учился пользоваться - как техник.

> из всего приведенного вами списка, индустрией является только страхование.

Микробиология используется сплошь и рядом в индустрии, например в пивоварении или производстве сахара. Но производство сахара - это не микробиология. Тут то же самое. Контроль качества - это не индустрия, но это важная компонента многих индустрий.

> Понимания того, каким образом вы собрались контролировать качество математикой у меня нет

Что поделаешь. Можно взять учебник Феллера, там множество примеров.
Суть такая: вы не можете проверять всё. Вам надо проверять какую-то выборку и делать выводы. Какую выборку и как делать выводы - это дата-сайнс. А теория графов - это не дата-сайнс, а сборник алгоритмических рецептов (говорят, за этим есть какая-то умная теория, но мне не довелось встречать людей, знакомых с нею хотя бы поверхностно, обычно под теорией графа понимают набор алгоритмов эффективного решения определенных задач)
tessob
Уже с Приветом
Posts: 549
Joined: 07 Jan 2016 13:04

Re: Что творится с дейта сайнсом?

Post by tessob »

Снежная Королева wrote: 08 May 2018 21:59Весь рынок электричества - это громадная оптимизационная задача. Решается автоматически каждые пять минут, диктуя электростанциям увеличить/уменьшить производство. Причем я точно это знаю о Европе.
С этого места попрошу пожалуйста по-подробнее. Я хорошо знаю изнутри эту кухню в Total, E.ON и Enel(Eni). О какой громадной, автоматически решаемой оптимизационной задаче мы говорим? :shock:

Год назад у нас уже было общение по поводу Австралийского рынка э/э, но там у меня никакого опыта не было и многие вещи для меня оказались просто дикими. Однако Европа и СНГ мне очень близки.
User avatar
Sergunka
Уже с Приветом
Posts: 34164
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Что творится с дейта сайнсом?

Post by Sergunka »

Lisa wrote: 08 May 2018 20:24
Sergunka wrote: 08 May 2018 20:21
Lisa wrote: 08 May 2018 15:13 Недостаточно просто придти и создать мат. алгоритмы. Вокруг них нужно сделать систему, изменить бизнес процессы на использование этой системы, внедрить ее, поддерживать. Если этого не делать, то никакая самая распрекрасная математика никому нужна не будет.
"Узнаю брата Колю!"(с) т.е. иными словами надо развести лохов по полной :gen1:
Эммм. В каком смысле?
В прямом у меня на глазах развели компанию за два года на 4 миллиарда долларов :cry: Больше всего мне запомнилась по своей помпезности и чванливости заявление очередного ВП по продажем который сказал примерно следующее когда я получил свой МБА у меня было два предложения продавать кетчуп (Карл! Кетчуп!) или продавать софт :D Радует только одно его уволили к еб"ням одного из первых :angry:
"A patriot must always be ready to defend his country against his government." Edward Abbey
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: Что творится с дейта сайнсом?

Post by Lisa »

Sergunka wrote: 09 May 2018 00:00
Lisa wrote: 08 May 2018 20:24
Sergunka wrote: 08 May 2018 20:21
Lisa wrote: 08 May 2018 15:13 Недостаточно просто придти и создать мат. алгоритмы. Вокруг них нужно сделать систему, изменить бизнес процессы на использование этой системы, внедрить ее, поддерживать. Если этого не делать, то никакая самая распрекрасная математика никому нужна не будет.
"Узнаю брата Колю!"(с) т.е. иными словами надо развести лохов по полной :gen1:
Эммм. В каком смысле?
В прямом у меня на глазах развели компанию за два года на 4 миллиарда долларов :cry: Больше всего мне запомнилась по своей помпезности и чванливости заявление очередного ВП по продажем который сказал примерно следующее когда я получил свой МБА у меня было два предложения продавать кетчуп (Карл! Кетчуп!) или продавать софт :D Радует только одно его уволили к еб"ням одного из первых :angry:
Это прекрасно, конечно, но какое это вообще имеет отношение к тому что я написала?
User avatar
Sergunka
Уже с Приветом
Posts: 34164
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Что творится с дейта сайнсом?

Post by Sergunka »

Lisa wrote: 09 May 2018 00:26
Sergunka wrote: 09 May 2018 00:00
Lisa wrote: 08 May 2018 20:24
Sergunka wrote: 08 May 2018 20:21
Lisa wrote: 08 May 2018 15:13 Недостаточно просто придти и создать мат. алгоритмы. Вокруг них нужно сделать систему, изменить бизнес процессы на использование этой системы, внедрить ее, поддерживать. Если этого не делать, то никакая самая распрекрасная математика никому нужна не будет.
"Узнаю брата Колю!"(с) т.е. иными словами надо развести лохов по полной :gen1:
Эммм. В каком смысле?
В прямом у меня на глазах развели компанию за два года на 4 миллиарда долларов :cry: Больше всего мне запомнилась по своей помпезности и чванливости заявление очередного ВП по продажем который сказал примерно следующее когда я получил свой МБА у меня было два предложения продавать кетчуп (Карл! Кетчуп!) или продавать софт :D Радует только одно его уволили к еб"ням одного из первых :angry:
Это прекрасно, конечно, но какое это вообще имеет отношение к тому что я написала?
Вы перечитайте еще раз, что Вы написали 4 миллиарда понятно сожрали не математики и прочие девопсы... их поглотила как раз система с бизнес процессами и прочей мутью внедрежа и поддержки... все во благо и все для человека-кетчупа :oops:
"A patriot must always be ready to defend his country against his government." Edward Abbey
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: Что творится с дейта сайнсом?

Post by Lisa »

Sergunka wrote: 09 May 2018 00:40 Вы перечитайте еще раз, что Вы написали 4 миллиарда понятно сожрали не математики и прочие девопсы... их поглотила как раз система с бизнес процессами и прочей мутью внедрежа и поддержки... все во благо и все для человека-кетчупа :oops:
А какие еще есть варианты. Ну вот построили вы крутой тул, и что дальше? Кто и как будет им пользоваться? Что происходит если что-то в нем надо поменять? Откуда известо, что все работает как надо?
Миллиарды можно считать если вы внешний консультант. Как вы будете считать когда все ресурсы внутренние?
User avatar
Sergunka
Уже с Приветом
Posts: 34164
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Что творится с дейта сайнсом?

Post by Sergunka »

Lisa wrote: 09 May 2018 00:51
Sergunka wrote: 09 May 2018 00:40 Вы перечитайте еще раз, что Вы написали 4 миллиарда понятно сожрали не математики и прочие девопсы... их поглотила как раз система с бизнес процессами и прочей мутью внедрежа и поддержки... все во благо и все для человека-кетчупа :oops:
А какие еще есть варианты. Ну вот построили вы крутой тул, и что дальше? Кто и как будет им пользоваться? Что происходит если что-то в нем надо поменять? Откуда известо, что все работает как надо?
Миллиарды можно считать если вы внешний консультант. Как вы будете считать когда все ресурсы внутренние?
Вариант только один если тул крутой, то ищещь инвесторов и продаешь его... а если попрет выйдешь в IPO.

Про внутренние ресурсы я как раз и говорил - сожрали 4 миллиарда бюджета компании :cry:
"A patriot must always be ready to defend his country against his government." Edward Abbey
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: Что творится с дейта сайнсом?

Post by Lisa »

Sergunka wrote: 09 May 2018 01:04
Lisa wrote: 09 May 2018 00:51
Sergunka wrote: 09 May 2018 00:40 Вы перечитайте еще раз, что Вы написали 4 миллиарда понятно сожрали не математики и прочие девопсы... их поглотила как раз система с бизнес процессами и прочей мутью внедрежа и поддержки... все во благо и все для человека-кетчупа :oops:
А какие еще есть варианты. Ну вот построили вы крутой тул, и что дальше? Кто и как будет им пользоваться? Что происходит если что-то в нем надо поменять? Откуда известо, что все работает как надо?
Миллиарды можно считать если вы внешний консультант. Как вы будете считать когда все ресурсы внутренние?
Вариант только один если тул крутой, то ищещь инвесторов и продаешь его... а если попрет выйдешь в IPO.

Про внутренние ресурсы я как раз и говорил - сожрали 4 миллиарда бюджета компании :cry:
Я не говорю про софт на продажу. Я говорю про софт, который пишется для внутренних нужд, внутренними ресурсами. Как вы считаете миллиарды? Упущенные возможности? Зарплаты работников?
User avatar
Sergunka
Уже с Приветом
Posts: 34164
Joined: 03 Dec 2000 10:01
Location: Vladivostok->San Francisco->Los Angeles->San Francisco

Re: Что творится с дейта сайнсом?

Post by Sergunka »

Lisa wrote: 09 May 2018 01:08
Sergunka wrote: 09 May 2018 01:04
Lisa wrote: 09 May 2018 00:51
Sergunka wrote: 09 May 2018 00:40 Вы перечитайте еще раз, что Вы написали 4 миллиарда понятно сожрали не математики и прочие девопсы... их поглотила как раз система с бизнес процессами и прочей мутью внедрежа и поддержки... все во благо и все для человека-кетчупа :oops:
А какие еще есть варианты. Ну вот построили вы крутой тул, и что дальше? Кто и как будет им пользоваться? Что происходит если что-то в нем надо поменять? Откуда известо, что все работает как надо?
Миллиарды можно считать если вы внешний консультант. Как вы будете считать когда все ресурсы внутренние?
Вариант только один если тул крутой, то ищещь инвесторов и продаешь его... а если попрет выйдешь в IPO.

Про внутренние ресурсы я как раз и говорил - сожрали 4 миллиарда бюджета компании :cry:
Я не говорю про софт на продажу. Я говорю про софт, который пишется для внутренних нужд, внутренними ресурсами. Как вы считаете миллиарды? Упущенные возможности? Зарплаты работников?
Я просто подавился... чебуреком :crazy: Миллиарды заботливо подсчитала фин часть нашей корпорации - технически более миллиарда эквизишенс и остаток на зарплаты и прочие глупости навроде Амазон IAAS выездные сессии и корпоративы. Гульнули знатно :great:
"A patriot must always be ready to defend his country against his government." Edward Abbey
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: Что творится с дейта сайнсом?

Post by Lisa »

Sergunka wrote: 09 May 2018 01:39 Я просто подавился... чебуреком :crazy: Миллиарды заботливо подсчитала фин часть нашей корпорации - технически более миллиарда эквизишенс и остаток на зарплаты и прочие глупости навроде Амазон IAAS выездные сессии и корпоративы. Гульнули знатно :great:
И что из этого имеет реальное отношение к внедрению и поддержке?
Lisa
Уже с Приветом
Posts: 3209
Joined: 25 Jul 2000 09:01

Re: Что творится с дейта сайнсом?

Post by Lisa »

Снежная Королева wrote: 09 May 2018 02:44 Я вернусь к рынку электричества, но сейчас я напишу о логистике.

Tessob, вы упомянули симплекс метод, и я вспомнила о своей юности :) в нашем вузе симплекс метод знали все, кроме экономистов. Управленцы и судомеханики могли посреди ночи вспомнить. Управленцев учили загружать судно так, чтобы оно не перевернулось, при помощи карандаша и бумаги, эксель нам был еще неизвестен :))

Без математики встанет вся логистика, потому что загрузка фрахта (груза) на судах и самолетах - создание stowage plan - это оптимизационная задача. Без математики сбалансировать контейнеровоз невозможно.

Другое дело, что операторы математику не знают, но они имеют программу, созданную third party consulting firm, и такие программы создаются для всех индустрий .

Программа для управления электростанциями называется Plexos. Те, кто электростанциями управляет, просто умеют нажимать на кнопки, никакого симплекс метода знать не надо.

Так, и что касается европейского рынка электричества. EPEX SPOT система решает оптимизационные задачи автоматически, через определенные интервалы времени (не 5 минут, но это неважно). Наберите в гугле How the European day-ahead electricity market works, и найдите лекцию профессора Cornelusse. На стр 39 сформулирована задача линейного программирования, и дальше обьясняется как ее решать на бумаге. Это не значит, что трейдеры или сотрудники EPEX SPOT ее решают, за них решает software.
Со всем согласна, к выделенному добавлю, что сейчас все чаще эти программы создаются внутренними ресурсами.

Return to “Работа и Карьера в IT”