Что творится с дейта сайнсом?

[Sergunka]

на мой взгляд Raspberry PI 3 выглядит куда как более продуманней.

Корейцы и более простые железяки к IOT прикручивают, где-то на уровне Pi Zero

Там задача была немного пошире нужен был минимальный ос который тянет OSGi контейнер для device management.

[alex_127]

>>>Просто очень часто эти самые бухгалтера не врубаются почему у них возникают ошибки округлений в учетных системах на больших наборах данных. Причем на практике часто сталкиваюсь с тем, что и многие математики не сильно в курсе к каким числам относятся де

Что то непонятно... Хранимая и оперируемая точность часто различаются и расчёты верны обычно только в пределах документа. У меня опыт старый, лет 25 назад - может приведёте пример про что вы говорите? Что то простое типа 3 за доллар?

[tessob]

Что то непонятно... Хранимая и оперируемая точность часто различаются и расчёты верны обычно только в пределах документа. У меня опыт старый, лет 25 назад - может приведёте пример про что вы говорите? Что то простое типа 3 за доллар?

Без проблем. Примеров сотни, если не тысячи. Вот просто из гугла:
https://www.google.pl/search?q=vat+rounding+issues
https://www.google.pl/search?q=payments+rounding+issues
https://www.google.pl/search?q=accounti ... ding+error
https://www.google.pl/search?q=reportin ... ing+errors

Выбирайте то, что вам больше нравится. Там везде суть проблемы одна - как только появляется деление или умножение на целочисленный коэффициент возникает вероятность появления ошибок округления.

[fruit6]

Верно, любой налог дает ошибку округления практически всегда.

[Oleg Co]

Что объединяет новость о том, что Дойчебанк сворачивает свой офис в США и датасайенс? А то, что в конторе tessob-а не вспомнили принцип Дирихле.

Хотя... секундочку... а при чем здесь контора Дирихле и принцип Дойчебанка? Одно ясно: всё зло от датасайенс!

[Larsonsager]

Математике уже не одна тысяча лет как науке. Что-то как-то у них там пока не очень складывается. ))

Дофига математики успешно использовалось и используется в индустрии, еще до того как появилось модное слово датасаенс.

Более того, до фига датасайнса использовалось в индустрии еще до того, как появилось такое слово.
И еще более того, основной рывок датасайнс (тогда это называлось "математическая статистика") получил около века назад, когда несколько нематематиков: химики, биологи, психологи и физики - решили порешать свои, часто сугубо практические, индустриальные задачи с помощью математики.

[tessob]

Математике уже не одна тысяча лет как науке. Что-то как-то у них там пока не очень складывается. ))

Дофига математики успешно использовалось и используется в индустрии, еще до того как появилось модное слово датасаенс.

Более того, до фига датасайнса использовалось в индустрии еще до того, как появилось такое слово.
И еще более того, основной рывок датасайнс (тогда это называлось "математическая статистика") получил около века назад, когда несколько нематематиков: химики, биологи, психологи и физики - решили порешать свои, часто сугубо практические, индустриальные задачи с помощью математики.

Дофига - слабая аргументация! Приведите пожалуйста примеры массового прихода математики из академии в индустрию. Я привел пример который релевантен для 99+ процентов компаний во всем мире. Я могу привести еще целую кучу примеров того, как логисты ни сном ни духом о теории графов, потоках в сетах, или когда производственники не в курсе, что планирование (секвенсинг) - одна из задач дискретной оптимизации, или когда плант-супервайзеры слышать не слышали о симплексе и как его использовать при назначении ресурсов и расчете физибилити. Те немногочисленные компании, где что-то из этого хоть как-то используется - редкие исключения. Причем, даже чтоб в этих редких исключениях эта математика появилась, приходится просто огнем и мечем прокладывать себе дорогу.

Единственный пример, который я могу назвать, прихода академической математики в индустрию - игорный бизнес. Только и там математика сначала появилась в индустрии, этом самом игорном бизнесе, потом пришла в академию и уже потом вернулась обратно.

Вчера начала в компании 20 человек: R&D, около медицинские разработки. Через пару недель отчитаюсь.

Удачи!

[tessob]

Не совсем корректно. Если вы убираете математику из компьютеров или роботов, то они просто перестают выполнять свою функцию. Если вы убираете математику из логистики, то она "прекрасно" продолжает работать. Я вам больше скажу. Часто бывает так, что ты огнем и мечем приносишь эту математику, все видят значительный прирост эффективности, проект заканчивается и ты уходишь. А когда возвращаешься через годика 2, то там всю твою математику вспоминают просто как нечто из разряда мифологии. Индустрия каким то образом умудряется отторгать ее как нечто чуждое и инородное.

[ALV00]

Там везде суть проблемы одна - как только появляется деление или умножение на целочисленный коэффициент возникает вероятность появления ошибок округления.

Ахаха, мне бухгалтера плешь проели в свое время с этими ошибками округления. Например, когда выделяется 10% и 20% НДС из цены товара путем деления на 11 и 6 (много ли людей понимают, почему не на 10 и 5? ) Потом эти ошибки домножаются на тысячи единиц товара и получаются вполне заметные суммы. В натуральных числах эта пробема не имеет решения. Можно как-то выкрутиться только перейдя к вещественным. Мы считали до пятого знака, так суммы хоть как-то сходились.

[Ann4Ann]

А когда возвращаешься через годика 2, то там всю твою математику вспоминают просто как нечто из разряда мифологии. Индустрия каким то образом умудряется отторгать ее как нечто чуждое и инородное.

это еще в лучшем случае. в худшем там 2 аутсорсных команды "датасаянтистов" ваяют в жестком бесконечном хардкоде if else и называют это то цепями Маркова, то теорией графов, то еще чем-то, про что вы им 2 года назад рассказали)))
зато сколько под это дело бабла выгребают - от где учиться и учиться всем саянтистам надо

[+KPOT+]

это еще в лучшем случае. в худшем там 2 аутсорсных команды "датасаянтистов" ваяют в жестком бесконечном хардкоде if else и называют это то цепями Маркова, то теорией графов, то еще чем-то, про что вы им 2 года назад рассказали)))
зато сколько под это дело бабла выгребают - от где учиться и учиться всем саянтистам надо

Именно. Надо уметь хорошо запаковать любую чушь и создать свой бренд. По моим наблюдениям, наши это умеют гораздо хуже индусов к сожалению.

[Lisa]

Дофига - слабая аргументация! Приведите пожалуйста примеры массового прихода математики из академии в индустрию. Я привел пример который релевантен для 99+ процентов компаний во всем мире. Я могу привести еще целую кучу примеров того, как логисты ни сном ни духом о теории графов, потоках в сетах, или когда производственники не в курсе, что планирование (секвенсинг) - одна из задач дискретной оптимизации, или когда плант-супервайзеры слышать не слышали о симплексе и как его использовать при назначении ресурсов и расчете физибилити.

Они и не должны в этом разбираться, это совершенно не их работа. Так же как вы не должны знать, например, формулу аспирина и процесс его синтеза.
Очень странно было бы ожидать от супервайзера на заводе! знание симплекса. Это ваша работа, не их. И ваша же задача создать для них систему, которая дает им что-то лучше, чем то что у них уже есть.
Посмотрите на любую крупную американскую компанию - авиалинии, грузоперевозки, крупные сети магазинов, больницы, производства - везде используется все то что вы перечислили.

Я вам больше скажу. Часто бывает так, что ты огнем и мечем приносишь эту математику, все видят значительный прирост эффективности, проект заканчивается и ты уходишь. А когда возвращаешься через годика 2, то там всю твою математику вспоминают просто как нечто из разряда мифологии. Индустрия каким то образом умудряется отторгать ее как нечто чуждое и инородное.

Недостаточно просто придти и создать мат. алгоритмы. Вокруг них нужно сделать систему, изменить бизнес процессы на использование этой системы, внедрить ее, поддерживать. Если этого не делать, то никакая самая распрекрасная математика никому нужна не будет.

[tessob]

Посмотрите на любую крупную американскую компанию - авиалинии, грузоперевозки, крупные сети магазинов, больницы, производства - везде используется все то что вы перечислили.

Мне не надо на них смотреть. Я там работаю. Чем крупнее компания, тем меньше там математики, логики и просто здравого смысла. Посмотрите на любом джбборде требования к Supply Chain Manager, Manufacturing Production Scheduler, Manufacturing Master Planner/Scheduler. Это те люди, которые ручками без всякой математики решают задачи факториальной сложности в MS Excel. Основные требования к кандидатам - тот самый ёксель и проблемсолвингскиллзз. Причем второй видимо и отвечает за факториальную сложность. Как это не смешно, но у 90% из них было исследование операций в универах. Они просто нифига не поняли и не помнят. Какие там в лес полиэдры с политопами!?

Lisa, я же правильно понимаю, что личного опыта по теме разговора у вас нет?

[Lisa]

Посмотрите на любую крупную американскую компанию - авиалинии, грузоперевозки, крупные сети магазинов, больницы, производства - везде используется все то что вы перечислили.

Мне не надо на них смотреть. Я там работаю. Чем крупнее компания, тем меньше там математики, логики и просто здравого смысла. Посмотрите на любом джбборде требования к Supply Chain Manager, Manufacturing Production Scheduler, Manufacturing Master Planner/Scheduler. Это те люди, которые ручками без всякой математики решают задачи факториальной сложности в MS Excel. Основные требования к кандидатам - тот самый ёксель и проблемсолвингскиллзз. Причем второй видимо и отвечает за факториальную сложность. Как это не смешно, но у 90% из них было исследование операций в универах. Они просто нифига не поняли и не помнят. Какие там в лес полиэдры с политопами!?

Это не те люди, которые должны знать математику! Все, что от них требуется, это использовать тулзы, которые для них создали математики. Все.

Lisa, я же правильно понимаю, что личного опыта по теме разговора у вас нет?

Неправильно. У меня очень много лет личного опыта.

[Larsonsager]

Математике уже не одна тысяча лет как науке. Что-то как-то у них там пока не очень складывается. ))

Дофига математики успешно использовалось и используется в индустрии, еще до того как появилось модное слово датасаенс.

Более того, до фига датасайнса использовалось в индустрии еще до того, как появилось такое слово.
И еще более того, основной рывок датасайнс (тогда это называлось "математическая статистика") получил около века назад, когда несколько нематематиков: химики, биологи, психологи и физики - решили порешать свои, часто сугубо практические, индустриальные задачи с помощью математики.

Дофига - слабая аргументация! Приведите пожалуйста примеры массового прихода математики из академии в индустрию. Я привел пример который релевантен для 99+ процентов компаний во всем мире. Я могу привести еще целую кучу примеров того, как логисты ни сном ни духом о теории графов, потоках в сетах, или когда производственники не в курсе, что планирование (секвенсинг) - одна из задач дискретной оптимизации, или когда плант-супервайзеры слышать не слышали о симплексе и как его использовать при назначении ресурсов и расчете физибилити. Те немногочисленные компании, где что-то из этого хоть как-то используется - редкие исключения. Причем, даже чтоб в этих редких исключениях эта математика появилась, приходится просто огнем и мечем прокладывать себе дорогу.

Единственный пример, который я могу назвать, прихода академической математики в индустрию - игорный бизнес. Только и там математика сначала появилась в индустрии, этом самом игорном бизнесе, потом пришла в академию и уже потом вернулась обратно.

Контроль качества. Расчет пропускных способностей (теория массового обслуживания). Вся практическая социология целиком. Страхование (актуарная математика).

Ваши примеры, "релевантные для 99+ процентов компаний", свидетельствуют лишь о том, что управленцы и работяги не пользуются математикой непосредственно. Точно так же ни архитекторы, ни строители не пользуются сопроматом, однако же сопромат используется в строительстве сплошь и рядом - просто занимаются этим другие люди.

> Только и там математика сначала появилась в индустрии

Я же написал вторым предложением, что вообще основная часть матстатистики пришла из индустрии. И не из какого-то игорного бизнеса, а с заводов. Стьюдент, Терстон, Спирмен. Еще некоторая часть пришла из биологии (Пирсон), статфизики (много кто: например, Стратонович).

Я могу привести еще целую кучу примеров того, как логисты ни сном ни духом о теории графов, потоках в сетах, или когда производственники не в курсе, что планирование (секвенсинг) - одна из задач дискретной оптимизации

Простите, у меня нет систематического образования в этой области, я очень смутно представляю, что такое теория графов и что вы имеете в виду под дискретной оптимизацией.

Однако: а) я лично знаю логиста - он сейчас работает доцентом в Нью-Йорке, но лет 10 назад, после защиты диссера, был логистом в России в транснациональной корпорации - который вроде как применял в повседневной работе какую-то "дискретную оптимизацию";
б) вроде как всё перечисленное вами не имеет никакого отношения к дата-сайнсу. Мы говорим о дата-сайнсе, при чём здесь графы и потоки?