Machine Learning again

[Физик-Лирик]

А как звучат типичные бизнес-задачи, где используется биг-дата стэк и машинное обучение?

Fraud Protection
Crosselling

Я думаю, что любые бизнес-задачи. Рекомендации, например. Всякого рода счета, риски, онлайн коммерция (и не только), всякие страховки, медицина, финансы.

[Физик-Лирик]

А как звучат типичные бизнес-задачи, где используется биг-дата стэк и машинное обучение?

Самый простой способ выяснить - это пойти на сайт работ и набрать ключевое слово "машинное обучение". Выпадет куча позиций. Посмотрите по описаниям и индустриям. Все, что я упомянул, будет там. На мой взгляд, сейчас быстро расцветают стартапы, особенно в Кали, где машинное обучение хотят поставить на поток.

[Сабина]

мы вроде бы начинали, что бывают 5 минутные интервалы, когда стоимость электричества подскакивает. надеюсь понятно, никого не волнует ни 5 минутная задержка, да и минутная расхлябанность тоже. надо ведь говорить о slope

если уж говорить про биг дата, то эксперимент Алиса - это классический пример!
платформенная компонента (не знаю, что это такое) с 5000 message per second - это какое-то недоразумение - это около 1% от 1 Gbps сети ... я не ошибся

У вас имеет место быть непонимание термина Big data . Очень советую почитать на эту тему, это очень давно уже весьма конкретное понятие и это необязятально "скорость света" или Gbps сети. Я уже вам дала подсказку - обьем и скорость (bytes per second). А одни мой знакомый описал это кратко так "когда одна машина уже не может, а много еще не умеют данные из не-Big становятся Big"

[Deckel]

мы вроде бы начинали, что бывают 5 минутные интервалы, когда стоимость электричества подскакивает. надеюсь понятно, никого не волнует ни 5 минутная задержка, да и минутная расхлябанность тоже. надо ведь говорить о slope

если уж говорить про биг дата, то эксперимент Алиса - это классический пример!
платформенная компонента (не знаю, что это такое) с 5000 message per second - это какое-то недоразумение - это около 1% от 1 Gbps сети ... я не ошибся

У вас имеет место быть непонимание термина Big data . Очень советую почитать на эту тему, это очень давно уже весьма конкретное понятие и это необязятально "скорость света" или Gbps сети. Я уже вам дала подсказку - обьем и скорость (bytes per second). А одни мой знакомый описал это кратко так "когда одна машина уже не может, а много еще не умеют данные из не-Big становятся Big"

хорошее определение. deep

[Rumba]

А как звучат типичные бизнес-задачи, где используется биг-дата стэк и машинное обучение?

https://www.kaggle.com" onclick="window.open(this.href);return false;
вот интересныи саит для желающих поиграться с реальными примерами

[Deckel]

А как звучат типичные бизнес-задачи, где используется биг-дата стэк и машинное обучение?

https://www.kaggle.com" onclick="window.open(this.href);return false;
вот интересныи саит для желающих поиграться с реальными примерами

Это не биг дата

[Rumba]

А как звучат типичные бизнес-задачи, где используется биг-дата стэк и машинное обучение?

https://www.kaggle.com" onclick="window.open(this.href);return false;
вот интересныи саит для желающих поиграться с реальными примерами

Это не биг дата

про машинное обучение автором вопроса тоже спрашивалось

[fruit6]

хорошее определение. deep

Ага! Big Data - то что не помещается в кластер.

[DropAndDrag]

хорошее определение. deep

Ага! Big Data - то что не помещается в кластер.

приколоться и не жить
послушаешь биг дата people - биг дата это ВСЕ вокруг. когда спрашиваешь - а на х*я, то начинается такое
когда система не вмещается в один компьютер, то это distributed. и это понятие устойчивое уже полвека. ну ладно лично не буду за полвека отвечать, но лет 35+ (помню попалась мне классная конференция от 1987 года, а потом уже перестали печатать) - это точняк! для самых пре самых биг датаистов вот тут https://en.wikipedia.org/wiki/Distributed_computing.
реально бывало сложно растащить сложную систему на 2 и больше компьютеров, как и то что до сих нету единственного, ладно двух или трех устоявшихся протоколов для всего и всех (понятно, что я не про UDP и TCP уровень). когда компьютеры еще распиханы по топологии, скажем от одного до другого сотня метров, то это создает дополнительные прелести.

[Deckel]

хорошее определение. deep

Ага! Big Data - то что не помещается в кластер.

нет, даже наоборот.

[fruit6]

хорошее определение. deep

Ага! Big Data - то что не помещается в кластер.

нет, даже наоборот.

Девушка написала что не помещается. Она наверняка спец по биг дате.

[Физик-Лирик]

хорошее определение. deep

Ага! Big Data - то что не помещается в кластер.

нет, даже наоборот.

Девушка написала что не помещается. Она наверняка спец по биг дате.

Если Биг Дейта не умещаются в кластер, то это называется очень большие Биг Дейта.

[Сабина]

один другого занятнее . Где это я написала что не помещается ? Я написала много машин еще не справляются. Причем привела цитату которую вы вывернули как вам хотелось. Имелось в виду что само понятие Big data возникло потому что даже имеющееся на тот момент программное обеспечение для дистрибутивных систем не могло справится с обработкой. Оттого и появились HDFS , хадупы, а дальше спарки и иже с ними. Это только потом набежали драг'н'дропы которым Big Data недостаточно биг если это не гигабитные сети и прочие экстримы

[Сабина]

Спец не спец, а учу матчасть, не игнорирую историю и люблю четкие определения:
"Big data is data sets so large or complex that traditional data processing applications are inadequate. Challenges include analysis, capture, data curation, search, sharing, storage, transfer, visualization, querying and information privacy.".

PS. Хинт для невнимательных - обратите внимание на слово традиционные. То есть если ваша система ваши данные по вашим requirements традиционными средствами не может больше процессить и вы перешли на HDFS, хадуп, спарк - ваши data big, можете не сомневаться

[fruit6]

а если, скажем, я перешел на "HDFS, хадуп, спарк", но данных не залил, это все равно Big Data?

и чтобы два раза не вставать, скрам-мастеров нужно больше или меньше для Big Data?