IoT как это работает за 4 миллиарда долларов

[Sergunka]

спарки-кассандра так с этим понятно.
а кафка зачем в этой цепи? какую проблему решает? не лишнее ли звено?

Там типо загрузил в блобстор файло большое плюнул в кашку что кушать подано... прогнал плюнул что кушать подали надо агрегирорвать уже из касандры касандра агрегировала плюнул в кашку что результат такой. Результат такой подписчик поднял в вебсокет - вебсокет выдавил в дашбоарду.

Так же есть варианты если файло мекое в пределах разумного то льется сразу в кашку ну и тд.

понятно спасибо. А почему каффка, а не rabbitmq к примеру?

Просто кашка вроде как лучше интегрируется в нашем облаке https://www.predix.io/ cо спарком т.е. просто наша местная заморочка

в таком случае еще несколько вопросов:
1) кассандра-спарк от датастакс или опенсурс?
2) если опенсурс используете ли вендора для 24х7 суппорта кассандры, если да то можно контакт
3) прикручен ли какой нибудь SQL транслятор над спарком?
4) на каких языках написаны апы которые говорят со спарком и кассандрой?

поясню почему спрашиваю.
мы тоже строим iot.
некоторой время назад перевели несколько процессов с оракла на кассандру.
первое время использовали датастакс, но их сверх агрессивная ценовая политика вынудила нас перейти на опенсурс.
пока не имелось нужды натягивать спарк на кассандру, более менее большие запросы распарралеливаются самим приложением используя, java parallel streams, fork/join or BlockinqQ/CountdownLatch.
Но недавно появились более сложные задачи.

Сначало пройдемся по вопросам
1) в моем случае работаем с Датастах
2) не знаю другие отдела возможно сидят на чистой кассандре - спрошу
3) в спарк мы так глубоко не залезли пока это проект размером в три четыре недели и дофига чего не работает
4) пока стараемся сидеть на яве, но есть проекты под скалой

Для сложных задач мы используем два кластера - кашка впереди и сзаду кассандра (как там чего организовано я не знаю не лазил) я учавствовал в эпическом тестинге это монстра показатели вроде такие

- 3 миллиона датапоинтс в секунду
- в сблокированных сообщениях порядка 20К до 300К в секунду в зависимости какими блоками посылать

детали по документации можно глянуть здесь к примеру



https://docs.predix.io/en-US/content/se ... es-service

Основная концепция местного облака базируется на двух базовых сервисах - Ассет сревис и сервис Временных рядов вместе их обозначают Цифровые Близнецы (Digital Twins)

[nyekimov]

А вы же работу искали, это что нашли или прошлая?

Если так быстро нашли, то очень круто.

[Sergunka]

А вы же работу искали, это что нашли или прошлая?

Если так быстро нашли, то очень круто.

Да не... это все еще на прошлой подвернулась халтура хоть чем-то полезным для разнообразия заняться. Меня вынужденны были бросить на этот проект так как индусы не тянут.

Но вообще я здесь пока много всякого нахреначил индусов просто отропь берет.

Из прикольного я как образец цифрового двойника грузанул Юнити леталку в облако



https://unity-jet.run.aws-usw02-pr.ice.predix.io/

Ну и игрушку после чего про меня стали слагать легенды
3d Construction Game
https://unity-ball.run.aws-usw02-pr.ice.predix.io

[tessob]

Коллеги, можно вопрос с противоположной линии фронта? Просто я чаще представляю интересы традиционной индустрии и по несколько раз в месяц сижу на разных клиентах и слушаю всякий булшит про IoT.

Вопрос: Хоть один клиент получил измеримый экономический эффект от внедрения?

Просто, пока все, кто приходили, обещали только быстро-быстро собирать данные и топить их в большом-большом озере. Информация о том, что многие десятки лет технологи мониторят и журналируют данные технологического оборудования в реальном времени для многих становится открытием и никто так и не объяснил чем IoT превосходит какую-нибудь SCADA или самопальную систему мониторинга на датчиках и ардуиноподобных микроконтроллерах.

[valchkou]

Вопрос: Хоть один клиент получил измеримый экономический эффект от внедрения?

Вопрос не на зарплату программиста. Нам то какая разница кто и какой эффект получает.
Раз бизнес готов выложить миллионы, значит это кому нибудь нужно, наше дело сделать.

[АццкоМото]

Вопрос: Хоть один клиент получил измеримый экономический эффект от внедрения?

Вопрос не на зарплату программиста. Нам то какая разница кто и какой эффект получает.
Раз бизнес готов выложить миллионы, значит это кому нибудь нужно, наше дело сделать.

Не совсем так. Совсем не в наших интересах запрыгивать на технологию, которая потом сдуется.

[valchkou]

Вопрос: Хоть один клиент получил измеримый экономический эффект от внедрения?

Вопрос не на зарплату программиста. Нам то какая разница кто и какой эффект получает.
Раз бизнес готов выложить миллионы, значит это кому нибудь нужно, наше дело сделать.

Не совсем так. Совсем не в наших интересах запрыгивать на технологию, которая потом сдуется.

согласен риск имеется, поэтому я стараюсь развиваться многосторонне и использовать портабельные технологии,
которые применимы не только к IoT или скажем не только к вебу.
к примеру: кафка, рабит, спарк, кассандра, монго, микросервисы, spring-boot, докер, кубернетес, клауды и тп
все точно не сдуется, а многое уже стало почти стандартом.
Но если что то начнет сдуваться по крупному, то не ведь не сразу,
я успею собрать чемоданы и кабанчиком переметнутся на другую лужайку.

[tessob]

Вопрос: Хоть один клиент получил измеримый экономический эффект от внедрения?

Вопрос не на зарплату программиста. Нам то какая разница кто и какой эффект получает.
Раз бизнес готов выложить миллионы, значит это кому нибудь нужно, наше дело сделать.

Как и за что бизнес выкладывает миллионы - я знаю. Мне просто интересно стало для личной статистики. Если есть хоть один клиент, я поверю в технологию.

valchkou, сейчас рынок ИТ тупо перегрет. Историй с профитом практически нет. Как только гикнется долговой пузырь инвесторы пустят под нож все стартапы. Кабанчиков на всех лужайках будет как свиней нерезаных.

[valchkou]

Вопрос: Хоть один клиент получил измеримый экономический эффект от внедрения?

Вопрос не на зарплату программиста. Нам то какая разница кто и какой эффект получает.
Раз бизнес готов выложить миллионы, значит это кому нибудь нужно, наше дело сделать.

valchkou, сейчас рынок ИТ тупо перегрет. Историй с профитом практически нет. Как только гикнется долговой пузырь инвесторы пустят под нож все стартапы. Кабанчиков на всех лужайках будет как свиней нерезаных.

это совсем другой разговор, мы обсуждали устаревание определенной технологии,
а не глобальный трындец рынка и экономики вцелом.

2000-е на застал, но подобное я уже видел в 2008-9.
первым делом резали консалтеров и гастарбайтеров, затем средний менеджмент
и только потом, и то не всегда, дело доходило до таких как я сейчас.
Так что даже в случае глобального шухера, на рынке сша у таких как я имеется некий защитный буфер.

[Uzito]

Когда ресурсов мало, то сначала думают, а потом делают. А когда ресурсов попой не жуй, то проще сделать, а уж потом посмотреть пригодилось оно или нет.

Я для IoT желаю скорейшей смерти, чтобы оно и его изобретатели вертелись на вертелах в аду.

[nyekimov]

Валчкау когда ты уже меня к себе возьмёшь, хочу вертеться на вертелах )))

[tessob]

Нет никакого устаревания технологии. Самой технологии нет. Весь IoT, как я его вижу - куча движухи ради движухи.

Буфер - тушенка, золото и патроны?

[alex_127]

после того как к IoT подтянулись MSFT, IBM & AMZN делать на IoT infra деньги - очень рискованный бизнес. Хотя бы потому что всего денег - мало.

[valchkou]

Нет никакого устаревания технологии. Самой технологии нет. Весь IoT, как я его вижу - куча движухи ради движухи.

Буфер - тушенка, золото и патроны?

ага усы, лапы, хвост
мы не пишем абстракную платформу IoT для втюхивания кастомерам.
Мы делаем это для себя, как логическое развитие нашего бизнеса. www.shoppertrak.com
У нас своя ниша, мы анализируем поведение покупателей в ретел магазинах с помощью девайсов.
Раньше интернет был фиговый много где, приходилось самим ходить на девайсы и собирать данные когда те в онлайне.
В том числе изобретать свои протоколы и способы.
В наши дни все поменялось, девайсы сами могут пушать данные вполне надежно и своевременно.
Ну и конечно стандарт MQTT, который многие кто поддерживают, потому как помимо своих мы использем и сторонние девайсы.
всю инфраструктуру для обработки, анализа и отображения самих данных я к IoT не отношу.
резюмируя: для меня IoT это MQTT compatible device & MQTT topic.

[tessob]

Вы видите косяк? Я его вижу.

Чувак на фотке явно старше 17. Думаю, старше раза в 2.

Посмотрел описание на сайте. Это не полетит.