IoT как это работает за 4 миллиарда долларов

[Sergunka]

спарки-кассандра так с этим понятно.
а кафка зачем в этой цепи? какую проблему решает? не лишнее ли звено?

Там типо загрузил в блобстор файло большое плюнул в кашку что кушать подано... прогнал плюнул что кушать подали надо агрегирорвать уже из касандры касандра агрегировала плюнул в кашку что результат такой. Результат такой подписчик поднял в вебсокет - вебсокет выдавил в дашбоарду.

Так же есть варианты если файло мекое в пределах разумного то льется сразу в кашку ну и тд.

понятно спасибо. А почему каффка, а не rabbitmq к примеру?

Просто кашка вроде как лучше интегрируется в нашем облаке https://www.predix.io/ cо спарком т.е. просто наша местная заморочка

в таком случае еще несколько вопросов:
1) кассандра-спарк от датастакс или опенсурс?
2) если опенсурс используете ли вендора для 24х7 суппорта кассандры, если да то можно контакт
3) прикручен ли какой нибудь SQL транслятор над спарком?
4) на каких языках написаны апы которые говорят со спарком и кассандрой?

поясню почему спрашиваю.
мы тоже строим iot.
некоторой время назад перевели несколько процессов с оракла на кассандру.
первое время использовали датастакс, но их сверх агрессивная ценовая политика вынудила нас перейти на опенсурс.
пока не имелось нужды натягивать спарк на кассандру, более менее большие запросы распарралеливаются самим приложением используя, java parallel streams, fork/join or BlockinqQ/CountdownLatch.
Но недавно появились более сложные задачи.

Сначало пройдемся по вопросам
1) в моем случае работаем с Датастах
2) не знаю другие отдела возможно сидят на чистой кассандре - спрошу
3) в спарк мы так глубоко не залезли пока это проект размером в три четыре недели и дофига чего не работает
4) пока стараемся сидеть на яве, но есть проекты под скалой

Для сложных задач мы используем два кластера - кашка впереди и сзаду кассандра (как там чего организовано я не знаю не лазил) я учавствовал в эпическом тестинге это монстра показатели вроде такие

- 3 миллиона датапоинтс в секунду
- в сблокированных сообщениях порядка 20К до 300К в секунду в зависимости какими блоками посылать

детали по документации можно глянуть здесь к примеру



https://docs.predix.io/en-US/content/se ... es-service

Основная концепция местного облака базируется на двух базовых сервисах - Ассет сревис и сервис Временных рядов вместе их обозначают Цифровые Близнецы (Digital Twins)

[nyekimov]

А вы же работу искали, это что нашли или прошлая?

Если так быстро нашли, то очень круто.

[Sergunka]

А вы же работу искали, это что нашли или прошлая?

Если так быстро нашли, то очень круто.

Да не... это все еще на прошлой подвернулась халтура хоть чем-то полезным для разнообразия заняться. Меня вынужденны были бросить на этот проект так как индусы не тянут.

Но вообще я здесь пока много всякого нахреначил индусов просто отропь берет.

Из прикольного я как образец цифрового двойника грузанул Юнити леталку в облако



https://unity-jet.run.aws-usw02-pr.ice.predix.io/

Ну и игрушку после чего про меня стали слагать легенды
3d Construction Game
https://unity-ball.run.aws-usw02-pr.ice.predix.io

[tessob]

Коллеги, можно вопрос с противоположной линии фронта? Просто я чаще представляю интересы традиционной индустрии и по несколько раз в месяц сижу на разных клиентах и слушаю всякий булшит про IoT.

Вопрос: Хоть один клиент получил измеримый экономический эффект от внедрения?

Просто, пока все, кто приходили, обещали только быстро-быстро собирать данные и топить их в большом-большом озере. Информация о том, что многие десятки лет технологи мониторят и журналируют данные технологического оборудования в реальном времени для многих становится открытием и никто так и не объяснил чем IoT превосходит какую-нибудь SCADA или самопальную систему мониторинга на датчиках и ардуиноподобных микроконтроллерах.

[valchkou]

Вопрос: Хоть один клиент получил измеримый экономический эффект от внедрения?

Вопрос не на зарплату программиста. Нам то какая разница кто и какой эффект получает.
Раз бизнес готов выложить миллионы, значит это кому нибудь нужно, наше дело сделать.

[АццкоМото]

Вопрос: Хоть один клиент получил измеримый экономический эффект от внедрения?

Вопрос не на зарплату программиста. Нам то какая разница кто и какой эффект получает.
Раз бизнес готов выложить миллионы, значит это кому нибудь нужно, наше дело сделать.

Не совсем так. Совсем не в наших интересах запрыгивать на технологию, которая потом сдуется.

[valchkou]

Вопрос: Хоть один клиент получил измеримый экономический эффект от внедрения?

Вопрос не на зарплату программиста. Нам то какая разница кто и какой эффект получает.
Раз бизнес готов выложить миллионы, значит это кому нибудь нужно, наше дело сделать.

Не совсем так. Совсем не в наших интересах запрыгивать на технологию, которая потом сдуется.

согласен риск имеется, поэтому я стараюсь развиваться многосторонне и использовать портабельные технологии,
которые применимы не только к IoT или скажем не только к вебу.
к примеру: кафка, рабит, спарк, кассандра, монго, микросервисы, spring-boot, докер, кубернетес, клауды и тп
все точно не сдуется, а многое уже стало почти стандартом.
Но если что то начнет сдуваться по крупному, то не ведь не сразу,
я успею собрать чемоданы и кабанчиком переметнутся на другую лужайку.

[tessob]

Вопрос: Хоть один клиент получил измеримый экономический эффект от внедрения?

Вопрос не на зарплату программиста. Нам то какая разница кто и какой эффект получает.
Раз бизнес готов выложить миллионы, значит это кому нибудь нужно, наше дело сделать.

Как и за что бизнес выкладывает миллионы - я знаю. Мне просто интересно стало для личной статистики. Если есть хоть один клиент, я поверю в технологию.

valchkou, сейчас рынок ИТ тупо перегрет. Историй с профитом практически нет. Как только гикнется долговой пузырь инвесторы пустят под нож все стартапы. Кабанчиков на всех лужайках будет как свиней нерезаных.

[valchkou]

Вопрос: Хоть один клиент получил измеримый экономический эффект от внедрения?

Вопрос не на зарплату программиста. Нам то какая разница кто и какой эффект получает.
Раз бизнес готов выложить миллионы, значит это кому нибудь нужно, наше дело сделать.

valchkou, сейчас рынок ИТ тупо перегрет. Историй с профитом практически нет. Как только гикнется долговой пузырь инвесторы пустят под нож все стартапы. Кабанчиков на всех лужайках будет как свиней нерезаных.

это совсем другой разговор, мы обсуждали устаревание определенной технологии,
а не глобальный трындец рынка и экономики вцелом.

2000-е на застал, но подобное я уже видел в 2008-9.
первым делом резали консалтеров и гастарбайтеров, затем средний менеджмент
и только потом, и то не всегда, дело доходило до таких как я сейчас.
Так что даже в случае глобального шухера, на рынке сша у таких как я имеется некий защитный буфер.

[Uzito]

Когда ресурсов мало, то сначала думают, а потом делают. А когда ресурсов попой не жуй, то проще сделать, а уж потом посмотреть пригодилось оно или нет.

Я для IoT желаю скорейшей смерти, чтобы оно и его изобретатели вертелись на вертелах в аду.

[nyekimov]

Валчкау когда ты уже меня к себе возьмёшь, хочу вертеться на вертелах )))

[tessob]

Нет никакого устаревания технологии. Самой технологии нет. Весь IoT, как я его вижу - куча движухи ради движухи.

Буфер - тушенка, золото и патроны?

[alex_127]

после того как к IoT подтянулись MSFT, IBM & AMZN делать на IoT infra деньги - очень рискованный бизнес. Хотя бы потому что всего денег - мало.

[valchkou]

Нет никакого устаревания технологии. Самой технологии нет. Весь IoT, как я его вижу - куча движухи ради движухи.

Буфер - тушенка, золото и патроны?

ага усы, лапы, хвост
мы не пишем абстракную платформу IoT для втюхивания кастомерам.
Мы делаем это для себя, как логическое развитие нашего бизнеса. www.shoppertrak.com
У нас своя ниша, мы анализируем поведение покупателей в ретел магазинах с помощью девайсов.
Раньше интернет был фиговый много где, приходилось самим ходить на девайсы и собирать данные когда те в онлайне.
В том числе изобретать свои протоколы и способы.
В наши дни все поменялось, девайсы сами могут пушать данные вполне надежно и своевременно.
Ну и конечно стандарт MQTT, который многие кто поддерживают, потому как помимо своих мы использем и сторонние девайсы.
всю инфраструктуру для обработки, анализа и отображения самих данных я к IoT не отношу.
резюмируя: для меня IoT это MQTT compatible device & MQTT topic.

[tessob]

Вы видите косяк? Я его вижу.

Чувак на фотке явно старше 17. Думаю, старше раза в 2.

Посмотрел описание на сайте. Это не полетит.

[Мальчик-Одуванчик]

По идее розничная продажа, особенно в моллах загибается рекордными темпами.
В ближайшем ко мне молле их дай бог только половина осталась - остальное кроме расплодившихся пережрачек занимают парикмахерские, массажные салоны, фитнес центр и игровой центр. Последний появился на месте закрывшегося магазина Sport Authority/
Думаю что после закрытия Мейси, молл тоже сдуется.

[alex_127]

Вы видите косяк? Я его вижу.
Чувак на фотке явно старше 17. Думаю, старше раза в 2.

Посмотрел описание на сайте. Это не полетит.

А написано 19-35 лет... Или вам они другую персонализированную картинку показали?

[Мальчик-Одуванчик]

Вы видите косяк? Я его вижу.
Чувак на фотке явно старше 17. Думаю, старше раза в 2.

Посмотрел описание на сайте. Это не полетит.

А написано 19-35 лет... Или вам они другую персонализированную картинку показали?

Мне вообще ничего не показало. Какая-то улица.
Потом ткнул Learn More - показала немолодого перца с физиономией полного прохиндея.

[Мальчик-Одуванчик]

Насчёт IoT, мы делаем деньги на VPP (Virtual Power Plant).

То-то и оно - виртуальная электростанция может только делать деньги, которые по своей сути уже стали виртуальными.
Еще один способ барыжничества.

[Мальчик-Одуванчик]

Насчёт IoT, мы делаем деньги на VPP (Virtual Power Plant).

То-то и оно - виртуальная электростанция может только делать деньги, которые по своей сути уже стали виртуальными.
Электричество она производить не в состоянии.

Она только называется виртуальной. На деле очень даже реальная солнечная панель + батарея, которая производит электричество.

А смысл в слове виртуальная? Есть же устойчивое понятие - солнечная электростанция.
Или это панели, разбросанные там-сям с общим центром управления?
Кстати забавно что впарить солнечные панели мне пытались не только местные проходимцы, но и сидящие в Австралии.

[valchkou]

Посмотрел описание на сайте. Это не полетит.

что именно не полетит?
если вы про сам бизнес то он уже давно взлетел и продолжает подниматься с каждым годом.

[tessob]

что именно не полетит?
если вы про сам бизнес то он уже давно взлетел и продолжает подниматься с каждым годом.

Угу, бизнес не полетит. Вы, по-сути, продаете косты. Иначе говоря, заключив с вами контракт, я как ритейлер принимаю на себя косты, но вы нигде не объясняете чем и как вы эти косты компенсируете. Имея опыт в ритейле я знаю наверняка, что вы мне не сможете дать никакой информации, которая способна повлиять на доходность бизнеса.

Автоматически считать трафик и физическую конверсию торговых точек научились еще лет 30 назад. Если вы обратите внимание на магнитные арки, которые визжат при попытке вынести товар с неразмагниченной меткой, то эти арки еще умеют считать количество вошедших и вышедших посетителей. Соответственно в любой момент времени я знаю сколько посетителей в магазине (с некоторой погрешностью). Конверсию посчитать тоже не проблема, т.к. всегда известно когда был распечатан чек. Мало того, я даже знаю как посчитать суммарный трафик покупателей по своим и конкурирующим брендам на заданной территории с помощью блокнотика и карандашика.

[valchkou]

Угу, бизнес не полетит. Вы, по-сути, продаете косты. Иначе говоря, заключив с вами контракт, я как ритейлер принимаю на себя косты, но вы нигде не объясняете чем и как вы эти косты компенсируете. Имея опыт в ритейле я знаю наверняка, что вы мне не сможете дать никакой информации, которая способна повлиять на доходность бизнеса.

Автоматически считать трафик и физическую конверсию торговых точек научились еще лет 30 назад. Если вы обратите внимание на магнитные арки, которые визжат при попытке вынести товар с неразмагниченной меткой, то эти арки еще умеют считать количество вошедших и вышедших посетителей. Соответственно в любой момент времени я знаю сколько посетителей в магазине (с некоторой погрешностью). Конверсию посчитать тоже не проблема, т.к. всегда известно когда был распечатан чек. Мало того, я даже знаю как посчитать суммарный трафик покупателей по своим и конкурирующим брендам на заданной территории с помощью блокнотика и карандашика.

Про бизнес,
не все такие умные как вы и не все хотят вбивать данные посчитанные карандашиком в общую систему.
Затем эту систему надо самим поддерживать, развивать. Т.е. как видим кост будет в любом случае. С нами он минимален.
вот пожалуста некоторые из наших клиентов: t-mobile, att, verizon, apple, adidas, walmart, metropcs, officedepot ...
многие из них имеют несколько тысяч точек по всему миру. Разные уровни достпуа к странам, регионам и гео зонам.
И много еще чего. Мы не стартап, не берем у инвесторов денег под авось что. Этот бизнес уже давно стал прибыльным.
Но как я уже сказал мне по барабану сам бизнес так как я им не владею и не совладею.
Мне платят, я делаю. Любой каприз за ваш счет.

[Мальчик-Одуванчик]

так кормовая база для этого бизнеса только сужается: ежегодно магазины лишь закрываются, вновь открывшихся - считанные единицы.
В этом году Волмарт производит массовое сокращение своих торговых точек...

[fruit6]

Трекинг конечно не решит структурной проблемы физических торговых точек. Магазины заплатят, посчитают ROI, будут пробовать новый способ борьбы за выживание.