Kafka stream processing

[Сабина]

Достаточно интересная штуковина если вникать. Особенно если по работе приходится.
На самом деле очень нетривиально придумать грамотный алгоритм для окна стрима данных, особенно когда UAT делают subject matter experts.
Неожиданно откопала весьма толковую статью по предмету от самого Джея Крепса и решила поделится тут лишний раз
https://www.confluent.io/blog/introduci ... de-simple/

[Мальчик-Одуванчик]

А где там про грамотные алгоритмы?

[Сабина]

А где там про грамотные алгоритмы?

Там скорее задача очерчена .
А конкретика это наверное KStreams Windowing (KTable)
https://softwaremill.com/windowing-in-b ... afka-akka/

или HasOffsetRanges

Сейчас пока насколько я вижу нет golden standard грамотно процессить данные из стрима. В реальной жизни редко кто по одному рекорду процессит, сразу же когда тот приходит в стрим. То есть чаще нужен таки какой то batching при получении. И вопрос как это все организовать пока кмк не решен

[Сабина]

Вот это ну просто очень правильно сказано в статье

https://softwaremill.com/windowing-in-b ... afka-akka/

Many companies discovered that they don’t really have "big data" (the exact meaning of which was never defined precisely); but they might have several data streams coming their way, just waiting to be leveraged. That’s why some people are now talking about fast data instead of the now old-school big data.

[Сабина]

Кстати в этом юлоге очень много cool staff про КафкуЮ стриминг и вообще
https://softwaremill.com/blog/

[Мальчик-Одуванчик]

Ну а роль Кафки во всем этом?
Из первой статьи мне показалось что это некий программируемый предварительный сортировщик потока данных.

[XpoH]

pro.kafka канал в телеграмме, ведет витя гамов из confluent, если есть вопросы то он на все ответит.

[Мальчик-Одуванчик]

pro.kafka канал в телеграмме, ведет витя гамов из confluent, если есть вопросы то он на все ответит.

Не хотелось бы заморачиваться открытием аккаунта в телеграме чисто из праздного интнреса.
Вдруг здесь кому-то не влом будет ответить на вопросы общего плана - что такое кафка и с чем его едят.
Еще интересно почему её так интересно назвали, ведь Франц Кафка ассоциируется прежде всего с отчаянием и безысходностью и безуспешных попытках это преодолеть.

[XpoH]

название, на сколько я помню, из-за плодовитости (намек на то что в нее пишут много) Франца, и увлечения им одного из авторов, работающего тогда в линкедине.

[XpoH]

Ну а роль Кафки во всем этом?
Из первой статьи мне показалось что это некий программируемый предварительный сортировщик потока данных.

ну типа того.
это этакий ПАБ/САБ который позволяет передавать огромные объемы данных в реальном времени.

[Мальчик-Одуванчик]

название, на сколько я помню, из-за плодовитости (намек на то что в нее пишут много) Франца, и увлечения им одного из авторов, работающего тогда в линкедине.

То есть продукт преподносится как приглашение с ним потрахаться в качестве лекарства от тоски и безысходности?

[XpoH]

название, на сколько я помню, из-за плодовитости (намек на то что в нее пишут много) Франца, и увлечения им одного из авторов, работающего тогда в линкедине.

То есть продукт преподносится как приглашение с ним потрахаться в качестве лекарства от тоски и безысходности?

а если зарегистрироваться в телеграмме (у приличного человека должен быть там аккаунт), то можно без регистрации и смс качнуть kafka definitive guide, и потрахаться вдоволь.

[Sergunka]

https://www.confluent.io/wp-content/upl ... mplete.pdf

[Сабина]

https://www.confluent.io/wp-content/upl ... mplete.pdf

Ну это то давно лежит в сети.

По теме .. Сегодня прослушивала очередной класс от Стефанчика и он там дает сравнительный анализ: Kafka streams vs Spark vs Flink vs Apache NiFi ...
Оказывается Kafka streams Единственный фреймворк где индивидуальный мессадж процесится по прибытию. У всех других - микробатчинг. И это все меняется as we speak. В общем молодцы Confluent взялись за свой продукт основательно.

[valchkou]

Оказывается Kafka streams Единственный фреймворк где индивидуальный мессадж процесится по прибытию. У всех других - микробатчинг. И это все меняется as we speak. В общем молодцы Confluent взялись за свой продукт основательно.

можно привести конкретный пример когда и где это все меняет

[Сабина]

Оказывается Kafka streams Единственный фреймворк где индивидуальный мессадж процесится по прибытию. У всех других - микробатчинг. И это все меняется as we speak. В общем молодцы Confluent взялись за свой продукт основательно.

можно привести конкретный пример когда и где это все меняет

Я бы не знала где именно смотреть , если бы не взяла эти классы. А он очень хорошо разложил что есть latest and greatest и я потом с его наводки стала следить за определенными вещами - KTables, про то как Avro schema поперла за последние год полгода. Мне трудно это в паре предложений описать, попробуйте ту статью что я приводила раньше, она только в моей Линкедин ленте собрала кучу лайков и 600+ просмотров.
https://medium.com/@stephane.maarek/how ... 1b48a6ad85