Spark Structured Streaming

User avatar
Сабина
Уже с Приветом
Posts: 19045
Joined: 11 Jan 2012 09:25
Location: CA

Spark Structured Streaming

Post by Сабина »

Есть тут кто из пользователей библиотеки ? Конкретно интеграция с Кафкой интересна - file sinks etc. Конкретных технических вопросов нет, чисто поболтать :). Интересную штуку на работе имплементировала, а обсудить не с кем. Кроме коллег, но там уже все что можно обсудили и угол немного другой

Что конкретно интересно ?

-Какой режим используете batch or stream?
-Куда это все деплоиться ? Если в облако то в какое?
-Какие размеры данных и какой кластер под это пользуете ? Есть ли autoscaling?
-Если работаете со streaming, какое processing time window, как подбирали.
- смотрели ли вы на другие techstacks для решения той же самой задачи

Могу рассказать все симметрично про то как у нас
https://www.youtube.com/watch?v=wOwblaKmyVw
iDesperado
Уже с Приветом
Posts: 1422
Joined: 28 Nov 2008 17:50

Re: Spark Structured Streaming

Post by iDesperado »

сюда всего 5 человек заходят, причем выглядит что самому младшему далеко за 50. мне интересно кого из них вы заподозрили в связях со стримингом :-D

зы. у нас на хадупе spark только батчи жует. строит data lake, прогоняет скоринги. jpmml либу в связке со spark, через mapPartitions() дергаем.
зыы. вспомнил, есть у нас джобы которые пишут спарком в кафку avro меседжи. причем пишут с участием confluent либы, котораяуказывает схему где-то в их Confluent Schema Registry
User avatar
Сабина
Уже с Приветом
Posts: 19045
Joined: 11 Jan 2012 09:25
Location: CA

Re: Spark Structured Streaming

Post by Сабина »

iDesperado wrote: 07 Mar 2021 09:14 сюда всего 5 человек заходят, причем выглядит что самому младшему далеко за 50. мне интересно кого из них вы заподозрили в связях со стримингом :-D

зы. у нас на хадупе spark только батчи жует. строит data lake, прогоняет скоринги. jpmml либу в связке со spark, через mapPartitions() дергаем.
зыы. вспомнил, есть у нас джобы которые пишут спарком в кафку avro меседжи. причем пишут с участием confluent либы, котораяуказывает схему где-то в их Confluent Schema Registry
А что те кто за 50 не уважают стриминг :)?
Ну спасибо что предупредили, тогда пусть тема повисит в надежде что кто то из любителей стриминга тоже забредёт
https://www.youtube.com/watch?v=wOwblaKmyVw

Return to “Вопросы и новости IT”