Всем угодить: когда каждому хочется иметь своё число консьюмеров для топика Kafka | Павел Агалецкий

AvitoTech
AvitoTech

Павел Агалецкий, ведущий инженер команды PaaS, расскажет про создание консьюмеров для топика Kafka, опираясь на кейс Авито. Павел покажет возможные варианты выбора оптимального числа партиций, а ещё поделится решением, которое придумали внутри Авито, и расскажет про результаты его внедрения. 00:00 | Вступление 01:07 | Кейс Авито 02:52 | Ключевое в Kafka 05:32 | В чём проблема? 08:48 | Итого 09:06 | Варианты решения «в лоб» 12:29 | «Хитрые» варианты 19:42 | Решили создать собственное решение 21:00 | Общая идея 21:40 | Чуть больше деталей 23:44 | Деплой сервиса 26:01 | Итог 26:47 | Вопросы AvitoTech — это команда инженеров Авито. Подпишитесь на наш канал, соцсети и блоги, чтобы узнавать больше о технологиях Авито ?? Ютуб: https://www.youtube.com/@AvitoTech ВК: https://vk.com/avitotech Телеграм: https://t.me/+wU3vnNnqr7JlZDIy Хабр: https://habr.com/ru/company/avito Медиум (eng): https://medium.com/avitotech Гитхаб: https://github.com/avito-tech Сайт: https://avito.tech


Keywords (if available)
Comments

Users Comments

Related Videos

Related videos

Thumbnail

Ситауция сложная: продакту не нравится тимлид | Галина Ширанкова и Алексей Некифоров

Галя Ширанкова, продуктовый юнит-лид, и Лёша Никифоров, TUL, расскажут, как построить доверительные партнёрские отношения между тимлидом ...

By AvitoTech

Duration: 32:09

Thumbnail

Основы Kafka для тестировщиков. Apache Kafka for QA

В своем новом видео я расскажу вам о брокере Kafka и как его использовать в роли тестировщика. Если вы только начинаете знакомство с Kafka или ...

By Бриллиантовая уборка

Duration: 8:20

Thumbnail

Межсервисная шина данных на Apache Kafka | Павел Агалецкий | DevOps Meetup 2022| СберМаркет Tech

Павел Агалецкий, ведущий инженер в Авито, расскажет, как в Авито построили надежную во всех смыслах шину данных для обмена событиями меж...

By Чистый дом - счастливая жизнь

Duration: 32:14

Thumbnail

Разворачиваем Kafka из 3 нод на своём ПК

Отрывок из вебинара «Поднимаем Кафку, не опуская рук. Отказоустойчивый кластер на вашем ПК». Ещё в полной версии: - Рассказываем про яз...

By Слёрм

Duration: 17:18

Thumbnail

Пишем продьюсер и консьюмер на Alpakka // Демо-занятие курса «Apache Kafka»

Бесплатный практический урок по работе с Apache Kafka «Пишем продьюсер и консьюмер на Alpakka» от Валентина Шилина – старшего программиста и ана...

By Градация литературных мифов

Duration: 64:09

Thumbnail

kafka7

By Java Guru: станьте настоящим мастером

Duration: 61:21

Thumbnail

Поднимаем Кафку, не опуская рук. Отказоустойчивый кластер на вашем ПК

Полностью обновленный курс от Слёрма — Apache Kafka для разработчиков https://to.slurm.io/hP-VLg На вебинаре: - Расскажем про язык Кафки: топики, партици...

By Слёрм

Duration: 81:41

Thumbnail

Apache Kafka для начинающих | Как работать с Топиками

На этом видео я продемонстрирую работу с Топиками Kafka: мы создадим топик с тремя разделами и посмотрим его структуру в файловой системе

By Мастерство и Стремление

Duration: 6:16

Thumbnail

Building a YouTube Comment Sentiment Analysis Pipeline with Apache Kafka and Python

Hey everyone! In this video, we will build a complete pipeline to perform sentiment analysis on YouTube comments using Apache Kafka, Python, and various libraries. We'll cover everything from connecting to Kafka, enabling the YouTube API, to per...

By Молодежный Python-путеводитель

Duration: 6:08

Thumbnail
Thumbnail

Полный Абзац 18.09.24 + «Так сказать» с Павлом Устиновым

ТАК СКАЗАТЬ: Поплавская – о культурной революции, смертной казни, аресте Кибовского и мигрантах: https://rutube.ru/video/964143c2103a9a3e892d54c08dd46870/ Дзен: htt...

By Шах и Мат - Михаил Шахназаров

Duration: 162:04

Thumbnail

Введение в Apache Kafka. Открытый базовый курс. Первая тема.

Введение в Apache Kafka. Вводная лекция курса Слёрма «Apache Kafka База» На курсе рассказываем, как настраивать распределенный отказоустойчивый к...

By Слёрм

Duration: 23:01

Thumbnail

Свои чужие дети. Мужское / Женское. Выпуск от 29.09.2014

Инесса и Виталий Воловик из Новокузнецка были уверены, что их союз благословили на небесах. Молодожены мечтали о детях и даже хотели ...

By Первый канал

Duration: 52:06

Thumbnail

Европейские идиоты — Самые шокирующие гипотезы (18.09.2024)

ПОДПИСЫВАЙТЕСЬ: ▶️RUTUBE - https://rutube.ru/feeds/rentv/ ▶️ВКОНТАКТЕ - https://vk.com/rentv_channel ▶️ОК - https://ok.ru/rentvchannel ▶️ДЗЕН - https://dzen.ru/rentvchannel ▶️TELEGRAM - https://t.me/re...

By РЕН ТВ

Duration: 45:49

Thumbnail

ВАДИМ САМОЙЛОВ о судьбе «Агаты Кристи», культуре протеста, патриотизме и поиске истины

«Мой протест заключался в том, почему все решили, что рокер обязательно должен быть против власти». Наконец-то я узнала, почему культова...

By Татарка FM

Duration: 91:40

Thumbnail

07 Kafka Twitter Producer and Advanced Configurationst 014 Refactoring the project

By Программирование в Деталях

Duration: 0:05

Thumbnail

Что такое Apache Kafka за 5 минут

Listen IT на Я.Дзене - https://zen.yandex.ru/listenit В этой статье мы узнаем: - Что такое Apache Kafka - Зачем нужна Kafka - Что такое брокер сообщений - Как использов...

By Уборка - наша страсть

Duration: 5:14

Thumbnail

Future of Data Meetup: Hello, Kafka! (An Introduction to Apache Kafka)

Our “Hello, “ series of introductory “Big Data” topic-focused meetups returns to Boston in July as we deliver our fifth event. This meetup will introduce you to Apache Kafka without assuming you’ve heard anything about the Apache developme...

By JS С Нуля до Программиста

Duration: 89:01

Thumbnail

Kafka Meetup London - April 2023 - Financial State Management in Kafka Streams

Kafka Meetup London is powered by OSO, to find out more visit: https://oso.sh/ This talk was from the Kafka Meetup London on the 26th of April 2023. Financial State Management in Kafka Streams talk gives an insight into the challenges faced & l...

By Программный Взлет

Duration: 35:28

Thumbnail