❝Очередь сообщений также называется MQ (очередь сообщений). Многие компании используют Kafka в качестве отличной платформы для очередей сообщений.Это высокопроизводительная распределенная система обмена сообщениями с публикацией и подпиской.В этой статье обобщены 27 точек знаний Kafka или вопросы для интервью, которые постоянно обновляются. . .
❞
1. Что такое Кафка?
Apache Kafka — это система обмена сообщениями с публикацией и подпиской, разработанная Apache.
2. 3 ключевые функции кафки?
- Публикуйте потоки записей и подписывайтесь на них, подобно очередям сообщений или корпоративным системам обмена сообщениями.
- Сохраняйте потоки записей отказоустойчивым и устойчивым образом.
- Обработать поток записей.
3. кафка обычно используется для двух типов приложений?
- Создавайте конвейеры потоковой передачи данных в реальном времени для надежной передачи данных между системами или приложениями.
- Создавайте приложения для потоковой передачи в реальном времени, чтобы преобразовывать потоки данных или реагировать на них
4. Особенности Кафки?
- сохранение сообщения
- высокая пропускная способность
- Расширяемость
- Мультиклиентская поддержка
- Kafka Streams
- Механизм безопасности
- резервное копирование данных
- легкий
- сжатие сообщений
5. 5 основных API кафки?
-
Producer API
-
Consumer API
-
Streams API
-
Connector API
-
Admin API
6. Что такое брокер?
В кластере Kafka экземпляр Kafka называется узлом Broker.
7. Что такое продюсер?
Производитель сообщения называется производителем.
Производитель отправляет сообщения в тему, указанную кластером для хранения, а также настраивает алгоритм, чтобы решить, в какой раздел отправлять записи сообщений?
8. Что такое потребитель?
Потребитель сообщений, который читает сообщения из указанной темы в кластере kafka.
9. Что такое тема?
Тема, Kafka записывает сообщения разных типов бизнеса по разным темам.
10. Что такое раздел?
Каждая тема может иметь один или несколько разделов (Partition).
11. Какая связь между разделами и прокси-узлами?
Один раздел соответствует только одному посреднику, и один посредник может управлять несколькими разделами.
12. Что такое копия (Репликация)?
Для каждой темы потребуется указать количество реплик при ее создании (по умолчанию 1).
13. Что такое запись?
Данные, которые фактически записываются в кластер kafka и могут быть прочитаны потребителями.
Каждая запись содержит ключ, значение и отметку времени.
14. Для каких сценариев подходит kafka?
Сбор журналов, системы обмена сообщениями, отслеживание активности, операционные показатели, потоковая передача, источники времени и многое другое.
15. Выбран ли кафка-диск?
Производительность SSD лучше, чем у обычных дисков.Все это знают.На практике мы можем использовать обычные диски. Он использует в основном последовательные операции чтения и записи, что в определенной степени позволяет избежать самого большого недостатка механических дисков, то есть операции произвольного чтения и записи медленны, поэтому SSD не имеет большого преимущества.
16. Каковы преимущества использования RAID?
- Обеспечивает избыточное дисковое пространство для хранения
- Обеспечить балансировку нагрузки
17. Сколько факторов необходимо учитывать при планировании дисковой емкости?
- Количество новых сообщений
- время хранения сообщений
- средний размер сообщения
- Количество резервных копий
- Включить ли сжатие
18.Брокер использует единый? Несколько параметров пути к каталогу файлов?
log.dirs несколько
лог.дир единственный
19. Какой путь настройки параметров обычно выбирается? выгода?
log.dirs
выгода:
Повышение производительности чтения и записи, одновременное чтение и запись нескольких физических дисков с высокой пропускной способностью.
Отказоустойчивость. Один диск завис и перешел на другой.
20. Какие нужны параметры для автоматического создания темы?
auto.create.topics.enable
21. Решить проблему потери сообщений кафки?
- Вместо использования производителя.send(msg) используйте производителя.send(msg, обратный вызов).
- Установить acks=все.
- Установите большее значение для повторных попыток.
- Установите unclean.leader.election.enable = false.
- Установите replication.factor >= 3.
- Установите min.insync.replicas > 1.
- Убедитесь, что replication.factor > min.insync.replicas.
- Убедитесь, что потребление сообщения завершено, а затем отправлено.
22. Как настроить стратегию разделов?
Явно настройте параметр partioner.class на стороне производителя.
Параметр представляет собой полное имя класса вашего класса реализации.Вообще говоря, вы можете реализовать метод разделения.
23. Где кафка может сжимать сообщения?
Продюсер, Брокер.
24. Проблема с дублированием сообщений kafka?
Быть идемпотентом.
Сторона базы данных может избежать дублирования (уникальные и первичные ключи).
Возьмите бизнес под контроль.
25. Знаете ли вы инструмент мониторинга kafka?
- Инструмент JMXTool
- Kafka Manager
- Burrow
- JMXTrans + InfluxDB + Grafana
- Confluent Control Center
26. Поддерживает ли система kafka два разных метода отправки?
Асинхронный режим
Режим синхронизации
27. В чем разница между потребителем и группой потребителей?
Группа потребителей может иметь одну или несколько потребительских программ.
Имя группы потребителей (GroupID) обычно представлено уникальной строкой символов.
Если группа потребителей подписывается на тему, каждый раздел темы может быть назначен только потребительской программе в потребительской группе.
Ссылаться на:
- «Кафку нетрудно выучить»
- «Введение и практика Кафки»
- Компьютерное время: основная технология Kafka и реальный бой
- http://kafka.apache.org/
В этой статье используетсяmdniceнабор текста