В этой статье для создания системы мониторинга Kafka используются Burrow и Telegraf. Затем кратко расскажите о других, таких как Kafka Manager, Kafka Eagle, Confluent Control Center и т. д.

Если вы относительно новичок в kafka, обратитесь к:Индекс основ Кафки

Burrow

путь зависимости

Используйте Burrow для извлечения информации о мониторинге kafka, затем собирайте ее через телеграф и, наконец, записывайте в influxdb. Используйте Grafana для презентации.

Установить

Загрузите бинарный файл с github и разархивируйте его.

Burrow написан коммиттером сообщества Kafka и может отслеживать ситуацию на стороне потребителя. Однако UI-интерфейса нет, а языком разработки является Go. Активность этого проекта не очень высока, но ее достаточно.

основной файл конфигурации

Burrow может поддерживать получение информации о нескольких кластерах одновременно, например, если у меня два кластера dm и databus, то мой конфигурационный файл может быть следующим.

[general]
pidfile="burrow.pid"
stdout-logfile="burrow.out"
access-control-allow-origin="mysite.example.com"

[logging]
filename="logs/burrow.log"
level="info"
maxsize=100
maxbackups=30
maxage=10
use-localtime=false
use-compression=true

[zookeeper]
servers=[ "192.168.54.159:2181"]
timeout=6
root-path="/burrow"

[client-profile.databus]
client-id="burrow-databus"
kafka-version="0.10.0"

[cluster.databus]
class-name="kafka"
servers=[ "192.168.86.57:9092","192.168.128.158:9092" ]
client-profile="databus"
topic-refresh=120
offset-refresh=30

[consumer.databus]
class-name="kafka"
cluster="databus"
servers=[ "192.168.86.57:9092","192.168.128.158:9092" ]
client-profile="databus"
group-blacklist="^(console-consumer-|python-kafka-consumer-|quick-).*$"
group-whitelist=""

[client-profile.dm]
client-id="burrow-dm"
kafka-version="0.10.0"

[cluster.dm]
class-name="kafka"
servers=[ "192.168.204.156:9092","192.168.87.50:9092" ]
client-profile="dm"
topic-refresh=120
offset-refresh=30

[consumer.dm]
class-name="kafka"
cluster="dm"
servers=[ "192.168.204.156:9092","192.168.87.50:9092" ]
client-profile="databus"
group-blacklist="^(console-consumer-|python-kafka-consumer-|quick-).*$"
group-whitelist=""


[httpserver.default]
address=":8000"

[storage.default]
class-name="inmemory"
workers=20
intervals=15
expire-group=604800
min-distance=1

Затем используйте команду nohup, чтобы запустить его.

nohup ./burrow -config-dir=./config &

проверять

Получите настроенный кластер kafka.http://localhost:8000/v3/kafkaПолучите информацию о потребителе для кластера.http://localhost:8000/v3/kafka/databus/consumer

Конфигурация Графана

1. Создайте переменные

Отфильтровывает все кластеры, чтобы поле выбора можно было использовать для выбора кластера.

2. Создайте диаграмму

Отфильтруйте кластеры по кластерам, а затем выберите элементы мониторинга. Группировать можно по группам.

Элемент мониторинга

burrow_group отслеживает информацию о потребителях. включать

lag offset status total_lag patition_count

burrow_patition отслеживает более подробную информацию о разделе, включая

lag offset status

burrow_topic Мониторинг информации, связанной с темой, включая

offset

1. Кафка менеджер

Самый популярный, Scala написан, и только загрузка исходного кода требует самостоятельной компиляции. [Экстремальный О (≧ 口 ≦) о]

Поддерживает такие функции, как управление несколькими кластерами, выбор реплик, перераспределение реплик, создание тем и просмотр информации о потребителях.

Помимо сложности компиляции, при вытягивании информации из большого кафка-кластера потребуется много ресурсов.

2. Кафка Орел

Он разработан китайцами и высоко оценен многими людьми в группе Kafka QQ, потому что интерфейс очень чистый и красивый, и на нем есть хорошее отображение данных. Тревога разрешения относительно завершена и поддерживает DingTalk, WeChat, электронную почту и другие методы сигнализации. Поддерживает запрос данных с помощью ksql.

3. Центр управления слиянием

Control Center — это наиболее полный фреймворк для мониторинга Kafka, который можно собрать на данный момент, но он доступен только после покупки платной версии Confluent Enterprise Edition.

Официальная документация:docs.confluent.IO/current/qui…

Примечание. Установка чрезвычайно громоздка (docs.confluent.IO/current/INS…

Вам нужно использовать кафку, предоставленную корпоративной версией, иначе вам нужно ввести кафку в четыре банки и изменить файл конфигурации.

Кроме того, эта служба должна полагаться на такие службы, как реестр схемы, подключение-распределение и kafka-rest, и должна открыть 5 портов.