Установите Кафку в Linux

Kafka

В этой статье описывается установка Kafka в Linux.

1. Введение в Кафку

Kafka также является проектом с открытым исходным кодом и Apache Open Source Foundation и написана на Scala и Java. Kafka — это высокопроизводительная распределенная система обмена сообщениями типа «публикация-подписка».

Википедия описывает это так:

Kafka — это платформа обработки потоков с открытым исходным кодом, разработанная Apache Software Foundation и написанная на Scala и Java. Kafka — это высокопроизводительная распределенная система обмена сообщениями с публикацией и подпиской, которая может обрабатывать все потоковые данные о действиях на веб-сайтах потребительского масштаба. Такие действия (просмотр веб-страниц, поиск и другие действия пользователя) являются ключевым фактором многих социальных функций в современной сети. Эти данные обычно обрабатываются путем обработки журналов и объединения журналов из-за требований к пропускной способности. Это жизнеспособное решение для данных журналов и автономных систем анализа, таких как Hadoop, но с ограничениями обработки в реальном времени. Цель Kafka — унифицировать онлайн- и офлайн-обработку сообщений с помощью механизма параллельной загрузки Hadoop и предоставлять сообщения в реальном времени через кластеры.

Адрес официального сайта Kafka:kafka.apache.org/, если вам интересно, вы можете подробнее ознакомиться с документацией на официальном сайте.

2. Подготовка

2.1 Среда установки

Kafka, установленная в этой статье, — это версия 2.10, версия системы Linux — CentOS 7.2, Kafka использует Zookeeper, а каталог установки — /usr/local/software/.

2.2 Подготовка инструментов

1.Java

Для запуска Kafka требуется среда Java, поэтому среда Java должна быть установлена ​​в системе Linux.

2. Установите Кафку

Шаги условно делятся на следующие этапы:

2.1 Скачать Кафку

wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz

2.2 Распаковать Кафку

tar -zxvf kafka_2.10-0.10.2.1.tgz

2.3 Войдите в каталог файла конфигурации

cd /usr/local/software/kafka_2.10-0.10.2.1/config

2.4 Измените файл конфигурации server.properties и добавьте следующее:

broker.id=0
port=9092 #端口号
host.name=172.30.0.9 #服务器IP地址，修改为自己的服务器IP
log.dirs=/usr/local/logs/kafka #日志存放路径，上面创建的目录
zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

2.5 Написание сценариев запуска

vi kafkastart.sh

#启动zookeeper
/usr/local/software/kafka_2.10-0.10.2.1/bin/zookeeper-server-start.sh /usr/local/software/kafka_2.10-0.10.2.1/config/zookeeper.properties &
#等3秒后执行
sleep 3 
#启动kafka
/usr/local/software/kafka_2.10-0.10.2.1/bin/kafka-server-start.sh /usr/local/software/kafka_2.10-0.10.2.1/config/server.properties &

2.6 Написание сценария выключения

vi kafkastop.sh

#关闭zookeeper
/usr/local/software/kafka_2.10-0.10.2.1/bin/zookeeper-server-stop.sh /usr/local/software/kafka_2.10-0.10.2.1/config/zookeeper.properties &
#等3秒后执行
sleep 3 
#关闭kafka
/usr/local/software/kafka_2.10-0.10.2.1/bin/kafka-server-stop.sh /usr/local/software/kafka_2.10-0.10.2.1/config/server.properties &

2.7 Запустите скрипт, закройте скрипт, чтобы предоставить разрешения

chmod 777 kafkastart.sh

chmod 777 kafkastop.sh

3. Проблемы с установкой

В процессе установки Kafka особых проблем не возникло, и вход полностью пройден.

4. Установка визуальной страницы управления

Адрес официального сайта Кафки:GitHub.com/LinkedIn/card…, операция относительно проста, просто исполняемый файл jar (KafkaOffsetMonitor-assembly-0.2.1.jar).

4.1 Написание сценария запуска

java -Xms128M -Xmx128M -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=128m -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk localhost:2181 --port 8787 --refresh 10.seconds --retain 7.days 1>/usr/local/software/kafka-monitor/stdout.log 2>/usr/local/software/kafka-monitor/stderr.log &

5. Резюме

Все вышеперечисленные установки доступны после моего личного тестирования, и процесс установки относительно прост.

Категории