Инструменты Kafka не запускаются на Ubuntu 18.04

Я установил kafkatools с http://www.kafkatool.com/download.html в Ubuntu 18.04. Установка прошла нормально, но когда я на него нажимаю, ничего не происходит. Я устанавливал несколько раз на разных устройствах, но у меня действительно нет никакого представления о том, что происходит.

Сначала я установил openjdk-8-jdk, kafkatools, а затем установил zookeeper и kafka, и я удалил kafkatools и переустановил его, но проблема сохраняется.

Kafka — это распределенная потоковая платформа. Она полезна для создания конвейеров потоковых данных в реальном времени для передачи данных между системами или приложениями. Еще одной полезной функцией являются приложения потоковой передачи в реальном времени, которые могут преобразовывать потоки данных или реагировать на поток данных. Этот ответ поможет вам установить Apache Kafka на Ubuntu 16.04 и позже.

1. Установите Java

Apache Kafka требует Java для работы. У вас должна быть установлена Java на вашей системе. Выполните следующую команду, чтобы установить стандартный OpenJDK на свою систему из официальных репозиториев Ubuntu. Вы также можете установить конкретную версию отсюда.

sudo apt update
sudo apt install openjdk-8-jdk

2. Скачайте Apache Kafka

Скачайте двоичные файлы Apache Kafka с его официального сайта загрузки. Вы также можете выбрать любое ближайшее зеркало загрузки.

wget http://www-us.apache.org/dist/kafka/2.4.0/kafka_2.13-2.4.0.tgz

Затем распакуйте архивный файл.

tar xzf kafka_2.13-2.4.0.tgz
mv kafka_2.13-2.4.0 /usr/local/kafka

В качестве альтернативы, скачайте двоичный файл отсюда:
https://kafka.apache.org/downloads

Примечание: установка из snap не сработала на Ubuntu 22.04

3. Настройте файлы единиц systemd для Kafka

Далее создайте файлы единиц systemd для службы Zookeeper и Kafka. Это поможет управлять службами Kafka для их запуска/остановки с помощью команды systemctl.

Сначала создайте файл единицы systemd для Zookeeper с помощью следующей команды:

vim /etc/systemd/system/zookeeper.service

Добавьте следующий контент:

[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target
[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target

Сохраните файл и закройте его.

Затем создайте файл единицы systemd для Kafka с помощью следующей команды:

sudo nano /etc/systemd/system/kafka.service

Добавьте следующий контент. Убедитесь, что вы установили правильный путь JAVA_HOME в зависимости от установленной у вас Java.

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service
[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh
[Install]
WantedBy=multi-user.target

Сохраните файл и закройте его.

Перезагрузите демон systemd, чтобы применить новые изменения.

systemctl daemon-reload

4. Запустите сервер Kafka

Kafka требует ZooKeeper, поэтому сначала запустите сервер ZooKeeper на вашей системе. Вы можете использовать скрипт, доступный с Kafka, чтобы запустить однокнодовый экземпляр ZooKeeper.

sudo systemctl start zookeeper

Теперь запустите сервер Kafka и посмотрите статус выполнения:

sudo systemctl start kafka
sudo systemctl status kafka

Все готово. Установка Kafka успешно завершена. Следующая часть этого ответа поможет вам работать с сервером Kafka.

5. Создайте тему в Kafka

Kafka предоставляет несколько предустановленных оболочек для работы с ним. Сначала создайте тему с именем “testTopic” с одной партицией и одним репликантом:

cd /usr/local/kafka
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic
Создана тема testTopic.

Фактор репликации описывает, сколько копий данных будет создано. Поскольку мы работаем с одним экземпляром, оставьте это значение равным 1.

Установите опции партиций в соответствии с количеством брокеров, между которыми вы хотите разделить ваши данные. Поскольку мы работаем с одним брокером, оставьте это значение равным 1.

Вы можете создать несколько тем, запустив ту же команду, что и выше. После этого вы можете увидеть созданные темы в Kafka, запустив следующую команду:

bin/kafka-topics.sh --list --zookeeper localhost:2181
testTopic
TecAdminTutorial1
TecAdminTutorial2

В качестве альтернативы, вместо ручного создания тем вы можете также настроить ваши брокеры на автоматическое создание тем, когда будет опубликована несуществующая тема.

6. Отправка сообщений в Kafka

«Продюсер» — это процесс, ответственный за добавление данных в наш Kafka. Kafka поставляется с клиентом командной строки, который принимает ввод из файла или из стандартного ввода и отправляет его как сообщения в кластер Kafka. По умолчанию Kafka отправляет каждую строку как отдельное сообщение.

Давайте запустим продюсер и затем введем несколько сообщений в консоль, чтобы отправить их на сервер.

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic

> Добро пожаловать в kafka
> Это моя первая тема

Вы можете выйти из этой команды или оставить этот терминал открытым для дальнейшего тестирования. Теперь откройте новый терминал для процесса потребителя Kafka на следующем шаге.

7. Использование потребителя Kafka

Kafka также имеет потребителя командной строки для чтения данных из кластера Kafka и отображения сообщений на стандартный вывод.

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic --from-beginning
Добро пожаловать в kafka
Это моя первая тема

Теперь, если у вас все еще работает продюсер Kafka (Шаг 6) в другом терминале, просто введите любой текст в терминале продюсера. Он немедленно будет виден в терминале потребителя. Смотрите ниже скриншот работы продюсера и потребителя Kafka:

_{Источник: Как установить Apache Kafka на Ubuntu 18.04 и 16.04}