Как да инсталирате Kafka?

Kafka е разпределена поточна платформа. Той помага при публикуването и абонирането на потоци от записи. Kafka обикновено се използва за изграждане на поточни линии за поточно предаване в реално време, които надеждно получават данни между различни системи и приложения. Също така може да помогне в изграждането на поточни приложения в реално време, които помагат при преобразуването или извършването на промени с потоците от данни. Kafka дава възможност да съхранява потоци от записи в различни категории, наречени теми. Всеки запис се състои от ключ, стойност и времева марка. Той има четири основни компонента като Producer API, Consumer API, Streams API и Connector API. Той използва протокола TCP, което е добра комуникация между клиенти и сървъри с висока производителност. За да инсталирате Kafka, могат да се следват следните стъпки.

Инсталирайте Kafka в Windows OS

За да инсталирате Kafka в Windows, следвайте стъпките по-долу:

Стъпка 1. Изтеглете Zookeeper от следната връзка: HTTP: //zookeeper.apache.org/releases.html

След като направите това, изтеглете Kafka от следващата връзка: http://kafka.apache.org/downloads.html

Изтеглете и JRE според вашата операционна система и архитектурата на процесора от по-долу линк: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

Стъпка 2. Настройка на JDK-

Стартирайте JRE Инсталация и след това щракнете върху квадратчето „Промяна на папката за местоназначение“. Сега кликнете върху Инсталиране.

След като направите това, променете директорията на всеки път без интервали в името на папката.

Стъпка 3. След като направите това, отворете променливите на средата от Контролен панел -> Система -> Разширени системни настройки -> Променливи на околната среда.

Стъпка 4. Щракнете върху Нова потребителска променлива в раздела Потребителска променлива и след това въведете JAVA_HOME в името на променливата. Въведете своя път JRE в секцията Променлива стойност. Тя трябва да бъде както следва:

Стъпка 5. Сега кликнете върху OK.

Стъпка 6. Търсете променлива на пътя в секцията „Променлива на системата“ в диалоговия прозорец „Променлива на околната среда“, който се отваря.

Стъпка 7. Редактирайте пътя и напишете „; JAVA_HOME% \ bin“ в края на текста, който вече е написан там, точно както изображението по-долу:

Стъпка 8. За да проверите дали Java е инсталирана правилно, отидете на командния ред и въведете „java - версия“. Версията на Java, която е инсталирана, ще се покаже на екрана.

Ако видите горните подробности в командния ред, тогава сте добри от Java страна.

След като Java е инсталирана, вече можете да се движите, за да направите настройката на Zookeeper.

Следвайте стъпките по-долу, за да инсталирате Zookeeper във вашата система:

Отворете директорията, в която има директория за конфигуриране на Zookeeper. Тя може да бъде C: \ zookeeper-3.4.7 \ conf.
Сега преименувайте файла „zoo_sample.cfg“ в „cfg“
Отворете този преименуван файл в Notepad.
Намерете и редактирайте следното: dataDir = / tmp / zookeeper до \ zookeeper-3.4.7 \ data
Точно както добавихме променлива среда за Java, добавете променлива среда за Zookeeper.
Задайте пътя на системната променлива като: dataDir = / tmp / zookeeper на: \ zookeeper-3.4.7 \ data
Редактирайте системната променлива, наречена 'Path' и добавете; % ZOOKEEPER_HOME% \ бин;
Портът по подразбиране за Zookeeper е 2181, който може да бъде променен на всеки друг порт, като отидете във файла zoo.cfg.
Стартирайте Zookeeper, като отворите нов cmd и напишете „zkserver“. Ще видите по-долу подробностите.

След като видите този екран, трябва да сте сигурни, че Zookeeper е инсталиран успешно.

Създаване на Kafka

След като Java и Zookeeper стартират и работят на вашата система, можете да продължите да настройвате Kafka.

Отидете в конфигурационната директория на Kafka.
Редактирайте файла „server.properties“.
След като направите това, можете да намерите и редактирате реда, където виждате: dirs = / tmp / kafka-logs до „log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
Ако вашият Zookeeper работи на друга машина, можете да промените този път на „zookeeper.connect: 2181“ на персонализиран IP и идентификационен номер на порт.
Пристанището по подразбиране за Kafka е порт 9092, а за да се свържете със Zookeeper е 2181.

Стартиране на сървър на Kafka

След като първоначалната настройка приключи, можете лесно да стартирате Kafka сървър

Преди да стартирате сървъра Kafka, трябва да се уверите, че екземплярът Zookeeper е готов и работи.

1. Отидете в инсталационната директория на Kafka: C: /kafka_2.11-0.9.0.0

2. Отворете командния ред и натиснете Shift + десен бутон и изберете опцията „Отваряне на команден прозорец тук“.

3. Сега напишете. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties и натиснете Enter.

След като стартирате това и всичко е наред, екранът ви трябва да изглежда по-долу:

4. Сега вашият сървър Kafka работи и работи. Можете да създадете свои собствени теми, за да съхранявате различни съобщения. След като направите това, можете да произвеждате и консумирате данни от Java или Scala код или директно да стартирате от командния ред.

Инсталирайте Kafka на Linux

Следвайте стъпките по-долу, за да инсталирате Kafka в Linux:

Стъпка 1. Изтеглете и извлечете двоични файлове на Kafka и ги съхранявайте в директории.

Стъпка 2. Извадете архива, който изтеглите, като използвате команда tar.

Стъпка 3. За конфигуриране на Kafka отидете на server.properties. Отворете този файл с помощта на nano команда и добавете следното в долната част на файла.

nano ~/Kafka/config/server.properties

delete.topic.enable = true

Стъпка 4. След като това е направено, потребителят ще трябва да създаде файлове на системни единици за услугите на Kafka. Това помага при извършване на общи сервизни действия като стартиране, спиране и рестартиране на Kafka последователно с други Linux услуги. Zookeeper е услуга, която се използва от Kafka, за да управлява своите клъстери и конфигурации.

Стъпка 5. За да създадете единичен файл за Zookeeper следва по-долу:

sudo nano /etc/systemd/system/zookeeper.service

Стъпка 6. След като се създаде този файл на зоопарк, поставете по-долу в него:

(Unit) Requires=network.target remote-fs.target After=network.target remotefs.target (Service) Type=simple User=kafka ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal (Install) WantedBy=multi-user.target

Този раздел (Единица) тук уточнява, че Zookeeper изисква работа в мрежа и файлова система, преди да може да стартира.

Разделът (услуга) позволява на системата да знае, че файловете zookeeper-server-start.sh и zookeeper-server-stop.sh са налични за стартиране и спиране на услугите.

Стъпка 7. Сега потребителят трябва да създаде системен файл за Kafka, както е посочено по-долу:
sudo nano /etc/system/system/Kafka.service

Стъпка 8. В този файл поставете по-долу:

(Unit) Requires=zookeeper.service After=zookeeper.service (Service) Type=simple User=kafka ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1' ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal (Install) WantedBy=multi-user.target

Тук (Unit) указва, че файлът на единицата зависи от zookeeper.service. Това гарантира, че зоопаркът е стартиран преди старта на Kafka.

Стъпка 9. Сега трябва да активирате Kafka и да рестартирате сървъра. Изпълнете: sudo systemctl активирайте Kafka

Стъпка 10. Тестване на инсталацията:

Можете да тествате инсталацията си на Kafka, като създадете тема и след това я публикувате на потребителите.

Създайте тема от : ~ / Kafka / bin / Kafka-topics.sh –create –zookeeper localhost: 2181 –фактор на репликация 1 - дялове 1 –topic TutorialTopic

Публикувай този потребител може да създаде производители и потребители и след това да публикува всякакви данни към конкретните теми.

Препоръчителни статии

Това е ръководство за инсталиране на Kafka. Тук сме обсъдили различни стъпки за инсталиране на Kafka на Windows и Linux. Можете също да разгледате следните статии, за да научите повече -

Стъпка за инсталиране на Java 8
Как да инсталирате C
Ръководство за инсталиране на Ruby
Кафка приложения
JRE срещу JVM | Топ 8 разлики с (Инфографика)

Как да инсталирате Kafka? - Ръководство за инсталиране на Kafka на Windows и Linux

Съдържание: