Configurarea Kafka: 4 pași

2024 Autor: John Day | [email protected]. Modificat ultima dată: 2024-01-30 11:44

Introducere:

Apache Kafka este un sistem de mesagerie open-source scalabil și de mare viteză dezvoltat de Apache Software Foundation scris în Scala. Apache Kafka este special conceput pentru a permite unui singur cluster să servească drept coloană centrală de date pentru un mediu mare. Are un randament mult mai mare comparativ cu alte sisteme de brokeri de mesaje precum ActiveMQ și RabbitMQ. Este capabil să gestioneze în mod eficient volume mari de date în timp real. Puteți implementa Kafka pe un singur server Apache sau într-un mediu distribuit în cluster.

Caracteristici:

Caracteristicile generale ale Kafka sunt următoarele:

Mesaj persistent pe disc care oferă performanță constantă în timp.

Debit ridicat cu structuri de disc care acceptă sute de mii de mesaje pe secundă.

Sistemul distribuit se scalează cu ușurință fără timp de nefuncționare.

Sprijină multi-abonați și echilibrează automat consumatorii în timpul eșecului.

Acest tutorial arată cum să instalați și să configurați Apache Kafka pe un server Ubuntu 16.04.

Cerințe

Un server Ubuntu 16.04.

Cont de utilizator non-root cu privilegiu de super utilizator configurat pe serverul dvs.

Pasul 1: Introducere și instalarea Java

1) Să începem să ne asigurăm că serverul dvs. Ubuntu 16.04 este complet actualizat

Vă puteți actualiza serverul executând următoarele comenzi: -

sudo apt-get update -y

sudo apt-get upgrade -y

2) Instalarea Java

Verificați dacă aparatul dvs. are java care este deja instalat sau are o versiune implicită java prin următoarea comandă: -

java -versiune

Chiar dacă aveți java, dar o versiune mai mică, va trebui să o actualizați.

Puteți instala Java prin: -

sudo apt-get install default-jdk

SAU

Puteți instala Oracle JDK 8 utilizând depozitul PPA al echipei Webupd8.

Pentru a adăuga depozitul, rulați următoarea comandă: -

sudo add-apt-repository -y ppa: webupd8team / java

sudo apt-get install oracle-java8-installer -y

Pasul 2: Instalați Zookeeper

Ce este Zookeeper?

Zookeeper este un serviciu centralizat pentru menținerea informațiilor de configurare, denumirea, furnizarea de sincronizare distribuită și furnizarea de servicii de grup. Toate aceste tipuri de servicii sunt utilizate într-o formă sau alta de către aplicațiile distribuite. De fiecare dată când sunt implementate, există o mulțime de muncă pentru remedierea erorilor și a condițiilor de cursă care sunt inevitabile. Datorită dificultății de implementare a acestor tipuri de servicii, aplicațiile inițial le scuturează, ceea ce le face fragile în prezența schimbării și dificil de gestionat. Chiar și atunci când sunt realizate corect, diferite implementări ale acestor servicii duc la complexitatea managementului atunci când aplicațiile sunt implementate.

Înainte de a instala Apache Kafka, va trebui să aveți zookeeper disponibil și să ruleze. ZooKeeper este un serviciu open source pentru menținerea informațiilor de configurare, furnizarea de sincronizare distribuită, denumirea și furnizarea de servicii de grup.

1) În mod implicit, pachetul Zookeeper este disponibil în depozitul implicit Ubuntu

Puteți să-l instalați executând următoarea comandă: -

sudo apt-get install zookeeperd

Odată ce instalarea este terminată, aceasta va fi pornită automat ca un demon. În mod implicit, Zookeeper va rula pe portul 2181.

O puteți testa executând următoarea comandă:

netstat -ant | grep: 2181

Afișarea ar trebui să vă arate că portul 2181 este ascultat.

Pasul 3: Instalați și porniți Kafka Server

Acum că Java și ZooKeeper sunt instalate, este timpul să descărcați și să extrageți Kafka de pe site-ul web Apache.

1) Puteți utiliza curl sau wget pentru a descărca Kafka: (Kafka versiunea 0.10.1.1)

Rulați următoarea comandă pentru a descărca configurarea kafka: -

curl -O

SAU

wget

2) Creați un director pentru Kafka

Apoi, creați un director pentru instalarea Kafka:

sudo mkdir / opt / kafka

cd / opt / kafka

3) Dezarhivați folderul descărcat

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C / opt / kafka /

* Schimbați numele de utilizator în funcție de numele de utilizator

4) Porniți serverul kafka

Următorul pas este să porniți serverul Kafka, îl puteți porni rulând scriptul kafka-server-start.sh situat în directorul /opt/kafka/kafka_2.11-0.10.1.1/bin/ utilizând următoarea comandă: -

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Verificați dacă serverul Kafka funcționează bine

Acum aveți un server Kafka care rulează și ascultă pe portul 9092.

Acum, putem verifica porturile de ascultare:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Pasul 4: Testați-vă serverul Kafka

Acum, este timpul să verificați dacă serverul Kafka funcționează corect.

1) Creați un subiect nou

Pentru a testa Kafka, creați un exemplu de subiect cu numele „testare” în Apache Kafka folosind următoarea comandă:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost: 2181 --partitions 1 --replication-factor 1

2) Verificați dacă subiectul dvs. a fost creat cu succes

Acum, cereți-i lui Zookeeper să listeze subiectele disponibile pe Apache Kafka executând următoarea comandă:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Publicați un mesaj folosind subiectul pe care l-ați creat

ecou „salut lume” | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost: 9092 - testare tematică

4) Primiți mesajul pe tema creată

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 - testare tematică –de la început

5) Pentru a trimite un fișier folosind kafka peste un subiect

kafka-console-producer.sh --broker-list localhost: 9092 - testare tematică