跳转至

install

​

地址

http://kafka.apache.org/downloads.html

mac

地址

https://kafka.apache.org/downloads.html

0.11.0.0

安装

解压缩

tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module

修改文件名称

mv kafka_2.11-0.11.0.0 kafka

配置

创建日志目录

cd kafka


mkdir logs

修改配置文件

cd config

vim server.properties

#broker 的全局唯一编号，不能重复
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true


#kafka 运行日志存放的路径
log.dirs=/opt/module/kafka/logs

#配置连接 Zookeeper 集群地址
zookeeper.connect=matt05:2181,matt06:2181

配置环境变量

vim .zshrc.pre-oh-my-zsh

vim .zshrc.pre-oh-my-zsh

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

zk 安装

地址

https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/

解压缩 + 修改文件名

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module

mv apache-zookeeper-3.5.7-bin/ zookeeper-3.5.7

创建日志目录

mkdir zkData

配置文件修改

cp zoo_sample.cfg zoo.cfg

dataDir=/opt/module/zookeeper-3.5.7/zkData

启动

zkServer.sh start

zkServer.sh stop

zkServer.sh status

启动kafka

./bin/kafka-server-start.sh -daemon ./config/server.properties

启动

启动,安装目录bin目录下

./kafka-server-start.sh -daemon ../config/server.properties

关闭

./kafka-server-stop.sh stop

linux

规划

matt05 zk kafka

matt06 zk kafka

matt07 zk kafka

解压

tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/

重命名

mv kafka_2.11-0.11.0.0/ kafka

2.scanla版本

0.11kafka版本

在安装目录下创建data文件夹

默认日志放在logs

data:存储数据

mkdir data

修改配置文件

cd config/
vi server.properties

# 改 broker 的全局唯一编号，不能重复 
broker.id=0
# 改 删除 topic 功能使能 
delete.topic.enable=true 

# 改 kafka 运行日志存放的路径 日志目录
log.dirs=/opt/module/kafka/data 

# 改 配置连接 Zookeeper 集群地址 
zookeeper.connect=zookeeper.connect=192.168.96.135:2181,192.168.96.136:2181,192.168.96.137:2181

分发安装包

xsync ./kafka/

记得修改机器的broker.id 因为他是惟一的

启动,安装目录bin目录下， 分别进入三台机器

./kafka-server-start.sh -daemon ../config/server.properties

关闭,安装目录bin目录下

./kafka-server-stop.sh stop

使用时可能会无法连接kafka，在server.properties进行如下配置

advertised.listeners=PLAINTEXT://192.168.96.128:9092

mac 3.5.0

https://kafka.apache.org/downloads 3.5.0

初始化 Kafka 的元数据（KRaft 必须）

KRaft 模式需要初始化一个 cluster-id。

生成 cluster-id：

KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"

格式化日志目录（存储 metadata）：

bin/kafka-storage.sh format \
  -t $KAFKA_CLUSTER_ID \
  -c config/kraft/server.properties

启动 kafka

bin/kafka-server-start.sh config/kraft/server.properties

后台启动

nohup bin/kafka-server-start.sh config/kraft/server.properties > kafka.log 2>&1 &

创建测试 topic

cd ~/kafka
bin/kafka-topics.sh --create \
  --topic test-topic \
  --bootstrap-server localhost:9092 \
  --partitions 1 \
  --replication-factor 1

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092