linux安装配置 kafka并简单使用
目录
一 解压安装包
这里提供了网盘资源
链接: https://pan.baidu.com/s/1wUxEQuiPB1wRsjJ-FPPu7Q?pwd=9rm7 提取码: 9rm7
这里安装包上传至/opt/insatll目录
解压至/opt/soft目录
tar -zxf /opt/install/kafka_2.12-2.8.0.tgz -C /opt/soft
解压后改个名
mv kafka_2.12-2.8.0/ kafka212
二 修改配置
新建一个消息存放目录
mkdir -p /opt/soft/kafka212/kfkdata
修改配置文件
cd kafka212/config/
vim ./server.properties
修改为自己的 ip
advertised.listeners=PLAINTEXT://172.25.38.169:9092
设置消息存储位置
log.dirs=/opt/soft/kafka212/kfkdata
设置消息存放时间,超过时间删除,这里单位是小时
log.retention.hours=1680
这里可以不做修改也可以改成自己的 ip
zookeeper.connect=localhost:2181
使我们可以删除 topic
delete.topic.enable=true
修改环境变量
vim /etc/profile
#KAFKA
export KAFKA_HOME=/opt/soft/kafka212
export PATH=$KAFKA_HOME/bin:$PATH
修改完后 source 一下
source /etc/profile
三 启动kafka
启动 kafka 之前必须先启动zookeeper
zkServer.sh start
nohup kafka-server-start.sh /opt/soft/kafka212/config/server.properties &
--或直接
kafka-server-start.sh
四 简单使用 kafka
创建topic
kafka-topics.sh --create --zookeeper 172.25.38.169:2181 --topic kb23 --partitions 1 --replication-factor 1
查看 topic 列表
kafka-topics.sh --zookeeper 172.25.38.169:2181 --list
新建两个窗口,分别作为消费者和生产者
生产者命令行界面
kafka-console-producer.sh --topic kb23 --broker-list 172.25.38.169:9092
消费者命令行界面
kafka-console-consumer.sh --topic kb23 --bootstrap-server 172.25.38.169:9092 --from-beginning
生产者界面发送消息,消费者界面将能收到消息
--from-beginning这个参数表示消费者接受以前的所有消息,不加则表示从最新的消息开始接收
查看 topic 详情
kafka-topics.sh --zookeeper 172.25.38.169:2181 --describe --topic kb23
查看队列消息数量
kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 172.25.38.169:9092 --topic kb23
删除 topic(执行完后将 topic 标记为 delete 状态,下次重启则被删除)
kafka-topics.sh --zookeeper 172.25.38.169:2181 --delete --topic kb23