Kafka_0.8.2.0与Zookeeper的集成配置

启动Zookeeper

zookeeper配置在:zookeeper:2181主机,且已经正常启动。版本为3.4.10

安装配置kafka_0.8.2.0

区别于kafka_2.0.0,0.8.2.0版本的集成配置有些区别。kafka_2.0.0版本的集成见:Kafka+Zookeepr的单节点集成配置。如下为kafka_0.8.2.0版本与远程zookeeper的集成配置。

1. kafka安装文件的解压:

[root@kafka kafka]# tar -zxvf kafka_2.10-0.8.2.0.tgz 
[root@kafka kafka]# ll
total 15792
drwxr-xr-x. 6 root root     4096 Sep 25 17:34 kafka_2.10-0.8.2.0
-rw-r--r--. 1 root root 16163822 Sep 25 17:29 kafka_2.10-0.8.2.0.tgz

2. 修改kafka配置文件:

修改host.name配置项(该项在2.0.0版本中已经不存在),配置为kafka安装所在的本机IP:

# Hostname the broker will bind to. If not set, the server will bind to all interfaces
host.name=192.168.2.136

修改zookeeper的URL:

# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=zookeeper:2181

3. 启动kafka:

[root@kafka kafka_2.10-0.8.2.0]# bin/kafka-server-start.sh config/server.properties 

4. 创建测试topic:

[root@kafka kafka_2.10-0.8.2.0]# bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic zk-topic

显示所有topic列表:

[root@kafka kafka_2.10-0.8.2.0]# bin/kafka-topics.sh --list --zookeeper zookeeper:2181

5. 运行console-producer和console-consumer进行测试:

运行console-producer:

[root@kafka kafka_2.10-0.8.2.0]# bin/kafka-console-producer.sh --broker-list 192.168.2.136:9092 --topic zk-topic
[2018-09-26 08:03:36,912] WARN Property topic is not valid (kafka.utils.VerifiableProperties)
this is zk-topic mesaage test

运行console-consumer:

[root@kafka kafka_2.10-0.8.2.0]# bin/kafka-console-consumer.sh --zookeeper zookeeper:2181 --topic zk-topic --from-beginning
this is zk-topic mesaage test

这里需要注意,console-consumer的运行命令和kafka_2.0.0版本中已经不同。而且,在producer的运行输出中有的警告信息,可以暂时忽略。

6. 集成结束。

关于producer中出现的警告信息,进行了相应的查询,未能解决但不影响使用: