Kafka命令行使用指南

创建主题：

./kafka-topics.sh --create --topic topic_zkx --partitions 2 --replication-factor 2 --zookeeper host1:24002/kafka

查看主题：

./kafka-topics.sh --list --zookeeper host1:24002/kafka

修改主题：

./kafka-topics.sh --alter --topic topic_zkx --config max.message.bytes=128000 --zookeeper host1:24002/kafka

查看单个Topic详细信息

./kafka-topics.sh --describe --zookeeper host1:24002/kafka --topic topic_zkx

删除主题：

./kafka-topics.sh --delete --topic topic_zkx --zookeeper host1:24002/kafka

发布消息：（消息往哪个partition写？一次只写一个partition还是同时写多个partition？）

bin/kafka-console-producer.sh --broker-list host1:21007 --topic topic_zkx --producer.config config/producer.properties

1、指定key值的情况：默认hash分区的方式写数据，也支持自定义分区

2、不指定key值的情况：轮流往所有的partition里面发送数据

读取消息：（指定topic而不指定partition的情况下，如何消费数据？）

bin/kafka-console-consumer.sh --topic topic_zkx --bootstrap-server host1:21007 --new-consumer --consumer.config config/consumer.properties

1、如果消费者数量

2、如果消费者数量>=partition数量，那么消费者只消费属于自己的partition的数据。

Question：对消费者可见的问题：

实验现象：生产一条，就能消费一条

理论：生产者发布消息追加到最后一个段文件中，并实现leader和follower之间的数据同步，同步完成后，消息公开给消费者。

当发布的消息数量达到设定值或者经过一定时间后，段文件写入磁盘中。

Question3:

Kafka consumer在消费数据的时候如何得知leader的位置信息？

直接询问任意存活的broker。

Kafka

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。