Kafka系统学习（12）

旧数据处理方式

Kafka将数据持久化到了硬盘上，允许配置一定的策略对数据清理，清理的策略有两个：删除和压缩。Kafka把Topic中一个Partition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。

对于传统的消息队列（Message Queue）而言，一般会删除已经被消费的消息，而Kafka集群会保留所有的消息，无论其被消费与否。当然，因为磁盘限制，不可能永久保留所有数据（实际上也没必要），因此Kafka需要处理旧数据。下面介绍日志的清理方式：1、delete 2、compact。

(1) delete

删除的阈值有2种：过期的时间和分区内总日志大小。

(2) Compact

将数据压缩，只保留每个key最后一个版本的数据。首先在broker的配置中设置log.cleaner.enable=true启用cleaner，这个默认是关闭的。在topic的配置中设置log.cleanup.policy=compact启用压缩策略。

Kafka部分学习到此小结。

Kafka

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。