一、flume调优，用到了哪些?

source ：

1 ，增加 source 个数，可以增大 source 读取能力。

2 ，具体做法 ： 如果一个目录下生成的文件过多，可以将它拆分成多个目录。每个目录都配置一个 source 。

3 ，增大 batchSize ： 可以增大一次性批处理的 event 条数，适当调大这个参数，可以调高 source 搬运数据到 channel 的性能。

channel ：

1 ，memory ：性能好，但是，如果发生意外，可能丢失数据。

2 ，使用 file channel 时，dataDirs 配置多个不同盘下的目录可以提高性能。

3 ，transactionCapacity 需要大于 source 和 sink 的 batchSize 参数

sink ：

增加 sink 个数可以增加消费 event 能力

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。