Flume 环境安装部署

网友投稿 718 2022-05-29

Flume NG部署

下面开始安装部署 Flume NG,这里我将Flume安装到dwq002节点上,以Spool directory source+File Channel+HDFS Sink为应用场景详细讲解,大家也可以尝试其它应用场景。

1、下载flume安装包

apache-flume-1.6.0-bin.tar.gz安装包解压到dwq12节点上的/usr/java/目录下。

[root@dwq12 java]$ tar -zxvf apache-flume-1.6.0-bin.tar.gz //解压

[root@dwq12 java]$ rm apache-flume-1.6.0-bin.tar.gz //删除安装文件

[root@dwq12 java]$ mv apache-flume-1.6.0-bin flume //修改文件名称

[root@dwq12 java]$ chown -R hadoop:hadoop flume //将flume授权给hadoop用户

2、切换到hadoop用户操作,进入flume/conf目录。

[root@dwq12 java]$ su hadoop

[hadoop@dwq12 java]$ cd flume/conf

[hadoop@dwq12 conf]$ ls

flume-conf.properties.template  flume-env.ps1.template  flume-env.sh.template  log4j.properties

需要通过flume-conf.properties.template复制一个flume-conf.properties配置文件。

[hadoop@dwq12 conf]$ cp flume-conf.properties.template flume-conf.properties

[hadoop@dwq12 conf]$ ls

flume-conf.properties flume-conf.properties.template  flume-env.ps1.template  flume-env.sh.template  log4j.properties

Flume 环境安装部署

修改dwq12节点上的flume-conf.properties配置文件。这里将日志采集到hdfs文件系统。配置参数的详细说明可以参考官方文档。

如果大家Hadoop已经安装Snappy压缩,那么flume采集数据的时候可以启动压缩。

agent1.sinks.hdfs-sink1.hdfs.codeC = snappy

如果没有安装Snappy,可以把上面的命令注释掉,后面课程会详细讲解。

3、首先要确保 Hadoop 集群正常运行。

4、在dwq12节点上启动flume。

[hadoop@dwq12 flume]$bin/flume-ng agent -n agent1  -f conf/flume-conf.properties

需要注意的是:-n 指定agent的名称;-f 后跟具体的配置文件。

5、随便在本地找一个文件(比如tv.txt)上传至监控目录/home/hadoop/tvdata,此时可以看到控制台打印有flume采集数据的日志信息。

6、在HDFS web界面查看flume采集过来的数据,如果看到我们采集的数据,说明flume采集数据成功。

http://dwq12:50070/dfshealth.html#tab-overview

至此一个flume的应用场景已经分析完毕,大家可以根据需求完成其他实现方式,详细配置可以查看flume官方文档。

Hadoop

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:华为云文档数据库服务DDS增强型/增强II型的1:2规格于2021年4月1日00:00(北京时间)停售通知
下一篇:5分钟快速搭建hexo博客并部署到github
相关文章