怎么更换旧版本(旧版本怎么更新)
718
2022-05-29
Flume NG部署
下面开始安装部署 Flume NG,这里我将Flume安装到dwq002节点上,以Spool directory source+File Channel+HDFS Sink为应用场景详细讲解,大家也可以尝试其它应用场景。
1、下载flume安装包。
apache-flume-1.6.0-bin.tar.gz安装包解压到dwq12节点上的/usr/java/目录下。
[root@dwq12 java]$ tar -zxvf apache-flume-1.6.0-bin.tar.gz //解压
[root@dwq12 java]$ rm apache-flume-1.6.0-bin.tar.gz //删除安装文件
[root@dwq12 java]$ mv apache-flume-1.6.0-bin flume //修改文件名称
[root@dwq12 java]$ chown -R hadoop:hadoop flume //将flume授权给hadoop用户
2、切换到hadoop用户操作,进入flume/conf目录。
[root@dwq12 java]$ su hadoop
[hadoop@dwq12 java]$ cd flume/conf
[hadoop@dwq12 conf]$ ls
flume-conf.properties.template flume-env.ps1.template flume-env.sh.template log4j.properties
需要通过flume-conf.properties.template复制一个flume-conf.properties配置文件。
[hadoop@dwq12 conf]$ cp flume-conf.properties.template flume-conf.properties
[hadoop@dwq12 conf]$ ls
flume-conf.properties flume-conf.properties.template flume-env.ps1.template flume-env.sh.template log4j.properties
修改dwq12节点上的flume-conf.properties配置文件。这里将日志采集到hdfs文件系统。配置参数的详细说明可以参考官方文档。
如果大家Hadoop已经安装Snappy压缩,那么flume采集数据的时候可以启动压缩。
agent1.sinks.hdfs-sink1.hdfs.codeC = snappy
如果没有安装Snappy,可以把上面的命令注释掉,后面课程会详细讲解。
3、首先要确保 Hadoop 集群正常运行。
4、在dwq12节点上启动flume。
[hadoop@dwq12 flume]$bin/flume-ng agent -n agent1 -f conf/flume-conf.properties
需要注意的是:-n 指定agent的名称;-f 后跟具体的配置文件。
5、随便在本地找一个文件(比如tv.txt)上传至监控目录/home/hadoop/tvdata,此时可以看到控制台打印有flume采集数据的日志信息。
6、在HDFS web界面查看flume采集过来的数据,如果看到我们采集的数据,说明flume采集数据成功。
http://dwq12:50070/dfshealth.html#tab-overview
至此一个flume的应用场景已经分析完毕,大家可以根据需求完成其他实现方式,详细配置可以查看flume官方文档。
Hadoop
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。