FusionInsight测试系列之：HDFS吞吐量性能测试

TestDFSIO工具测试指导

1. 支持版本

FusionInsight HD 6.5.1

2. 工具获取

工具名称： TestDFSIO

该工具基于开源社区获取，为两个jar包文件：hadoop-common-3.1.1-tests.jar 与 hadoop-mapreduce-client-jobclient-3.1.1-tests.jar

下载地址：

https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-common/3.1.1/

https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapreduce-client-jobclient/3.1.1/

3. 工具介绍

用于测试Hadoop文件系统通过MapReduce方式处理作业的 IO 属性。

TestDFSIO调用一个MapReduce作业来并发地执行读写操作，每个map任务用于读或写每个文件，reduce 用于累积统计信息，并产生统计总结。

工具使用参数：

Usage: TestDFSIO [genericOptions]  -read [-random | -backward | -skip [-skipSize Size]] | -write | -append | -truncate | -clean  [-compression codecClassName]  [-nrFiles N]  [-size Size[B|KB|MB|GB|TB]]  [-resFile resultFileName]  [-bufferSize Bytes]  [-storagePolicy storagePolicyName]  [-erasureCodePolicy erasureCodePolicyName]

测试参数说明：

-clean  清空包含TestDFSIO的jar包的历史数据

-read  读取HDFS上的文件,可指定读取的方式：random随机读取、backward依次向后读取、skip

-write 写入HDFS，因为HDFS主要使用场景是一次写，多次读，因此写测试一般不过多考虑

-compression 文件的压缩格式,支持的压缩类有：

org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.DeflateCodec, org.apache.hadoop.io.compress.Lz4Codec, org.apache.hadoop.io.compress.SnappyCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.ZStandardCodec, com.huawei.hadoop.datasight.io.compress.lzc.ZCodec

-nrFiles 文件的个数

-size 单个文件的大小，注意是未压缩前的大小

-resFile 统计结果的文件，如果不写，默认是执行命令的路径下的TestDFSIO_results.log

-bufferSize

-storagePolicy 存储策略名称，可选如下 PROVIDED、COLD、WARM、HOT、ONE_SSD、ALL_SSD、LAZY_PERSIST

-erasureCodePolicy 容错策略，可选RS-10-4-1024k、RS-3-2-1024k、RS-6-3-1024k、RS-LEGACY-6-3-1024k、XOR-2-1-1024k

4. 测试步骤

4.1 前置条件

FI集群安装为安全模式，且运行正常

HDFS、MapReduce、Yarn服务正常

已于linux环境安装集群客户端

已配置具有HDFS\Yarn访问权限的用户，例如用户名poc，并对poc用户有对应的Yarn资源分配

4.2 测试过程

【可选】参考产品文档中”规划HDFS容量“部分，修改GC_OPTS的参数；

修改HDFS如下配置项，重启服务

dfs.namenode.handler.count : 512

dfs.datanode.handler.count : 128

ipc.server.handler.queue.size : 200

dfs.namenode.fs-limits.max-directory-items : 6400000

修改Yarn配置项，重启服务

yarn.nodemanager.resource.cpu-vcores  根据实际节点的CPU核数修改

yarn.nodemanager.resource.memory-mb   根据实际节点的内存修改

修改租户资源池中配置的 Maximum AM Resource Percent 为 0.9

将测试工具解压缩后上传到客户端，如果客户端安装在/opt/client目录下，那么工具上传的路径为/opt/client/HDFS/hadoop/share/hadoop/mapreduce/

执行安全认证

清空历史数据

8. 写测试

9. 读测试，注意读之前必须先执行write写入要读取的数据文件，否则MR任务会提示文件不存在错误

4.3 查看测试结果

测试完毕，参考当前目录下的 TestDFSIO_results.log 文件内容获取吞吐性能数据

EI企业智能 FusionInsight

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。