FusionInsight测试系列之：NameNode随机写性能测试

1. 支持版本

FusionInsight HD 6.5.1

2. 工具获取

工具名称： NNBench

该工具基于开源社区获取，为两个jar包文件：hadoop-common-3.1.1-tests.jar 与 hadoop-mapreduce-client-jobclient-3.1.1-tests.jar

-：

https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-common/3.1.1/

https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapreduce-client-jobclient/3.1.1/

3. 测试步骤

3.1 前置条件

FI集群安装为安全模式，且运行正常

HDFS、MapReduce、Yarn服务正常

已于linux环境安装集群客户端

已配置具有HDFS\Yarn访问权限的用户，例如用户名poc，并对poc用户有对应的Yarn资源分配

3.2 测试过程

【可选】参考产品文档中”规划HDFS容量“部分，修改GC_OPTS的参数；

修改HDFS如下配置项，重启服务

dfs.namenode.handler.count : 512

dfs.datanode.handler.count : 128

ipc.server.handler.queue.size : 200

dfs.namenode.fs-limits.max-directory-items : 6400000

修改Yarn配置项，重启服务

yarn.nodemanager.resource.cpu-vcores  根据实际节点的CPU核数修改

yarn.nodemanager.resource.memory-mb   根据实际节点的内存修改

修改租户资源池中配置的 Maximum AM Resource Percent 为 0.9

将测试工具解压缩后上传到客户端，如果客户端安装在/opt/client目录下，那么工具上传的路径为/opt/client/HDFS/hadoop/share/hadoop/mapreduce/

执行安全认证

启动测试

yarn jar /opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.1-tests.jar nnbench  \ -operation create_write \  -maps 10 \  -reduces 2 \ -bytesToWrite 1 \ -numberOfFiles 100 \ -blockSize 1048576 \ -replicationFactorPerFile 3 \ -readFileAfterOpen true \ -baseDir /benchmarks1/NNBench

参数说明：

-maps 指定MR任务的map数，必须保证map数都在同一轮并发中，否则结果计算有误 -reduces指定MR任务的reduce数，结果汇总，可写一个比较小的数字，不影响结果 -bytesToWrite创建文件的实际大小 -numberOfFiles每个map任务创建的文件数 -blockSize文件块的大小，默认是128MB，这里取1048576字节为1MB -replicationFactorPerFile文件副本数 -readFileAfterOpen是否读取文件 -baseDir创建的HDFS上的路径

3.3 查看测试结果

测试完毕，参考当前目录下的 NNBench_results.log 文件内容获取Namenode处理性能数据

EI企业智能 FusionInsight

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。