MRS试用（一）

在华为云新的试用活动，零元购买鲲鹏版MRS一个月试用。去年也优惠购买过X86版的MRS，不过那时候不知道如何使用，误删除了某些软件，导致MRS无法使用。现在可以直接在MRS界面右上角找到使用指南。

通过使用source /opt/client/bigdata_env进入大数据shell客户端环境。hdfs shell客户端建立目录，上传文件，查看文件内容等操作熟悉hdfs命令。大部分跟linux操作差不多，就是多加了hdfs dfs –linux命令。

利用沙箱MapReduce服务初体验的实验对MRS中的MapReduce学习，注意鲲鹏版的hadoop是2.8.3版,所以执行jar包是hadoop-mapreduce-examples-2.8.3-mrs-1.9.0.jar，跟实验手册里的hadoop-mapreduce-examples-3.1.1-mrs-2.0.jar版本不一样。而且在/opt/client/Yarn/hadoop/share/hadoop/mapreduce/目录里有。把wordcount和hadoop-mapreduce-examples-2.8.3-mrs-1.9.0.jar上传到OBS里，统计好的数据存储在HDSF里的/opt/1/而不是存储在ma1主机里的/opt/1/目录。

基于Spark实现车主驾驶行为分析实验对MRS中的spark学习，在实质操作过程中，为了图方便，把执行程序的路径的OBS改为hdfs的路径，提示路径不对。以为是driver_behavior.jar里面含有C或C++包导致。

经过排查，driver_behavior.jar包运行保存的路径是OBS或hdfs，但是把运行结果写入到OBS，需要AK和SK秘钥，填写好如下图所示，可以运行成功。

通过上面的两个案例，学习到在MRS的作业管理如何设置作业使用的jar包，源文件和运行后保存的文件设置路径，记得如果要把运行结果保存在OBS上，必须要在执行程序参数里添加AK和SK秘钥。否则会报错。如果源文件和jar包是OBS里，执行则不需要AK和SK秘钥。跟后台提交作业不同，不管OBS读取或向OBS输出数据，都需要增加AK/SK参数。例如：hadoop jar /home/omm/hadoop-mapreduce-examples-XXX.jar wordcount -Dfs.obs.access.key=XXXX -Dfs.obs.secret.key=XXXX "obs://mrs-word/input/*" "obs://mrs-word/output/"。

MRS自带集群管理页面，能实时查看集群主机，网络，磁盘IO的读写速度或占用率，内存占用率，网络和CPU等硬件情况。能指定大数据软件使用的集群硬件情况，还能监控其软件运行的健康情况。还有下图所示，只给三台node默认每台配置了的8G内存，可以在yarn-site.xml设置yarn.nodemanager.resource.memory-mb能添加内存容量，但是不能超过主机本身。主机是16G内存，系统需要2G，hbase需要2G，如果不打算在这三台主机安装其他软件。每台主机能优化设置12G内存。

这次试用MRS体验不错，在页面的右上角添加了使用指南，便于查找资料和学习。但是有点美中不足的是如果部署前漏选或不选暂时不需要的软件，那么部署好的MRS就不能添加漏选或之前不需要的软件。不便于业务的拓展。

Hadoop MapReduce

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。