FusionInsight对接OBS指导书

1      背景介绍

华为FusionInsight HD是一个分布式数据处理系统，对外提供大容量的数据存储、查询和分析能力。华为云对象存储服务OBS可以提供稳定、安全、高效、易用的云存储服务，并可以与FI对接，提供计算存储分离的大数据解决方案。

2      部署视图

3      FI对接OBS操作步骤

3.1      Hadoop对接

3.1.1        更新OBSFileSystem操作步骤

1、  上传obs的jar包

从网址https://bbs.huaweicloud.com/forum/thread-12142-1-1.html 中下载OBSFileSystem后进行解压缩，其中Package目录中包含obs所需要的jar包，列表如下：

将obs所需要的jar包放在/opt/FI-obs目录中

2、  将obs的jar包放到Hadoop Client端

命令：

cp /opt/FI-obs/* /opt/client/HDFS/hadoop/share/hadoop/common/lib/.

cp /opt/FI-obs/* /opt/client/HDFS/hadoop/share/hadoop/tools/lib/.

3.1.2        更新配置文件操作步骤

1、  修改hdfs客户端core-site.xml配置(/opt/client/HDFS/hadoop/etc/hadoop/core-site.xml)

配置文件中增加或修改如下配置项

fs.obs.access.key

my.access.key

fs.obs.secret.key

my.secret.key

fs.obs.endpoint

my.endpoint

fs.obs.impl

org.apache.hadoop.fs.obs.OBSFileSystem

hadoop.tmp.dir

/srv/BigData/hadoop/data1/tmp

fs.obs.buffer.dir

/srv/BigData/hadoop/data1buf

2、  配置完成后即可使用hadoop命令

3.2      HBase对接

3.2.1        更新OBSFileSystem操作步骤

1、  上传obs的jar包

从网址https://bbs.huaweicloud.com/forum/thread-12142-1-1.html 中下载OBSFileSystem后进行解压缩，其中Package目录中包含obs所需要的jar包，列表如下：

将obs所需要的jar包放在/opt/FI-obs目录中

2、  将obs的jar包放到HBase Server端

命令：

cp /opt/FI-obs/* /opt/huawei/Bigdata/FusionInsight_HD_6.5.0/install/FusionInsight-HBase-1.3.1/hbase/lib/.

3、  将obs的jar包放到HBase Client端

命令：

cp /opt/FI-obs/* /opt/client/HBase/hbase/lib/.

3.2.2        更新配置文件操作步骤

1、  Hbase服务端级别core-site.xml添加如下自定义配置

fs.obs.experimental.input.fadvise: random

fs.obs.access.key: XXXX（AK信息）

fs.obs.secret.key: XXXX（SK信息）

fs.obs.endpoint: XXXX（EndPoint信息）

fs.obs.impl: org.apache.hadoop.fs.obs.OBSFileSystem

hadoop.tmp.dir: /srv/BigData/hadoop/data1/tmp（配置到本地挂载的数据盘上）

fs.obs.buffer.dir：/srv/BigData/hadoop/data1/buf（配置到本地挂载的数据盘上）

2、  Hbase服务端级别hbase-site.xml添加如下自定义配置

hbase.data.rootdir：obs://XXXX/hbase （XXXX为桶名）

hbase.rootdir：obs://XXXX/hbase  （XXXX为桶名）

hbase.wal.provider：multiwal

hbase.wal.dir：hdfs://hacluster/hbasewal

3、  配置完成后重启HBase即可使用，使用hbase shell前需要source环境变量

JAR 对象存储服务 OBS 存储 HBase

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。