MRS hive使用RDS的PGSQL

网友投稿 656 2022-05-29

注意:此文档只适用于MRS2.X版本,非MRS2.0.0版本文档中对应的路径需要以实际路径为准

1      创建RDS实例

创建RDS实例时指定为Postgres数据库

可以参考: https://static.huaweicloud.com/upload/files/pdf/20171208/20171208101321_89598.pdf

注意:

1)RDS实例的VPC需要和MRS集群指定同一个,否则后期要建对等连接比较麻烦

MRS hive使用RDS的PGSQL

2)RDS实例的安全组尽量选MRS集群的安全组,否则后面要手动安全组互通

2      创建数据库

2.1      本地安装psql客户端

可以参考 https://support.huaweicloud.com/rds_faq/rds_faq_0029.html

sudo rpm -ivh postgresql96-9.6.13-1PGDG.rhel6.x86_64.rpm postgresql96-libs-9.6.13-1PGDG.rhel6.x86_64.rpm

2.2      执行psql命令创建数据库

psql --host=192.168.10.131 --port=5432  --username=root --dbname=postgres -c "create database Hivemeta;"

2.3      手动创建数据库表

psql --host=192.168.0.187 --port=5432 --username=root --dbname=hivemeta --file=/opt/Bigdata/MRS_2.0.0/install/FusionInsight-Hive-3.1.0/hive-3.1.0/scripts/metastore/om/createTab.part1.sql  psql --host=192.168.0.187 --port=5432 --username=root --dbname=hivemeta --file=/opt/Bigdata/MRS_2.0.0/install/FusionInsight-Hive-3.1.0/hive-3.1.0/scripts/metastore/om/createTab.part2.sql

3      准备驱动包

Postgres驱动包地址 https://jdbc.postgresql.org/download.html  (下载java8对应的驱动版本)

在master节点替换driver包(将默认的gsjdbc4-V100R003C10SPC115.jar/gauss-SPC117.jar替换掉)

rm /opt/Bigdata/MRS_2.0.0/install/FusionInsight-Hive-3.1.0/hive-3.1.0/lib/gauss-SPC117.jar    chmod 777 /tmp/postgresql-42.2.5.jar    chown omm:wheel /tmp/postgresql-42.2.5.jar

4      修改Hive配置

Hive->服务配置->全部配置->MetaStore->自定义

javax.jdo.option.ConnectionURL jdbc:postgresql://192.168.0.187:5432/hivemeta?socketTimeout=60

javax.jdo.option.ConnectionUserName root

javax.jdo.option.ConnectionPassword Huawei@xxx

5      重启Hive服务

Hive MapReduce

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:【计算机网络】——数据链路层(下)
下一篇:使用python读取word文件里的表格信息
相关文章