MRS的HBase集群上安装Phoenix并对接superset

一、背景

superset可以用来数据可视化展示，可以对接Hive和HBase。由于Hive不适用于实时展示数据，所以尝试用superset链接HBase数据库，但是superset不能直接访问HBase，需要安装Phoenix，所以本文介绍Phoenix的安装，Phoenix对接HBase以及对接superset的方法。

二、安装Phoenix

1. 进入phoenix官网下载：https://phoenix.apache.org/。

2. 找到与HBase版本对应的phoenix版本，由于MRS 1.7.2分析集群的HBase版本是1.3.1，所以下载4.14.0版本的phoenix。

3. 远程登录Master节点，执行以下命令下载并解压Phoenix安装包：

wget htttp://apache.website-solution.net/phoenix/apache-phoenix-4.14.0-HBase-1.3/bin/apache-phoenix-4.14.0-HBase-1.3-bin.tar.gz tar -xvf apache-phoenix-4.14.0-HBase-1.3-bin.tar.gz

4. 进入apache-phoenix-1.14.0-HBase-1.3-bin目录中，把phoenix-4.14.0-HBase-1.3-server.jar和phoenix-core-4.14.0-HBase-1.3.jar另个jar包拷贝到集群服务端的lib下并修改相应权限。（core节点也要拷贝），如果拷贝了但是没有修改权限，会报错如下：

cp phoenix-4.14.0-HBase-1.3-server.jar phoenix-core-4.14.0-HBase-1.3.jar /opt/Bigdata/MRS/FusionInsight-HBase-1.3.1.0302/hbase/lib/                                                                                                                                                                                                     chmod 700 /opt/Bigdata/MRS/FusionInsight-HBase-1.3.1.0302/hbase/lib/phoenix-4.14.0-HBase-1.3-server.jar chmod 700 /opt/Bigdata/MRS/FusionInsight-HBase-1.3.1.0302/hbase/lib/phoenix-core-4.14.0-HBase-1.3.jar chown omm:wheel  /opt/Bigdata/MRS/FusionInsight-HBase-1.3.1.0302/hbase/lib/phoenix-4.14.0-HBase-1.3-server.jar chmod omm:wheel /opt/Bigdata/MRS/FusionInsight-HBase-1.3.1.0302/hbase/lib/phoenix-core-4.14.0-HBase-1.3.jar

5. 配置完毕，重启HBase，可以在MRS Manager界面重启。

6. 用phoenix连接HBase。

cd apache-phoenix-4.14.0-HBase-1.3-bin/bin ./sqlline.py HMasterIP:2181 >!table(会显示自动产生的几个系统表） >!exit（退出）

7. 如果要映射HBase已有的表格，在phoenix新建该表格的映射。phoenix的大小写比较特殊，全部都是小写会转成大写，可以加上双引号避免这种情况。而且phoenix4.*以上会出现在phoenix新建与HBase相同的表格，更够同步更新，但是查询不会显示，而且phoenix删除该表格，HBase也会随之删除。所以建议新建视图，删除phoenix的表不会删除映射的HBase，不过新建视图确保HBase已经存在该表。

create view "hbase_weather"("ROW" varchar primary key,"info"."id" varchar,"info"."province" varchar,"info"."city" varchar,"info"."zone" varchar,"info"."time" varchar,"info"."maxTemperature" varchar,"info"."minTemperature" varchar,"info"."weather" varchar,"info"."windDirection" varchar,"info"."windPower" varchar) as select * from "hbase_weather";

8. 执行以下命令，打开8765端口，供superset访问。如果没有source环境变量，会报如下错误：

source /opt/client/bigdate_env queryserver.py start

三、superset上用phoenix访问HBase数据库

1. 安装superset见参考文档：https://support.huaweicloud.com/usermanual-mrs/mrs_01_0418.html。可以参照华为云官网MRS服务的用户指南，下载安装superset的脚本，在installPipLib()方法里面加pipInstall pyPhoenix，注意一定要在superset的虚拟环境里面加，不能直接在linux用户下安装，否则superset识别不了。

2. 通过phoenix连接HBase数据库。

hbase Phoenix

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。