探索BI系统搭建的必要性与AI技术的应用潜力
1006
2022-05-30
Informatica10.2与GaussDB A8.0对接方法
1. Informatica 通过插件与GaussDB对接
1.1 了解 PowerExchange for GaussDB A
PowerExchange for GaussDB A是由GaussDB A 提供的可在ETL工具PowerCenter上使用的插件,可实现数据的快速导入。
本插件可以将PowerCenter处理好的数据快速导入GaussDB A 8.0数据库。主要原理是把 PowerCenter处理数据写入本地管道,通过调用gaussload工具启动GDS服务,然后将管 道数据传输至GaussDB A数据库DN端,实现了数据快速导入。
本文档主要介绍Informatica PowerCenter安装和使用。此文档适用于具备数据装载权限 的数据库管理和开发人员,且假设您已掌握以下基本知识:数据库基本理论、 GaussDB A 8.0和PowerCenter使用方法。
1.2 安装 PowerExchange for GaussDB A 8.0
1.2.1 安装准备
插件名称:
GaussDB-8.0.0-REDHAT-x86_64bit-Informatica-plugin.tar.gz
GaussDB-8.0.0-REDHAT-x86_64bit-gauss-loader.tar.gz
插件位置:
FusionInsight_MPPDB_8.0.0_RHEL.tar.gz安装包中,FusionInsight_MPPDB/software/components/package/package路径下。
软件环境要求:
Linux操作系统:支持SUSE Linux Enterprise Server 11 SP1/SP2, x86_64,Redhat,centos。
PowerCenter版本:10.2。 工具:必须为系统自带Python2.6版本。
前提条件
本地已成功安装PowerCenter server组件。
PowerCenter client端已配置GaussDB A 8.0 ODBC驱动(配置方法见后面章节)。
用户对
需要提前安装gaussload工具,安装步骤如下:
步骤1:进入gaussload解压目录,执行bash install_gaussload.sh。
步骤2:配置环境变量GAUSS_LOADERS,将$GAUSS_LOADERS/bin加到PATH环境变量中,export PATH=$GAUSS_LOADERS/bin:$PATH。
1.2.2安装步骤
步骤1 在Informatica Server主机上,解压GaussDB-8.0.0-REDHAT-x86_64bit-Informatica-plugin.tar.gz文件,执行bash install.sh命令,提示安装成功。
步骤2 打开Informatica的B/S管理端"Informatica Administrator",使用域口令登录。
说明 该管理端的入口在Informatica Server的安装过程中会有提示。一般的URL为: http://10.119.31.38:6008,其中IP地址为Informatica Server所在IP,端口默认为6008。如果在安装 过程中使用的是自定义端口,这里请做相应修改。
步骤3 找到需要配置的PowerCenter存储库服务,在属性页面找到“存储库属性”,点击修 改,如下图。
步骤4 将PowerCenter的存储库操作模式调整为“独占”模式,这将会重启存储库,请注意。
步骤5 待存储库重启完成后,转到插件页面,点击添加插件图标,如下图:
步骤6 在弹出的“PowerCenter存储库服务注册插件”页面,选择步骤1中GaussDB-8.0.0-REDHAT-x86_64bit-Informatica-plugin.tar.gz解压出的插件文件 GaussDB_Kernel_Connector.xml
说明:如果之前注册过该插件,请勾选“更新现有插件注册”,并请同步更新Informatica Server的插件安装包,执行install.sh脚本,见步骤1。
步骤7 按照之前的步骤,重新将存储库服务的操作模式,调整为“普通”,重启存储库服务,完成。
----结束
1.2.3 使用 PowerExchange for GaussDB A
当需要通过PowerCenter向GaussDB A 8.0导入数据时,可以利用PowerExchange for GaussDB A组件实现数据快速导入。
操作步骤
步骤1 导入GaussDB A 8.0目标表。
用户可以在设计阶段从GaussDB A 8.0数据库导入目标表,PowerCenter会做数据类型转换,将原始数据类型转换为ODBC数据类型。
1、点击源或目标,选择从数据库导入,添加GaussDB A 8.0与数据库的DSN连接。
2、选择"PostgreSQL Unicode"选项,点击完成进入"PostgreSQL ANSI ODBC Driver(psqlODBC) Setup"窗口,填写用户名、密码,连接GaussDB A 8.0
3、配置好数据源后,选择相应ODBC数据源,输入用户名、密码等信息,点击连接,空白窗口显示表信息,选择要导入的源表或目标表
步骤2 配置PowerExchange for GaussDB A 8.0连接
1、单击连接,选择关系,显示关系连接浏览器窗口
2、单击“新建”,选择PWX GaussMPP,选中确定进入连接对象定义窗口,将跳转至链接配置信息页面
3、输入连接配置信息,详细内容请参见表1-1
表 1-1 PowerExchange for GaussDB A 8.0 连接属性
步骤3 配置PowerExchange for GaussDB A 8.0会话(Session)属性。 用户可以在映射(Mapping)窗口设置Session属性,配置信息如表1-2所示
表 1-2 PowerExchange for GaussDB A 8.0 会话(Session)属性
----结束 参数配置成功后,可以执行导入操作,具体使用方法参考参照《PowerCenter用户指 南》文档。
2. Informatica通过ODBC方式连接GaussMPP
2.1 Informatica版本
Informatica Server版本:
2.2 配置ODBC驱动
Informatica利用ODBC方式连接GaussMPP,需要分别配置server端及client端。
2.2.1 server端配置GaussMPP odbc驱动
步骤1 从unixODBC官方网站下载unixODBC-2.3.0.tar.gz,解压、编译、安装;
tar zxvf unixODBC-2.3.0.tar.gz
./configure
make && make install
步骤2 从FusionInsight_MPPDB_8.0.0_RHEL.tar.gz安装包的解压文件的路径FusionInsight_MPPDB/software/components/package/package下。得到GaussDB-8.0.0-REDHAT-x86_64bit-Odbc.tar.gz驱动包,解压得到psqlodbcw.la, psqlodbcw.so两个文件;
步骤3 以上package路径下解压GaussDB-8.0.0-REDHAT-x86_64bit-Libpq.tar.gz得到libpq的lib文件;
步骤4 将$Informatica_intall/ODBC7.1/lib/备份为$Informatica_intall/ODBC7.1/lib.bak,重新建立$Informatica_intall/9.6.1/ODBC7.1/lib/目录,将unixODBC安装得到的/usr/local/lib/libodbc.so.1.0.0、so.1.0.0及libpq.so拷贝到$Informatica_install/ODBC7.1/lib/目录中,将步骤2解压得到的psqlodbcw.la、psqlodbcw.so拷贝到$Informatica_install/ODBC7.1/lib/目录中。(其实无需备份,直接拷贝到ODBC7.1/lib目录即可)。
将/usr/local/lib目录下的libodbc.so.2.0.0和libodbcinst.so.2.0.0拷贝到$Informatica_intall/9.6.1/ODBC7.1/lib/目录中。(/usr/local/lib目录下若没有可搜索系统中其他位置是否有)。
步骤5 修改$Informatica_intall /ODBC7.1/ini文件,添加如下(按照实际填写):
2.2.2 客户端配置GaussMPP odbc驱动
步骤1 从FusionInsight_MPPDB_8.0.0_RHEL.tar.gz安装包的解压文件的路径FusionInsight_MPPDB/software/components/package/package下。得到GaussDB-8.0.0-Windows-Odbc.tar.gz驱动包,解压后安装psqlodbc.msi文件和psqlodbc_x64.msi文件,安装psqlODBC成功
步骤2 配置驱动,win64位系统需配置C:\Windows\SysWOW64\odbcad32.exe文件,系统32位系统需配置C:\Windows\System32\odbcad32.exe文件,添加mppdb驱动。
点击Test测试连接是否成功。
步骤3 PowerCenter 客户端工具在通过ODBC方式连接到GaussMPP数据库时,可以连接,但是出现以下两处警告,如下图所示:
消除以下两处警告;修改D:\Informatica\9.6.1\clients\PowerCenterClient\client\bin\powrmart.ini,在[ODBCDLL]中添加条目:PostgreSQL=extodbc.dll
2.3 从oracle向gaussmpp中导入数据
步骤1 repository manager中创建ORACLE_TO_MPP文件夹;
步骤2 在designer中创建源、目标和Mapping
源使用oracle数据库中的bi_source的emp表
目标指定到mpp中的tmp表
需要提前在mpp中创建空白表
步骤3 workflow中指定目标emp的关系连接编辑器,连接字符串连接为gaussdb,与ini文件中名称一致;
步骤4 执行会话,结果显示成功, workflow monitor显示如图:
步骤5 确认oracle中dept表的数据
步骤6 查看MPP中tmp表的数据
步骤7 使用Informatica的测试工具,一直是等待状态,没有其他提示
补充:
客户端如果与服务端不在同一机器上时,客户端(windows)需要安装msi文件,win64位系统需配置C:\Windows\SysWOW64\odbcad32.exe文件,系统32位系统需配置C:\Windows\System32\odbcad32.exe文件,添加mppdb驱动。
服务端需配置mpp odbc驱动,所需文件,其中libpq必须,不能缺少;
指定源和目标时,目标无需从数据库导入,只要从源数据创建就可以。源使用oracle数据库中的scott的dept表,目标指定到mpp中的dept表,需要提前在mpp中创建空白表。
3. 遇到过的问题:
1、1.2.3中步骤2中无法看到PWX GaussMPP的插件。
解决方法:1.2.2中,卸载其他插件,只安装Gauss的插件后,可以在1.2.3的步骤2中看到该插件。
附件: Informatica10.2与GaussDB A8.0对接_20210101.docx 3.80MB 下载次数:0次
EI企业智能 Gauss AP 数据仓库服务 GaussDB(DWS)
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。