探索BI系统搭建的必要性与AI技术的应用潜力
722
2022-05-30
通过CDM可以将DWS的表数据归档到OBS上,操作手册上已经有详细介绍,本文将重点介绍通过CDM将OBS的数据文件导入到DWS集群,查看CDM作业的状态,并且在DWS集群中查看数据是否导入成功
一. 创建DWS集群
DWS创建流程已经在第一天的文档介绍,此处不再赘述。
二. 创建CDM集群
1.登陆华为云控制台,进入“云数据迁移CDM”管理页面,点击进入控制台
2. 点击右上角的“购买云数据迁移服务”,进行创建CDM集群的配置
三. 创建OBS桶并上传数据
1. 登陆华为云“对象存储服务OBS”的管理控制台。
2. 点击“管理控制台”,点击右上角“创建桶”。然后进行配置。本文中桶名为obs-helldota
四. 配置CDM作业
1. 回到CDM管理页面, 点击CDM集群上的“作业管理”, 开始配置连接管理和作业。
2. 首先配置源端OBS连接。点击“新建连接”。选择“对象存储”中的“对象存储服务(OBS),
点击下一步
名称: 给源端连接起个名字
连接器: OBS,不可选
OBS终端节点:地址,不可选
端口:默认443
访问标识/密钥:填写华为云账号的AK/SK
填写完成后,点击“测试”, 如果测试成功,点击保存。
3. 配置目的端DWS连接。 点击“新建连接”, 选择数据仓库中的“数据仓库服务
数据库名称这里我们填写上一节创建的dota,
填写完成后,点击“测试”, 如果测试成功,点击保存。
4.在本文中,我们将obs中的ablibity_ids.csv文件导出到DWS中,表名为ability,在迁移之前,需要在DWS中创建该表:
set current_schema = dota_data;
drop table if exists ability_ids;
CREATE TABLE ability_ids
(
ability_id VARCHAR(20),
ability_name VARCHAR(50)
)
with (orientation = column, COMPRESSION=MIDDLE) distribute by hash(ability_id );
5、配置CDM作业,开始迁移。 在“作业管理”页面,点击“新建作业”。
源端作业配置,我们选择刚刚创建的OBS连接,选择我们需要桶名,选择准备导入的源文件ability_ids.csv,
然后目的端连接我们选择刚才创建DWS连接,选择我们想要导出的模式dota_data,选择表名ability_ids,
配置好后点击“下一步”, 最后点击“保存并运行”
5. 查看作业运行,并检查作业是否导出。 回到“作业管理”页面,可以看到历史
运行的作业情况。 如下图:
作业如果成功,会显示“Succeeded”。 如果失败,可以更多里面“日志”, 来查看失败
的原因。然后修改配置后,可以点击“运行”, 再次运行作业,直到作业成功。
在pgAdmin4中查看导入数据
可以看到已经成功导入数据。
仓库 数据仓库服务 GaussDB(DWS)
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。