CDM初阶指导阿里云OSS迁移到SFS

网友投稿 804 2022-05-29

弹性文件服务(Scalable File Service,简称SFS)可以为您的弹性云服务器(ECS)提供一个完全托管的共享文件存储,符合标准文件协议(NFS),能够弹性伸缩至PB规模,具备可扩展的性能,为海量数据、高带宽型应用提供有力支持。

CDM初阶指导之阿里云OSS迁移到SFS

迁移原理

CDM支持将第三方云上对象存储的数据直接迁移到华为云SFS,无需中转和写代码,实现数据直传。这里以迁移阿里云OSS的文件到华为云SFS为例介绍迁移方法。

首先我们将SFS文件系统挂载到ECS(这里的ECS也可以是您的HPC集群)的某个目录,然后CDM通过SFTP端口来访问ECS的该目录,具体操作流程如下:

1)要求CDM集群、SFS文件系统,还有SFS文件系统挂载的ECS,都要在同一个VPC下。

2)由于SFS文件系统目前仅支持NFSv3协议挂载到Linux云服务器,所以要求ECS为Linux系统。

准备数据

1)阿里云OSS的外网访问域名,例如:oss-cn-hangzhou.aliyuncs.com。

2)阿里云OSS的访问密钥,或者临时访问密钥、安全令牌。

3)ECS的内网访问IP、SFTP端口,以及登录用户名、密码。

将SFS文件系统挂载到ECS

在ECS上执行如下命令,将SFS文件系统挂载到ECS,具体操作请参见SFS入门的挂载文件系统到云服务器(Linux)章节。

cd /

mkdir sfs

mount -t nfs -o vers=3,timeo=600,nolock 共享路径 本地路径

如果mount的时候出现“wrong fs type”的错误信息,说明缺少nfs-utils的包,执行yum install –y nfs-utils命令安装即可。

创建CDM集群并绑定EIP

1)登录CDM管理控制台,创建CDM集群,具体操作请参见官网

2)集群创建完成后,在集群管理界面,单击集群操作列的“绑定弹性IP”。CDM集群通过公网访问阿里云OSS。由于是数据上云,上行流量不计费,弹性IP的带宽为10Mbit/s即可。

如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。

创建SFTP连接

1)单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图8-44所示。

2) 选择“SFTP”后,单击“下一步”配置SFTP连接参数,创建SFTP连接

3)单击“保存”回到连接管理界面。

创建OSS连接

1)在连接管理界面选择“新建连接”,连接器类型选择“阿里云对象存储(OSS)”后单击“下一步”,配置连接参数,具体参照我的上一篇博客

2)单击“保存”回到连接管理界面。

创建迁移作业

1)选择“表/文件迁移 > 新建作业”,开始创建从OSS迁移数据到SFS的任务,如下图所示

2)源端作业配置

桶名:OSS的桶名。源目录或文件:OSS对象的对象名,或对象前缀,如果输入一个对象前缀,会把该前缀下的对象全部迁移。

文件格式:这里选择“二进制格式”,二进制格式适用于文件的原样复制。高级属性里的可选参数保持默认。

3)目的端作业配置

写入目录:ECS的目录,这里要输入SFS挂载的目录。

文件格式:与源端一样,这里选择“二进制格式”。

重复文件处理:选择“跳过重复文件”。CDM在迁移文件前会进行文件对比,如果源文件在目的端已经存在,且文件大小一致,则会判定为重复文件,迁移时就会跳过。

4)调高“抽取并发数”,需要在ECS中调高SSH的最大连接数:

修改“/etc/ssh/sshd_config”中#MaxStartups 10:30:100,将其改为MaxStartups 1000。

修改“/etc/ssh/sshd_config”中#MaxSessions 10,将其改为MaxSessions 1000。

重启sshd:service sshd restart

云数据迁移 CDM 弹性文件服务 迁移

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:DAOS 分布式异步对象存储|故障模型
下一篇:Google Earth Engine ——全球水电站数据集MERIT/Hydro_reduced/v1_0_1补充图层!
相关文章