谷歌OKR指导手册 (译)
789
2022-05-29
弹性文件服务(Scalable File Service,简称SFS)可以为您的弹性云服务器(ECS)提供一个完全托管的共享文件存储,符合标准文件协议(NFS),能够弹性伸缩至PB规模,具备可扩展的性能,为海量数据、高带宽型应用提供有力支持。
迁移原理
CDM支持将第三方云上对象存储的数据直接迁移到华为云SFS,无需中转和写代码,实现数据直传。这里以迁移阿里云OSS的文件到华为云SFS为例介绍迁移方法。
首先我们将SFS文件系统挂载到ECS(这里的ECS也可以是您的HPC集群)的某个目录,然后CDM通过SFTP端口来访问ECS的该目录,具体操作流程如下:
1)要求CDM集群、SFS文件系统,还有SFS文件系统挂载的ECS,都要在同一个VPC下。
2)由于SFS文件系统目前仅支持NFSv3协议挂载到Linux云服务器,所以要求ECS为Linux系统。
准备数据
1)阿里云OSS的外网访问域名,例如:oss-cn-hangzhou.aliyuncs.com。
2)阿里云OSS的访问密钥,或者临时访问密钥、安全令牌。
3)ECS的内网访问IP、SFTP端口,以及登录用户名、密码。
将SFS文件系统挂载到ECS
在ECS上执行如下命令,将SFS文件系统挂载到ECS,具体操作请参见SFS入门的挂载文件系统到云服务器(Linux)章节。
cd /
mkdir sfs
mount -t nfs -o vers=3,timeo=600,nolock 共享路径 本地路径
如果mount的时候出现“wrong fs type”的错误信息,说明缺少nfs-utils的包,执行yum install –y nfs-utils命令安装即可。
创建CDM集群并绑定EIP
1)登录CDM管理控制台,创建CDM集群,具体操作请参见官网
2)集群创建完成后,在集群管理界面,单击集群操作列的“绑定弹性IP”。CDM集群通过公网访问阿里云OSS。由于是数据上云,上行流量不计费,弹性IP的带宽为10Mbit/s即可。
如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
创建SFTP连接
1)单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图8-44所示。
2) 选择“SFTP”后,单击“下一步”配置SFTP连接参数,创建SFTP连接
3)单击“保存”回到连接管理界面。
创建OSS连接
1)在连接管理界面选择“新建连接”,连接器类型选择“阿里云对象存储(OSS)”后单击“下一步”,配置连接参数,具体参照我的上一篇博客
2)单击“保存”回到连接管理界面。
创建迁移作业
1)选择“表/文件迁移 > 新建作业”,开始创建从OSS迁移数据到SFS的任务,如下图所示
2)源端作业配置
桶名:OSS的桶名。源目录或文件:OSS对象的对象名,或对象前缀,如果输入一个对象前缀,会把该前缀下的对象全部迁移。
文件格式:这里选择“二进制格式”,二进制格式适用于文件的原样复制。高级属性里的可选参数保持默认。
3)目的端作业配置
写入目录:ECS的目录,这里要输入SFS挂载的目录。
文件格式:与源端一样,这里选择“二进制格式”。
重复文件处理:选择“跳过重复文件”。CDM在迁移文件前会进行文件对比,如果源文件在目的端已经存在,且文件大小一致,则会判定为重复文件,迁移时就会跳过。
4)调高“抽取并发数”,需要在ECS中调高SSH的最大连接数:
修改“/etc/ssh/sshd_config”中#MaxStartups 10:30:100,将其改为MaxStartups 1000。
修改“/etc/ssh/sshd_config”中#MaxSessions 10,将其改为MaxSessions 1000。
重启sshd:service sshd restart
云数据迁移 CDM 弹性文件服务 迁移
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。