azkaban零基础学习(azkaban 教程)
878
2022-05-28
【背景介绍】
参考:https://bbs.huaweicloud.com/blogs/239833
SMS: 主机迁移服务(Server Migration Service), 将物理服务器或者本云或者其他云平台的私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器上,SMS兼容性好支持国内外主流平台虚拟机迁移,和X86物理服务器迁移,具有高效的传输效率,使用AK/SK校验迁移Agent身份,传输通道使用SSL加密,安全性极高。官网:https://support.huaweicloud.com/sms/
OMS: 对象存储迁移服务(Object Storage Migration Service,OMS),目前支持所有主流云厂商如亚马逊云、阿里云、微软云、腾讯云等平台的对象存储数据到华为云的迁移,目前支持多任务的创建,支持通过HTTPS加密在线传输数据,极大的保证了数据传输的安全性。
CDM:云数据迁移(Cloud Data Migration),目前主要针对大数据平台迁移到云端,并且支持多种数据源如关系型数据库、大数据、文件、NoSQL等,针对结构化数据和非结构化数据的迁移无须中转,功能丰富简单易用。
DRS:数据复制服务(Data Replication Service)主要针对关系型数据库的在线热迁移,如云数据库mysql,sqlserver,postgresql等,具有在线实时热迁移,同时支持多个源数据库到同一个目标数据库之间的数据实时同步,且支持多种数据库的备份迁移等,如OBS桶中创建的数据库备份,RDS工具自带的备份策略所执行的备份。
【场景汇总】
【操作指导】
1.1 SMS迁移指导
1.1.1 主机迁移过程中前期准备
网络通道:必须使用专线或者vpn打通网络通道,公网可行但是不太建议,因为公网传输速度慢且安全性低。
安全层面: 目的端windows系统时需要放开8899、8900端口, linux系统时,Linux系统开放8900、22端口,安全组和ACL同时需要放通。
系统层面:源端服务器linux必须要求安装rsync windows08和win7需要安装python2 其他版本的需要安装python3,linux和windows同时必须安装的组件有SMS-Agent。
1.1.2 操作步骤
使用账户登陆云平台后进入个人中心,进入控制台,点击我的凭证—访问秘钥,单击“确定”,生成并下载访问密钥。
使用 https://sms-agent-2-0-cn-north-1.obs.cn-north-1.myhuaweicloud.com/SMS-Agent.tar.gz 连接下载linux版本SMS-Agent安装包,解压后进入主目录内,执行启动脚本./startup.sh,遇到弹窗输入y
wget https://sms-agent-2-0-cn-north-1.obs.cn-north-1.myhuaweicloud.com/SMS-Agent.tar.gz tar -xvf SMS-Agent.tar.gz cd SMS-Agent ./startup.sh
根据提示输入之前在认证中心获取的AK/SK编码,出现successful时候即表示安装成功。
Windows系统的目的端服务器(内存大小不小于2GB)
目的端服务器的磁盘个数不小于源端服务器磁盘个数
目的端服务器的操作系统类型需要和源端的OS类型保持一致
目的端的系统盘容量要和源端的系统盘容量相同或者要比源端的系统盘容量要大,目的端的系统盘容量如果比源端的系统盘容量小,挂载数据盘此问题不能解决!
依次登录目的端管理控制台-单击“服务列表”,选择“迁移 > 主机迁移服务”-进入主机迁移服务页面,点击设置
依次设置目的端的各项参数
目的端设置完成之后开始进行数据复制服务。
状态为已就绪时,选择开始进行数据复制
复制过程中可以查看复制的进度和复制的详情信息
依次单击“服务列表”,选择“迁移 > 主机迁移服务”,进入“主机迁移服务”页面,单击服务器列表上方的“启动目的端”,然后选择是,当“迁移实时状态”为“已完成”,说明已启动目的端,整个迁移操作已完成。
1.1.3 注意事项
SMS可以采用增量+全量来迁移。
启动目的端后,若源端有新增的数据,单击此服务器所在行的操作列的“开始”,开始下一次复制(增量数据),当迁移状态为“持续同步”时,单击“启动目的端”,迁移实时状态为“已完成”时,说明新增数据已同步到目的端。
如下所示,第一次全量已同步完成,可以在源端数据库中插入多行数据,然后再启动增量同步:
验证数据都是正确的,包括主机上的oracle和docker中的MySql数据库。
1.1.4 Windows迁移
https://support.huaweicloud.com/qs-sms/sms_02_0018.html
Windows Server 2019/Windows Server 2016/Windows Server 2012/Windows 10/Windows 8.1
下载:https://sms-agent-2-0-cn-north-1.obs.cn-north-1.myhuaweicloud.com/SMS-Agent-Py3.exe
1.2 OMS迁移指导
1.2.1 OMS迁移前准备
已获取源端和目的端账号的AK/SK
使用账户登陆云平台后进入个人中心,进入控制台,点击我的凭证—访问秘钥,单击“确定”,生成并下载访问密钥。
已在OBS服务中创建桶,24小时内已创建的迁移任务未满50个,名下处于“等待中”状态的迁移任务未满20个,已经在华为云完成实名认证。
1.2.2 操作步骤
创建源端和目的端的访问密钥(AK/SK)
使用账户登陆云平台后进入个人中心,进入控制台,点击我的凭证—访问秘钥,单击“确定”,生成并下载访问密钥,(源端和目的端的AK/SK访问秘钥都要创建)
登录管理控制台-单击管理控制台左上角的图标,在下拉框中选择区域,单击“服务列表”,选择“迁移 > 对象存储迁移服务”,进入“对象存储迁移服务”页面,单击 “创建迁移任务,勾选同意协议,选择源端和目的端。
创建迁移任务后,在迁移任务列表的右上角,设置条件过滤迁移任务,即可在状态栏中看到各个迁移任务的状态。
1.3 CDM迁移指导
1.3.1 cdm迁移前准备
已获取DWS所在的区域、VPC、子网、安全组。
1.3.2 操作步骤
登录CDM管理控制台>单击“购买云数据迁移服务”>进入创建CDM集群的界面,依次选择区域>可用区>填写集群名称>选择实例的规格配置>选择VPC>选择VPC下的子网>安全组>企业项目,全部参数选择完成后,点击确认,开始创建。
集群创建完成后即可看到集群的各个选项功能
单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,可以选择各个数据连接器的类型。
以redis为例,选择nosql中的redis服务,依次填写redis名称,redis的部署方式,redis的服务器列表即访问redis的ip地址,访问redis的密码,全部填写完成后点击测试选项进行测试,测试成功后点击下一步继续。
在集群管理界面,找到之前创建的集群>单击该CDM集群后的“作业管理”,进入作业管理界面>选择“表/文件迁移 > 新建作业”,配置作业基本信息
配置完成之后点击下一步选择主键
配置作业失败是否重试,作业分组选项,是否定时执行等,然后保存运行。
运行完毕后再操作平台查看状态,运行记录。
1.4 DRS迁移指导
1.4.1 迁移前准备
数据库权限设置:用户迁移时,当源数据库为非阿里云数据库时,帐户需要有mysql.user的SELECT权限,源数据库为阿里云数据库,则帐户需要同时具有mysql.user和mysql.user_view的SELECT权限。
目标数据库帐户需要有mysql库的SELECT,INSERT,UPDATE,DELETE权限。几个重要的迁移约束点
不支持系统库的迁移以及事件状态的迁移。
不支持非Myisam和非InnoDB表的迁移。
源数据库中的库名不能包含:’<`>/\以及非ASCII字符。
源数据库中的库名不允许为ib_logfile
目标端数据库要求
不支持从高版本迁移到低版本
源数据库和目标数据库的参数time_zone需保持一致
源数据库和目标数据库的sql_mode参数值需保持一致
网络要求:如果是其他云上数据库或者IDC数据中心或者本地自建数据库迁移到华为云可以采用的VPN/专线以及公网的方式,走公网迁移的方式不推荐,因为公网传输速度慢,安全性差等,因此建议使用专线或vpn的方式做线下到云端的迁移。
1.4.2 操作步骤
源数据库来源”可以分为“本地自建库”、“本云云数据库”、“本云ECS自建库”或“其他云上数据库”,“目标数据库来源”为“本云云数据库”和“本云ECS自建库”。
以下以华为云数据库到华为云数据库的迁移举例,数据库来源选择本云云数据库,目标端选择本云云数据库,点击下一步
进入源库和目标库的选项后,依次填写创建任务的名称,任务异常自动结束时间(天),迁移实例的信息,数据流动方向>源数据库引擎>目标数据库引擎>网络类型>目标数据库实例>读写设置(只读或读写)>迁移模式(全量或者全量加增量),需要注意若是选择只读则在迁移过程中数据无法写入,目标数据库实例将转化为只读状态,迁移任务结束后才能恢复可读写状态。选择读写,迁移中,目标数据库可以读写。
迁移实例创建完成后,进入到源库信息的配置界面,在此过程中可以看到上一步创建的目标rds的创建过程,目标端迁移实例创建完成后,依次选择源库类型>数据库实例名称>数据库用户密码点击测试连接,然后填入目标端的数据库用户名和密码。
进入迁移设置界面后有流速模式选项,过滤数据库选项,迁移用户选项(迁移用户选项强烈推荐选择,否则在线迁移过程中服务工程中配置的数据库账户可能无法使用从而导致业务中断,或者源数据库迁移到目标数据库后导致所有的用户丢失。),迁移对象选择全部,确认无误后点击进行下一步。
进入系统预检查界面后,drs会自动进行目标库磁盘空间检查、数据库参数检查、目标库实例状态检查、数据库用户权限检查、数据库版本检查、网络情况、等几个重要参数的选项检查,检查通过后继续下一步任务,
进入参数对比选项后,有常规参数和性能参数两个参数类型,常规参数目标数据库和源数据库必须保持一致,性能参数目标数据库值支持自行修改。
确认完毕后开始启动任务,也可以自定义启动时间,然后再后台查看状态。
云数据迁移 CDM 数据复制服务 DRS 数据库
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。