GaussDB(DWS) GDS导入容错详解(gaussdbdws8.1客户端安装步骤)
1322
2022-05-30
集群扩容
当数据库在运行性能和存储上到达瓶颈时,就需要通过增加主机来提升集群的性能及存储能力,此时,原集群需要进行扩容。
如图所示,集群扩容流程包含了四个步骤:
1. 节点预处理:确保扩容的节点符合当前环境部署要求。
2. 添加主机:将主机和实例添加到指定物理集群。
3. 数据重分布:将物理集群原有数据重分布到新扩容节点中。
4. 扩容验证:扩容结束后,验证新加主机及新增服务是否正常。
其中,添加主机与数据重分布为两个核心步骤,也是耗时最长的步骤,接下来,主要介绍添加主机和重分布的步骤。
添加主机
添加主机的核心点就是让新增节点上的GaussDB实例和老集群上的实例具有相同的元数据信息,此部分内容涵盖技术点较多,将在以后章节中单独介绍。下面介绍一下添加主机过程中的gs_expand运维工具的使用方法:
修改集群部署配置文件(cluster.xml)
在集群部署配置文件中添加新增主机的信息:
注意事项:
a) 原有的主备关系不能破坏;
b) 新增节点上不能包含主备GTM和主备CM Server;
c) 新增点上的DN自行成环;
执行前置脚本
执行前置脚本gs_preinstall, 在任意一台旧集群机器的安装目录下,以root用户执行:
gs_preinstall -U perfadm -G users -X /opt/cluster.xml --alarm-type=1 --sep-env-file=/opt/temp/env
其中: -U:表示用户名;
-G:表示用户群组;
-X:表示配置文件的地址;
--alarm-type:表示告警类型:
a) 1表示使用FusionInsight的告警管理工具管理告警;
b) 2表示告警将写入syslog日志,不发送恢复告警;
c) 3表示预留给OLTP的接口。
执行添加主机
在集群用户perfadm下执行:
gs_expand -t dilatation -X /opt/cluster.xml --dilatation-mode=insert
其中:-t dilatation:表示添加主机;
-X:表示配置文件的地址;
--dilatation-mode=insert:insert表示在线模式,read-only表示离线模式。
至此,添加主机的步骤已经完成。
数据重分布
通常情况下,集群老节点上的数据量基本趋于饱和,只有将数据平均的搬迁到新节点上,才能降低老节点的负载,这就是数据重分布需要达到的目标。
在集群用户perfadm下执行:
gs_expand -t redistribute --fast-redis --parallel-jobs=4 --redis-mode=insert
其中:-t redistribute :表示数据重分布;
--fast-redis:表示快速重分布模式;
--parallel-jobs=4:表示数据重分布的并发度为4;
--redis-mode=insert:insert表示在线模式,read-only表示离线模式。
在线重分布
在线扩容添加节点过程中会阻塞用户的DDL语句,但和离线扩容相比,阻塞时间较短,不阻塞用户数据的查询、插入、更新、删除语句,对用户业务影响小。
在线数据重分布过程中,对正在重分布的数据表,除少量场景有规格限制外,能保证大多数场景业务正常运行。
在线重分布期间的规格限制:
支持新建table、schema、tablespace、view、游标、存储等;
对于正在重分布的表,支持insert、select、update、delete、merge into、drop、copy、gds、truncate、truncate partition等操作;
对正在重分布的表,不支持绝大部分ALTER TABLE操作,包括修改表名、修改schema、新增或删除字段、删除分区、修改默认值等操作,但ALTER TABLE ... TRUNCATE PARTITION除外;
支持从jdbc、odbc、DS、gsql、LVS等客户端下发作业;
支持审计功能;
对于超过996列的宽表,该表重分布期间,仅支持insert和select操作,不支持delete、update操作;
不支持创建、删除、重命名database;
不支持创建、删除、重命名表空间;
不支持对正在重分布的表执行vacuum full和cluster命令,实际上,表完成重分布后也相当于完成了一次vacuum full操作;
data_redis是重分布预留的schema,用户应该避免创建同名的schema, 如果存在会导致重分布失败;
CN剔除和DN节点故障期间,集群状态为degraded,不支持在线重分布;
备份恢复期间,不支持与在线重分布同时使用;
增删cn期间,不支持与在线重分布同时使用;
用户业务对在线重分布的影响:
用户对重分布的表执行频繁的DDL和DML操作并且时间比较长时,会影响重分布时间,导致重分布作业处于pending中;
用户作业在事务中长时间对表加锁,会长时间阻塞对该表进行重分布,甚至导致该表重分布失败,并反复重试;
用户作业对正在重分布的表有大量的数据更新或删除时,会导致重分布多次追增时间较长,增加重分布时间;
用户作业如果有truncate或truncate partition操作,会中断重分布作业,重分布作业需要重入;
离线重分布
离线扩容采用read-only方式执行扩容重分布,在扩容加节点过程中,不建议执行用户业务,如果执行业务,会导致DDL相关语句报错。对于有大的数据库集群,扩容加节点执行时间很长,会导致用户业务被长时间阻塞。在扩容重分布阶段,仅允许用户执行查询操作,由于离线重分布会对重分布表加共享锁,用户插入、更新、删除数据都会被阻塞。由于大表的重分布时间很长,有可能几十分钟或一两个小时,被阻塞的用户作业会等锁超时而中断执行。
重分布进度查询
重分布过程中会创建以下几张表或视图,包括redis_progress视图、redis_progress_detail表、pgxc_redistb表、redis_status表和redis_config表。
它们各自的作用如下,管理员通过对应的视图或表可以查看重分布的进度。
管理员可以通过redis_progress视图查看重分布总体进度。
redis_progress_detail表记录了数据库中每张表重分布所耗时间。
pgxc_redistb表会在每个数据库中创建,记录了对应数据库中需要重分布的表。
redis_status表记录了重分布目前所处状态。
redis_config表记录了重分布的参数,可以直接通过修改数据库中的redis_config表来动态调整配置参数。
Gauss AP EI企业智能 数据仓库服务 GaussDB(DWS)
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。