探索BI系统搭建的必要性与AI技术的应用潜力
633
2022-05-28
调用CES API查看dws监控指导
首先要获取用户的token,详细创建步骤如下:
1 获取IAM用户Token(使用密码)
该接口可以用于通过用户名/密码的方式进行认证来获取IAM用户Token。
Token是系统颁发给IAM用户的访问令牌,承载用户的身份、权限等信息。调用IAM以及其他云服务的接口时,可以使用本接口获取的IAM用户token进行鉴权。
POST /v3/auth/tokens
参数
是否必选
参数类型
描述
domain
是
Object
IAM用户所属账号信息。
name
是
String
IAM用户名。
password
是
String
IAM用户的登录密码。
在节点的运维容器中执行。
curl -i -H 'Connection:keep-alive' -H 'Content-Type:application/json;charset=UTF-8' -H 'Accept:application/json'-d '{
"auth": {
"identity": {
"methods": [
"password"
],
"password": {
"user": {
"domain": {
"name": "IAMDomain"
},
"name": "IAMUser",
"password": "IAMPassword"
}
}
},
"scope": {
"project": {
"name": "cn-north-1(regionName)"
}
}
}
}' -k https://{iam域名}:31943/v3/auth/tokens
2 获取IAM用户Token(使用AK、SK。天翼云目前租户侧不支持通过密码的方式获取token,只能使用这种方式)
该接口可以用于通过用AK SK的方式进行认证来获取IAM用户Token。
Token是系统颁发给IAM用户的访问令牌,承载用户的身份、权限等信息。调用IAM以及其他云服务的接口时,可以使用本接口获取的IAM用户token进行鉴权。
POST /v3/auth/tokens
参数
是否必选
参数类型
描述
access
是
String
IAM用户AK。(console的身份凭证中可以查询到)
secret
是
String
IAM用户SK。(创建ak时会生成对应的sk)
在节点的运维容器中执行。
curl -i -X POST -H 'Connection:keep-alive' -H 'Content-Type:application/json;charset=UTF-8' -H 'Accept:application/json' -d '{
"auth": {
"identity": {
"methods": ["hw_ak_sk"],
"hw_ak_sk": {
"access": {
"key": ""
},
"secret": {
"key": ""
}
}
},
"scope": {
"project": {
"name": "cn-north-1(regionName)"
}
}
}
}' -k https://{iam域名}:31943/v3/auth/tokens
3 查询CES dws的监控数据
查询指定时间范围指定指标的指定粒度的监控数据,可以通过参数指定需要查询的数据维度。
GET /V1.0/{project_id}/metric-data?namespace={namespace}&metric_name={metric_name}&dim.{i}=key,value&from={from}&to={to}&period={period}&filter={filter}
名称
是否必选
参数类型
说明
project_id
是
String
· 项目ID
namespace
是
String
默认:SYS.DWS
metric_name
是
String
指标名称,可通过3.4集群监控指标获取已有的告警规则的指标名。
from
是
String
查询数据起始时间,UNIX时间戳,单位毫秒。建议from的值相对于当前时间向前偏移至少1个周期。由于聚合运算的过程是将一个聚合周期范围内的数据点聚合到周期起始边界上,如果将from和to的范围设置在聚合周期内,会因为聚合未完成而造成查询数据为空,所以建议from参数相对于当前时间向前偏移至少1个周期。以5分钟聚合周期为例:假设当前时间点为10:35,10:30~10:35之间的原始数据会被聚合到10:30这个点上,所以查询5分钟数据点时from参数应为10:30或之前。
说明:
云监控会根据所选择的聚合粒度向前取整from参数。
to
是
String
查询数据截止时间UNIX时间戳,单位毫秒。from必须小于to。
period
是
Integer
监控数据粒度。
取值范围:
· 1,实时数据
· 300,5分钟粒度
· 1200,20分钟粒度
· 3600,1小时粒度
· 14400,4小时粒度
· 86400,1天粒度
filter
是
String
数据聚合方式,支持的聚合方式如下:
· average:聚合周期内指标数据的平均值。
· max:聚合周期内指标数据的最大值。
· min:聚合周期内指标数据的最小值。
· sum:聚合周期内指标数据的求和值。
· variance:聚合周期内指标数据的方差。
说明:
聚合运算的过程是将一个聚合周期范围内的数据点根据相应的聚合算法聚合到周期起始边界上,以5分钟聚合周期为例:假设当前时间点为10:35,则10:30~10:35之间的原始数据会被聚合到10:30这个时间点。
dim
是
String
指标的维度,目前最大支持3个维度,维度编号从0开始;维度格式为dim.{i}=key,value,key的最大长度32,value的最大长度为256。
以下维度说明仅为实例。
单维度:dim.0=datastore_id,i-12345
多维度:dim.0=datastore_id,i-12345&dim.1=dws_instance_id,i-1234
样例:
curl -i -X GET -H 'Connection:keep-alive' -H 'Content-Type:application/json;charset=UTF-8' -H 'Accept:application/json' -H "X-Auth-Token:{步骤1或2获取的token}" -k 'https://{CES公网域名}/V1.0/{project_id}/metric-data?namespace=SYS.DWS&metric_name=dws015_disk_usage&dim.0=dws_instance_id,4ee28efd-3923-4965-b3d8-3786999438d6&from=1618192342747&to=1618195942747&period=1&filter=average'
响应参数
指标数据列表。详细参数请参见下表。
由于查询数据时,云监控会根据所选择的聚合粒度向前取整from参数,所以datapoints中包含的数据点有可能会多于预期
{
"datapoints": [
{
"average": 0.07,
"timestamp": 1442341200000,
"unit": "Ratio"
}
],
"metric_name": "dws015_disk_usage"
}
通过云监控提供的数据仓库服务相关监控指标,用户可以获取有关集群运行状况和性能的信息,并深入了解节点级别的对应信息。
数据仓库服务相关监控指标。
指标ID
指标名称
含义
取值范围
测量对象&维度
监控周期(原始指标)
dws001_shared_buffer_hit_ratio
缓存命中率
该指标用于表示需要访问的数据,在内存中可以直接获取的数据量比例,以百分比为单位。
0%~100%
测量对象:数据仓库集群
测量维度:datastore_id
4分钟
dws002_in_memory_sort_ratio
内存中排序比率
该指标用于表示在数据进行排序时,可以直接在内存中排序的数据量比例,以百分比为单位。
0%~100%
测量对象:数据仓库集群
测量维度:datastore_id
4分钟
dws003_physical_reads
文件读取次数
该指标用于表示读取数据库文件的累计次数。
> 0
测量对象:数据仓库集群
测量维度:datastore_id
4分钟
dws004_physical_writes
文件写入次数
该指标用于表示写入数据库文件的累计次数。
> 0
测量对象:数据仓库集群
测量维度:datastore_id
4分钟
dws005_physical_reads_per_second
每秒文件读取次数
该指标用于表示每秒读取数据库文件的次数。
≥ 0
测量对象:数据仓库集群
测量维度:datastore_id
4分钟
dws006_physical_writes_per_second
每秒文件写入次数
该指标用于表示每秒写入数据库文件的次数。
≥ 0
测量对象:数据仓库集群
测量维度:datastore_id
4分钟
dws007_db_size
数据量大小
该指标用于表示数据库中所有数据总量大小。
单位:兆字节(MB)
0MB~36000MB
测量对象:数据仓库集群
测量维度:datastore_id
4分钟
dws008_active_sql_count
活跃SQL数
该指标用于表示数据库当前活动的SQL个数。
≥ 0
测量对象:数据仓库集群
测量维度:datastore_id
4分钟
dws009_session_count
会话数
该指标用于表示数据库当前访问的连接个数。
≥ 0
测量对象:数据仓库集群
测量维度:datastore_id
4分钟
dws010_cpu_usage
CPU使用率
该指标用于统计每个集群节点的CPU使用率,以百分比为单位。
0%~100%
测量对象:数据仓库节点
测量维度:dws_instance_id
1分钟
dws011_mem_usage
内存使用率
该指标用于统计每个集群节点的内存使用率,以百分比为单位。
0%~100%
测量对象:数据仓库节点
测量维度:dws_instance_id
1分钟
dws012_iops
IOPS
该指标用于统计每个集群节点每秒处理的I/O请求数量。
≥ 0
测量对象:数据仓库节点
测量维度:dws_instance_id
1分钟
dws013_bytes_in
网络输入吞吐量
该指标用于统计每秒从网络输入每个集群节点的数据总量。
单位:字节/秒
≥ 0字节/秒
测量对象:数据仓库节点
测量维度:dws_instance_id
1分钟
dws014_bytes_out
网络输出吞吐量
该指标用于统计从每个节点每秒发送到网络的数据总量。
单位:字节/秒
≥ 0字节/秒
测量对象:数据仓库节点
测量维度:dws_instance_id
1分钟
dws015_disk_usage
磁盘利用率
该指标用于统计每个集群节点的磁盘使用情况,以百分比为单位。
0%~100%
测量对象:数据仓库节点
测量维度:dws_instance_id
1分钟
dws016_disk_total_size
磁盘总大小
该指标用于统计每个集群节点的数据磁盘总大小。
单位:吉字节(GB)
100GB~2000GB
测量对象:数据仓库节点
测量维度:dws_instance_id
1分钟
dws017_disk_used_size
磁盘使用量
该指标用于统计每个集群节点的数据磁盘已用大小。
单位:吉字节(GB)
0GB~3600GB
测量对象:数据仓库节点
测量维度:dws_instance_id
1分钟
dws018_disk_read_throughput
磁盘读吞吐量
该指标用于统计集群节点数据磁盘每秒读取的数据量。
单位:字节/秒
≥ 0字节/秒
测量对象:数据仓库节点
测量维度:dws_instance_id
1分钟
dws019_disk_write_throughput
磁盘写吞吐量
该指标用于统计集群节点数据磁盘每秒写入的数据量。
单位:字节/秒
≥ 0字节/秒
测量对象:数据仓库节点
测量维度:dws_instance_id
1分钟
dws020_avg_disk_sec_per_read
磁盘读耗时
该指标用于统计集群节点数据磁盘每次读取数据的平均耗时。
单位:秒
> 0秒
测量对象:数据仓库节点
测量维度:dws_instance_id
1分钟
dws021_avg_disk_sec_per_write
磁盘写耗时
该指标用于统计集群节点数据磁盘每次写入数据的平均耗时。
单位:秒
> 0秒
测量对象:数据仓库节点
测量维度:dws_instance_id
1分钟
dws022_avg_disk_queue_length
磁盘平均队列长度
该指标用于统计每个集群节点数据磁盘平均的I/O队列长度。
≥ 0
测量对象:数据仓库节点
测量维度:dws_instance_id
1分钟
维度
Key
Value
datastore_id
数据仓库集群ID
dws_instance_id
数据仓库节点ID
EI企业智能 Gauss AP 数据仓库服务 GaussDB(DWS)
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。