基于时序数据库GaussDB(for Influx)搭建运维监控系统

网友投稿 1134 2022-05-29

实验场景

Telegraf 负责采集设备信息,本实验中主要采集CPU,内存,磁盘空间等信息。

GaussDB(for Influx)用于存储采集的时序数据,并对外提供数据查询服务。

Grafana是数据可视化展示的工具,通过浏览器访问,可以讲数据以图标方式进行展示。可视化效果如图所示。

组件安装部署

时序数据库客户端 Influx-

https://dl.influxdata.com/influxdb/releases/influxdb-1.8.3_windows_amd64.zip

linux系统可以访问:

https://github.com/influxdata/influxdb/releases/tag/v1.8.3

下载对应操作系统的程序文件。

Grafana服务程序

https://dl.grafana.com/oss/release/grafana-7.5.4.windows-amd64.msi

linux系统可以访问:

https://grafana.com/grafana/download?platform=linux

下载对应操作系统的程序文件。

数据采集工具

https://dl.influxdata.com/telegraf/releases/telegraf-1.16.2_windows_amd64.zip

linux系统可以访问(大部分电脑都可以安装amd64 linux):

https://github.com/influxdata/telegraf/releases/tag/v1.18.3

测试数据库连通性

解压

以windows为例,解压 Influxdb-1.8.3_windows_amd64.zip

连接云时序数据库

执行命令

cd #注:尖括号不是命令的一部分 influx.exe -host -port -username -password -ssl -unsafeSsl

ip:数据库服务器的地址

port:数据库服务开放的端口

userName:数据库的用户名

password:数据库用户登录密码

执行成功,结果如下(图中ip地址,用户名和密码不可作为本实验使用):

基本操作

查看数据库

show databases

创建数据库

如果没有数据库 testDB, 则创建数据库 testDB, 如果别人已经创建,则不需要,testDB用于本次实验 create database testDB

使用数据库

use testDB

插入一条数据

insert tab,os="ubuntu16.10",hostname="192.168.1.2:8188" alloc=1967123,frees=65440812

查询一小时前的所有数据

select alloc from tab where time > now() - 1h

参考文档

https://docs.influxdata.com/influxdb/v1.7/

数据采集

解压telegraf,修改telegraf 配置文件telegraf.conf

# Configuration for sending metrics to InfluxDB [[outputs.influxdb]] ## The full HTTP or UDP URL for your InfluxDB instance. ## ## Multiple URLs can be specified for a single cluster, only ONE of the ## urls will be written to each interval. # urls = ["unix:///var/run/influxdb.sock"] # urls = ["udp://127.0.0.1:8089"] ########### 这里设置华为云GaussDB(for Influx)的配置的IP地址 urls=[“https://rwuser:password@IP:8635”] ## The target database for metrics; will be created as needed. ## For UDP url endpoint database needs to be configured on server side. ########### 设置数据库名称(默认telegraf) database = "testDB" ... ... ## HTTP Basic Auth ############ 这里设置GaussDB(for Influx)数据库用户名和密码,实际密码替换password username = "rwuser" password = "password" ## HTTP User-Agent # user_agent = "telegraf" ## UDP payload size is the maximum packet size to send. # udp_payload = "512B" ## Optional TLS Config for use on HTTP connections. # tls_ca = "/etc/telegraf/ca.pem" # tls_cert = "/etc/telegraf/cert.pem" # tls_key = "/etc/telegraf/key.pem" ## Use TLS but skip chain & host verification ############## 这里设置跳过ssl验证 insecure_skip_verify = true

以上配置中,中文注释的部分是必须设置的。GaussDB(for Influx)的用户名默认为rwuser,不可更改。配置时,选择时序数据库ip地址替换urls中的ip,用GaussDB(for Influx)实例的密码替换password,如果密码包含如下特殊字符,需换成 ASIIC 码形式输入。

~ : %7E,! : %21,@ : %40,# : %23,$ : %24

% : %25,^ : %5E,& : %26,* : %2A,? : %3F

例如密码:“Huawei@123”,转换后为 “Huawei%40123”。

启动telegraf

打开CMD,cd 进入telegraf目录

CMD中运行命令启动telegraf开始采集数据。

telegraf --config telegraf.conf

启动Grafana服务

打开CMD,cd 进入Grafana目录

CMD中运行命令启动telegraf开始采集数据。

grafana-server.exe

Grafana数据展示

Grafana是一个跨平台、开源的数据可视化平台。用户配置连接的数据源之后,Grafana可以在网络浏览器里显示数据图表和警告。

服务端启动Grafana后,通过浏览器访问:

## 这里的IP可以是云上服务器的弹性IP,也可以是本地自建服务器的Ip地址。 http://IP:3000 本实验在浏览器中输入 http://localhost:3000

登陆Grafana的首页如下图所示(初始用户名密码都是admin)。

展示数据第一步:创建数据源,点击如下图中的红框位置。

选择InfluxDB,因为GaussDB(For Influx)完全兼容InfluxDB

填写如下参数:

URL **:**https://rwuser:password@IP:8635 。IP为数据库实例的内网ip(参考2.1步骤(1)), 用rwuser密码替换password(参考1.1步骤(6)),如果密码包含如下特殊字符,需换成 ASIIC 码形式输入。

~ : %7E,! : %21,@ : %40,# : %23,$ : %24

% : %25,^ : %5E,& : %26,* : %2A,? : %3F

例如密码:“Huawei@123”,转换后为 “Huawei%40123”。

Auth:打开选项Basic auth 和skip TSL Verify。

Basic Auth Details:

User:rwuser

基于时序数据库GaussDB(for Influx)搭建运维监控系统

Password:密码,如“nJa#w7f3”。

InfluxDB Details:

Database:testDB(本实验使用testDB,也可以填写其他自己创建的数据库)。

User:rwuser

Password:密码,如“nJa#w7f3”。

点击“保存”(save)。

数据展示第二步:创建数据看板

点击首页DASHBOARDS创建看板,或者侧边“+”快捷按钮。

重点配置项(详细参见截图红框部分):

Visualization:Graph

展示时间范围:last 1 hour

数据更新时间间隔:1m

数据源名称:InfluxDB-DataSource

查询语句配置如下(以展示服务器CPU利用率为例,从时序数据库的表cpu中查询usage_user,按1m的分组时间间隔求平均值,时间线是cpu=cpu-total):

FROM autogen cpu Where cpu = cpu-total SELECT field (usage_user) mean () GROUP BY time (1m) fill (0)

面板中的每个图都是可以编辑的,也可以设置告警。

总结

随着云计算和物联网的发展,数据规模急剧增加,监控系统的核心在于时序数据库,一个高可用、高性能、企业级的时序数据库对监控系统的稳定起决定性作用。

GaussDB(for Influx)是一个云原生存储与计算分离架构的时序数据库,支持亿级时间线,具备高可靠、高性能,非常适合DevOps场景下的海量时间线数据的存储,是监控系统最佳的选择。

数据仓库服务 GaussDB(DWS) 数据库 运维

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:IDEA 公司再发新神器!超越 VS Code 骚操作
下一篇:程序员该用哪种姿势来理财
相关文章