ELK-Stack部署指南-伙伴云

网友投稿 783 2022-05-29

参考文章

elastic官网：https://www.elastic.co

Elasticsearch中文社区：http://elasticsearch.cn/

部署安装filebeat：https://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-14-04

Topbeat：https://www.digitalocean.com/community/tutorials/how-to-gather-infrastructure-metrics-with-topbeat-and-elk-on-ubuntu-14-04

Packetbeat：https://www.digitalocean.com/community/tutorials/how-to-gather-infrastructure-metrics-with-packetbeat-and-elk-on-ubuntu-16-04

最佳实践：http://udn.yyuap.com/doc/logstash-best-practice-cn/output/elasticsearch.html

架构设计

日志转发收集软件：

Filebeat: 将syslog等日志发送到Logstash的客户端服务器上，作为日志传送代理，利用lumberjack 工具网络协议与Logstash进行通信。

Topbeat: 将CPU，内存，进程活动和系统负载等服务器数据发送到Logstash实例。当与ELK堆栈（Elasticsearch，Logstash和Kibana）一起使用时，Topbeat可以用作其他系统度量可视化工具（如Prometheus或Statsd）的替代选项。

Packetbeat: 可以运行在应用服务器上或者独自的服务器。当运行在独自服务器上时，需要从交换机的镜像端口或者窃听设备上获取网络流量。

应用程序等产生的日志直接推送至日志服务器中，经过logstash的处理最终推送至elasticsearch中，在kibana上进行展示，并通过Nginx限制用户访问。可以在logstash的Filter上定制解析规则和报警规则，定时将不可读日志文件解析为可读的json文件进行处理，当日志有严重的错误时可通过logstash的Output定制邮件模板进行报警。

安全问题：所有服务尽可能只对内网ip暴露(通过防火墙实现)，减少对外暴露的服务，并且以低权限账户运行。跨节点的服务(如filebeat，topbeat，packetbeat等)连接一律采用SSL双向认证的方案，提高安全性。

准备环境

日志收集服务器端如下，并准备将要收集日志的其他服务器。

操作系统：Ubuntu 14.04

RAM：4GB

CPU：2

安装java8

将Oracle Java PPA添加到apt中：

sudo add-apt-repository -y ppa:webupd8team/java

更新apt包数据库：

sudo apt-get update

使用此命令安装最新的稳定版本的Oracle Java 8（并接受弹出的许可协议）：

sudo apt-get -y install oracle-java8-installer

现在安装了Java 8，我们来安装ElasticSearch。

安装Elasticsearch

Elasticsearch可以通过添加Elastic的包源列表与包管理器一起安装。

运行以下命令将Elasticsearch公共GPG密钥导入到apt中：

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

创建Elasticsearch源列表：

echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list

更新apt包数据库：

sudo apt-get update

使用此命令安装Elasticsearch：

sudo apt-get -y install elasticsearch

Elasticsearch现已安装。我们来编辑配置：

sudo vi /etc/elasticsearch/elasticsearch.yml

您将要限制对Elasticsearch实例（端口9200）的外部访问，因此外部人员无法通过HTTP API读取数据或关闭Elasticsearch集群。找到指定network.host，取消注释它并将其值替换为“localhost”的行，如下所示：

elasticsearch.yml摘录（更新）

network.host: localhost

保存并退出elasticsearch.yml。

现在启动elasticsearch：

sudo service elasticsearch restart

然后在启动时运行以下命令启动Elasticsearch：

sudo update-rc.d elasticsearch defaults 95 10

现在Elasticsearch正在运行，我们来安装Kibana。

安装Kibana

Kibana可以通过添加Elastic的包源列表来安装包管理器。

创建Kibana源列表：

echo "deb http://packages.elastic.co/kibana/4.4/debian stable main" | sudo tee -a /etc/apt/sources.list.d/kibana-4.4.x.list

更新apt包数据库：

sudo apt-get update

使用此命令安装Kibana：

sudo apt-get -y install kibana

Kibana现已安装，打开Kibana配置文件以进行编辑：

sudo vi /opt/kibana/config/kibana.yml

在Kibana配置文件中，找到指定server.host并将IP地址（默认为“0.0.0.0”）替换为“localhost”的行：

kibana.yml摘录（更新）

server.host: "localhost"

保存并退出。这个设置使得Kibana只能由本地主机访问。我们将使用Nginx反向代理来允许外部访问。

现在启用Kibana服务，并启动它：

sudo update-rc.d kibana defaults 96 9

sudo service kibana start

在使用Kibana Web界面之前，我们必须设置一个反向代理。现在，我们来做Nginx。

安装Nginx

因为我们配置了Kibana来监听localhost，所以我们必须设置一个反向代理来允许外部访问它。为此，我们将使用Nginx。

注意：如果您已经有要使用的Nginx实例，请随意使用。只要确保配置Kibana所以它是由你的Nginx服务器可达（你可能要更改的host值，在/opt/kibana/config/kibana.yml，你Kibana服务器的专用IP地址或主机名）。另外，建议您启用SSL / TLS。

使用apt来安装Nginx和Apache2-utils：

sudo apt-get install nginx apache2-utils

使用htpasswd创建一个名为“kibanaadmin”的管理员用户（您应该使用其他名称），可以访问Kibana Web界面：

sudo htpasswd -c /etc/nginx/htpasswd.users kibanaadmin

在提示符下输入密码。记住这个登录，你将需要它来访问Kibana Web界面。

现在打开您喜欢的编辑器中的Nginx默认服务器块。我们将使用vi：

sudo vi /etc/nginx/sites-available/default

删除文件的内容，并将以下代码块粘贴到文件中。请务必更新server_name以符合您服务器的名称：

/ etc / nginx / sites-available / default

server {

listen 80;

server_name example.com;

auth_basic "Restricted Access";

auth_basic_user_file /etc/nginx/htpasswd.users;

location / {

proxy_pass http://localhost:5601;

proxy_http_version 1.1;

proxy_set_header Upgrade $http_upgrade;

proxy_set_header Connection 'upgrade';

proxy_set_header Host $host;

proxy_cache_bypass $http_upgrade;

}

保存并退出。这将Nginx配置为将您的服务器的HTTP流量指向正在侦听的Kibana应用程序localhost:5601。此外，Nginx将使用htpasswd.users我们之前创建的文件，并需要基本身份验证。

现在重新启动Nginx，使我们的更改生效：

sudo service nginx restart

Kibana现在可通过您的FQDN或ELK服务器的公共IP地址访问，即http：// elk \ _server \ _public \ _ip /。如果您在网络浏览器中进入“kibanaadmin”凭据，您应该会看到一个Kibana欢迎页面，它将要求您配置索引模式。我们稍后再回到安装所有其他组件之后。

安装Logstash

Logstash软件包可以从与Elasticsearch相同的存储库中获得，我们已经安装了该公钥，因此我们来创建Logstash源代码列表：

echo 'deb http://packages.elastic.co/logstash/2.2/debian stable main' | sudo tee /etc/apt/sources.list.d/logstash-2.2.x.list

更新apt包数据库：

sudo apt-get update

使用此命令安装Logstash：

sudo apt-get install logstash

已安装Logstash，但尚未配置。

生成SSL证书

由于我们将使用Filebeat将客户端服务器中的日志发送到我们的ELK服务器，因此我们需要创建SSL证书和密钥对。Filebeat使用证书来验证ELK Server的身份。创建使用以下命令存储证书和私钥的目录：

sudo mkdir -p /etc/pki/tls/certs

sudo mkdir /etc/pki/tls/private

现在您有两个生成SSL证书的选项。如果您有DNS设置，将允许您的客户端服务器解析ELK服务器的IP地址，请使用选项2。否则，选项1将允许您使用IP地址。

选项1：IP地址

如果您没有DNS设置，将允许您收集日志的服务器来解析您的ELK服务器的IP地址，则必须将ELK Server的私有IP地址添加到subjectAltName（SAN）字段我们即将生成的SSL证书。为此，请打开OpenSSL配置文件：

sudo vi /etc/ssl/openssl.cnf

查找[ v3_ca ]文件中的部分，并在其下添加此行（用ELK Server的私有IP地址替换）：

openssl.cnf摘录（更新）

subjectAltName = IP: ELK_server_private_IP

保存并退出。

现在使用以下命令在适当的位置（/ etc / pki / tls /）生成SSL证书和私钥：

cd /etc/pki/tls

sudo openssl req -config /etc/ssl/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

该logstash-forwarder.crt文件将被复制到所有将日志发送到Logstash服务器，但我们会做到这一点稍晚。我们来完成我们的Logstash配置。如果您使用此选项，请跳过选项2并继续进行配置Logstash。

选项2：FQDN（DNS）

如果您使用专有网络进行DNS设置，则应创建一个包含ELK Server专用IP地址的A记录，该域名将在下一个命令中使用，以生成SSL证书。或者，您可以使用指向服务器的公共IP地址的记录。只需确保您的服务器（您将要收集的服务器记录的）将能够将域名解析到您的ELK服务器。

现在，使用以下命令（在ELK服务器的FQDN中替换），在适当的位置（/ etc / pki / tls / ...）中生成SSL证书和私钥：

cd /etc/pki/tls; sudo openssl req -subj '/CN=ELK_server_fqdn/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

该logstash-forwarder.crt文件将被复制到所有将日志发送到Logstash服务器，但我们会做到这一点稍晚。我们来完成我们的Logstash配置。

配置Logstash

Logstash配置文件采用JSON格式，驻留在/etc/logstash/conf.d中。配置由三部分组成：输入，滤波和输出。

我们来创建一个配置文件，02-beats-input.conf并设置我们的“filebeat”输入：

sudo vi /etc/logstash/conf.d/02-beats-input.conf

插入以下输入配置：

02-beats-input.conf

input {

beats {

port => 5044

ssl => true

ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"

ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"

}

保存并退出。这指定了一个beats在tcp端口上侦听的输入，它将5044使用我们之前创建的SSL证书和私钥。

现在我们创建一个调用的配置文件10-syslog-filter.conf，在这里我们将添加一个syslog消息的过滤器：

sudo vi /etc/logstash/conf.d/10-syslog-filter.conf

插入以下syslog 过滤器配置：

10-syslog-filter.conf

filter {

if [type] == "syslog" {

grok {

match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }

add_field => [ "received_at", "%{@timestamp}" ]

add_field => [ "received_from", "%{host}" ]

}

syslog_pri { }

date {

match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]

}

保存并退出。此过滤器查找标记为“syslog”类型（由Filebeat）类型的日志，它将尝试grok用于解析传入的syslog日志，使其结构化和查询。

最后，我们将创建一个名为30-elasticsearch-output.conf：

sudo vi /etc/logstash/conf.d/30-elasticsearch-output.conf

插入以下输出配置：

/etc/logstash/conf.d/30-elasticsearch-output.conf

output {

elasticsearch {

hosts => ["localhost:9200"]

sniffing => true

manage_template => false

index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"

document_type => "%{[@metadata][type]}"

}

保存并退出。此输出基本上配置Logstash，以将所有节拍数据存储在运行于localhost:9200所使用节拍命名的索引（在我们的例子中为filebeat）的Elasticsearch中。

如果要为使用Filebeat输入的其他应用程序添加过滤器，请务必命名文件，以便它们在输入和输出配置之间进行排序（即在02和30之间）。

使用以下命令测试您的Logstash配置：

sudo service logstash configtest

Configuration OK如果没有语法错误，它应该显示。否则，尝试读取错误输出以查看您的Logstash配置有什么问题。

重新启动Logstash并启用它，使配置更改生效：

sudo service logstash restart

sudo update-rc.d logstash defaults 96 9

接下来，我们将加载示例Kibana仪表板。

加载Kibana仪表板

Elastic提供了几个示例Kibana仪表板和Beats索引模式，可以帮助您开始使用Kibana。虽然我们不会在本教程中使用仪表板，但是我们将加载它们，因此我们可以使用它包含的Filebeat索引模式。

首先，将示例仪表盘存档下载到您的主目录：

cd ~

curl -L -O https://download.elastic.co/beats/dashboards/beats-dashboards-1.1.0.zip

unzip使用以下命令安装软件包：

sudo apt-get -y install unzip

接下来，提取存档的内容：

unzip beats-dashboards-*.zip

并使用以下命令将示例仪表板，可视化和Beats索引模式加载到Elasticsearch中：

cd beats-dashboards-*

./load.sh

这些是我们刚加载的索引模式：

[packetbeat-] YYYY.MM.DD

[topbeat-] YYYY.MM.DD

[filebeat-] YYYY.MM.DD

[winlogbeat-] YYYY.MM.DD

当我们开始使用Kibana时，我们将选择Filebeat索引模式作为默认值。

在Elasticsearch中加载文件搜索索引模板

因为我们计划使用Filebeat将日志发送到Elasticsearch，所以我们应该加载一个Filebeat索引模板。索引模板将配置Elasticsearch，以智能方式分析传入的Filebeat字段。

首先，将Filebeat索引模板下载到您的主目录：

cd ~

curl -O https://gist.githubusercontent.com/thisismitch/3429023e8438cc25b86c/raw/d8c479e2a1adcea8b1fe86570e42abab0f10f364/filebeat-index-template.json

然后使用以下命令加载模板：

curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@filebeat-index-template.json

如果模板正确加载，您应该会看到如下消息：

Output:

{

"acknowledged" : true

}

现在我们的ELK服务器已准备好接收Filebeat数据了，我们继续在每个客户端服务器上设置Filebeat。

设置Filebeat（添加客户端服务器）

复制SSL证书

在您的ELK服务器上，将先决条件教程中创建的SSL证书复制到客户端服务器（替换客户端服务器的地址和您自己的登录名）：

scp /etc/pki/tls/certs/logstash-forwarder.crt user@client_server_private_address:/tmp

提供登录凭据后，请确保证书副本成功。客户端服务器和ELK服务器之间的通信是必需的。

现在，在您的客户端服务器上，将ELK服务器的SSL证书复制到相应的位置（/ etc / pki / tls / certs）：

sudo mkdir -p /etc/pki/tls/certs

ELK-Stack部署指南

sudo cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/

现在我们将安装Topbeat软件包。

安装Filebeat包

在客户端服务器上，创建Beats源列表：

echo "deb https://packages.elastic.co/beats/apt stable main" | sudo tee -a /etc/apt/sources.list.d/beats.list

它还使用与Elasticsearch相同的GPG密钥，可以使用以下命令安装：

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

然后安装Filebeat包：

sudo apt-get update

sudo apt-get install filebeat

已安装Filebeat，但尚未配置。

配置文件

现在我们将配置Filebeat以连接到我们的ELK服务器上的Logstash。本节将引导您修改Filebeat附带的示例配置文件。当你完成这些步骤，你应该有一个看起来像一个文件这样。

在客户端服务器上，创建并编辑Filebeat配置文件：

sudo vi /etc/filebeat/filebeat.yml

注意： Filebeat的配置文件采用YAML格式，这意味着缩进非常重要！请务必使用与这些说明相同数量的空格。

在文件顶部附近，您将看到该prospectors部分，您可以在哪里定义探矿者，指定哪些日志文件应该发货，以及应如何处理。每个探矿者由-字符指示。

我们将修改现有探矿派syslog和auth.log以Logstash。在下面paths，注释掉该- /var/log/*.log文件。这将阻止Filebeat将该目录中的每一个都发送.log到Logstash。然后添加新条目syslog和auth.log。完成后应该看起来像这样：

filebeat.yml摘录1的5

...

paths:

- /var/log/auth.log

- /var/log/syslog

# - /var/log/*.log

...

然后找到指定document_type:，取消注释它并将其值更改为“syslog”的行。修改后应该看起来像这样：

filebeat.yml摘录2的5

...

document_type: syslog

...

这指定此探测器中的日志类型为syslog（它是Logstash筛选器所查找的类型）。

如果要将其他文件发送到ELK服务器，或对Filebeat如何处理日志进行任何更改，请随时修改或添加探测器条目。

接下来，在该output部分下，找到所说的行，它表示elasticsearch:弹性搜索输出部分（我们不会使用）。删除或注释掉整个Elasticsearch输出部分（直到所说的行#logstash:）。

找到注释掉的Logstash输出部分，由说明的行#logstash:指示，并通过删除前面的内容取消注释#。在本节中，取消注释hosts: ["localhost:5044"]行。更改localhost为您的ELK服务器的私有IP地址（或主机名，如果您使用该选项）：

filebeat.yml摘录3 of 5

### Logstash as output

logstash:

# The Logstash hosts

hosts: ["ELK_server_private_IP:5044"]

这将配置Filebeat以连接到您的ELK服务器上的Logstash端口5044（我们为之前指定的Logstash输入的端口）。

直接在hosts条目下，并且用相同的缩进，添加以下行：

filebeat.yml摘录4/5

bulk_max_size: 1024

接下来，找到该tls部分，并取消注释。然后取消注释指定的行certificate_authorities，并将其值更改为["/etc/pki/tls/certs/logstash-forwarder.crt"]。它应该看起来像这样：

filebeat.yml摘录5的5

...

tls:

# List of root certificates for HTTPS server verifications

certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

这将配置Filebeat以使用我们在ELK服务器上创建的SSL证书。

保存并退出。

现在重新启动Filebeat以使我们的更改到位：

sudo service filebeat restart

sudo update-rc.d filebeat defaults 95 10

现在Filebeat被发送syslog，并auth.log以您的ELK服务器上Logstash！对于您希望收集日志的所有其他服务器重复此部分。

测试Filebeat安装

如果您的ELK堆栈正确设置，Filebeat（在您的客户端服务器上）应该将您的日志发送到ELK服务器上的Logstash。Logstash应该将Filebeat数据加载到Elasticsearch的日期戳索引中filebeat-YYYY.MM.DD。

在您的ELK服务器上，验证Elasticsearch确实通过使用以下命令查询Filebeat索引来接收数据：

curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'

你应该看到一堆如下的输出：

Sample Output:

...

{

"_index" : "filebeat-2016.01.29",

"_type" : "log",

"_id" : "AVKO98yuaHvsHQLa53HE",

"_score" : 1.0,

"_source":{"message":"Feb 3 14:34:00 rails sshd[963]: Server listening on :: port 22.","@version":"1","@timestamp":"2016-01-29T19:59:09.145Z","beat":{"hostname":"topbeat-u-03","name":"topbeat-u-03"},"count":1,"fields":null,"input_type":"log","offset":70,"source":"/var/log/auth.log","type":"log","host":"topbeat-u-03"}

}

...

如果您的输出显示0次总匹配，Elasticsearch不会在您搜索的索引下加载任何日志，您应该检查您的设置是否有错误。

设置Topbeat（添加客户端服务器）

复制SSL证书

在您的ELK服务器上，将先决条件教程中创建的SSL证书复制到客户端服务器（替换客户端服务器的地址和您自己的登录名）：

scp /etc/pki/tls/certs/logstash-forwarder.crt user@client_server_private_address:/tmp

提供登录凭据后，请确保证书副本成功。客户端服务器和ELK服务器之间的通信是必需的。

现在，在您的客户端服务器上，将ELK服务器的SSL证书复制到相应的位置（/ etc / pki / tls / certs）：

sudo mkdir -p /etc/pki/tls/certs

sudo cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/

现在我们将安装Topbeat软件包。

安装Topbeat包

在客户端服务器上，确保Beats源列表存在。打开/etc/apt/sources.list.d/beats.list编辑：

sudo vi /etc/apt/sources.list.d/beats.list

确保该行存在（如果它不存在则将其粘贴）：

/etc/apt/sources.list.d/beats.list

deb https://packages.elastic.co/beats/apt stable main

保存并退出。

Topbeat使用与Elasticsearch和Filebeat相同的GPG密钥，可以使用以下命令安装：

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

然后安装Topbeat软件包：

sudo apt-get update

sudo apt-get install topbeat

Tobeat现在已安装但尚未配置。

配置文件

现在我们将配置Topbeat连接到我们的ELK服务器上的Logstash。本节将引导您修改Topbeat附带的示例配置文件。当你完成这些步骤，你应该有一个看起来像一个文件这样。

在客户端服务器上，创建和编辑Topbeat配置文件：

sudo vi /etc/topbeat/topbeat.yml

注意： Topbeat的配置文件采用YAML格式，这意味着缩进非常重要！请务必使用与这些说明相同数量的空格。

在文件顶部附近，您将看到该input部分，您可以在其中指定哪些指标和统计信息应发送到ELK服务器。我们将使用默认输入设置，但可以随意更改以适应您的需要。

在该output部分下，找到所说的行，它表示elasticsearch:弹性搜索输出部分（我们不会使用）。删除或注释掉整个Elasticsearch输出部分（直到所说的行#logstash:）。

topbeat.yml - 1的2

### Logstash as output

logstash:

# The Logstash hosts

hosts: ["ELK_server_private_IP:5044"]

这将配置Topbeat连接到您的ELK服务器上的Logstash端口5044（我们在前提条件教程中指定了Logstash输入的端口）。

topbeat.yml - 2的2

...

tls:

# List of root certificates for HTTPS server verifications

certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

这将配置Topbeat以在先决条件教程中使用我们在ELK服务器上创建的SSL证书。

保存并退出。

现在重新启动Topbeat以使我们的更改到位：

sudo service topbeat restart

sudo update-rc.d topbeat defaults 95 10

现在，Topbeat将您的客户端服务器的系统，进程和文件系统指标发送到您的ELK服务器！对于您希望以Topbeat指标衡量的所有其他服务器重复此部分。

测试Topbeat安装

如果您的ELK堆栈设置正确，则Topbeat（在客户端服务器上）应将您的日志发送到ELK服务器上的Logstash。Logstash应该将Topbeat数据加载到带有日期戳索引的Elasticsearch中topbeat-YYYY.MM.DD。

在您的ELK服务器上，验证Elasticsearch确实通过使用以下命令查询Topbeat索引来接收数据：

curl -XGET 'http://localhost:9200/topbeat-*/_search?pretty'

你应该看到一堆如下的输出：

Sample Output:

{

"_index" : "topbeat-2016.02.01",

"_type" : "process",

"_id" : "AVKeLSdP4HKUFv4CjZ7K",

"_score" : 1.0,

"_source":{"@timestamp":"2016-02-01T18:51:43.937Z","beat":{"hostname":"topbeat-01","name":"topbeat-01"},"count":1,"proc":{"cpu":{"user":0,"user_p":0,"system":50,"total":50,"start_time":"12:54"},"mem":{"size":0,"rss":0,"rss_p":0,"share":0},"name":"jbd2/vda1-8","pid":125,"ppid":2,"state":"sleeping"},"type":"process","@version":"1","host":"topbeat-01"}

}

如果您的输出显示0次总匹配，Elasticsearch将不会在您搜索的索引下加载任何Topbeat数据，您应该检查您的设置是否有错误。

设置Packetbeat（添加客户端服务器）

复制SSL证书

在您的ELK服务器上，将先决条件教程中创建的SSL证书复制到客户端服务器（替换客户端服务器的地址和您自己的登录名）：

scp /etc/pki/tls/certs/logstash-forwarder.crt user@client_server_private_address:/tmp

提供登录凭据后，请确保证书副本成功。客户端服务器和ELK服务器之间的通信是必需的。

现在，在您的客户端服务器上，将ELK服务器的SSL证书复制到相应的位置（/ etc / pki / tls / certs）：

sudo mkdir -p /etc/pki/tls/certs

sudo cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/

现在我们将安装Topbeat软件包。

安装Topbeat包

在客户端服务器上，确保Beats源列表存在。打开文件/etc/apt/sources.list.d/beats.list进行编辑：

sudo nano /etc/apt/sources.list.d/beats.list

如果您以前安装了出货单，则此文件可能已包含以下行：

/etc/apt/source.list.d/beats.list

deb https://packages.elastic.co/beats/apt stable main

如果文件为空白，或者该行不存在，请添加并保存文件。然后退出编辑器。

要安装此源码，我们需要一个GPG密钥。Packetbeat使用与Elasticsearch相同的GPG密钥，我们使用以下命令安装：

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

现在，安装Packetbeat包：

sudo apt-get update

sudo apt-get install packetbeat

Packetbeat现已安装，但需要先配置才能使用。

配置文件

Packetbeat需要知道要记录的内容以及发送数据的位置。我们将其配置为连接到我们的ELK服务器上的Logstash，并定义我们希望观看哪种流量。我们将通过修改Packetbeat附带的默认配置文件来实现。

在客户端服务器上，编辑Packetbeat配置文件：

sudo nano /etc/packetbeat/packetbeat.yml

注意： Packetbeat的配置文件采用YAML格式，这意味着缩进非常重要！请务必使用与这些说明相同数量的空格。

选择从中捕获流量的网络接口。在Linux上，Packetbeat支持捕获安装了Packetbeat的服务器发送或接收的所有消息。为此，any用作设备：

packetbeat.yml

# Select the network interfaces to sniff the data. You can use the "any"

# keyword to sniff on all connected interfaces.

interfaces:

device: any

在本protocols节中，配置Packetbeat可以找到每个协议的端口。如果您使用任何非标准端口，请在此处添加。否则，默认值应该很好。

packetbeat.yml

protocols:

dns:

ports: [53]

include_authorities: true

include_additionals: true

http:

ports: [80, 8080, 8081, 5000, 8002]

memcache:

ports: [11211]

mysql:

ports: [3306]

pgsql:

ports: [5432]

redis:

ports: [6379]

thrift:

ports: [9090]

mongodb:

ports: [27017]

接下来，我们需要告诉Packetbeat发送数据的位置。

在该output部分下，找到开头的行elasticsearch:，表示弹性搜索输出部分。我们不会使用此部分，因此删除或注释整个Elasticsearch输出部分，直到所说的行#logstash:）。

开始在这里删除：

packetbeat.yml

### Elasticsearch as output

elasticsearch:

# Array of hosts to connect to.

# Scheme and port can be left out and will be set to the default (http and 9200)

...

并继续删除，直到找到这一行：

packetbeat.yml

### Logstash as output

我们不会将数据发送到Elasticsearch，而是将其发送到Logstash。所以找到被注释掉的Logstash输出部分，#logstash:.通过删除前面的那行以由Uncomment开头的行指示#。然后取消注释hosts: ["localhost:5044"]行并更改localhost为您的ELK服务器的私有IP地址。配置文件的部分应如下所示：

packetbeat.yml

### Logstash as output

logstash:

# The Logstash hosts

hosts: ["your_ELK_server_private_ip_address:5044"]

这将配置Packetbeat以连接到端口上的ELK服务器上的5044Logstash，这是我们在前提教程中为Logstash输入指定的端口。

接下来，找到该tls部分，并删除前面的注释tls:。然后取消注释指定的行certificate_authorities，并将其值更改为["/etc/pki/tls/certs/logstash-forwarder.crt"]：

packetbeat.yml

tls:

# List of root certificates for HTTPS server verifications

certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

这将配置Packetbeat以使用我们从ELK服务器复制的证书。没有这个，客户端将无法建立连接。

如果您想要仔细检查您的配置文件，请将此与此示例进行比较，这样可以避免大部分不必要的注释来提高可读性：

packetbeat.yml

############################# Sniffer #########################################

interfaces:

device: any

############################# Protocols #######################################

protocols:

dns:

ports: [53]

include_authorities: true

include_additionals: true

http:

ports: [80, 8080, 8081, 5000, 8002]

memcache:

ports: [11211]

mysql:

ports: [3306]

pgsql:

ports: [5432]

redis:

ports: [6379]

thrift:

ports: [9090]

mongodb:

ports: [27017]

############################# Output ##########################################

output:

### Logstash as output

logstash:

hosts: ["your_ELK_server_private_ip_address:5044"]

tls:

certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

############################# Logging #########################################

logging:

files:

rotateeverybytes: 10485760 # = 10MB

检查您的配置后，保存文件并退出文本编辑器。

现在重新启动Packetbeat以使您的更改到位：

sudo service packetbeat restart

并且当您的服务器重新启动时，将Packetbeat配置为启动：

sudo update-rc.d packetbeat defaults 95 10

对于您要监视的任何其他服务器重复此部分。

Packetbeat现在应该监听网络流量并将其发送到Logstash。我们来看看它是否正常工作。

测试Packetbeat安装

此时，您的客户端服务器上的Packetbeat应该将您网络流量的日志发送到ELK服务器上的Logstash。Logstash应该将Packetbeat数据加载到Elasticsearch中，该索引被称为日期戳索引 packetbeat-YYYY.MM.DD。我们来测试一下这个工作原理是在客户端机器上创建一个简单的HTTP请求，并在ELK服务器上的Elasticsearch中查找该请求。

在您的客户端服务器上，用于curl发出请求http://www.elastic.co。

curl http://www.elastic.co/ > /dev/null

然后，在您的ELK服务器上，验证Elasticsearch确实通过使用以下命令查询Packetbeat索引来接收数据：

curl -XGET 'http://localhost:9200/packetbeat-*/_search?pretty'

你应该看到一堆如下的输出：

Output

{

"_index" : "packetbeat-2016.09.29",

"_type" : "http",

"_id" : "AVdDG6pDqHsDFrI4DAlI",

"_score" : 1.0,

"_source" : {

如果您的输出显示0次总点击次数，Elasticsearch将不会在您搜索的索引下加载任何Packetbeat数据，您应该在几秒钟后再次尝试，因为可能需要很短时间才能拾取数据。如果您在等待后仍然看不到任何结果，请检查您的设置是否有错误。确保您已将Packetbeat的配置文件指向您转移的证书，因为如果路径不正确，它将以静默方式失败。

日志分析服务 LOG

拼音指南在哪（拼音指南在哪里powerpoint2010）

783 2022-05-29

ELK-Stack 部署 指南

拼音指南在哪（拼音指南在哪里word2010）

拼音指南在哪（拼音指南在哪里powerpoint2010）

《Office 2013快速入门指南》简体中文版下载（暂未上线）（office是什么意思）

推荐文章

企业生产管理是什么，企业生产管理软件

进盘点进销存软件排行榜前十名

进销存系统哪个简单好用？进销存系统优点

工厂生产管理（工厂生产管理流程及制度）

生产管理软件，机械制造业生产管理，制造业生产过程管理软件

进销存软件和ERP有什么区别？进销存与erp软件理解

进销存如何进行库存管理

如何利用excel制作销售订单管理系统？

数据库订单管理系统有哪些功能？数据库订单管理系统怎么设计？

什么是数据库管理系统？

最近发表

热评文章

零代码开发是什么？2022低代码平台排行榜

智能进销存库存管理系统（智慧进销存）

在线文档哪家强？8款在线文档编辑软件推荐

WPS2016怎么绘制简单的价格表?

连锁餐饮管理系统的功能有哪些？餐饮服务系统的构成及工

Excel项目进度表模板，简化您的项目进度管理

友情链接