Linux服务器：Prometheus+Grafana监控告警实战指南


Linux服务器：Prometheus+Grafana监控告警实战指南

你是否也曾深夜被告警短信惊醒，发现服务器CPU飙升，内存耗尽，却不知从何下手？或者每天花费大量时间登录服务器，手动检查各项指标，效率低下？在云时代，手动运维早已过时，我们需要一套自动化、可视化的监控告警系统，而Prometheus+Grafana就是你的最佳选择。

什么是Prometheus和Grafana？

简单来说，Prometheus是一个开源的监控系统，它通过pull模式从目标服务器采集监控数据，并将数据存储在时序数据库中。Prometheus本身并不提供数据可视化功能，但它可以与Grafana无缝集成。

Grafana是一个开源的数据可视化平台，它支持多种数据源，包括Prometheus、InfluxDB、Elasticsearch等。我们可以使用Grafana创建各种图表、仪表盘，直观地展示监控数据，并设置告警规则，当指标超过阈值时自动发送通知。

为什么要选择Prometheus+Grafana？

相比传统的监控工具，Prometheus+Grafana具有以下优势：

  • 强大的PromQL查询语言： Prometheus使用PromQL作为查询语言，可以灵活地筛选、聚合监控数据。
  • 多维数据模型： Prometheus使用标签（labels）来标识监控数据，可以轻松地对数据进行分组、过滤。
  • 灵活的告警规则： 可以根据PromQL表达式定义告警规则，支持多种告警渠道，如Email、Slack、Webhook等。
  • 丰富的生态系统： Prometheus拥有庞大的社区，提供了大量的Exporter和Grafana Dashboard，可以监控各种服务和应用。
  • 易于部署和维护： Prometheus和Grafana都支持Docker部署，可以快速搭建监控系统。

实战：监控Linux服务器的基本指标

接下来，我们通过一个简单的例子，演示如何使用Prometheus+Grafana监控Linux服务器的基本指标，包括CPU使用率、内存使用率、磁盘空间使用率等。

1. 安装和配置Prometheus

首先，我们需要下载并安装Prometheus。建议使用Docker Compose进行部署，方便管理。

创建一个docker-compose.yml文件，内容如下：


version: '3.7'
services:
prometheus:
image: prom/prometheus:latest
ports:
- "9090:9090"
volumes:
- ./prometheus.yml:/etc/prometheus/prometheus.yml

创建一个prometheus.yml文件，配置Prometheus的监控目标：


global:
scrape_interval: 15s # 每隔15秒抓取一次数据
evaluation_interval: 15s

scrape_configs:
- job_name: 'linux'
static_configs:
- targets: ['localhost:9100'] # 监控localhost的9100端口

启动Prometheus：

docker-compose up -d

2. 安装和配置Node Exporter

Node Exporter是一个Prometheus的Exporter，它可以收集Linux服务器的各项指标，并通过HTTP接口暴露给Prometheus。

下载并安装Node Exporter：


wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz
tar -xvf node_exporter-1.3.1.linux-amd64.tar.gz
cd node_exporter-1.3.1.linux-amd64
./node_exporter

Node Exporter默认监听9100端口，我们可以在浏览器中访问http://localhost:9100/metrics，查看收集到的监控数据。

3. 安装和配置Grafana

与Prometheus一样，我们也可以使用Docker Compose部署Grafana：

在docker-compose.yml文件中添加Grafana服务：


grafana:
image: grafana/grafana:latest
ports:
- "3000:3000"
depends_on:
- prometheus

启动Grafana：

docker-compose up -d

在浏览器中访问http://localhost:3000，使用默认账号密码（admin/admin）登录Grafana。

在Grafana中添加Prometheus数据源，并创建一个Dashboard，添加各种图表，展示服务器的监控数据。例如，我们可以使用node_cpu_seconds_total指标计算CPU使用率，使用node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes指标计算内存使用量。

4. 配置告警规则

在Prometheus中，我们可以使用Alertmanager进行告警管理。Alertmanager可以接收Prometheus发送的告警信息，并根据配置的规则发送通知。

配置告警规则需要编写PromQL表达式，例如，当CPU使用率超过80%时发送告警：


groups:
- name: linux_server
rules:
- alert: HighCPUUsage
expr: 100 - (avg by (instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) < 20 for: 5m labels: severity: critical annotations:

将告警规则添加到prometheus.yml文件中，并配置Alertmanager的地址：


rule_files:
- "rules.yml" # 指定告警规则文件

alerting:
alertmanagers:
- static_configs:
- targets:
# - alertmanager:9093
- localhost:9093

配置Alertmanager接收告警通知，并发送到Email、Slack等渠道。

vDisk云桌面与服务器监控

在复杂的IT环境中，监控的重要性更加凸显。例如，在使用vDisk云桌面解决方案时，我们需要监控服务器的CPU、内存、磁盘I/O等指标，确保云桌面能够流畅运行。vDisk云桌面是基于本地计算资源的云桌面系统，与传统的VDI架构不同，它将计算任务分布到本地客户端，能够提供更好的性能和更低的延迟。这意味着我们需要更加精细化的监控，关注本地客户端的资源使用情况，以及服务器与客户端之间的网络连接状况。

例如，我们可以使用Node Exporter监控运行vDisk云桌面服务器的资源使用情况，并使用Grafana创建专门的Dashboard，展示云桌面的性能指标。同时，我们还可以监控vDisk云桌面客户端的网络连接状况，及时发现网络故障，保障用户体验。 考虑使用ping_exporter这类工具来辅助监控网络质量。

一些经验分享

  • 监控指标的选择： 不要盲目地监控