运维监控系列（14）-Alertmanager添加webhook告警通知功能

喜欢ヅ旅行 2023-10-09 13:30 131阅读 0赞

### 前言 ###

在之前，我们安装了Alertmanager，并使用在promethues中添加了对Alertmanager的监控功能。

接下需要实现告警通知了，当发现异常时，将告警信息通知给相关人员，其流程如下：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16]  
Alertmanager支持多种通知方式，也就是支持多种通知接受者receiver：

*  webhook：web回调或者http服务的推送API接口
 *  wechat：通过微信 API发送
 *  VictorOps ：VictorOps API发出
 *  OpsGenie ：通过OpsGenie API发送
 *  sns：短信
 *  Slack ：通过Slack webhooks发送。该通知包含一个附件
 *  Pushover ：通过Pushover API发送
 *  PagerDuty ：通过PagerDuty API发送
 *  email：电子邮件

### 实现webhook推送告警信息 ###

接下来使用webhook方式，实现告警信息接受。

之前也说过设置警报和通知的主要步骤：

*  配置 Prometheus与 Alertmanager对接
 *  在 Prometheus 中创建警报规则
 *  设置和配置Alertmanager

#### 1. 配置 Prometheus与 Alertmanager对接 ####

要实现Prometheus向Alertmanager中发送信息，只需要配置alertmanager连接地址即可。

修改prometheus.yml，添加alertmanager地址：

# Alertmanager配置 
    alerting:
      alertmanagers:
      - static_configs:
        # 配置alertmanager连接地址
        - targets: ['localhost:9093']

#### 2. Prometheus添加告警规则 ####

在实际环境中，告警规则肯定有很多，比如对服务器异常进行告警，就有宕机、CPU使用率超过100%、内存使用率超过80%、硬盘使用率超过80%等等。

所以，我们需要创建一个文件夹，针对每个监控对象，创建一个配置文件。

这里直接在Prometheus的程序主目录下创建一个alert\_rules文件夹，用于存放所有的告警规则。  
![在这里插入图片描述][28353de568734723847a107e7dd2ed72.png]  
然后在alert\_rules目录下创建一个alert\_nacos.yml文件，用于创建nacos相关的告警规则。

然后再prometheus.yml配置中，添加规则文件目录，prometheus启动时，会在alert\_rules和rules目录下，查找规则配置文件并加载。

# 服务器加载规则文件的位置
    rule_files:
     - "rules/*.yml"
     - "alert_rules/*.yml"

编辑alert\_nacos.yml配置，添加如下规则，针对Nacos宕机时，发送告警通知到Alertmanager。

# 相关的规则设置定义在一个group下。在每一个group中我们可以定义多个告警规则(rule)
    groups:
    # name：组名。报警规则组名称
    - name: alters
      # rules：定义规则
      rules:
      # alert：告警规则的名称
      - alert: Nacos Down
        # expr：基于PromQL表达式告警触发条件，用于计算是否有时间序列满足该条件。
        expr: up{
        job="nacos"} == 0
        # for：评估等待时间，可选参数。用于表示只有当触发条件持续一段时间后才发送告警。在等待期间新产生告警的状态为pending。
        for: 1m
        # labels：自定义标签，允许用户指定要附加到告警上的一组附加标签。
        labels:
          # severity: 指定告警级别。有三种等级，分别为warning、critical和emergency。严重等级依次递增。
          severity: emergency
          target: nacos
        # annotations: 附加信息，比如用于描述告警详细信息的文字等，annotations的内容在告警产生时会一同作为参数发送到Alertmanager。
        annotations:
          # summary描述告警的概要信息
          # description用于描述告警的详细信息。
          description: "description"
          summary: "{
        { $labels.instance }} 已停止运行超过 1 分钟！"

重启Prometheus，查看控制台，发现当前规则已被激活，也可以看到详细的规则信息。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
还可以通过Rules菜单，查看规则信息及状态，这里可以看到当前规则信息、状态、错误信息、上次执行时间、执行耗时等信息。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 2]

#### 3. Alertmanager配置webhook告警通知 ####

使用Spring boot创建一个web项目，提供一个API接口，用于接收告警通知。

@RestController
    @RequestMapping("/alertmanager")
    public class AlertmanagerController {
        
    
        @RequestMapping("/hook")
        public Object hook(@RequestBody String body){
        
            System.out.println("接受到告警信息："+body);
            System.out.println("告警信息发送到数据库。。。");
            return "success";
        }
    }

在alertmanager.yml中添加route及receivers配置，webhook\_configs中的url配置配我们提供了webhook接口地址。

# 全局配置,全局配置，包括报警解决后的超时时间、SMTP 相关配置、各种渠道通知的 API 地址等等。
    global:
      # 告警超时时间
      resolve_timeout: 5m
    # 路由配置,设置报警的分发策略，它是一个树状结构，按照深度优先从左向右的顺序进行匹配。
    route:
      # 用于将传入警报分组在一起的标签。
      # 基于告警中包含的标签，如果满足group_by中定义标签名称，那么这些告警将会合并为一个通知发送给接收器。
      group_by: ['alertname']
      # 发送通知的初始等待时间
      group_wait: 30s
      # 在发送有关新警报的通知之前需要等待多长时间 
      group_interval: 5m
      # 如果已发送通知，则在再次发送通知之前要等待多长时间，通常约3小时或更长时间
      repeat_interval: 30s
      # 接受者名称
      receiver: 'web.hook'
    # 配置告警消息接受者信息，例如常用的 email、wechat、slack、webhook 等消息通知方式
    receivers:
    # 接受者名称
    - name: 'web.hook'
      # webhook URL
      webhook_configs:
      - url: 'http://127.0.0.1:9111/alertmanager/hook'

重新启动，查看控制台，当前是没有信息提示的。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 3]

#### 4. 测试 ####

关掉监控的Nacos程序，

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 4]  
发现当前告警规则，从Inactive转为了Pending状态，也就是从正常监控未激活警报状态，转为了已满足触发条件，但没有满足发送时间条件状态，当经过了rules.for配置的时间后，当前告警还在触发，则会进入Firing状态触发警报，将通知发给Alertmanager。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_16_color_FFFFFF_t_70_g_se_x_16]  
查看Alertmanager控制台，发现收到了一条告警通知。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 5]  
在查看我们定义的webhook，收到了告警信息，因为这里设置的repeat\_interval为30S，所以只要当前告警存在，就是每半分钟发送一次。  
![在这里插入图片描述][b31bdbdcc22a4f098769110f51367da4.png]  
当前收到的告警信息，其结构如下，我们可以根据接收的信息，再通过自己的应用程序采用不同的方式发送给运维人员。

{
        
        "receiver":"web\\.hook",
        "status":"firing",
        "alerts":[
            {
        
                "status":"firing",
                "labels":{
        
                    "alertname":"Nacos Down",
                    "instance":"localhost:8848",
                    "job":"nacos",
                    "severity":"emergency",
                    "target":"nacos"
                },
                "annotations":{
        
                    "description":"description",
                    "summary":"localhost:8848 已停止运行超过 1 分钟！"
                },
                "startsAt":"2021-09-22T02:23:24.38636357Z",
                "endsAt":"0001-01-01T00:00:00Z",
                "generatorURL":"http://DESKTOP-GQBQ1GQ:9090/graph?g0.expr=up%7Bjob%3D%22nacos%22%7D+%3D%3D+0\u0026g0.tab=1",
                "fingerprint":"451c9ca7ae1697e6"
            }
        ],
        "groupLabels":{
        
            "target":"nacos"
        },
        "commonLabels":{
        
            "alertname":"Nacos Down",
            "instance":"localhost:8848",
            "job":"nacos",
            "severity":"emergency",
            "target":"nacos"
        },
        "commonAnnotations":{
        
            "description":"description",
            "summary":"localhost:8848 已停止运行超过 1 分钟！"
        },
        "externalURL":"http://DESKTOP-GQBQ1GQ:9093",
        "version":"4",
        "groupKey":"{}:{target=\"nacos\"}",
        "truncatedAlerts":0
    }

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/010da17c95414f08b354aa7f3bb3cc67.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[28353de568734723847a107e7dd2ed72.png]: https://img-blog.csdnimg.cn/28353de568734723847a107e7dd2ed72.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/f4f21ceede444e1ca7ddd40495228052.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/c756de2db8aa4ae6b21092017297e780.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/b739d5f69cc647429b6347f2c0415ffd.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/87fe98373ebe47549f1841a6f762f2fd.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_16_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/1254c1a68fba4f6c83da108a21dde555.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_16,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg_size_20_color_FFFFFF_t_70_g_se_x_16 5]: https://img-blog.csdnimg.cn/2f5090312ddf49e589b7f223603aeb33.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5LqR54Of5oiQ6ZuoY3Nkbg==,size_20,color_FFFFFF,t_70,g_se,x_16
[b31bdbdcc22a4f098769110f51367da4.png]: https://img-blog.csdnimg.cn/b31bdbdcc22a4f098769110f51367da4.png