Prometheus 告警收敛

Prometheus 告警收敛

　　告警面临最大问题，是警报太多，至关于狼来了的形式。收件人很容易麻木，再也不继续理会。关键的告警经常被淹没。在一问题中，alertmanger在必定程度上获得很好解决。
　　Prometheus成功的把一条告警发给了Altermanager，而Altermanager并非简简单单的直接发送出去，这样就会致使告警信息过多，重要告警被淹没。因此须要对告警作合理的收敛。

 

告警收敛手段：

• 分组（group）：将相似性质的警报分类为单个通知
  •        一、减小报警消息的熟练
  • 　　二、同类告警聚合帮助运维排查问题

• 抑制（Inhibition）：当警报发出后，中止重复发送由此警报引起的其余警报

• 配置文件：vim alertmanager.yml
   # inhibit_rules标记：下降告警收敛，减小报警，发送关键报警
   inhibit_rules:
     # source_match: 匹配当前告警发生后其余告警抑制掉
     - source_match:
         # severity: 指定告警级别
         severity: 'critical'
       # target_match:抑制告警
       target_match:
         # severity: 指定抑制告警级别
         severity: 'warning'
       # equal: 只有包含指定标签才可成立规则
       equal: ['alertname', 'dev', 'instance']

  抑制配置文件
  •        一、消除荣誉报警
• 静默（Silences）：是一种简单的特定时间静音提醒的机制
  • 　　一、解决预期告警

 

---

建立静默

• 访问地址：http://www.xiangsikai.com:9093/#/alerts

一、建立静默

二、填入开始结束时间，填写标签名称，保存

三、查看建立静默