怎样建立合适的告警处理流程？

咱们都知道监控对确保网站和应用的平稳运行是多么重要，但这只是一个方面。一旦发现错误，监控软件发出了告警消息你该怎么作？如何决定下一步采起什么措施？

一个合理的告警流程能够帮助你优先处理最重要的问题，而且避免让问题打扰到不在职责范围内的无关人员。更普遍地说，它使得每一个人都清楚地知道本身应该解决什么问题。

##怎样建立合适的告警处理流程？

建立一个合适的告警处理流程可能会比较棘手，这个过程须要本身去摸索。适合你的规则可能不适合另外一个团队——即便是相同规模的团队或者处于同一行业的团队。

如何建立合适的处理流程，取决于你的团队，项目类别、项目的基础架构，团队的组织架构和使用的工具。那么你应该从哪里开始呢？

根据经验，建立升级过程须要考虑如下3件事情:

1. 严重程度等级结构
2. 团队的组织结构
3. 阈值及其相应的通知渠道

显然，具备较高严重性的错误天然须要更可靠的通知渠道。例如，你可能会选择使用 OneAlert 为高严重性错误发送短信或者打电话，而被认为低严重性的错误则不会触发告警，以减小噪声。做为替代，你能够为其选择邮件、微信通知。

####1. 严重性等级结构

设置严重性等级结构的最简单方法是根据商业价值来肯定网站或应用的最关键部分。 例如，一家网店的的最关键部分就是它的产品目录和结帐功能。这些功能若是中止工做将会致使网店业务受到严重影响。所以，这些问题应排在其余问题以前优先考虑。

下面是笔者发现的建立严重性等级结构的好方法：

1. 分析告警历史，找出任何可能应该定级为很是规严重等级的常见问题（好比，假超时可能应标记为低严重性，尽管在其余更高的层级中，超时应归类为高严重性）
2. 决定衡量的级别（例如，低、中、高）。你能够添加更多的级别，这取决于项目和团队的规模。
3. 一旦完成分析步骤，估计每一个功能或的内容对象的严重性程度，以及在告警历史中发现的任何常常性错误。

诚然，并无所谓的正确或错误的方式来断定严重性等级。要知道，重要的是了解团队如何划分具体的事件，并确保每一个人都达成共识。OneAlert 的告警分析功能，可以针对一段时间内的告警进行不一样维度的分析，帮助运维团队快速作出最佳决策。

####2. 团队结构

接下来，你应该了解本身的团队结构。

清晰地认识团队结构并使问题传达自动化，将帮助你定义更高效的通讯流。例如，负责生产环境的一线团队成员应当即获得问题通知，若是一线成员在设定时间内没解决告警问题，就会升级到二线成员，升级事件的严重性。在这个过程当中，能够将重要的告警同时分派给正确的人，好比：项目经理只需知道关键问题，以便了解潜在的大问题。

明确团队的组织结构，对问题处理的平均时间是很是关键的。

你必须考虑下面三点：

• 告警流程须要涉及哪些人？
• 修复问题时，每一个人的责任是什么？
• 警报要求在哪一点上将这个角色带入到通讯回路中？

####3. 通讯结构 若是你不知道告警在团队结构内应该如何流通，创建通讯结构将是建立严重性等级过程当中最为困难的一环。

你能够这样考虑：

• 严重性等级结构：这个问题有多严重？
• 团队结构：这是谁的责任？
• 通讯结构：若是问题发生，如何以及什么时候联系团队成员？

严重性等级的主要目的是确保合适的人员可以知道问题，并按照严重程度处理问题。建立通讯结构能将不一样级别的严重性等级与团队中的不一样角色联系起来，并根据时间紧迫度与错误频率添加更明确的操做。这样，能够确保经过恰当的渠道联系到合适的人员，且符合当前的状况。若是一个响应者不在线上，可经过告警升级机制确保团队中的其余成员获得通知。

根据团队结构，选择合适的通知渠道与阈值配置，意味着问题解决更加高效，且不会牵涉到无关人员。

例如，网站发生了紧急事件，网站管理员会立刻接到电话，与此同时，负责该功能的开发人员也将收到短信通知。若是问题没有在10分钟内获得解决，团队经理也会接到电话通知。

与之造成对比的是，简单的警告只能保证给团队管理者及相关开发人员发送邮件或者微信。

在 OneAlert 中，你能够经过告警分析功能辅助你来判断告警级别的严重性，而后将不一样级别的告警，发给对应的成员，并选择合理方式进行通知。也能够经过不一样的主机组进行告警的分派，让正确的成员处理正确的告警问题。但愿这篇文章对你有所帮助！也欢迎你分享本身使用的严重性告警流程。

OneAlert 是北京蓝海讯通科技有限公司旗下产品，中国首个 SaaS 模式的云告警平台，集成国内外主流监控/支撑系统，实现一个平台上集中处理全部IT事件，提高IT可靠性。想了解更多信息，请访问 OneAlert 官网 。 本文转自 OneAPM 官方博客