Pagerduty - 事件管理平台

男娘i 2023-02-13 05:48 68阅读 0赞

1.应用场景

<table> 
 <tbody> 
 <tr> 
 <td>主要用于监控告警.</td> 
 </tr> 
 </tbody> 
</table>

2.学习/操作

<table> 
 <tbody> 
 <tr> 
 <td> 背景 目前所在公司项目采用的告警平台服务[付费] 开发语言采用nodeJS开发.&nbsp; &nbsp; 有时候, 目前的方案可能并不是最优的, 这是一个取舍问题,也是演变过程. &nbsp; 1.介绍 Pager duty ： 寻呼机 责任 官网：<a href="https://www.pagerduty.com/" rel="nofollow">https://www.pagerduty.com/</a> 社区：<a href="https://community.pagerduty.com/forum/" rel="nofollow">https://community.pagerduty.com/forum/</a> Pagerduty是一套付费监控报警系统，经常作为SRE/运维人员的监控报警工具，可以和市面上常见的监控工具直接整合，例如和zabbix整合，我遇到的最多的场景还是和zabbix整合，当有服务器出现异常的时候，zabbix会通过pagerduty对当前设置的值班的人员进行短信+电话通知. &nbsp; &nbsp; 2.使用/开发&nbsp; &nbsp;//此处使用nodeJS 开发 2.1 支持的API Client Libraries <img alt="" height="513" src="https://img-blog.csdnimg.cn/20200602170125449.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dpbGxpYW1fbg==,size_16,color_FFFFFF,t_70" width="693"> github: <a href="https://github.com/kmart2234/node-pagerduty" rel="nofollow">https://github.com/kmart2234/node-pagerduty</a> &nbsp; 2.2&nbsp; 登录&nbsp; //登录页面截图 <img alt="" height="438" src="https://img-blog.csdnimg.cn/20200527175207303.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dpbGxpYW1fbg==,size_16,color_FFFFFF,t_70" width="810"> &nbsp; 2.3&nbsp;生成用于token <img alt="" height="291" src="https://img-blog.csdnimg.cn/20200602181123753.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dpbGxpYW1fbg==,size_16,color_FFFFFF,t_70" width="566"> &nbsp; Note: 记住Token&nbsp; //下次不可查看 <img alt="" height="420" src="https://img-blog.csdnimg.cn/20200602181445419.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dpbGxpYW1fbg==,size_16,color_FFFFFF,t_70" width="513"> &nbsp; 2.4&nbsp; 开始使用 这里做一个监控服务, 通过定时查询kibana 指定错误log,&nbsp; 如每隔5分钟查询log, 如果出现指定错误log, 就触发pageduty服务, 从而发送到slack 指定channel.&nbsp; 工具: AWS Lambda +&nbsp; wormly + pugeduty + slack. &nbsp; 简述步骤: 1.代码编写以及上传部署到AWS Lambda 步骤省略.&nbsp; 2.然后配置wormly进行定时请求lambda的api.具体步骤暂时省略. //这里暂时Disabled ,因为服务尚未上线. <img alt="" height="596" src="https://img-blog.csdnimg.cn/20200821181314240.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dpbGxpYW1fbg==,size_16,color_FFFFFF,t_70" width="1200"> 其中又涉及到第3步中生成的 来自于 PageDuty 的集成wormly webhooks中的Integration Key. 正在这个key将wormly与pageduty联系在一起. &nbsp; 3.结合PageDuty进行告警 A.打开PageDuty <img alt="" height="539" src="https://img-blog.csdnimg.cn/20200821181803482.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dpbGxpYW1fbg==,size_16,color_FFFFFF,t_70" width="1180"> &nbsp;B.新建Service,[点击 New Service] <img alt="" height="778" src="https://img-blog.csdnimg.cn/20200821181945720.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dpbGxpYW1fbg==,size_16,color_FFFFFF,t_70" width="810"> C.输入Name, 选择wormly webhooks继承方式,其他暂时只需要默认设置就可,点击左下角 Add Service <img alt="" height="804" src="https://img-blog.csdnimg.cn/20200821182033490.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dpbGxpYW1fbg==,size_16,color_FFFFFF,t_70" width="732"> D.切换到Integrations tab. 配置slack后面来发送alert. <img alt="" height="786" src="https://img-blog.csdnimg.cn/20200821182140859.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dpbGxpYW1fbg==,size_16,color_FFFFFF,t_70" width="951"> <img alt="" height="714" src="https://img-blog.csdnimg.cn/20200821182215576.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dpbGxpYW1fbg==,size_16,color_FFFFFF,t_70" width="935"> <img alt="" height="131" src="https://img-blog.csdnimg.cn/20200821182459800.png" width="349"> PageDuty初步配置完毕. &nbsp; 4.等待告警确认.TBD &nbsp; &nbsp; Note: pageduty还可以直接通过接口code去操作, 暂时没有涉及到.&nbsp; &nbsp; &nbsp; &nbsp; 后续补充 ... </td> 
 </tr> 
 </tbody> 
</table>

3.问题/补充

<table> 
 <tbody> 
 <tr> 
 <td> 1.国内相同产品: OneAlert 百度告警平台&nbsp;&nbsp;<a href="http://gaojing.baidu.com/" rel="nofollow">http://gaojing.baidu.com/</a> &nbsp; 2.关于webhook&nbsp; --- TBD <a href="https://segmentfault.com/a/1190000020249988?utm_source=tag-newest" rel="nofollow">https://segmentfault.com/a/1190000020249988?utm_source=tag-newest</a> <a href="https://support.pagerduty.com/docs/webhooks" rel="nofollow">https://support.pagerduty.com/docs/webhooks</a>&nbsp; //pageduty -&nbsp;Webhooks </td> 
 </tr> 
 </tbody> 
</table>

4.参考

<table> 
 <tbody> 
 <tr> 
 <td> <a href="https://developer.pagerduty.com/docs/get-started/getting-started/" rel="nofollow">https://developer.pagerduty.com/docs/get-started/getting-started/</a>&nbsp; //文档 <a href="https://developer.pagerduty.com/docs/tools-libraries/client-libraries/" rel="nofollow">https://developer.pagerduty.com/docs/tools-libraries/client-libraries/</a>&nbsp;//API Client Libraries&nbsp; <a href="https://www.zhihu.com/question/32084832" rel="nofollow">https://www.zhihu.com/question/32084832</a>&nbsp; //Pagerduty有详细的中文介绍吗？ 国内有类似Pagerduty的通告服务吗？ <a href="https://www.503error.com/2018/pagerduty-%E6%9F%A5%E8%AF%A2%E5%B9%B6ack-alert/1515.html" rel="nofollow">https://www.503error.com/2018/pagerduty-%E6%9F%A5%E8%AF%A2%E5%B9%B6ack-alert/1515.html</a>&nbsp; //pagerduty 查询并ack alert </td> 
 </tr> 
 </tbody> 
</table>

后续补充

...