滴滴高级专家工程师保姆级运维监控科普（一）

水深无声 2023-01-19 07:07 83阅读 0赞

**写在前面**

笔者从Open-Falcon开源到现在，从事运维监控领域相关工作差不多7年，在做Open-Falcon和Nightingale的社区答疑过程中发现，有大量的小白问题，很多是因为对这个领域缺乏基础认识，所以，想写一个针对入门级用户的系列文章，做一下知识的普及。

另外，监控这个事情，其实也是研发人员走到某个段位之后必须要了解的。因为监控是稳定性体系建设中最重要的一环，普通研发人员往架构师转变，需要了解更多横向的知识，比如持续集成、服务治理、稳定性保障等等，所以了解一下监控，也很有必要。

这是一个很公益的事情，希望大家一起参与讨论，分享经验，为小白领路，功德无量~

**一、监控的价值**

监控是保障业务稳定性的重要手段，那怎么提升稳定性呢？简单来说，就是减少故障，一个是减少故障的数量，一个是减少单一故障的影响时长，即出现故障后快速止损。减少故障这个方面，更多的要诉诸于鲁棒的业务系统架构和稳定的基础设施，监控在这个方面没有办法提供太多助力。对于减少单一故障的影响时长，监控是非常有价值的。

在出现故障时，监控系统可以及时感知，及时发告警通知相关人员，让值班的人快速响应，处理故障。处理故障的第一步就是要定位问题，定位问题需要有数据支撑，监控系统的另一个重要职能，就是要提前收集详实的数据，比如日志数据、指标数据等等。

另外，有人可能会想，监控系统能不能通过数据分析手段，提前预测未来可能发生的故障，不要等到故障发生了才来通知我。这个想法很性感，但是，现实很骨感，据笔者了解，业界目前有这方面的尝试，但是场景相对有限，姑且可以作为一个噱头跟不懂的老板吹牛吧。

**二、监控都是在监控什么？**

监控分很多方向，总体来看，所有影响终端用户使用体验的方面，都可以考虑增加监控。比如某个手机app的产品，要监控哪些东西？比如：app本身是不是crash了、app是不是有卡顿、app到服务端的网络链路是不是质量差了、服务端公网出口是不是拥塞了、多个机房之间专线是不是抖动了、服务提供的接口成功率是不是下降了、服务依赖的第三方组件是不是挂了、机器负载是不是太高了、磁盘空间是不是满了、系统是不是打印了一些错误日志、硬件是不是产生了故障事件，等等等等

笔者主要精力在服务端监控，要监控的方向整体如下：

基础设施类：网络链路、网络设备、硬件、操作系统

存储中间件：MySQL、Redis、RabbitMQ、Kafka、Tomcat、Zookeeper、Ceph等等等等

应用层监控：接口QPS、成功率、延时等

业务层监控：订单量、交易支付量、在线用户量等等

**三、监控系统分类**

监控大致分四个方向：指标监控、日志监控、链路追踪、事件监控，即metrics、logging、trace、event。指标监控相关的开源软件比如：Zabbix、Prometheus、Open-Falcon、Nightingale，日志监控相关的开源软件比如：ELK、Grafana Loki，链路追踪相关的开源软件比如：Zipkin、Skywalking，事件监控相关的开源软件比如：呃，笔者没找到专门针对这个方向的开源软件。

指标监控主要是监控数值类型的时序数据，比如某个机器的CPU空闲率、某个机器的内存使用率、某个接口的QPS，这些数据通常是按照一个固定的频率采集上报给监控系统，上报的时候会带上指标名字、时间戳、值等信息。

日志监控主要是收集日志的，比如操作系统日志、各类中间件的日志、业务系统打印的日志，日志收集到中心之后，提供检索分析能力，可以从日志中提取到一些指标，辅助业务决策，也可以用这些指标做告警。

链路追踪即Trace，是说把用户端触发的一次请求，分配一个requestid，这个请求相关的所有的模块，都可以用这个requestid串联起来，然后我们就可以拿着这个requestid，去追踪这个请求，看这个请求流经的各个模块的耗时情况、成功失败情况。

事件监控比较典型的是ipmi吐出的硬件故障事件，或者交换机trap事件，或者在应用程序的逻辑里遇到一个异常状况，也可以生成一个事件，所有的事件统一发给事件监控管理系统，在这个系统里做分类通知、合并降噪等。

其中，指标监控系统通常是最基础的监控系统，也是笔者最有经验的一个系统，后续的文章大都是围绕指标监控的体系来进行讲解。

欢迎大家转发、参与讨论、分享经验~

**四、滴滴开源的运维监控产品**

滴滴Logi日志服务套件

滴滴Logi日志服务套件在滴滴内部经过7年多的沉淀打磨，针对日志采集、日志存储、日志计算、日志检索、日志分析各个环节，在组件能力上PAAS化建设、在引擎稳定性与扩展性上进行了针对性的优化。

目前该套件已经开源了滴滴Logi-KafkaManager，后期还会陆续开源Logi-Agent、Logi-LogX、Logi-ElasticSearchManager各PAAS套件。

1、滴滴Logi-KafkaManager Github：[https://z.didi.cn/4newP][https_z.didi.cn_4newP]

2、快速体验地址：[http://117.51.150.133:8080/kafka][http_117.51.150.133_8080_kafka] 账号密码 admin/admin

3、日常FAQ：[https://github.com/didi/Logi-KafkaManager/blob/master/docs/user\_guide/faq.md][https_github.com_didi_Logi-KafkaManager_blob_master_docs_user_guide_faq.md]

4、升级手册：[https://github.com/didi/Logi-KafkaManager/tree/master/docs/dev\_guide/upgrade\_manual][https_github.com_didi_Logi-KafkaManager_tree_master_docs_dev_guide_upgrade_manual]

5、滴滴Logi-KafkaManager云平台建设总结：

[https://mp.weixin.qq.com/s/9qSZIkqCnU6u9nLMvOOjIQ][https_mp.weixin.qq.com_s_9qSZIkqCnU6u9nLMvOOjIQ]

6、系列视频教程：[https://mp.weixin.qq.com/s/9X7gH0tptHPtfjPPSdGO8g][https_mp.weixin.qq.com_s_9X7gH0tptHPtfjPPSdGO8g]

**滴滴夜莺**

滴滴夜莺是一套**分布式高可用**的运维监控系统，最大的特点是混合云支持，既可以支持传统物理机虚拟机的场景，也可以支持K8S容器的场景。同时，滴滴夜莺也不只是监控，还有一部分CMDB的能力、自动化运维的能力，很多公司都基于夜莺开发自己公司的运维平台。

Github：[https://z.didi.cn/4WurZ][https_z.didi.cn_4WurZ]

官方文档：[https://n9e.didiyun.com][https_n9e.didiyun.com]

提问必读：[https://gocn.vip/topics/10811][https_gocn.vip_topics_10811]

语音答疑：[https://m.ximalaya.com/keji/45095827/][https_m.ximalaya.com_keji_45095827]

视频教程：[https://m.bilibili.com/space/442531657][https_m.bilibili.com_space_442531657]

二次开发：[https://xie.infoq.cn/article/30d37e98fbe52ff2a79fc04b4][https_xie.infoq.cn_article_30d37e98fbe52ff2a79fc04b4]

如果大家在使用滴滴Logi-KafkaManager和夜莺的过程中出现问题，或者有疑问需要与开发者交流的，都可以扫描下方二维码进入滴滴Logi及夜莺的开源用户群，在群中提问。

**群内有滴滴Logi-KafkaManager和夜莺项目负责人：滴滴高级专家工程师—张亮、秦晓辉等技术大咖，在线为大家解答问题**，欢迎大家长按二维码加小助手进群。（需备注Kafka或夜莺）

![v2-7cd8bd797ae81aa3263098f52caac900\_b.jpg][v2-7cd8bd797ae81aa3263098f52caac900_b.jpg]

[https_z.didi.cn_4newP]: https://link.zhihu.com/?target=https%3A//z.didi.cn/4newP
[http_117.51.150.133_8080_kafka]: https://link.zhihu.com/?target=http%3A//117.51.150.133%3A8080/kafka
[https_github.com_didi_Logi-KafkaManager_blob_master_docs_user_guide_faq.md]: https://link.zhihu.com/?target=https%3A//github.com/didi/Logi-KafkaManager/blob/master/docs/user_guide/faq.md
[https_github.com_didi_Logi-KafkaManager_tree_master_docs_dev_guide_upgrade_manual]: https://link.zhihu.com/?target=https%3A//github.com/didi/Logi-KafkaManager/tree/master/docs/dev_guide/upgrade_manual
[https_mp.weixin.qq.com_s_9qSZIkqCnU6u9nLMvOOjIQ]: https://link.zhihu.com/?target=https%3A//mp.weixin.qq.com/s/9qSZIkqCnU6u9nLMvOOjIQ
[https_mp.weixin.qq.com_s_9X7gH0tptHPtfjPPSdGO8g]: https://link.zhihu.com/?target=https%3A//mp.weixin.qq.com/s/9X7gH0tptHPtfjPPSdGO8g
[https_z.didi.cn_4WurZ]: https://link.zhihu.com/?target=https%3A//z.didi.cn/4WurZ
[https_n9e.didiyun.com]: https://link.zhihu.com/?target=https%3A//n9e.didiyun.com
[https_gocn.vip_topics_10811]: https://link.zhihu.com/?target=https%3A//gocn.vip/topics/10811
[https_m.ximalaya.com_keji_45095827]: https://link.zhihu.com/?target=https%3A//m.ximalaya.com/keji/45095827/
[https_m.bilibili.com_space_442531657]: https://link.zhihu.com/?target=https%3A//m.bilibili.com/space/442531657
[https_xie.infoq.cn_article_30d37e98fbe52ff2a79fc04b4]: https://link.zhihu.com/?target=https%3A//xie.infoq.cn/article/30d37e98fbe52ff2a79fc04b4
[v2-7cd8bd797ae81aa3263098f52caac900_b.jpg]: /images/20221021/e0230a4d0d2c409f87ae4fdcc750a8c7.png