深入浅出Prometheus：原理、应用、源码与拓展详解

Prometheus是由SoundCloud开源的监控系统，是Google BorgMon监控系统的开源版本。伴随着容器及Kubernetes技术的兴起，Prometheus越来越受到大家的关注。《深入浅出Prometheus：原理、应用、源码与拓展详解》系统讲解了Prometheus的原理、应用、源码和拓展，图文并茂、讲解全面。原理篇主要介绍了Prometheus的整体架构及与其他监控系统的对比和优势，让读者从整体上把握Prometheus的相关概念。应用篇从传统应用监控和Kubernetes监控两方面讲解Prometheus的安装、配置及优秀实践，着重介绍Redis、MySQL server等常用中间件监控，并结合Kubernetes，详细讲解如何通过Prometheus监控容器集群，还对每个操作都进行了非常详尽的记录。源码与拓展篇从整体到局部详细剖析Prometheus的源码架构，并且结合实际生产环境二次定制Prometheus的部分功能，可加深读者对Prometheus的理解，也能很好地帮助读者提升Prometheus开发技能。

《深入浅出Prometheus：原理、应用、源码与拓展详解》适合运维工程师、软件架构师、研发工程师及其他资深IT人士参考和阅读。

　　陈晓宇

　　宜信容器云架构师，负责宜信PaaS平台的设计和推广，帮助企业从传统应用迁移至云原生应用。在云计算相关行业具有丰富的研发与架构经验，并积极参与OpenStack、Kubernetes、Harbor等社区的开源项目。

　　杨川胡

　　“k8s技术圈”社区维护者，全栈工程师，具备丰富的云计算、上亿活跃用户应用后端实践经验，擅长Python、Golang、Docker、Kubernetes等技术，曾在小米担任资深研发工程师。个人GitHub页面：https://github.com/cnych。

　　陈啸

　　Prometheus二次开发深度使用者，专注于分布式搜索、流式计算、集群监控、大数据安全领域。现就职于深信服科技股份有限公司安全感知团队，负责数据平台基础架构研发工作。

适读人群 ：本书适合运维工程师、软件架构师、研发工程师及其他资深IT人士参考和阅读。

《深入浅出Prometheus：原理、应用、源码与拓展详解》还未出版就受到了很多人的关注，时不时被询问出版进度，热度至此，不火怎行？

Prometheus既适用于容器监控，也适用于传统应用监控，更是从CNCF第2个毕业的开源项目；众多企业或者公司都在使用它，360°围观，它都注定是个明星项目。

现在还没有一本Prometheus（普罗米修斯）书问世，很多人都有很多关于Prometheus的问题想解决。

《深入浅出Prometheus：原理、应用、源码与拓展详解》囊括Prometheus的原理、传统应用监控、Kubernetes监控、源码及拓展方法，是一本努力做到全面，努力帮助读者从了解、入门到实战，再到源码及优化的很用心的书，希望大家喜欢！

欢迎加编辑威信zgx228，或提问题，或与专家实时讨论，我们会尽力给予帮助，加油！

　　自 序

　　无论是传统数据中心还是云数据中心，无论是物理机、虚拟机还是容器，整个数据中心的建设都绕不开监控这个话题。优秀的监控系统不仅需要兼容各种设备和环境，还需要具备高性能、高可靠及易运维等特性，Prometheus正是其中之一。伴随着容器相关技术的兴起，Prometheus正逐步成为容器监控的标准，并且对于传统应用和设备也有很好的兼容性。

　　Prometheus由Go语言编写而成，采用Pull方式获取监控信息，并提供了多维度的数据模型和灵活的查询接口。Prometheus不仅可以通过静态文件配置监控对象，还支持自动发现机制，能够通过Kubernetes、Consul、DNS等多种方式动态获取监控对象。在数据采集方面，借助Go语言的高并发特性，单机Prometheus可以采集数百个节点的监控数据；在数据存储方面，随着本地时序数据库的不断优化，单机Prometheus每秒可以采集一千万个指标，如果需要存储大量的历史监控数据，则还支持远端存储。

　　本书共分为4篇12章，分别讲解Prometheus原理、在传统应用监控和Kubernetes监控中的应用，以及源码和拓展，具体内容如下所述。

　　第1章主要介绍监控系统的概念和架构设计，并剖析监控系统的内部结构，从程序运行的角度讲解基础资源监控、中间件监控、应用程序监控和日志监控，并将多种监控系统的优缺点进行对比，指出Prometheus独特的优势。

　　第2章首先介绍Prometheus的相关概念，包括数据指标的定义和分类；然后介绍Prometheus的总体架构和工作原理，包括数据采集、数据处理、数据存储、数据查询及告警；最后讲解Prometheus联邦及Thanos的原理。

　　第3章主要介绍Prometheus数据存储。首先从历史演进、设计理念、实现原理等多个方面详细介绍Prometheus的本地时序数据库（Prometheus TSDB）；然后介绍Prometheus远端存储的使用方式和实现原理，并以InfluxDB为例，详解Adapter的工作原理。

　　第4章主要介绍Prometheus exporter的背景、使用方式和工作原理。首先介绍几个常用的exporter，包括Node exporter、Redis exporter、MySQL server exporter的内部构造；然后从源码角度解析exporter，并编写一个简单的exporter。

　　第5章主要介绍Kubernetes集群的常用监控方案，包括 Heapster、kube-state-metrics、metrics-server，并介绍将Prometheus应用于Kubernetes集群的优势。

　　第6章主要介绍Prometheus在Kubernetes集群中的安装和配置。首先介绍如何用常规的手动方式在Kubernetes集群中安装Prometheus；然后介绍Kubernetes中的另一种更高级的监控方案Prometheus Operator的安装和使用，包括添加自定义监控项、添加自定义告警、自动发现配置、数据持久化配置等。

　　第7章主要介绍Prometheus监控Kubernetes集群服务的一些配置方法。首先介绍手动的静态配置方法，然后介绍如何使用Prometheus中的服务发现机制来自动发现Kubernetes中的Service。

　　第8章主要介绍Prometheus在Kubernetes集群中的一些常用监控对象，包括cAdvisor监控、apiserver监控、Service监控、kube-state-metrics监控，并介绍如何使用node-exporter监控Kubernetes集群中的节点。

　　第9章主要介绍Prometheus监控Kubernetes集群的数据展示。首先介绍在Kubernetes集群中安装Grafana的方法；然后介绍如何将Grafana配置Prometheus数据源，以及一些常用的Dashboard配置方法；并介绍Grafana针对Kubernetes集群监控的一个常用插件grafana-kuberentes-app的安装和使用；最后介绍如何使用Grafana告警，包括邮件告警、钉钉告警等。

　　第10章主要介绍Prometheus监控Kubernetes集群的告警功能。首先介绍如何在Kubernetes集群中安装Prometheus的告警模块AlertManager；然后介绍如何通过ConfigMap 资源对象配置告警规则；最后编写一个 webhook 接收器来处理AlertManager告警数据。

　　第11章主要对Prometheus源码进行分析，涉及Prometheus数据采集、规则管理、通知管理、存储管理和查询引擎方面的内容，并以二次开发实战的方式加深读者对Prometheus程序结构的理解。

　　第12章主要对AlertManager源码进行分析，涉及接收告警、告警调度、告警匹配、告警处理和告警通知方面的内容，并结合配置文件中的配置项，带领读者从源码角度理解告警分组、告警频次控制、告警路由、告警抑制和告警静默功能的实现。

　　致谢

　　本书作者分别来自宜信容器云团队（陈晓宇）、“k8s技术圈”社区（杨川胡）及深信服安全感知团队（陈啸），感谢这些团队及社区对本书作者的支持和鼓励。

　　感谢张国霞编辑在成书过程中对作者的协助和鞭策。

　　感谢作者家人对作者的支持和鼓励，来自家人的爱，让我们时刻拥有信心与力量！

----本书作者

第1篇 Prometheus原理

第1章 监控 2

1.1 监控系统概览 2

1.2 基础资源监控 4

1.2.1 网络监控 4

1.2.2 存储监控 6

1.2.3 服务器监控 7

1.3 中间件监控 9

1.4 应用程序监控（APM） 10

1.5 日志监控 13

1.6 监控系统实现 14

1.6.1 总体架构 14

1.6.2 指标采集 15

1.6.3 数据处理 18

1.7 监控系统的发展趋势 21

1.8 本书主角——Prometheus 22

1.9 其他开源监控工具 26

1.9.1 Zabbix 26

1.9.2 Nagios 30

1.9.3 Open-Falcon 31

1.10 监控系统的对比 33

第2章 深入Prometheus设计 35

2.1 指标 35

2.1.1 Prometheus的指标定义 35

2.1.2 Prometheus的指标分类 36

2.1.3 Prometheus数据样本 40

2.2 数据采集 40

2.2.1 服务发现 42

2.2.2 数据采集 44

2.3 数据处理 45

2.3.1 重新定义标签 45

2.3.2 标签筛选 46

2.4 数据存储 46

2.4.1 本地存储 47

2.4.2 远程存储 50

2.5 数据查询 50

2.6 告警 52

2.7 集群 54

2.7.1 联邦 54

2.7.2 Thanos 55

2.8 Prometheus并非监控银弹 59

第3章 数据存储 60

3.1 存储接口 60

3.2 本地存储 62

3.2.1 历史 63

3.2.2 核心概念 63

3.2.3 相关参数 69

3.2.4 本地存储接口 70

3.3 远端存储 71

3.3.1 总体架构 71

3.3.2 远端接口规范 71

3.3.3 相关参数 74

3.4 存储汇聚 77

第2篇 Prometheus在传统应用监控中的应用

第4章 Prometheus exporter详解 80

4.1 服务分类 80

4.2 数据规范 81

4.3 exporter简介 82

4.4 基于Go客户端编写一个exporter 84

4.5 Node exporter解析 87

4.6 Redis exporter解析 90

4.6.1 Redis exporter的应用 90

4.6.2 Redis exporter的工作原理 91

4.7 MySQL server exporter解析 93

4.7.1 MySQL server exporter的应用 93

4.7.2 MySQL server exporter的工作原理 94

4.8 深入探索Go客户端 96

第3篇 Prometheus在Kubernetes监控中的应用

第5章 Kubernetes监控方案 100

5.1 Heapster 101

5.2 kube-state-metrics 104

5.3 metrics-server 105

5.4 Prometheus 105

第6章 Prometheus的安装配置 107

6.1 手动安装Prometheus 107

6.2 安装Prometheus Operator 114

6.3 在Prometheus Operator中添加自定义的监控项 125

6.4 在Prometheus Operator中添加自定义告警 132

6.4.1 配置PrometheusRule 133

6.4.2 配置告警 138

6.5 Prometheus Operator的高级配置 144

6.5.1 自动发现配置 145

6.5.2 数据持久化配置 152

第7章 Prometheus监控Kubernetes之服务配置 159

7.1 静态配置 159

7.2 服务发现配置 164

第8章 Prometheus监控Kubernetes之监控对象 171

8.1 容器监控 172

8.1.1 Prometheus的配置方式 172

8.1.2 容器指标 174

8.2 apiserver监控 177

8.2.1 配置方式 177

8.2.2 apiserver指标 181

8.3 Service监控 182

8.4 kube-state-metrics监控 185

8.5 主机监控 186

第9章 Prometheus监控Kubernetes之数据展现 191

9.1 在Kubernetes集群中安装Grafana 191

9.2 配置Grafana 200

9.2.1 数据源 200

9.2.2 Dashboard 201

9.3 插件 207

9.4 Grafana告警 212

9.4.1 邮件告警 212

9.4.2 钉钉告警 214

9.4.3 Grafana告警配置 215

第10章 Prometheus监控Kubernetes之告警 219

10.1 AlertManager简介 219

10.2 安装AlertManager 220

10.3 告警规则 225

10.4 webhook接收器 231

第4篇 Prometheus源码与拓展

第11章 Prometheus服务组件 240

11.1 Prometheus源码的目录结构 240

11.2 原生Prometheus的不足 242

11.3 源码改造——更改时区 243

11.3.1 源码修改 243

11.3.2 编译 244

11.3.3 功能验证 244

11.4 源码改造——用blog4go记录系统日志 245

11.4.1 引入blog4go库 245

11.4.2 设置日志回调函数 246

11.4.3 启动日志记录服务 246

11.4.4 配置config.xml 247

11.4.5 编译 248

11.4.6 验证服务 248

11.5 Prometheus的初始化 248

11.5.1 Prometheus性能调试 249

11.5.2 Context介绍 249

11.5.3 初始化服务组件 251

11.5.4 组件配置管理 257

11.5.5 启动服务组件 258

11.6 源码改造——MySQL规则存储 262

11.6.1 规则加载流程 262

11.6.2 表结构设计 262

11.6.3 规则加载模块 264

11.6.4 loadGroups改造 267

11.6.5 初始化 269

11.6.6 功能验证 269

11.7 数据采集 270

11.7.1 服务发现 270

11.7.2 指标采集 277

11.7.3 存储指标 289

11.8 通知管理 297

11.8.1 启动notifier服务 298

11.8.2 注册notifier 308

11.9 规则管理 311

11.9.1 规则调度 312

11.9.2 查询引擎 321

11.10 源码改造——不重复scrape及自带时间戳规则运算 327

11.10.1 实现思路 328

11.10.2 不重复scrape 328

11.10.3 自带时间戳规则运算 331

11.10.4 功能验证 343

第12章 AlertManager服务组件 348

12.1 接收告警 348

12.2 告警调度 351

12.3 告警匹配 356

12.4 告警处理 357

12.5 告警通知 362