Prometheus监控技术与实践

本书系统化介绍云原生监控系统Prometheus的基本概念和使用方法。本书从基础内容讲起，由浅入深，分析了监控系统的主要功能和运维原则。主要内容包括三大部分，第壹部分“入门基础篇”介绍初识Prometheus云监控的基本点和主要方向，Prometheus架构及核心组件，监控指标与Labels，常用Exporter探测器等；第二部分“技术提高篇”介绍服务发现、告警处理、PromQL数据查询、可视化、Pushgateway等；第三部分“应用实践篇”介绍监控方向，如监控Docker与cAdvisor、Kubernetes、业务程序，编写Exporter探测器和日志监控指标，生产部署，云业务监控平台搭建等。

如何时刻了解私有云、公有云等数据中心及其上的应用整体运行情况？是所有数字化转型企业都非常关注的。Prometheus的出现，帮助我们揭开云的神秘面纱，云及在云上的应用运行情况变得透明，完美的仪表盘和即时告警机制分担了运维人员的压力。本书全面系统地介绍Prometheus的原理架构以及应用场景，并结合了作者多年的经验进行了深入的解读，是全方位学习Prometheus的一本好书。

从互联网、移动计算到云计算、大数据、人工智能，十多年来，信息技术的日新月异催生了不断涌现的互联网新业态，也推动了传统行业投身于数字化转型的创新浪潮。云计算是IT信息技术发展和服务模式创新的集中体现，是信息化发展的重大变革和必然趋势。特别是在开源云计算技术蓬勃发展的过程中，Kubernetes、容器、微服务、区块链、智能运维、大数据等技术和理念的融合应用，已经成为影响云计算发展格局的关键。不少企业已经在生产环境中大规模使用容器技术支撑微服务化的应用，获得了灵活、快速、弹性、高效所带来的收益。
云时代监控将面临四大挑战：
持续变更下的监控。
自下而上、自上而下以及在云环境中的监控都遇到难题。
监控微服务架构。
处理大容量的分布式（日志）数据。
因此，监控系统将成为云平台的重要工具。优秀的监控系统不仅需要兼容各种设备和环境，还需要具备高性能、高可靠、易运维等特性，Prometheus正是优秀的代表。伴随着容器等相关技术的兴起，Prometheus正逐步成为容器监控的标准，对于传统应用和设备也有很好的兼容性。Prometheus由Go语言编写而成，采用Pull方式获取监控信息，并提供了多维度的数据模型和灵活的查询接口。Prometheus不仅可以通过静态文件配置监控对象，还支持自动发现机制，能够通过Kubernetes、Consul、DNS等多种方式动态获取监控对象。借助Go语言的高并发特性，单机Prometheus可以采集数百个节点的监控数据，每秒可采集数百万个指标。
本书从运维（Ops）角度对Prometheus监控的各项功能进行详细介绍，对Prometheus的系统架构、Exporter、服务发现、PromQL数据查询、告警处理、Grafana可视化等进行了深入浅出的探讨。
本书主要分三部分：第一部分是概述，重点阐述云计算时代监控系统的特点及其面临的挑战，Prometheus监控的基本概念、组成、部署。第二部分是Prometheus技术基础，重点介绍Prometheus生态系统涉及的Exporter、服务发现、PromQL数据查询、告警处理、Grafana可视化、Pushgateway等监控组件，详细讲解各组件的相关概念、实现原理、具体使用等。第三部分是监控综合实践，从常用的监控需求出发，讲解OpenStack云计算监控、Docker容器监控、Kubernetes监控、微服务及业务监控、日志监控的设计与实现，最后讲解Prometheus在生产环境中部署的实践。
全书第1、9、10、12～14章由陈金窗和郑少斌编写，第2～8章由刘政委编写，第11章由张其栋编写，最后由陈金窗、刘政委共同进行修订。
下面介绍各章的主要内容。
第一部分包括第1～2章。
第1章从云计算时代的应用特点入手，分析云计算环境下监控面临的挑战，提出需要怎样的监控。接着简要介绍监控系统的基本架构及工具，最后重点介绍Prometheus的诞生及其解决方案的特点。
第2章讲解Prometheus的基本概念及部署，包括Prometheus技术架构、部署方式，最后介绍相关的基本概念。
第二部分包括第3～8章。
第3章对Exporter的类型、文本数据格式进行说明，讨论如何从官方的Exporter列表获取常用的Exporter，比如用于监控基础设施中服务器性能的node_exporter、wmi_exporter，用于监控数据库的mysqld_exporter和redis_exporter等。
第4章讲解如何使用服务发现来发现主机和服务，并将它们暴露给Prometheus。介绍Prometheus发现机制中基于文件、基于Consul和基于DNS的服务发现，使其能完美地解决当下云原生态场景下的各类服务监控项目。
第5章首先对时序数据库进行介绍，然后对PromQL进行详细说明，包括PromQL数据类型、时序选择器、聚合操作、各类运算符和函数。最后通过简单的示例对PromQL查询操作进行汇总分析。
第6章对Alertmanager组件的安装、配置进行详细说明，再介绍Prometheus告警规则的定义，最后使用Email、企业微信和基于Webhook的钉钉实现告警通知的接收。
第7章介绍Grafana可视化展示，阐述其中的基本概念，结合读者自己的应用环境生成理想的漂亮图表，最终完全熟练掌握它的各个管理组件。
第8章介绍Prometheus的核心组件Pushgateway，重点介绍Pushgateway实例部署以及场景应用。
第三部分包括第9～14章。
第9章首先介绍OpenStack云管平台及其监控架构，然后介绍两种Prometheus与OpenStack整合的监控解决方案——OpenStack Exporter和OpenStack Helm监控方式。
第10章介绍Docker相关的监控方法，特别讲解了Google 开源的容器度量收集工具cAdvisor的部署、使用、集成方案。最后对Docker容器的监控指标、cAdvisor架构进行深入的分析。
第11章介绍Prometheus如何监控Kubernetes，详细介绍Kubernetes部署Prometheus的两种方式，最后介绍服务配置、监控对象以及数据展现和告警。
第12章介绍Prometheus如何对微服务运行状态进行监控，重点讲解基于Spring Cloud构建微服务的技术体系，之后讲解业务运营指标以及如何构建运营指标体系，并结合Spring Boot介绍监控埋点、自定义监控指标以及具体应用。
第13章介绍如何使用日志条目来创建度量指标，然后由Prometheus来抓取数据并在Grafana中展示。
第14章介绍在生产环境中应用Prometheus应该考虑的问题以及解决的方法，包括支持高可用规模

前　言
第一部分　概述
第1章　云计算时代的监控系统 2
11　云计算时代的应用系统 2
111企业“IT云化”实现数字化转型 3
112　云计算时代的IT架构特点 3
113　云计算时代的IT管理变革 4
12　云计算监控的目标和挑战 5
121　云计算监控目标 5
122　云计算监控挑战 7
13　云计算监控的范围和架构 8
131　监控管理的范围 8
132　监控系统的基本架构 9
14　百花齐放的开源监控软件工具 10
141　监控系统成熟度 11
142　Zabbix 11
143　OpenTSDB 12
15　Prometheus监控系统 13
151　应运而生，茁壮成长 13
152　功能完善、监控所有层级指标 15
153开放、高效、易用的完整解决方案 16
16　本章小结 18
第2章Prometheus基本概念及部署 19
21　Prometheus架构 19
22　Prometheus快速部署 20
221　使用二进制文件快速部署 21
222　使用Docker快速安装 25
223　Prometheus Web UI 26
23　Prometheus相关概念 29
231　数据模型 29
232　Metric的四种类型 30
233　Jobs 和 Instances 32
24　Prometheus核心组件 34
25　本章小结 35
第二部分　Prometheus技术基础
第3章　Exporter 38
31　概述 38
311　Exporter类型 38
312　文本数据格式 39
313　获取Exporter 40
32　主机监控 42
321　Linux主机监控 42
322　Windows主机监控 52
33　数据库监控 53
331　MySQL Server exporter 54
332　Redis exporter 60
34　Nginx监控 62
35　Prometheus之黑盒监控 64
351　软件安装与部署 65
352　配置文件 67
36　本章小结 71
第4章　服务发现 73
41　基于文件的服务发现 74
42　基于Consul的服务发现 78
421　Consul体验应用信息 80
422　软件下载与部署 80
423　服务注册发现 83
424　与Prometheus集成 85
43　基于DNS的服务发现 87
431自建DNS服务SRV记录设置 87
432阿里云域名解析SRV记录设置 88
44　Relabelling 89
45　本章小结 93
第5章　PromQL 94
51　时序数据库 94
52　PromQL简介 96
521　数据模型与数据类型 96
522　时间序列选择器 97
53　PromQL聚合操作 100
54　PromQL运算符 102
541　算术运算符 102
542　关系运算符 103
543　向量匹配 105
544　逻辑运算符 107
545　运算符优先级 108
55　PromQL函数 108
551　数学函数 108
552　时间函数 109
553　标签操作函数 110
554　Counter指标增长率 111
555　Gauge指标趋势变化预测 111
56　PromQL查询分析 112
561　指标分析 112
562　PromQL操作分析 113
57　本章小结 113
第6章　告警处理 115
61　概述 115
62　Alertmanager部署 116
621　Alertmanager机制 116
622　使用二进制文件方式安装 117
623　使用Docker安装 120
63　Alertmanager配置 120
631　global 120
632　templates 122
633　route 122
634　receivers 124
635　inhibit_rules 125
64　Prometheus告警规则 126
641　与Alertmanager关联 126
642　告警规则 127
643　使用模板 132
65　告警接收器 133
651　Email接收告警 133
652　企业微信接收告警 136
653基于Webhook的钉钉接收告警 142
654　告警通知模板 146
66　告警临时静默 147
67　本章小结 148
第7章　可视化 149
71　概述 149
72　Grafana安装 150
721　在CentOS上安装 151
722　在Windows上安装 154
723　使用Docker安装 155
73　Grafana基本概念 156
74　Prometheus数据源 158
741　数据源添加 158
742　页面UI说明 160
75　仪表盘导入 161
751　Node Exporter仪表盘 161
752　Windows Node仪表盘 164
753　MySQL仪表盘 166
754　Redis仪表盘 168
755　Nginx仪表盘 168
756　Blackbox Exporter仪表盘 169
76　定制监控图表 171
761　定制仪表盘 171
762　定制面板 175
77　本章小结 183
第8章　Pushgateway 184
81　概述 184
82　Pushgateway集成 185
821　软件下载与部署 186
822　Pushgateway UP状态 187
83　Pushgateway数据管理 187
831向Pushgateway发送和查看监控指标 187
832删除Pushgateway中的监控标准 189
833基于推送的Prometheus监控 189
84　本章小结 192
第三部分　监控综合实践
第9章　OpenStack云计算监控 194
91　OpenStack监控架构 194
92　OpenStack Exporter 196
921　OpenStack Exporter部署 197
922　OpenStack监控可视化 199
93　OpenStack Helm监控 200
931基于OpenStack Helm部署Prometheus 200
932基于OpenStack Helm部署Grafana 203
94　本章小结 204
第10章　Docker容器监控 205
101　Docker容器架构与监控 205
1011　Docker容器架构 205
10