Proxmox VE 超融合集群实践真传

本书详细介绍Proxmox VE。Proxmox VE是一个完整的企业虚拟化开源平台，具有去中心化的超融合特性。Proxmox VE与前端负载均衡整合，可实现关键应用的高可用性。

全书共15章，大致可分为几个部分：第1章和第2章为概述部分，主要介绍Proxmox VE的基本特性及功能；第3~6章为基础部分，总览Proxmox VE部署、简单管理等操作；第7~10章为项目实战，也是本书的精华部分，介绍不同场景下如何规划、实施Proxmox VE；第11章和第12章为Proxmox VE 投入生产以后所需进行的日常工作，包括日常管理及平台升级；第13~15章为扩展部分，主要介绍以在线方式迁移其他系统到Proxmox VE平台、以Proxmox VE做底层实现桌面云，以及使用过程中一些问题的汇总。

本书适合有一定Linux基础并且正在从事系统运维的技术人员、计算机专业学生、高可用系统架构研究者阅读。

前言

关于“Linux 企业级高可用实践真传”系列图书

经过三年多时间的打磨，“Linux 企业级高可用实践真传”系列原创图书的第一本终于与读者见面了。本系列图书一共三本，分别是《Proxmox VE 超融合集群实践真传》《分布式监控平台Centreon 实践真传》《Linux 负载均衡实践真传》。

“Linux 企业级高可用实践真传”系列是一部系统高可用的演进史。最初，以负载均衡实现应用层面的可用性及可扩展性；分布式的监控系统作为高可用系统的耳目，在无人值守的情况下，随时掌握基础设施和应用的运行情况；而超融合集群的投入使用，不仅加速了系统和应用的部署能力，而且把整个业务层面的可用性提高到更高的层次。

笔者现在负责的高可用环境，全是由负载均衡（前端）、Proxmox VE 超融合高可用集群（包含 Proxmox Backup Server 多副本备份）、Centreon 分布式监控平台（千里眼、顺风耳）所组成的。与 10 年前相比较，可靠性及维护效率提高了很多倍，从而使运维压力相应地减轻了很多。

关于本书

本书为“Linux 企业级高可用实践真传”之《Proxmox VE 超融合集群实践真传》，为作者本人多年虚拟化、超融合实践的经验总结，循着本书的路径，读者可以轻松入门虚拟化、超融合所必需的要点，快速进阶并可付诸项目实施。

作为开源虚拟化的巅峰之作，Proxmox VE 既支持单机（单挑），也支持一定规模的去中心化集群，不论用于学习环境，还是测试开发环境，甚至是关键应用的生产系统，都是可以胜任的。到目前为止，我所负责的仍然有数个 Proxmox VE 系统对外提供服务，其中运行时间最长的超过 1070 天，如果中间不搬机柜（需要停机），那么持续无故障运行时间更长。在与 Proxmox VE 相关的社交群里，更有人晒出持续无故障运行 2000 多天的 Proxmox VE 超融合集群（从低版本在线一路升级上来），由此可知，Proxmox VE 可靠性是值得信赖的。据官方给出的数据，Proxmox VE 订阅数超过 20 000，而且免费订阅者不在少数。

创作本书的目的

到目前为止，国内使用 Proxmox VE 的用户越来越多，社区的技术讨论也很热烈，但却没有任何一本关于Proxmox VE的正式图书。鉴于这个事实，结合本人的长期实践，推出业界第一本关于 Proxmox VE 的中文原创图书。对作者本人来说，是对过去一段时间的经验总结；对读者而言，则多了一个可以选择的参考。

本书的特点

原创性。实践出真知，本系列丛书为作者本人实际工作场景的再现和还原（脱敏后的真实运行环境），凝聚二十多年的经验和教训。时效性。本系列丛书所采用的系统 / 工具版本为当前主流稳定版本，不过时，易于获取，可以部署到真实的生产环境。

非全面性。本系列丛书不是使用手册，仅根据实际需要在软件或工具功能上做取舍，不可能面面俱到。即便如此，读者按书中的思路、实践方法，仍然可以轻松地将自己所需要的功能一一实现。

开放性。不保守，和盘托出，帮助后来者少踩坑、少走弯路。

接地气。由于本人水平有限，讲不了什么高深的理论。书中更多的是思路、实践经验及部分感言。

致谢

为尽可能地保证行文和技术上的正确性，特邀广东的一位 Linux 系统管理员曾俊辉先生全程参与，在此表示特别感谢！

田逸

2022年8月

目录

第 1 章 “老司机”眼中的私有云 / 1

1.1 私有云的定义 / 1

1.2 私有云适用场景 / 3

1.2.1 传统行业 / 3

1.2.2 互联网行业 / 3

1.3 私有云行业现状 / 4

1.4 私有云技术要求（针对 Proxmox VE 平台） / 5

第 2 章 开源私有云神器 Proxmox VE / 6

2.1 Proxmox VE 的主要特征 / 6

2.2 Proxmox VE 的功能亮点 / 8

2.3 服务与支持 / 15

2.4 题外话 / 15

第 3 章 牛刀小试：安装 Proxmox VE / 17

3.1 用 U 盘 / 光盘安装 Proxmox VE / 19

3.1.1 准备安装介质 / 19

3.1.2 开始 Proxmox VE 系统安装 / 22

3.1.3 安装后的处理 / 24

3.2 在 Debian 上安装 Proxmox VE / 26

3.2.1 修改“/etc/hosts”文件 / 26

3.2.2 添加软件包更新源 / 26

3.2.3 安装 Proxmox VE 相关的软件包 / 27

3.2.4 后续处理工作 / 28

3.3 验证安装的正确性 / 28

3.4 安装注意事项 / 29

第 4 章 配置和管理 Proxmox VE / 31

4.1 管理平台登录 / 31

4.2 网络配置与管理 / 33

4.3 存储管理 / 37

4.3.1 增加本地存储 / 38

4.3.2 增加远程共享存储 NFS / 42

4.4 备份与恢复 / 43

4.4.1 数据备份 / 43

4.4.2 虚拟机或容器恢复 / 44

4.4.3 备份不可再生数据 / 46

4.5 其他管理操作 / 46

第 5 章 在 Proxmox VE 上创建虚拟机 / 47

5.1 用常规方式创建虚拟机 / 47

5.1.1 准备操作系统 ISO 镜像文件 / 48

5.1.3 在 Proxmox VE 上创建虚拟机 / 49

5.1.4 虚拟机资源及属性变更 / 53

5.1.5 修改虚拟机配置举例 / 55

5.2 为虚拟机安装操作系统 / 59

5.2.1 安装 Linux 操作系统（CentOS 7） / 60

5.2.2 安装 Windows 操作系统 / 62

5.3 创建虚拟机的其他方法 / 65

第 6 章 虚拟机日常管理 / 66

6.1 虚拟机硬件配置变更 / 66

6.1.1 减少虚拟机 CPU 核数 / 67

6.1.2 减少虚拟机内存容量 / 67

6.1.3 虚拟机磁盘扩容 / 68

6.2 虚拟机克隆 / 70

6.3 虚拟机迁移 / 71

6.4 快速创建虚拟机 / 73

6.5 虚拟机销毁 / 74

6.6 操作失败锁定解除 / 76

第 7 章 Proxmox VE 单节点虚拟化 / 77

7.1 应用场景描述 / 78

7.2 系统规划 / 78

7.3 功能具体实现 / 79

7.3.1 安装部署 Proxmox VE / 79

7.3.2 安装部署 pptpd / 79

7.3.3 配置 pptpd / 81

7.3.4 网络地址转换及 IP 伪装 / 82

7.3.5 Windows 客户端拨号验证 / 83

7.4 创建虚拟机、安装操作系统并部署应用 / 84

7.5 为宿主机部署 HAProxy / 84

7.6 项目实施效果 / 88

第 8 章 Proxmox VE 多节点虚拟化 / 89

8.1 只用集群、不要求高可用的场景 / 90

8.2 创建 Proxmox VE 集群 / 90

8.2.1 安装 Proxmox VE 前的准备工作 / 91

8.2.2 在物理节点安装 Proxmox VE / 91

8.2.3 正式创建 Proxmox VE 集群 / 92

8.3 准备 NFS 共享服务器 / 95

8.4 创建虚拟机及安装虚拟机操作系统 / 97

8.5 虚拟机部署应用 / 98

8.6 创建虚拟机模板并克隆虚拟机 / 98

8.7 部署并配置负载均衡 / 100

8.8 数据备份与恢复 / 100

8.9 系统可用性测试 / 101

第 9 章 Proxmox VE 最高可用性超融合集群 / 102

9.1 最高可用性集群方案设计 / 103

9.1.1 总体目标 / 103

9.1.2 平台组成 / 104

9.1.3 资源配置 / 105

9.1.4 实施计划 / 107

9.2 安装 Proxmox VE 到物理服务器 / 108

9.3 创建 Proxmox VE 集群 / 108

9.4 创建 Ceph 去中心化分布式存储 / 110

9.4.1 安装 Ceph 相关的包 / 111

9.4.2 初始化 Ceph 存储网络 / 112

9.4.3 创建 Ceph 监视器 / 113

9.4.4 创建 CephOSD / 115

9.4.5 创建 CephPool / 116

9.5 创建高可用虚拟机或容器（VM/LXC HA） / 117

9.5.1 在集群的主机节点建立起 HA 组 / 118

9.5.2 在集群上创建虚拟机 / 118

9.5.3 实现虚拟机高可用（VMHA） / 119

9.5.4 高可用 HA 功能测试 / 120

9.6 后续操作 / 121

9.7 迁移验收及效果 / 122

9.8 三个基本概念 / 122

第 10 章 Proxmox VE 超融合集群日常维护 / 124

10.1 Proxmox VE 升级 / 125

10.1.1 Proxmox VE 升级的前提条件及注意事项 / 125

10.1.2 Proxmox VE 升级条件检查 / 126

10.1.3 升级集群同步服务 Corosync / 126

10.1.4 准备 Proxmox VE 6 的更新源 / 128

10.1.5 升级到 Proxmox VE 6.X / 129

10.1.6 Proxmox VE 6.4 版本功能验证 / 133

10.2 Proxmox VE 超融合集群容量管理 / 134

10.2.1 Proxmox VE 非增加节点方式扩充容量 / 134

10.2.2 新增物理节点扩充超融合集群容量 / 135

10.2.3 从超融合集群中撤离节点 / 137

10.3 监控 Proxmox VE 超融合集群 / 139

10.3.1 用 Centreon 监控 Proxmox VE超融合集群 / 140

10.3.2 监控 Proxmox VE 超融合集群上的虚拟机 / 144

10.4 打造炫酷的 Proxmox VE 监控界面 / 145

10.4.1 准备工作 / 145

10.4.2 整合工作 / 147

第 11 章 Proxmox VE 的备份与恢复 / 152

11.1 虚拟机应用数据备份与恢复 / 153

11.1.1 非结构化数据备份与恢复 / 153

11.1.2 结构化数据备份与恢复 / 153

11.2 Proxmox VE 虚拟机备份形式 / 154

11.3 将 Proxmox VE 上的虚拟机备份到 NFS / 154

11.3.1 准备共享存储 NFS / 154

11.3.2 备份 Proxmox VE 集群上的虚拟机 / 156

11.4 Proxmox VE 虚拟机恢复 / 161

11.4.1 Proxmox VE 目标节点添加 NFS 共享存储 / 162

11.4.2 从备份中还原 Proxmox VE 虚拟机 / 162

11.4.3 后续工作 / 163

11.5 Proxmox Backup Server 专用备份 / 163

11.5.1 部署 Proxmox Backup Server 2.0 / 164

11.5.2 配置主 Proxmox Backup Server / 168

11.5.3 将 Proxmox VE 连接到Proxmox Backup Server / 173

11.5.4 将 Proxmox VE 备份到 Proxmox Backup Server 功能测试 / 176

11.5.5 设置 Proxmox VE 集群自动备份 / 176

11.6 把 PBS 的数据同步到另一个PBS / 178

11.6.1 为辅助 PBS 进行同步配置 / 180

11.6.2 将主 PBS 的数据添加到辅助 PBS / 180

11.6.3 为辅助 PBS 添加同步作业 / 181

11.7 备份非 Proxmox VE 系统数据到Proxmox Backup Server / 183

11.7.1 安装客户端软件 Proxmox-backup-client / 183

11.7.2 远端 Proxmox Backup Server 设置备份路径并授权 / 184

11.7.3 从 CentOS 备份数据到 PBS / 185

11.7.4 CentOS 从 Proxmox Backup Server 备份中恢复数据 / 187

第 12 章 Proxmox VE 常见故障分析 / 189

12.1 Proxmox VE 集群节点崩溃处理 / 189

12.1.1 问题描述 / 189

12.1.2 从集群中删除故障节点 / 190

12.2 Proxmox VE 升级导致 Ceph 健康检测告警 / 192

12.2.1 Ceph 故障描述 / 193

12.2.2 Ceph 故障分析 / 194

12.2.3 Ceph-mgr 故障处理 / 196

12.3 Proxmox VE 集群升级过程导致节点离群 / 198

12.4 Proxmox VE 性能故障 / 199

12.4.1 磁盘 I/O 引起的性能故障 / 199

12.4.2 网络 I/O 引起的性能故障 / 199

12.5 Proxmox VE 备份性能优化 / 200

12.5.1 问题描述 / 201

12.5.2 临时措施 / 201

12.5.3 方案设计 / 202

12.5.4 方案实施 / 203

12.5.5 实施效果 / 204

12.6 Proxmox VE 超融合集群挂载 NFS出错处理 / 205

12.7 Proxmox VE 超融合集群 CephOSD 磁盘塞满 / 206

12.8 Proxmox VE 集群 Ceph 报“ceph 1pg inconsistent”错误 / 208

第 13 章 不停服务将系统原样迁移到 Proxmox VE 集群 / 209

13.1 系统迁移基本架构 / 210

13.2 部署系统迁移控制中心 / 210

13.2.1 安装操作系统 CentOS 7 / 210

13.2.2 部署系统迁移控制中心软件 / 214

13.2.3 控制中心软件授权 / 218

13.2.4 安装本地功能模块“迁移 Move” / 219

13.3 为源系统安装数据迁移客户端 / 220

13.4 准备目标系统 / 222

13.4.1 为 Proxmox VE 集群创建虚拟机 / 222

13.4.2 启动虚拟机并连接到控制中心 / 223

13.4.3 将目标系统连接到控制中心 / 225

13.5 系统在线迁移 / 226

13.5.1 添加迁移任务 / 227

13.5.2 源系统向目标系统整体迁移 / 229

13.6 目标系统切换 / 230

13.7 在线迁移 Windows 系统 / 231

第 14 章 Proxmox VE 桌面虚拟化或桌面云 / 232

14.1 办公场景使用 PC 面临的问题 / 232

14.2 解决传统电脑办公问题的思路 / 233

14.2.1 30 ～ 50 人规模桌面云方案设计 / 233

14.2.2 200 人左右规模桌面云方案设计 / 234

14.3 Proxmox VE 桌面虚拟化 / 235

14.3.1 实验设施准备 / 235

14.3.2 Proxmox VE 桌面虚拟化实施步骤 / 237

14.3.3 安装创建 Windows 虚拟机 / 237

14.3.4 用 SPICE 客户端连接虚拟机 / 245

14.3.5 云终端盒子连接虚拟机 / 249

14.4 Proxmox VE 桌面虚拟化不足之处 / 251

14.5 Proxmox VE 桌面虚拟化改进设想 / 251

第 15 章 Proxmox VE 常见问题交流及功能期待 / 252

15.1 Proxmox VE 常见问题交流 / 252

15.2 Proxmox VE 集群部署位置 / 256

15.3 Proxmox VE 有待完善的地方 / 256

附录 A 基于 Proxmox VE 的云桌面系统尝鲜 / 257

A.1 准备好云桌面管理平台 / 258

A.2 恢复虚拟机模板 / 259

A.3 生成虚拟机 / 260

A.3.1 添加宿主机 / 260

A.3.2 创建云桌面 / 261

A.4 云终端连接远程桌面 / 262

A.4.1 云终端入网 / 262

A.4.2 云终端连接虚拟机（云桌面） / 262

A.5 改进意见 / 264