游戏服务器架构与优化

这是一部从实操的角度讲解各种类型的游戏和应用服务器的架构、设计、开发和优化的著作。

作者是资深的游戏服务器技术专家和底层技术专家，有20余年开发和管理经验，曾在网易工作7年，参与过各种类型的游戏的研发。

本书针对MMORPG、SLG、卡牌、3D虚拟社区等各种游戏，以及App、深度学习服务、商城等各种应用对应的各种类型的服务器的研发和优化给出了具体的指导意见。从单机到集群，从基础的网络编程到分布式架构，由浅入深、承上启下、前后呼应，整本书内容前后贯穿、逻辑缜密，对于开发和运维人员来说相当实用。

全书共13章，分为三个部分：

第一部分（第1~3章） 网络和服务器

本书以Python为描述语言，所以首先详细讲解了Python中的网络编程模块，然后讲解了服务器相关的通信加密、WebSocket、多线程等技术。

第二部分（第4~5章） 存储和数据库

这部分首先讲解了数据库存储的基础知识，如内存数据同步、数据备份与恢复、SQLite等；然后重点介绍了高并发服务器的存储方案、高速缓存方案、二进制缓存方案、大规模计算方案，以及基于区块链技术的存储方案。

第三部分（第6~13章） 服务器架构及其优化

第6章和第7章介绍了服务器的架构演变以及不同类型的游戏服务器各自是如何交互的；第8章和第9章详细讲解了游戏大厅和实时交互服务器的架构、开发和优化；第10章讲解了天梯和经济系统的开发与设计；第11章讲解了服务器的承载量以及客户端的优化方案；第12章介绍了分布式服务器相关的技术；第13章从语言的角度对游戏服务器开发的技术选型给出了非常全面的分析。

蔡能（DarkSpy）

资深服务器底层技术专家和游戏服务器开发专家，有超过20年的编码和团队管理经验，是网易的早期员工之一。

在游戏开发领域有非常深厚的积累，带领团队开发了各种类型（PC游戏、手游、页游、2D游戏、3D游戏、VR/AR游戏等）的游戏和应用服务器，对服务器的架构、编写、优化和并发策略有深刻的认识和独到的见解；在C/C++、Python、PHP等技术领域的经验十分丰富。

1996~2009年期间，曾编写过极富盛名的EasyCode和EasyCode Pro，以及其他被收录到各大杂志典藏光碟的软件，EasyCode 在参加《程序员》网站举办的”中国共享软件评比”活动时得票数在同类软件中名列前茅。是《程序员》杂志2007~2008年C/C++领域的点评专家，擅长软件架构和底层技术。2013年7月，接受《今日早报》关于游戏行业的采访。

（1）作者是资深服务器底层技术专家、游戏服务器开发专家，20余年经验总结，曾在网易工作7年，参与过各种类型游戏和应用的服务器的架构、设计和开发；

（2）针对各种游戏和应用所对应的服务器类型，从单机到集群，有针对性地对服务器进行架构上的剖析和优化；

（3）极客邦科技（InfoQ）和Talkingdata增长黑客负责人于洋鼎力推荐。

前　　言

为什么要写这本书

在人们的观念中，游戏行业是一个既火爆又赚钱的行业，而游戏开发在非游戏开发人员的心里，则是比较神奇的存在。隔行如隔山，游戏究竟是如何开发的？游戏服务器究竟又是怎样工作的？

软件服务器后台开发人员对于游戏服务器的开发充满兴趣，而对于本身就是游戏开发者的人来说，对于更深层次的服务器逻辑，各种类型游戏服务器的区分和编写，各种平台的优化，都需要进行更进一步的了解。

作为游戏开发人员，H5 Game和Flash Game之间通信的差异在哪里？MMORPG的服务器究竟该怎么编写？HTTPS通信和普通HTTPS协议有何区分？如何进行分布式编程？如何提高游戏服务器的高并发量？这些都是需要重点关心的问题。

不仅仅是游戏开发人员，作为普通后台开发人员，配置负载均衡，利用后台程序之间的相互通信进行负载，也是比较关心的问题。现今琳琅满目的开发包、开发工具，让这些事情变得事半功倍，在这样的情况下，如何利用现有的工具来进行配置，提高并发量，或者如何利用分布式计算来提高业务效率、工作效率，尽其所能地发挥工具的最大效率，也成为我们必须面对并解决的问题。

对于运维人员来说，面对的不仅仅是服务于程序员的各种后台配置，也需要集群配置、HTTPS，甚至各种类型数据库的配置。

针对以上提到的所有问题，本书会进行深入挖掘。

本书中99%使用Python语言进行代码或者伪代码的编写和说明，为什么使用Python？这是因为虽然开发游戏服务器的语言多种多样，包括C/C++、Python、Node.JS等，但Python是目前上升热度最快，且用户呈直线增长的一种语言，其简洁的特性，就算是非专业程序员都可以很快掌握，学习成本不高，且能达到较为满意的产出。

从国内的情况来看，关于Python或游戏开发的书籍都很多，但是将两者合二为一进行讲解和说明的却并不多见。笔者在几十年的工作过程当中，经历了各种各样的项目，虽然大部分属于游戏行业，但其他行业也有涉及，比如视频类网站、人工智能、区块链等。在经历这些项目的过程中，我看到很多的团队和开发人员为了某一个项目和业务的功能进行各种细节上的取舍，或者各种没有经验一脚踩进大坑，这让我萌生编写本书的想法。我希望能尽一点微薄之力，将在游戏后台或其他后台开发过程中所经历的各种问题、优化方案及解决方案，进行一个提炼和汇总，如果能具体解决读者的各种问题，那就是本书之幸，本人之福。

读者对象

本书针对游戏服务器、应用服务器后台的优化、搭建以及应用进行讲解和介绍。为了照顾各个层面的读者，本书使用的语言是Python 2.7版本，书中并没有就Python基础规则和语法做详细介绍，因此要求读者具有基本的Python编程知识，比如Python库的导入、pip包安装工具的使用、调用库函数等基础语法知识。事实上，如果你专心花上几个小时的时间自学一下Python，就能具备Python的编程基础。

本书对读者的知识背景没有特定要求，如果你拥有了Python编程基础，看完本书应该对服务器端需要做什么、应该做什么、怎么做，有了然于胸的感觉。具体来说，本书适合以下几类读者阅读：

游戏服务器程序员。本书的核心命题就是游戏服务器的优化，其中涉及游戏服务器的基础、搭建；Socket知识、HTTPS基础；以及使用Python进行实作和优化。无论你是游戏后台开发人员还是客户端开发人员，都可以从书中获益。

应用服务器开发程序员。虽说游戏服务器程序员是重点，但是我们的核心议题仍然是服务器后台的开发，所以从这点来说，应用服务也是后台程序，本书在剖析游戏服务器后台编写和优化的同时，也涉及了分布式系统、集群，甚至Web服务器，或许在阅读本书后你会迸发一些灵感。

运维工程师。事实上，只要是服务器开发，都会涉及运维的工作，而一个好的运维，必须而且一定会涉及各种脚本语言的开发和对现有系统的扩展。当一个团队中的程序员忙得不可开交的时候，一个好的运维能帮助程序员分担40%甚至更多的工作量。本书也介绍和挖掘了后台编码过程中的各种配置和搭建，比如HTTPS的配置、Websocket的Python实现等。如果你是运维工程师，或多或少会从书中汲取一些知识。

Python程序员。Python能做什么？它也能编写游戏服务器吗？答案是肯定的。只要你做得好，搭配得当，使用Python编写游戏后台不会比其他语言差（比如Java），有时候甚至更方便。如果你是Python程序员，又希望涉猎游戏后台的开发，本书一定会对你有极大帮助。

如何阅读本书

本书内容从逻辑上共分为三大部分。

第一部分的内容包括第1～3章，主要介绍了Python中网络的基础模块、通信加密，以及一部分服务器实作。其中：

第1章的内容包含Socket套接字的介绍和使用、基础send和recv方法、阻塞和非阻塞方式、urllib和urllib2等Python基础库的使用。

第2章介绍了通信加密，其中包括基础的异或加密、对称和非对称加密，以及OpenSSL、SSL/TLS通信方式等的详细介绍。

第3章开始使用Python代码编写实际可运行的服务器代码，并介绍了Websocket协议、GIL的优劣，以及Python线程池的使用。

第二部分的内容包括第4章和第5章的内容，介绍了基础内存存储和存储方案。

第4章主要介绍了内存存储的基础内容，包括常用的几种数据库，内存与IO续写速度，同步内存数据等。

第5章从存储方案展开，结合实例对几种常用的存储方案进行了介绍，如高并发服务器的存储方案等。

第三部分内容包括第6～12章的内容，深度挖掘了分布式、集群、MMORPG服务器类型的交互、弱连接和长连接、服务器承载方案等。在大部分章节中，都包含了：

基本内容：有关本章所需要的知识点和内容的介绍。

代码示例：在介绍完内容后，就会有代码示例，以解决基本内容中所提出的问题。

示例图（表）：对于基本内容或者代码示例介绍仍然不清楚的通过示例图进行更详细剖析。

结果：运行完代码后可能获得的结果。

除了以上内容外，书中还包含以下内容，目的是对书中涉及的特定内容进行解释和说明：

本章小结：主要章节的结尾写有“小结”，小结分为两种。

内容小结：有关本章内容的总结。

代码小结：对代码进行总结，让读者对所阅读的代码有更深的认识。

粗体字：对于知识点的重要提示或者读者容易混淆和忽略的地方，使用了粗字体进行了提示。

勘误和支持

由于笔者水平有限且撰稿时间有限，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。读者可通过以下途径联系并反馈建议或意见：

即时通信：添加个人QQ（37856）或微信（darkspycyber）反馈问题。

电子邮件：发送email到[email protected]。

致谢

在本书的撰写过程中，笔者得到了来自多方的指导、帮助和支持。

首先要感谢的是机械工业出版社华章公司的副总编辑杨福川老师。本书是笔者的处女作，杨老师在起初定内容和目录的时候，不辞辛劳，耐心地给笔者这个完全不明白如何系统写书的人相当多的指点和帮助，为此书的撰写提供了方向和思路指导。

其次要感谢我的良师益友赖永浩，即《编写高质量代码：改善Python程序的91个建议》的作者。他给了我极大的帮助和鼓励，在Python领域他几乎是无敌的（笑），能和他共事并且一路走来非常地荣幸和开心。

再次，要感谢在各个项目和工作中提供宝贵经验和支持的良师益友和工作伙伴们，他们是（排名不分先后）：王永梅、吴东源、陈文亚、李明江、金李东、李汉曦、王云根、徐逸峰、常萌、赵云峰、王英全等。

另外，还要感谢全程参与审核、校验等工作的孙海亮老师，以及其他背后默默支持的出版工作者，他们的辛勤付出保证了本书能够顺利面世。

最后感谢我的父母、家人和朋友，有了他们，我才有精力完成本书的全部撰写工作。

谨以此书献给热爱编程、热爱游戏、热爱IT工作并为之奋斗的朋友们，愿大家身体健康、生活美满、事业有成！

蔡能（DarkSpy）

目　　录?Contents
前　言
第一部分　网络和服务器
第1章　Python网络编程模块 2
1.1　Python Socket 3
1.1.1　Socket套接字 3
1.1.2　SOCK_STREAM、SOCK_DGRAM 4
1.1.3　阻塞和非阻塞模式 5
1.2　服务器端其他Socket方法 7
1.2.1　bind和listen 7
1.2.2　setsockopt 8
1.3　客户端Socket 10
1.4　通用的Socket方法 12
1.4.1　recv和send 12
1.4.2　recvfrom和sendto 13
1.5　SimpleHTTPServer和BaseHTTPServer 14
1.5.1　SimpleHTTPServer 15
1.5.2　BaseHTTPServer 15
1.6　urllib和urllib2 17
1.6.1　urllib.urlopen和urllib2.urlopen 18
1.6.2　urllib2中的GET和POST方法 19
1.7　事件驱动框架Twisted 20
1.7.1　Reactor模式 21
1.7.2　run、stop和callLater 23
1.7.3　Transports、Protocols、Protocol Factoies以及Deferred 24
第2章　通信加密 26
2.1　软件、通信加密的几种常用方案 27
2.1.1　异或位运算加密 27
2.1.2　其他对称加密 29
2.1.3　非对称加密 30
2.2　OpenSSL 33
2.2.1　生成证书 35
2.2.2　公钥和私钥的配置 40
2.3　SSL/TLS通信 43
2.3.1　SSL/TLS连接 45
2.3.2　SSL/TLS HTTPS通信 46
2.4　其他加密方式 49
2.4.1　散列算法 49
2.4.2　BASE64 52
2.4.3　多国语言 53
第3章　服务器实作 55
3.1　构建Python Websocket服务器 55
3.1.1　Websocket的应用场景 57
3.1.2　实作Websocket握手协议 59
3.1.3　MAGIC_STRING在Websocket中的作用 60
3.1.4　Websocket 启动 62
3.1.5　Websocket消息拆分和读取 63
3.2　多线程服务器 64
3.2.1　Python的多线程模式 65
3.2.2　锁 68
3.2.3　Python GIL 70
3.2.4　multiprocess的解决思路 72
3.2.5　给Websocket加上多线程 73
3.3　线程池 75
3.3.1　默认线程池和进程池 75
3.3.2　协程 76
3.3.3　第三方库 78
3.3.4　gevent的数据结构 85
第二部分　存储与数据库
第4章　基础内容存储 94
4.1　数据库存储的种类 95
4.2　SQL与NoSQL 96
4.2.1　SQL 96
4.2.2　SQL语句语法 97
4.2.3　NoSQL 101
4.2.4　NoSQL语句语法 106
4.3　内存与IO读写速度 108
4.4　同步内存数据 109
4.4.1　Redis数据库的持久性 111
4.4.2　Redis主从数据库复制 112
4.5　数据备份和恢复 113
4.5.1　备份的类型 114
4.5.2　使用Python编写备份代码 115
4.6　不可或缺的SQLite 117
第5章　存储方案 121
5.1　高并发服务器的存储方案 121
5.1.1　网站高并发服务器的策略 122
5.1.2　数据库的锁 125
5.2　高速缓存 127
5.2.1　Memcached 127
5.2.2　大文件缓存 129
5.2.3　分布式和集群 130
5.3　二进制存储方案 132
5.3.1　磁盘IO和缓存 133
5.3.2　图片和影音文件 134
5.4　大规模计算 135
5.4.1　图片服务器的架构 136
5.4.2　读取和写入文本 137
5.4.3　文本搜索方案 138
5.5　区块链技术 139
第三部分　服务器架构及其方案
第6章　游戏服务器初探 144
6.1　服务器消息和轮询 144
6.1.1　卡牌游戏和弱连接 145
6.1.2　消息的轮询 147
6.2　游戏服务器架构演变 149
6.2.1　“上古时代”的游戏服务器 149
6.2.2　近代的网络游戏服务器 153
6.2.3　近现代经典游戏服务器模型 155
6.3　地图的无缝连接 157
6.3.1　无缝连接的分析 158
6.3.2　无缝地图更深层次的问题 160
第7章　游戏服务器的交互 165
7.1　无状态和有状态的服务器设计方案 165
7.1.1　无状态的服务器设计方案 166
7.1.2　有状态的服务器设计方案 167
7.2　轮询 169
7.3　集群方案 171
7.3.1　集群的几种方式 171
7.3.2　集群的方案 172
7.3.3　数据库方案 173
7.3.4　Web服务和数据库 174
7.3.5　其他方案 176
7.4　定时任务 178
第8章　游戏大厅 181
8.1　大厅登录流程 181
8.1.1　登录和选择游戏区 182
8.1.2　注册和登录 183
8.2　中间件 185
8.2.1　中间件的相关概念 186
8.2.2　ElasticSearch 191
8.2.3　在Python中使用ES 193
8.3　聊天服务 195
8.3.1　聊天服务器的搭建 195
8.3.2　聊天内容的获取和分发 196
8.4　大厅与游戏的对接 198
8.4.1　创建房间 198
8.4.2　与游戏的对接 199
第9章　实时交互服务器 202
9.1　长连接和强交互 202
9.1.1　TCP连接 203
9.1.2　多线程 205
9.1.3　异步控制 206
9.1.4　加入队列 207
9.2　使用UDP的方案 210
9.2.1　什么是UDP协议 210
9.2.2　TCP协议和UDP协议的区别 212
9.2.3　使用Python编写UDP服务 214
9.2.4　加入多线程 216
9.3　协议包的设计和实现 218
9.3.1　协议包头和包身 219
9.3.2　协议包完整性 221
9.3.3　协议的加密和压缩 222
9.3.4　协议包混淆 223
9.4　断线重连 224
第10章　天梯和经济系统 227
10.1　什么是天梯 227
10.1.1　天梯的框架 229
10.1.2　数据载入 230
10.2　天梯层级 231
10.3　经济系统 234
10.3.1　经济系