深入理解Go语言

本书为深入理解学习Go语言必经之路中的重点知识领域，采用大量精美详细的图文介绍，文章讲解深入浅出，极大降低了理解Golang底层精髓的学习门槛。

本书包含3篇：第一篇为深度理论篇（第1章~第4章），包含深入理解Golang中GPM模型、深入理解Golang垃圾回收GC三色标记与混合写屏障、深入理解Golang内存管理模型、网络IO复用模型等。第二篇为Golang实战中需要进阶的知识盲区介绍（第5章~第12章）。第三篇为基于Golang从0到1的实现轻量级网络服务框架Zinx及相关应用案例。

本书主要的面向读者是已经具有软件编程开发经验的工程师、系统开发工程师、期望由Python、PHP、C/C++、Ruby、Java等编程语言转职到Golang开发的后端工程师、期望深入理解Go语言特性的计算机软件学者等。

刘丹冰（Aceld），Zinx（Golang轻量级TCP服务器开源框架）作者，现就职于好未来集团，担任Golang架构师、服务器端专家。拥有多年互联网、网络安全、智能家居领域及分布式云服务研发经验。曾就职于启明星辰，从事网络安全IDS（Intrusion Detection System，入侵检测系统）、IPS（IntrusionPreventionSystem，入侵防御系统）等研发工作。参与过国家互联网应急中心关口监测系统研发，并且担任重要岗位。曾任Haier U+ SmartHome智能家居、智能电视服务研发工程师；传智教育科技C/C++、Golang项目研究员，参与并创作过多部C/C++、Golang研发课程及项目；Golang、C/C++业务线教学科研负责人。

感谢阅读本书。

Go语言起源于2007年，在一次技术会议中，谷歌公司的技术工程师讨论了C++语言是否能带来新特性的问题。

“与其在臃肿的语言上不断增加新的特性，不如简化编程语言”成为大家讨论后一致认为要改进的问题。于是由罗布·派克(Rob Pike)、肯·汤普逊(Ken Thompson)、罗伯特·格瑞史莫(Robert Griesemer)领军的团队开始对Go语言进行了创作和研发。

直到2009年，Go语言正式开源了。Go项目团队将2009年11月10日（Go语言正式对外开源的日期）作为其官方生日。

但是Go语言一直都不被开发者重点关注，只有一些少数热衷Go语言的开发者或社区在默默地推动Go语言，提高其的市场份额。直到2013年Docker公开在PyCon上问世，持续到2016年前后，容器化的概念和技术才火热推进和产研升级。众人才得知，如此优秀的虚拟化容器居然完全用Go语言开发。2016年借着Docker之势，Go语言才真正被广大开发者关注。

为什么写本书

Go语言至今已经被广大开发者所青睐。Go语言极简单的部署方式(可直接编译出机器代码，除了C标准操作系统库几乎不依赖任何系统库，直接运行即可部署)、优秀的编译速度、“基因”层面的并发支持、强大的标准库支撑、极低的开发成本、简单易学、跨平台等特性深深地打动了每位接触过Go语言的后端开发工程师。

从Docker的兴起，至第二波Kubernetes的冲击(Kubernetes也主要由Go语言开发)，让Go语言在后端的地位，尤其在偏中高级业务需求(对性能、代码质量、架构设计等)中已经不可撼动。后端开发工程师逐渐开始对Go语言产生敬畏，无论是擅长何种语言的后端工程师，都有必要了解一下Go语言。

对于C++工程师，他们喜欢Go语言的简洁与优雅，而不失性能的威力； 对于Python工程师，在Web等高并发服务场景下，当遇见寸步难行的流量并发压力时，Python工程师更希望在Go语言的高速公路上畅通驾驶。

笔者从2016年开始接触Go语言，作为一名曾经主要使用C与C++的开发者，遇见Go语言的时候，有种“如获珍宝”的感觉。Go语言打动笔者的关键点就是它像极了C，优美而庄严！

Go语言就像一辆自动挡的高端型号汽车，不仅性能好，操作还简单。对于常年开高端手动挡C语言汽车的“司机”来讲，Go语言无疑让笔者爱不释手。

Go语言在云计算基础设施领域(Docker、Kubernetes、Etcd、Consul等)、基础后端软件领域(TiDB、influxDB、Cockroachdb等)、微服务领域(gokit、micro等)、互联网基础设施领域(以太坊、HyperLedger、P2P等)均表现得非常突出。笔者也在企业中用Go语言创作且实现了互联网场景下数据中心系统、数据实时修复监控系统、链路追踪系统等。

本书针对Go语言学习道路上一些需要去深挖和应理解透彻的点进行详细讲解，这些点并非一定会在日常开发中用上，它们可能仅仅会让我们更加了解Go语言，也可能让我们知道为什么要用Go语言开发。 也许每天陪你的语言伙伴——Go语言，它帮助你实现了天马行空的设计与思想，但你可能一直并没有去真正了解过它，仔细阅读本书，去真正了解常年陪伴你的伙伴吧！

本书主要面向的读者

本书针对Go语言在技术领域中的热门专题进行深入分析与讲解，采用丰富的图文描述形式，深入浅出且连贯地讲解各知识点。本书适合对Go语言有深入理解需求的读者，也适合由其他编程语言转职Go语言的开发者，是理解Go语言原理、关键技术点等知识体系构建的捷径之路。

本书主要面向的读者是已经具有软件编程开发经验的工程师、系统开发工程师、期望（由Python、PHP、C/C++、Ruby、Java等编程语言）转职到Go语言开发的后端工程师、期望深入理解Go语言特性的计算机软件学者等。

本书的目的是以最容易理解的方式介绍Go语言运作原理，让读者通过一个形象的轮廓理解Go语言更深层次的概念并以此感受它的魅力。Go语言领域有很多源码分析类书籍、语法精髓类书籍、设计方法类书籍等，但是如果要深入理解这些理论需读者用较长的时间去精读与沉淀，并且可能印象不深刻，一些关键性技术和原理也极容易被忘记。本书的每个章节专题所描述的知识点和知识点之间具备流畅的衔接，遵循知识点吸收的三步法： “为什么这样”“这样会如何”“所以才这样”的抽象编写架构。

如果学会了本书的全部理论且亲自实现了本书第三篇从0到1构建服务器框架程序，你将开始成为Go语言领域极少数的“牛人”，这些“牛人”不仅了解Go语言特性及其底层运作原理，并且知道自己如何去开发一套服务程序框架。同时，也要做好更深入探究的准备，本书虽然图文描述丰富，初识概念在脑海中建立模型较快，但本书也牺牲了烦琐的源码类解读，更有耐心且喜欢深究的读者建议配合Go语言源代码讲解或其他讲解源码类的书籍阅读，效果则会更佳。

本书读者应具备的背景知识

希望你对C和C++有一定的了解。如果你以前只有Java、Python和PHP编程经验，则可能需要付出较多的努力来完成这种转换，不过本书也会帮助你。编程语言的语法层面均类似，不过一些C语言的内容，特别是指针、显示的内存分配等，其他语言（如Java、PHP）是没有的。所幸的是C语言是一门简单、基础的语言，无论你的编程背景如何，都应该考虑去学一学C语言。

如果你想更流畅地阅读本书，则需要具备一定的后端开发功底，包括基础的Linux操作系统知识（如常用的Linux指令、操作系统文件特性、常用系统编程等）、对网络知识有一定的了解、掌握Socket编程及常见网络协议等。本书的一些章节为了更好地打好Go语言知识底层基础，会引入一些Linux的系统编程接口，这些接口多数是Linux原生的C语言接口，虽然不会妨碍阅读和理解，但是具备相关知识可能让你理解和吸收得更多。

你也要具备使用代码版本控制工具(如Git)的能力，在本书第三篇“Go语言框架设计之路”中强烈建议跟着书中的代码一步一步通过代码版本控制工具迭代开发且提交代码练习。这样在完成本书的全部内容后，就可以基于自己的源代码仓库去二次开发适合自己业务场景的框架，在完成本书的阅读后，也可以拥有一套属于自己的开源项目和框架。

本书概述

本书由3篇共21章组成，前半部分多为Go语言理论精髓，后半部分为框架实战。

第一篇包括第1~4章，是本书的重点章节，主要讲解Go语言开发工程师必备的知识。

第1章深入理解Go语言协程调度器GPM模型，形象介绍GPM模型的各个触发条件及运作的场景。

第2章Go语言混合写屏障的GC全场景分析，主要以推演的形式逐一介绍Go语言垃圾回收的处理机制。

第3章Go语言内存管理洗髓经，详细讲解内存管理的模型，一站式学习虚拟内存到TCMalloc再到Go语言的堆内存管理模型机制。

第4章深入理解Linux网络I/O复用并发模型，介绍服务器端对于网络并发模型及Linux系统下常见的网络I/O复用并发模型。

第二篇包括第5~12章，内容为Go语言学习中比较热门的知识点，也是深入理解Go语言编程的语言特性的进阶相关领域知识。

第5章有关Goroutine无限创建的分析，在基于控制Goroutine办法的基础上，实现协程Worker工作池的设计。

第6章Go语言中的逃逸现象，变量“何时在栈、何时在堆”，主要对Go语言逃逸现象进行分析。

第7章interface剖析与Go语言中面向对象思想，主要讲解interface关键字与interface{}类型内部剖析。

第8章defer践行中必备的要领，详细地罗列在defer的一些使用场景中所涉及的细节问题和案例代码分析。

第9章Go语言中常用的问题及性能调试实践方法。

第10章make和new的原理性区别，介绍make和new在使用过程中需要注意的地方，并结合一些代码场景分析，罗列出如果错误地使用二者将会带来哪些问题。

第11章精通Go Modules项目依赖管理，介绍Go Modules的一些管理方法。

第12章ACID、CAP、BASE的分布式理论推进，介绍ACID、CAP、BASE理论的演进过程。

第三篇包括第13~21章，内容为项目实战，基于Go语言的基础理论知识，从0到1地构建并设计实现Go语言的基于TCP/IP的网络服务器框架。Go语言目前在服务器的应用框架很多，但是应用在游戏领域或者其他长连接领域的轻量级企业框架甚少。笔者设计Zinx框架的目的是通过Zinx框架了解基于Go语言编写一个TCP服务器的整体轮廓，让更多的Go语言爱好者能深入浅出地学习和认识这个领域。

Zinx框架曾获得“GVP——码云最有价值开源项目”荣誉，如图1所示。

图1“GVP——码云最有价值开源项目”荣誉

第13~21章的内容概述如下：

第13章Zinx框架基础服务构建。

第14章Zinx框架路由模块设计与实现。

第15章Zinx全局配置。

第16章Zinx消息封装模块设计与实现，包括创建消息封装类型、消息的封包与拆包等的描述。

第17章Zinx多路由模式设计与实现，包括创建消息管理模块与多路由方式的设计与实现。

第18章Zinx读写分离模型构建。

第19章Zinx消息队列和任务工作池设计与实现，包括消息队列的创建、Worker工作池的启动、消息队列管理等模块的设计和实现。

第20章Zinx连接管理及属性设置，包括Zinx连接管理模块的创建、连接启动/停止自定义Hook方法的注册、连接配置接口等相关模块的设计与实现。

第21章基于Zinx框架的应用项目案例。

致谢

在此衷心感谢那些给我中肯的批评和鼓励的众多朋友及伙伴。

感谢早期为我提供发表文章的几大Go语言国内社区： Go语言中文网、GoCN、LeranKu、语雀、简书、知乎、GitBook、看云、博学谷等内容平台，能够让本书中早期的雏形文章广为传播，让更多的Go语言开发爱好者可以学习且提供平台分享和讨论。

特别感谢为Zinx提供创作且早期帮助Zinx维护的Go语言技术同道。感谢张超(GitHub： @zhngcho)对Zinx最早版本的代码构建。感谢刘洋(GitHub： @marklion)同步创作C++版本Zinx。感谢胡琪(GitHub： @huqitt)提供的Lua版本Zinx。感谢胡贵建(GitHub： @huguijian)提供的WebSocket版本Zinx。感谢Zinx开发小组负责维护建设的其他几位伙伴： 张继瑀(GitHub： @kstwoak)、高智辉(GitHub： @adsian)、辜飞俊(GitHub： @gufeijun)、翼飞虎(GitHub： @JiBadBoy)、杜家辉(GitHub： @graydovee)，同时感谢所有为Zinx做出贡献的人。

感谢开源中国（OSChina）对Zinx开源项目的收录和早期的平台推荐。感谢红薯老师对优良开源作品的认可和大力支持。

感谢所有对本书内容提出过勘误的目光锐利的读者，也感谢给我提出建议和改进的读者。

感谢最早期学习Zinx的学生们，他们提出了很多宝贵的反馈意见。特别感谢杜旭老师多次课堂上的教学。

感谢因学习本书内容而汇聚在一起的技术讨论社区的日常运营管理志愿者张继瑀(网名： 熊猫№．47)、谢心怡两位伙伴。

感谢清华大学出版社所有为本书顺利出版而付出努力的工作人员，尤其感谢赵佳霓编辑早期不懈的支持，对文稿的校验和正文内容结构的严谨调整。

致谢早期支持我网络博客作品且认真阅读的伙伴及技术同仁，感谢你们前期的阅读支持和提出的一些宝贵建议。

感谢我的家人，包括我的妻子王雪、我的儿子刘今煜，感谢他们愿意每天给我时间让我完成这部作品，没有他们的强烈支持，我可能也没有充足的业余时间让本书落地。

最后致正在阅读本书的读者，遇见本书是你与我的缘分，感谢你阅读至此处，希望你在Go语言的道路上越来越好！

谢谢为本书付出过和帮助过我的所有人。

刘丹冰(Aceld)

2022年11月于北京

本书源代码

第一篇Go语言修炼必经之路

第1章深入理解Go语言协程调度器GPM模型

1.1Go语言“调度器”的由来

1.1.1单进程时代不需要调度器

1.1.2多进程/多线程时代的调度器需求

1.1.3协程提高CPU的利用率

1.1.4Go语言的协程Goroutine

1.1.5被废弃的Goroutine调度器

1.2Go语言调度器GPM模型的设计思想

1.2.1GPM模型

1.2.2调度器的设计策略

1.2.3go func() 调度流程

1.2.4调度器的生命周期

1.2.5可视化GPM编程

1.3Go调度器调度场景过程全解析

1.3.1场景1： G1创建G2

1.3.2场景2： G1执行完毕

1.3.3场景3： G2开辟过多的G

1.3.4场景4： G2本地满再创建G7

1.3.5场景5： G2本地未满再创建G8

1.3.6场景6： 唤醒正在休眠的M

1.3.7场景7： 被唤醒的M2从全局队列批量取G

1.3.8场景8： M2从M1中偷取

1.3.9场景9： 自旋线程的最大限制

1.3.10场景10： G发生阻塞的系统调用

1.3.11场景11： G发生非阻塞的系统调用

1.4小结

第2章Go语言混合写屏障的GC全场景分析

2.1Go V1.3标记清除算法

2.1.1标记清除(Mark and Sweep)算法的详细过程

2.1.2标记清除算法的缺点

2.2Go V1.5的三色标记法

2.2.1三色标记法的过程

2.2.2没有STW的三色标记法

2.2.3触发三色标记法不安全的必要条件

2.3Go V1.5 的屏障机制

2.3.1“强弱”三色不变式

2.3.2插入屏障

2.3.3删除屏障

2.4Go V1.8的混合写屏障

2.4.1混合写屏障(Hybrid Write Barrier)规则

2.4.2场景1： 堆删除引用，成为栈下游

2.4.3场景2： 栈删除引用，成为栈下游

2.4.4场景3： 堆删除引用，成为堆下游

2.4.5场景4： 栈删除引用，成为堆下游

2.5小结

第3章Go语言内存管理洗髓经

3.1何为内存

3.2内存为什么需要管理

3.3操作系统是如何管理内存的

3.3.1虚拟内存

3.3.2MMU内存管理单元

3.3.3虚拟内存本身怎么存放

3.3.4CPU内存访问过程

3.3.5内存的局部性

3.4如何用Go语言实现内存管理和内存池设计

3.4.1基于Cgo的内存C接口封装

3.4.2基础内存缓冲Buf实现

3.4.3内存池设计与实现

3.4.4内存池的功能单元测试

3.4.5内存管理应用接口

3.5Go语言内存管理之魂TCMalloc

3.5.1TCMalloc

3.5.2TCMalloc模型相关基础结构

3.5.3ThreadCache

3.5.4CentralCache

3.5.5PageHeap

3.5.6TCMalloc的小对象分配

3.5.7TCMalloc的中对象分配

3.5.8TCMalloc的大对象分配

3.6Go语言堆内存管理

3.6.1Go语言内存模型层级结构

3.6.2Go语言内存管理单元相关概念

3.6.3MCache

3.6.4MCentral

3.6.5MHeap

3.6.6Tiny对象分配流程

3.6.7小对象分配流程

3.6.8大对象分配流程

3.7小结

第4章深入理解Linux网络I/O复用并发模型

4.1网络并发模型中的几个基本概念

4.1.1流

4.1.2I/O操作

4.1.3阻塞等待

4.1.4非阻塞忙轮询

4.1.5阻塞与非阻塞对比

4.2解决阻塞等待缺点的办法

4.2.1阻塞死等待的缺点

4.2.2解决阻塞等待的办法1: 多线程/多进程

4.2.3解决阻塞等待的办法2： 非阻塞忙轮询

4.2.4解决阻塞等待的办法3： select

4.2.5解决阻塞等待的办法4： epoll

4.3什么是epoll

4.4epoll的触发模式

4.4.1水平触发

4.4.2边缘触发

4.5简单的epoll服务器

4.5.1服务器端实现

4.5.2客户端实现

4.6Linux下常见的网络I/O复用并发模型

4.6.1模型1： 单线程Accept(无I/O复用)

4.6.2模型2： 单线程Accept+多线程读写业务(无I/O复用)

4.6.3模型3： 单线程多路I/O复用

4.6.4模型4： 单线程多路I/O复用+多线程读写业务(业务工作池)

4.6.5模型5： 单线程I/O复用+多线程I/O复用(连接线程池)

4.6.6模型5(进程版)： 单进程多路I/O复用+多进程I/O复用

4.6.7模型6： 单线程多路I/O复用+多线程I/O复用+多线程

4.7小结

第二篇Go语言编程进阶之路

第5章有关Goroutine无限创建的分析

5.1从操作系统分析进程、线程、协程的区别

5.1.1进程内存

5.1.2线程内存

5.1.3执行单元

5.2协程的切换成本

5.2.1协程切换成本

5.2.2线程切换成本

5.2.3内存占用

5.3Go是否可以无限创建，如何限定数量

5.3.1不控制Goroutine数量引发的问题

5.3.2一些简单方法控制Goroutine的数量

5.4动态保活Worker工作池设计

5.4.1如何确定一个Goroutine已经死亡

5.4.2Worker工作池的设计

5.4.3测试Worker工作池

5.5小结

第6章Go语言中的逃逸现象，变量“何时在栈、何时在堆”

6.1Go语言中的逃逸现象

6.1.1Go语言中访问子函数的局部变量

6.1.2C/C++中访问子函数的局部变量

6.2逃逸分析过程示例

6.2.1示例过程

6.2.2new的变量在栈还是堆

6.3普遍的逃逸规则

6.3.1逃逸范例1

6.3.2逃逸范例2

6.3.3逃逸范例3

6.3.4逃逸范例4

6.3.5逃逸范例5

6.3.6逃逸范例6

6.3.7逃逸范例7

6.3.8逃逸范例8

6.4小结

第7章interface剖析与Go语言中面向对象思想

7.1interface的赋值问题

7.2非空接口的interface内部构造

7.2.1案例分析

7.2.2空接口eface

7.2.3非空接口iface

7.3空接口的interface内部构造

7.4interface{}与*interface{}

7.5面向对象思维理解interface

7.5.1平铺式的模块设计

7.5.2面向对象中的开闭原则

7.5.3接口的意义

7.5.4耦合度极高的模块关系设计

7.5.5面向抽象层依赖倒转设计

7.6小结

第8章defer践行中必备的要领

8.1defer的执行顺序

8.2defer与return谁先谁后

8.3函数返回值的初始化

8.4有名函数返回值遇见defer的情况

8.5defer遇见panic

8.5.1defer遇见panic，但是并不捕获异常的情况

8.5.2defer遇见panic，并捕获异常

8.6defer中包含panic

8.7defer下的函数参数包含子函数

8.8小结

第9章Go语言中常用的问题及性能调试实践方法

9.1如何分析程序的运行时间与CPU利用率

9.1.1shell内置time指令

9.1.2/usr/bin/time指令

9.2如何分析Go语言程序的内存使用情况

9.2.1占用内存情况查看

9.2.2GODEBUG与gctrace

9.2.3runtime.ReadMemStats

9.2.4pprof工具

9.3如何获取Go语言程序的CPU性能情况

9.3.1通过Web界面查看且得到profile文件

9.3.2使用pprof工具获取信息

9.3.3profile文件获取信息

9.3.4可视化图形查看及分析

9.4小结

第10章make和new的原理性区别

10.1变量的声明

10.2Go语言中make与new的区别

10.2.1new

10.2.2make

10.2.3make与new的异同

10.3slice与new关键字

10.4小结

第11章精通Go Modules项目依赖管理

11.1GOPATH的工作模式

11.1.1什么是GOPATH

11.1.2GOPATH模式的弊端

11.2Go Modules模式

11.2.1go mod命令

11.2.2go mod环境变量

11.2.3GO111MODULE

11.2.4GOPROXY

11.2.5direct

11.2.6GOSUMDB

11.2.7GONOPROXY/GONOSUMDB/GOPRIVATE

11.3使用Go Modules初始化项目

11.3.1开启Go Modules

11.3.2初始化项目

11.3.3查看go.mod文件

11.3.4查看go.sum文件

11.4修改模块的版本依赖关系

11.5小结

第12章ACID、CAP、BASE的分布式理论推进

12.1从本地事务到分布式理论

12.2ACID理论

12.3CAP理论

12.3.1一致性

12.3.2可用性

12.3.3分区容错性

12.4CAP的“3选2”证明

12.4.1基本场景

12.4.2CAP特性

12.4.3分布式系统正常运行流程

12.4.4分布式系统异常运行流程

12.4.5“3选2”的必然性

12.5分布式BASE理论

12.6小结

第三篇Go语言框架设计之路

第13章Zinx框架基础服务构建

13.1初探Zinx架构

13.2ZinxV0.1基础服务

13.2.1ZinxV0.1 代码实现

13.2.2Zinx框架单元测试样例

13.2.3使用ZinxV0.1完成应用程序

13.3ZinxV0.2简单的连接封装与业务绑定

13.3.1ZinxV0.2代码实现

13.3.2使用ZinxV0.2完成应用程序

13.4小结

第14章Zinx框架路由模块设计与实现

14.1IRequest 消息请求抽象类

14.1.1创建抽象IRequest层

14.1.2实现Request类

14.2IRouter 路由配置抽象类

14.2.1创建抽象的IRouter层

14.2.2实现Router类

14.3ZinxV0.3集成简单路由功能

14.3.1IServer增添路由添加功能

14.3.2Server类增添Router成员

14.3.3Connection类绑定一个Router成员

14.3.4在Connection调用注册的Router处理业务

14.4Server传递Router参数Connection

14.5使用ZinxV0.3完成应用程序

14.5.1测试基于Zinx完成的服务器端应用

14.5.2启动Server和Client

14.6小结

第15章Zinx全局配置

15.1ZinxV0.4增添全局配置代码实现

15.2使用ZinxV0.4完成应用程序

15.3小结

第16章Zinx消息封装模块设计与实现

16.1创建消息封装类型

16.2消息的封包与拆包

16.2.1创建拆包封包抽象类

16.2.2实现拆包封包类

16.2.3测试拆包封包功能

16.3ZinxV0.5代码实现

16.3.1Request字段修改

16.3.2集成拆包过程

16.3.3提供封包的发送方法

16.3.4使用ZinxV0.5完成应用程序

16.4小结