containerd原理剖析与实战

Kubernetes作为云原生领域容器编排的事实标准毋庸置疑，Kubernetes作为编排调度的指挥官，而真正的执行者实际上是容器运行时。在云原生生态中，容器运行时作为云原生技术栈的基石，是至关重要的一环。本书旨在帮助读者全面了解containerd的基本原理和概念。本书从云原生与容器运行时讲起，内容涵盖云原生和容器的发展史，容器技术的Linux原理，containerd的架构、原理、功能、部署、配置、插件扩展开发等，并详细介绍containerd生产实践中的配置以及落地实践，使读者对containerd的概念、原理、实践有比较清晰的了解。

本书适合作为云原生和容器技术的架构师、研发工程师和运维工程师的参考资料，也适合作为希望了解云计算和容器技术的爱好者的自学用书和参考手册。

赵吉壮，硕士毕业于浙江大学控制科学与工程学院，字节跳动火山引擎云计算架构师，Kubernetes、Knative 等开源社区成员。具备多年云原生领域架构设计与研发经验，主导火山引擎边缘容器完成从0 到1的建设。专注于 kubernetes、Serverless、容器等技术的研究，译作有《Knative 最佳实践》和《Knative 快速入门与实践》等书籍。

张明月，新华三资深网络技术专家，多年企业网实践经验，对数据中心网络、园区网络、传统二三层交换机、数据传输设备，从管理面到协议控制面，都有着深刻的理解。

创作背景

近几年，随着Kubernetes和容器技术的崛起，云原生已成为当下热门的技术话题。而Kubernetes也毫无疑问地成为容器编排领域的事实标准。容器运行时作为Kubernetes运行容器的关键组件，承担着管理进程的使命。起初Kubernetes支持的容器运行时是Docker，Docker client通过代码内嵌的方式集成在kubelet中。之后Kubernetes重新设计了CRI标准，使得各种容器运行时可以通过CRI协议接入Kubernetes。而之前通过硬编码形式嵌入kubelet中的Docker client，则逐渐迁移到CRI标准下（dockershim），并在Kubernetes 1.24版本中被彻底移除。

CRI支持的容器运行时有很多，其中containerd作为从Docker项目中分离出来的项目，由于经历了Docker多年生产环境的磨炼，相比其他CRI运行时更加健壮、成熟。正如containerd官网所言，“containerd是一个工业级标准的容器运行时，它强调简单性、健壮性和可移植性”。

Docker作为老牌的容器运行时，有很多相关的书籍和资料对其进行介绍，而containerd作为一个新兴的容器运行时，截至笔者著书之日，依然没有系统介绍它的书籍。作为一名云原生以及容器技术的忠实粉丝，笔者很早就接触到了containerd项目，并见证了containerd项目的发展，为containerd项目取得的成就感到骄傲，也对containerd项目充满了信心。因此，希望通过这本书，更多的人可以了解containerd，体验containerd带来的价值。

目标读者

本书的目标读者包括：

云原生架构师。

容器技术架构师。

研发工程师。

运维工程师。

云计算和容器技术的爱好者。

本书内容

本书作为一本系统介绍云原生容器运行时containerd的书，将通过深入浅出的方式一步步介绍containerd的发展历史、依赖的技术背景、技术架构和原理等。

本书内容共分8章，每章的知识点如下。

第1章：讲解云原生与容器运行时，介绍什么是云原生，云原生有什么价值，云原生与容器运行时有什么关系，以及Docker与Kubernetes的发展历史等，带读者了解containerd容器技术的发展与历史。

第2章：讲解容器运行时的概念，从容器技术及其发展历史出发，为读者介绍容器的发展史，容器所依赖的Linux基础，容器运行时以及当前的容器运行时规 范等。

第3章：讲解如何使用containerd，内容包括containerd的安装和部署，以及如何通过ctr和nerdctl两种cli工具操作containerd。

第4章：讲解containerd与CRI，内容包括Kubernetes中的CRI机制及其演进、containerd中的CRI Plugin架构和配置，以及CRI客户端工具crictl的使用等。

第5章：讲解containerd中的容器网络，主要从CNI规范、常见的CNI网络插件，以及如何在containerd中指定容器网络创建容器等方面展开介绍。

第6章：讲解containerd和容器存储，重点介绍containerd是如何通过snapshotter管理容器镜像的。

第7章：讲解containerd的核心组件，对containerd的架构进行剖析，根据containerd架构讲解组成containerd的各个模块，如API、Core以及Backend层的多个模块。

第8章：讲解containerd生产与实践中的一些操作，如如何配置containerd的监 控，如何基于containerd做二次开发等。

读者服务

读者可以通过扫码访问本书专享资源官网，获取示例代码，加入读者群，下载最新学习资源或反馈书中的问题。

勘误和支持

由于笔者水平有限，书中难免会有疏漏和不妥之处，恳请广大读者批评指正。

致谢

本书从构思、形成初稿，直到出版问世，得到了许多人的帮助。

首先要感谢的是我的妻子对我的支持，使我有足够的时间投入本书的写作中，并在写作的过程中给了我很大的鼓励和支持。

本书的大量内容源于我所参与的项目实践。诸多业务合作伙伴在使用我们的容器平台的过程中向我们提出了许多富有挑战的问题，是他们孜孜不倦的追求，深化了我对容器技术、containerd的理解，进而丰富了本书的内容。对此，向曾经一起合作的团队成员表示感谢。

最后，衷心感谢清华大学出版社王秋阳老师对本书进行细致的审阅和策划，让本书的架构更加完备，内容更加完整，并最终得以顺利出版。

笔者

第1章 云原生与容器运行时 1

1.1　云原生概述 1

1.1.1 云原生的定义 1

1.1.2 云原生应用的价值 3

1.1.3 云原生应用与传统应用对比 3

1.2 云原生技术栈与容器运行时 4

1.2.1 云原生技术栈 4

1.2.2 容器运行时 5

1.3 Docker与Kubernetes的发展史 7

1.3.1 Docker的发展历史及与容器世界的关联 7

1.3.2 Docker架构的发展 13

1.4 containerd概述 15

第2章 初识容器运行时 18

2.1 容器技术的发展史 19

2.2 容器Linux基础 25

2.2.1 容器是如何运行的 25

2.2.2 namespace 27

2.2.3 Cgroups 46

2.2.4 chroot和pivot_root 52

2.3 容器运行时概述 54

2.3.1 什么是容器运行时 54

2.3.2 OCI规范 55

2.3.3 低级容器运行时 70

2.3.4 高级容器运行时 71

第3章 使用containerd 73

3.1　containerd的安装与部署 74

3.1.1 containerd的安装 74

3.1.2 配置containerd.service 76

3.2　ctr的使用 78

3.2.1 ctr的安装 78

3.2.2 namespace 80

3.2.3 镜像操作 82

3.2.4 容器操作 85

3.3　nerdctl的使用 89

3.3.1 nerdctl的设计初衷 89

3.3.2 安装和部署nerdctl 90

3.3.3 nerdctl的命令行使用 92

3.3.4 运行容器 95

3.3.5 构建镜像 96

第4章 containerd与云原生生态 99

4.1　Kubernetes与CRI 99

4.1.1 Kubernetes概述 99

4.1.2 CRI与containerd在Kubernetes生态中的演进 101

4.1.3 CRI概述 104

4.1.4 几种CRI实现及其概述 110

4.2 containerd与CRI Plugin 115

4.2.1 containerd中的CRI Plugin 115

4.2.2 CRI Plugin中的重要配置 117

4.2.3 CRI Plugin中的配置项全解 130

4.3 crictl的使用 138

4.3.1 crictl概述 138

4.3.2 crictl的安装和配置 139

4.3.3 crictl使用说明 142

第5章 containerd与容器网络 153

5.1 容器网络接口 153

5.1.1 CNI概述 153

5.1.2 CNI配置文件的格式 155

5.1.3 容器运行时对CNI插件的调用 157

5.1.4 CNI插件的执行流程 160

5.1.5 CNI插件的委托调用 166

5.1.6 CNI插件接口的输出格式 167

5.1.7 手动配置容器网络 169

5.2 CNI插件介绍 181

5.2.1 main类插件 182

5.2.2 ipam类插件 197

5.2.3 meta类插件 203

5.3 containerd中CNI的使用 209

5.3.1 containerd中CNI的安装与部署 209

5.3.2 nerdctl使用CNI 210

5.3.3 CRI使用CNI 214

5.3.4 ctr使用CNI 215

第6章 containerd与容器存储 216

6.1　containerd中的数据存储 216

6.1.1 理解容器镜像 216

6.1.2 containerd中的存储目录 219

6.1.3 containerd中的镜像存储 222

6.1.4 containerd中的content 223

6.1.5 containerd中的snapshot 230

6.2 containerd镜像存储插件

snapshotter 234

6.2.1 Docker中的镜像存储管理

graphdriver 235

6.2.2 graphdriver与snapshotter 237

6.2.3 snapshotter概述 238

6.2.4 containerd中如何使用snapshotter 243

6.3 containerd支持的snapshotter 246

6.3.1 native snapshotter 246

6.3.2 overlayfs snapshotter 250

6.3.3 devmapper snapshotter 258

第7章 containerd核心组件解析 272

7.1　containerd架构总览 272

7.2 containerd API和Core 274

7.2.1 GRPC API 275

7.2.2 Services 289

7.2.3 Metadata 290

7.3 containerd Backend 293

7.3.1 containerd中的proxy plugins 294

7.3.2 containerd中的Runtime和shim 297

7.3.3 containerd shim规范 300

7.3.4 shim工作流程解析 306

7.4 containerd与NRI 309

7.4.1 NRI概述 310

7.4.2 NRI插件原理 311

7.4.3 containerd中启用NRI插件 319

7.4.4 containerd NRI插件示例 320

7.4.5 NRI插件的应用 322

第8章 containerd生产与实践 323

8.1 containerd监控实践 323

8.1.1 安装Prometheus 323

8.1.2　Prometheus上containerd的指标

采集配置 326

8.1.3 Grafana监控配置 330

8.1.4 配置containerd面板 330

8.2 基于containerd开发自己的

容器客户端 332

8.2.1 初始化Client 333

8.2.2 拉取镜像 334

8.2.3 创建OCI Spec 334

8.2.4 创建task 334

8.2.5 启动task 335

8.2.6 停止task 335

8.2.7 运行示例 336

8.3 开发自己的NRI插件 337

8.3.1 插件定义与接口实现 337

8.3.2 插件实例化与启动 339

8.3.3 插件的运行演示 339