云存储：释放数据无限价值

当第一个类人猿用沾满炭灰的石头在洞穴墙壁上刻下自己的形象时，"存储”作为延续文明的工具就诞生了。当古老的"存储”遇到云计算，就成为了由云而生、依云而建的云存储。本书呈现的是阿里云存储团队通过保障数十 EB 数据的稳定和安全在十余年的自研之路得来的技术变革、实战开发经验和教训，以及丰富的行业和场景应用的解决方案。阿里云的存储工程师们会在本书中尽力回答：超大规模的云存储系统如何创建；如何满足高峰值应用的高带宽和低延时需求；如何低成本、低能耗地长期保存和利用数据；如何保证全年 7×24 小时不间断的超高可用性；如何保证用户的数据安全；如何利用数据生命周期；如何根据用户的需求弹性地部署和调度资源；如何实现数据管理和调度的高效及智能化；如何针对不同的行业给出合适的解决方案等问题。

阿里云基础产品委员会主要负责阿里云的计算、存储、网络、安全、云原生、稳定性等产品技术架构设计与开发，权威定义了包括云存储在内的云计算产业标准。

人类文明的发展史，其实就是建立在存储技术的演进之上的。数据成为继土地、劳动力、资本、技术之后的第五种生产要素，所有基于数据的挖掘和增值都离不开存储。本书即详细介绍了数据存储技术的昨天、今天和明天，不失为一本了解数据存储技术的标杆读物。

◎阿里云存储团队一线研发工程师、产品经理和架构师合力撰写

◎阿里云存储团队保障数十EB 数据的实战开发经验和教训

◎孙凝晖院士、谢长生教授、张建锋、蒋江伟、吴结生、陈起鲲等专家联袂力荐

◎本书涉及数据存储技术的方方面面，如存储系统架构、存储协议、数据重删与压缩、数据复制与冗余、数据安全、数据一致性、分布式存储系统等存储技术基础

◎还有视频监控、大数据及数据湖统一存储、多媒体数据存储、高性能计算数据存储、混合云灾备等行业应用存储技术解决方案

◎更有SCM 介质、DNA存储、多维光存储、混合云存储等存储技术创新展望

推荐序一

我的老同事吴结生让我给这本介绍云存储的书写一篇推荐序。我虽然不是研究存储技术的，但是过去的科研经历与存储技术有些渊源，因而提笔写就此序。

我在 1992 年参加工作时，被分配做的第一个任务就是给曙光 1000 超级计算机（下简称“曙光超算”）写一个并行文件系统。曙光超算是一台拥有大规模并行体系结构的机器，其存储就是利用普通的硬盘实现的。吴结生也曾给早期的曙光超算写过文件系统。后来，网络存储系统发展起来了，我的一个博士生苗艳超在中国科学院计算技术研究所（下简称“计算所”）智能中心写的一个网络存储系统的原型被带到曙光公司后，慢慢发展成了曙光 ParaStor 存储产品线。另外，在我担任计算所所长期间，计算所科研人员还创办了蓝鲸公司等几家存储初创公司。

现代计算机的科学基石是图灵机计算模型与冯·诺依曼体系结构（下简称“冯结构”）。图灵机确定了一个通用计算必须有“纸带”这个存储工具；冯结构表明存储必须利用 RAM，也就是随机存储。从此，存储就一直是以计算的配角的形象被呈现的，专门研发存储的公司的名头往往不如研发计算机系统的大。当下，在存储技术上，除

清华大学、华中科技大学、中国科学院等单位外，成体系地开展存储技术科研活动的科研单位太少了。在企业界研发存储系统的公司虽然很多，但是专注于存储介质、存储系统相关芯片研发的企业太少，不利于我国在存储技术领域构建高水平、自立自强的技术体系。

但是，云计算的崛起使得云存储成为可以脱离计算而单独存在的市场。我认为 ,未来云存储有可能改变存储“最佳配角”的宿命，成为“最佳主角”，这需要大家一起努力！

本书系统地讲解了与存储相关的技术体系和技术细节，以及阿里云存储的关键技术与组件，还对云存储的未来进行了展望。这是阿里云的工程师写给广大工程师看的书，内容很实在，书的写作风格我也很喜欢。

孙凝晖

中国工程院院士

中国科学院计算技术研究所研究员

于北京

推荐序二

数字经济成为新的社会经济形式，有其久远和深刻的哲学与科学基础。约6000年前，中国伏羲氏提出的八卦图是数字表达信息的思想原点，古希腊的毕达哥拉斯提出万物皆数的思想则揭示了数字的强大能力。20世纪前半叶，信息科学完成了其理论奠基工作，香农的信息论揭示了信息的本质，图灵则证明了对数据的序列化操作（计算）可以解决一切有解的数学问题。后来。斯蒂芬·沃尔夫勒姆在其著作《一种新科学》中指出，计算的能力实际更为强大，它在理论上可以表达宇宙的一切规律！这就意味着数据及其表达信息的能力极为强大，强大到几乎能表达世间万物（包括客观世界与主观世界）！

因此，信息哲学和科学为数字技术及其应用描绘了一个极为遥远的终点。随着技术的进步，数据的能量不断被释放出来，正成为新的财富和资源。一切事物都在向数字化转型，这成为一个必然的趋势。人类赖以生存的经济活动必然会被打上数字的烙印。

云服务模式是数字技术应用领域的一个重要里程碑，它的价值在于，它提供了一种统一管理的信息服务基础设施，为数字经济的发展提供了强大的保证。正如自来水管网和电网在成为基础设施后，人们的生活就难以与其分开，云平台成为信息基础设施后，人们对云服务的依赖程度也会越来越高。我们现在往往把云服务称为“云计算”，这其实是一种广义的说法。云服务实际上是对数据进行计算、存储、传输的三位一体的巨大规模综合体。云计算真正被应用不过十几年，但这种模式一经出现，就展示出强大的生命力，并在世界范围内得到迅猛的发展。

可喜的是，我国以阿里云为代表的一批企业及时赶上了历史的潮流，在云计算领域成为世界排名靠前的云服务商，不仅为我国数字经济的发展提供了动力，也参与到国际合作中，为人类社会提供信息服务。构建云平台是一项规模巨大的工程，往往一家大型云服务商统一管理着几十个大型数据中心，每个数据中心包含几万到十几万个相互连接的计算和存储节点。保证云平台满足巨大数量用户各种需求涉及的技术十分复杂。为了发展云技术，我们迫切需要培养一大批从事云存储研究与开发的工程师和管理者。因此，我们非常渴望有介绍云存储技术的好书出现，以支持我国云计算技术的迅猛发展。

作为一名长期从事信息存储技术研究的教育工作者，我在看过这本书后，觉得这就是一本我所期待的书。这本书不仅非常适合高校的本科生和研究生用于学习云存储技术，而且也适合广大工程技术人员、运维和管理人员用来了解和掌握云存储技术的精髓。

推荐序二

数据是最宝贵的资源，而存储是数据的载体。从这个意义上来看，云存储是云平台中对可靠性、稳定性和安全性要求最高的部分。随着进入云中的数据量的增长速度越来越快、数据形式越来越多样，以及对数据价值利用的要求越来越高，云存储面临的挑战也越来越大。

超大规模的云存储系统如何构建？如何满足高峰值应用的高带宽和低延时需求？如何低成本、低能耗地长期保存和利用数据？如何保证全年 7×24 小时不间断的超高可用性？如何保证用户的数据安全？如何利用数据生命周期？如何根据用户的需求弹性地部署和调度资源？如何实现数据管理和调度的高效及智能化？如何针对不同的行业给出最合适的解决方案？……这些都是云存储系统要解决的问题。

我欣喜地发现，在本书中这些问题的答案都能找到。本书的作者是阿里云存储研发和运维管理的核心人员，对云存储技术有着非常丰富的实战经验，并通过技术研发、系统构建、实际使用和运维形成了对云存储技术的深刻理解。正是作者们独特的身份，使得本书有别于其他介绍存储原理的书籍。这本书植根于阿里云存储深厚的技术土壤，介绍了阿里云存储实际的技术与架构，思路清晰、内容丰满，还有不少令人感兴趣的技术细节，给读者以“干货满满”的感觉。

更难能可贵的是，本书并不是一本仅讲述阿里云存储技术细节的书，它还对云存储技术的发展有着总体把握和深刻思考。其中对数字经济底层范式和云存储技术脉络的梳理，对数据“引力效应”的描述，对数据价值的分析，以及对云存储技术未来走向的分析等内容，都会给读者带来启发和思考。本书在具体介绍阿里云存储的技术和架构之前，介绍了一些基础性的技术知识，可使读者循序渐进地学习，增强了可读性。

云存储是阿里云重要的组成部分，是我国科研人员独立自主开发的技术，有着众多的创新之处，并经过了大规模应用的考验。它不仅提供了世界排名前三的云服务，体系还经受了“双 11”这种极端负载的考验，并为北京冬奥会这类重大活动提供了云端信息服务。正如本书前言中所言，本书是对阿里云存储技术研发成果的集大成式

讲解和全面展示，相信会给读者带来满满的收获和愉快的体验。

谢长生

中国计算机行业协会信息存储与安全专业委员会会长

华中科技大学武汉光电国家研究中心教授

于武汉

推荐序三

当前，数字化、网络化、智能化已经成为产业高质量发展的重要驱动力，企业上云已成为数字化发展的共识。作为云计算的核心底座，云存储在过去十几年的发展中，带来了远远不止于存储的价值。

云存储为产业发展带来了灵活性、弹性、极致性能、稳定可靠、安全合规、绿色低碳的多重优势。伴随着数字化进程的加速，企业数据量的大幅提升，数据类型庞杂多样，而云存储通过数据湖、智能运维等方式对数据进行结构化的处理与升级，因此没有对存储数据格式类型的限制。系统安全稳定也成为越来越多大型传统企业上云的动力之一。云存储可以通过端到端的安全加密，以及遍布全球的云基础设施，让企业享受高质量的安全的数据服务。云的可靠性同样具有吸引力，比如阿里云的对象存储服务已经达到了“12 个 9”（99.9999999999%）的数据持久性，可以存储任意规模的数据，也能应对用户的各类场景需求，并经受了“双 11”购物节、春运期间的 12306购票体系、健康码服务体系这样的超大流量的考验。

阿里云存储多年来已经服务了包括互联网、游戏、媒体、软件服务、工业制造等领域的各类企业，提供了一体化数据存储与处理解决方案，从数据采集、传输和管理全链条上进行优化，一直致力于为企业降低数据存储与处理成本，提升研发效能。

阿里云存储团队撰写的这本书系统地梳理并总结了存储技术的发展与应用方向，回顾了阿里云存储十几年的发展历程与经验。希望此书能帮助读者更好地了解和把握云存储的发展历程和未来趋势，同时感知阿里云存储技术发展背后蕴藏的重大意义。

张建锋

阿里云智能总裁

阿里巴巴达摩院院长

于杭州

推荐序四

近年来，科技和社会发展产生的新数据量，已经超越了人类历史上以往数据量的总和。数据已经成为产业数字化转型的“新能源”，以及个人、企业组织和社会的核心资产。海量数据和场景多元化在带来丰富业务创新的同时，也对数据的存储和管理提出了包括成本、性能、可靠性等多方面的挑战。

存储对每个企业来说都至关重要，特别是区别于传统存储的云存储。在系统设计上，必须不仅要做到数据零丢失、零差错，而且要做到数据的可弹性扩展，这对技术提出了极高的要求。13年前，阿里云意识到，传统存储技术将无法应对这些挑战。

于是，阿里云的一名工程师写下了阿里云自研的分布式存储——飞天盘古的第一行代码。阿里云存储系统是阿里云飞天云操作系统的核心技术之一，可通过一套存储架构支持多个复杂场景，如极低延时的数据库场景、高吞吐的大数据分析场景、高并发的高性能计算场景和成本敏感的归档场景。它利用了独创的分布式数据冗余算法，支持跨数据中心、跨地域的多可用区容灾策略，数据可靠性达到“12个9”，可用性高达99.995%。自研的高性能RDMA存储网络、HPCC流控算法和新型软硬融合存储引擎，引领云存储进入微秒延时时代。分布式多级元数据管理，支持数据规模无限扩展。

现在，阿里云存储已经广泛部署于公共云、边缘节点和客户数据中心，植根于各类企业的数字化转型过程中。我们相信，阿里云存储将不断突破创新，为行业、为产业、为社会提供更有价值的新基础设施底座。

蒋江伟

阿里云高级研究员

于杭州

序 言

在过去 20 多年间，分布式系统和分布式存储蓬勃发展，从支持高性能计算（High Performance Computing，HPC）及超算，到搜索和广告，再到云计算，出现了很多经典的存储系统，典型代表包括 IBM GPFS 和 Lustre 对高性能计算的支持，谷歌的 GFS（Google File System）和微软的 Cosmos 对搜索和广告的支持，HDFS1 对大数据分析的支持，以及开源的 Ceph 分布式存储，等等。尤其是在 2003—2006 年，来自谷歌的“三驾马车”——GFS（分布式文件存储）、BigTable（键值存储）和 MapReduce（大数据分析系统），再加上 Chubby（分布式锁服务）的发表，打造了云计算分布式系统的开发蓝本。在此期间，亚马逊 AWS、微软 Azure 、阿里云和谷歌 GCP 相继打造了自己的云存储系统和产品。

从 2008 年起，阿里云开始了飞天操作系统的自研之路。存储及与其相关的组件是飞天操作系统的关键，包括分布式存储系统“飞天盘古”、键值存储系统、分布式锁和网络编程框架等。基于这些组件，构建了阿里云丰富的存储产品和大数据分析产品。经过十几年的发展，飞天盘古成为了统一的存储平台，用一套架构高效而灵活地支持低延时的数据库访问，支持高吞吐量的大数据分析，支持高并发的超算和低成本的归档等多种场景。

随着云计算的普及，以及大数据分析、人工智能和机器学习在百行千业的数字化和智能化转型中的落地，云存储迎来了新的挑战和机会。首先，在数据高速增长的趋势下，存储技术需要在介质、编码、压缩等领域进一步探索和创新，不断降低存储的成本；其次，在数据分析和智能决策走向实时化趋势中，低延时、高带宽的存储是关键支撑，存储服务器、网络、介质和存储系统的软硬件一体设计，从体系结构和软硬件分工合作等角度不断进行变革；最后，在大量国计民生服务和企业核心应用上云的过程中，保障存储的稳定性、高性能和易用性是关键。云存储的智能管理技术，通过引入人工智能技术（AIOps 和 AI for System 等），提供运维、管理、调优和修复等自治能力，是存储系统新的发展趋势和机会。

本书特点

本书是阿里云研发和产品团队结合业界的技术发展趋势，总结了自身十几年的实战开发经验与教训，囊括了丰富的行业和场景应用的解决方案。书中有三个明显的特点。

首先，本书立体地展示了云存储的技术、产品和业务，既详实地阐述了存储关键技术和关键组件，也介绍了多种类型的云存储产品，以及云存储的典型行业和场景应用的解决方案。

其次，本书理论和实践高度结合，勾勒了存储技术的过去、现在和未来。通过大规模客户和丰富场景的锤炼，飞天盘古及关键技术组件的不断演进，展现了产品化过程中大规模分布式存储最关心的一系列问题和相应的解决思路。面向未来，通过过去3 年践行阿里云的“向下做深基础”的战略，发展自研芯片、服务器、磁盘控制器、磁盘介质和高性能网络等技术，不断探索新的体系结构和软硬一体设计，为新的存储系统的演进打开了一扇门。

最后，参与本书编写的 30 多位作者都是阿里云一线的研发工程师、产品经理、架构师，他们实实在在地描述了在真实的生产系统中，存储技术和产品是如何大规模落地的。

作为一名在分布式系统和存储领域从业 20 多年的老兵，我希望这本书的一些独特内容和视角，可以为您对云计算和云存储的了解提供帮助。同时，期待更多的研发人员加入存储领域，直面新的挑战，抓住新的机遇，实现“稳定安全高性能，普惠智能新存储”这一阿里云存储的远大愿景，共建生态，在业务的数字化和智能化中创造更多价值。

吴结生

阿里巴巴高级研究员

阿里云存储负责人

于杭州

前 言

一本 20 余万字的书，大概需要 200 张 170mm × 240mm 的纸来印刷，装订起来的厚度大约是 12mm。如果将这本书的内容录入计算机，所生成的文件的大小可能是几十 KB 到几十 MB，在一块长 147mm、宽 101.6mm、高 26.1mm 的硬盘上所占用的物理空间仅仅是一个针尖大小的点。从结绳记事到纸张的出现，再到磁带、硬盘乃至“云”的出现，都是存储技术及存储介质不断发展演进的结果。面对这样漫长的一段历史，本书旨在截取其中的一小段来讲述阿里云存储团队在存储技术上的创新与应用。

当我们谈论存储技术的时候，本质上是在谈论数据。在数字经济高速发展的背景下，为了实现阿里云“数字经济的基础设施”的宏大愿景，作为 IT 设施中重要的一环，存储技术必须担负起更大的责任，为企业数字化转型提供核心价值，促进基础设施云化、核心技术互联化、应用数据化和智能化的升级。

数据在哪里，算力就在哪里，依靠先进的存储技术及存储服务打造的云平台是数据中心现代化、IT 运营智能化的基础。在各行各业的数字化进程中，云存储服务的应用范畴也在不断拓展，从电商、游戏、视频等互联网领域向制造、政务、金融、教育等领域延伸，全面助力各个行业的高质量发展。而在云化后，企业不仅可以存储大量的数据，还能在云端实现数字价值的再造与连接，这也驱动了产业数据向云端的汇聚。

阿里巴巴集团从 1999 年成立开始，经过 20 多年的技术演进，已实现了统一存储的目标，因此本书也是阿里巴巴集团存储技术研发成果的集大成式讲解和全面展示。

2020 年，阿里云存储团队发布了 3 万多字的云存储行业白皮书，并邀请了多位行业学者和专家予以斧正，白皮书发布后得到了专家和市场的认可。随后，我们希望将白皮书的内容深化，覆盖更多的业务场景，便开始着手编写本书。在 2 年的时间里，我们对 300 多篇、近百万字内外部沉淀的文章进行了整理和甄选，于是有了这本 20 余万字的书。在此，我要感谢阿里云存储团队各位编写成员的全力以赴，同时要感谢阿里巴巴集团内多位存储相关业务及技术团队的同事对本书内容的修订，还要感谢在阿里巴巴集团内部和外部平台发布各类文章的技术及业务专家们，你们的无私分享也极大丰富了这本书的内容。

最后，要向阿里云的客户表示感谢，越来越多的企业数字化领导者正在和我们一同构建一个由云定义存储的数据智能服务基础架构。在不断向阿里云的数百万客户学习的过程中，我们得以不断精进技术，打磨产品，最终为越来越多的客户创造更多价值。

Alex Chen

阿里巴巴集团研究员

阿里云智能资深产品总监

于杭州

第 1 章　数据价值驱动存储创新 ………………………………………1

1.1　数据与存储 …………………………………………………………………… 2

1.2　存储介质的发展 ……………………………………………………………… 3

1.2.1 NAND Flash…………………………………………………………… 4

1.2.2 NVMe SSD …………………………………………………………… 7

1.3　存储软件技术发展 …………………………………………………………… 9

1.3.1　用户态存储软件栈 …………………………………………………… 9

1.3.2　高性能用户态存储软件平台 …………………………………………12

1.4　存储系统架构的演进 ……………………………………………………… 13

1.4.1　硬件主导的存储系统架构 ……………………………………………14

1.4.2　软件主导的存储系统架构 ……………………………………………16

1.4.3　面向云端的软硬件协同存储系统架构 ………………………………18

第 2 章　存储关键技术 ……………………………………………… 19

2.1　存储协议类型 ……………………………………………………………… 20

2.1.1 SCSI 与 iSCSI …………………………………………………………20

2.1.2 NVMe …………………………………………………………………26

2.1.3 NVMeoF ………………………………………………………………34

2.1.4 RESTful API……………………………………………………………41

2.1.5　网络文件系统 …………………………………………………………45

2.1.6 SMB 协议………………………………………………………………55

2.2　数据重删与压缩 …………………………………………………………… 58

2.2.1　数据重删 ………………………………………………………………59

2.2.2　数据压缩 ………………………………………………………………60

2.3　数据复制与冗余 …………………………………………………………… 61

2.3.1　数据复制 ………………………………………………………………61

2.3.2　数据备份与恢复 ………………………………………………………62

2.3.3 RAID……………………………………………………………………64

2.3.4　多副本与纠删码 ………………………………………………………66

2.4　数据安全 …………………………………………………………………… 77

2.4.1　数据加密 ………………………………………………………………77

2.4.2　权限管理 ………………………………………………………………78

2.5　数据一致性 ………………………………………………………………… 81

2.5.1　分布式一致性 …………………………………………………………81

2.5.2　一致性对比分析 ………………………………………………………85

第 3 章　云存储基础组件 …………………………………………… 89

3.1　分布式存储系统 …………………………………………………………… 90

3.1.1　技术特点 ………………………………………………………………90

3.1.2　系统架构 ………………………………………………………………93

3.1.3　分布式文件协议 ………………………………………………………94

3.1.4　单机存储引擎 …………………………………………………………99

3.1.5　高性能软件栈 ……………………………………………………… 101

3.2　分布式锁服务 ……………………………………………………………… 104

3.2.1　从单机锁到分布式锁 ……………………………………………… 104

3.2.2　云存储的分布式锁 ………………………………………………… 106

3.3 高性能网络服务框架 ……………………………………………………… 110

3.3.1　网络服务面临的挑战 ……………………………………………… 110

3.3.2　云存储的高性能网络服务 ………………………………………… 111

3.4　键值存储系统 ……………………………………………………………… 118

3.4.1　键值存储系统架构的演变 ………………………………………… 118

3.4.2　阿里云键值存储系统 ……………………………………………… 121

第 4 章　云存储的技术创新 ……………………………………… 125

4.1　云存储服务技术创新 ……………………………………………………… 126

4.1.1 快照技术的最新应用 ……………………………………………… 126

4.1.2　共享块存储技术 …………………………………………………… 129

4.1.3　对象存储可用性技术实践 ………………………………………… 133

4.1.4　对象存储分布式缓存 ……………………………………………… 137

4.1.5　对象存储异地多活容灾架构 ……………………………………… 139

4.1.6　文件系统的数据一致性 …………………………………………… 144

4.1.7　文件系统的多租户实践 …………………………………………… 148

4.1.8　并行文件系统客户端优化 ………………………………………… 152

4.1.9　海量结构化大数据存储 …………………………………………… 155

4.2　云定义存储技术创新 ……………………………………………………… 162

4.2.1　块存储技术能力 …………………………………………………… 162

4.2.2　对象存储技术能力 ………………………………………………… 165

4.2.3　日志服务技术能力 ………………………………………………… 167

4.3　云数据管理技术创新 ……………………………………………………… 169

4.3.1　可观测性技术 ……………………………………………………… 169

4.3.2　数据重删技术 ……………………………………………………… 172

4.3.3　相册与网盘服务的关键技术 ……………………………………… 173

4.3.4　智能媒体管理技术 ………………………………………………… 178

第 5 章　云存储的应用实践 ……………………………………… 181

5.1　视频监控数据存储 ………………………………………………………… 182

5.2　大数据及数据湖统一存储 ………………………………………………… 183

5.3　多媒体数据存储 …………………………………………………………… 188

5.4　高性能计算数据存储 ……………………………………………………… 191

5.5　混合云灾备 ………………………………………………………………… 195

5.6　智能运维 AIOps …………………………………………………………… 197

5.7　容器数据存储 ……………………………………………………………… 203

5.8　即时消息系统支撑实践 …………………………………………………… 206

第 6 章　云存储的未来展望 ……………………………………… 209

6.1　技术创新 …………………………………………………………………… 210

6.1.1 NAND Flash 技术的发展 ………………………………………… 210

6.1.2　新存储介质的出现 ………………………………………………… 213

6.1.3　高性能网络的发展 ………………………………………………… 215

6.2　来自行业的挑战与机遇 …………………………………………………… 217

6.2.1　云向边缘的推进 …………………………………………………… 217

6.2.2　从“新基建”到“东数西算” …………………………………… 218

6.2.3　混合云存储的快速发展 …………………………………………… 219

6.2.4　数据安全的挑战依然严峻 ………………………………………… 220