京东数据中心构建实战

数据中心是京东庞大的业务体系的技术支撑，本书是京东数据中心技术团队多年实践经验的总结，由京东IT资源服务部负责人吕科亲自领衔撰写，是京东首次系统对外输出他们在数据中心建设、管理和应用方面的方法体系和实践。
本书不仅从基层设计者的角度重新阐述了数据中心的基础设施系统，重新解读了行业规范的应用；而且从基层运维者的角度向读者展示了京东管理大型数据中心的技术能力。
全书总共10章，逻辑上可以分为两个部分：
第一部分 理论篇（第1~9章）
根据数据中心基础设施系统的组成，分别介绍了供配电系统、供电保障电源、制冷空调系统、柴油发电系统、智能化系统、网络与布线系统、消防系统和装饰装修工程。理论角度，摒弃了大而空的高深和浮于表面的粗浅，以实用为原则，干货满满，对设计难点的讲解深入浅出，对设计痛点的剖析透彻而深入，可以让读者很好地了解数据中心基础设施系统的架构是如何诞生的。
第二部分 案例篇（第10章）
以京东集团自主设计、自主筹建的第*个大型数据中心——京东集团华东数据中心为例，详细讲解了京东数据中心先进的规划思路、基于传统而创新的系统构成，以及专注、专业的运维管理能力。
京东虽然在数据中心领域起步较晚，但是他们在不停学习追赶，只为以后能创新超*，因为京东人“只做*一”。

吕科

现任京东集团IT资源服务部负责人。

IT资源服务部是京东集团CTO体系的一级部门，负责整个京东集团的IT基础资源建设，包括服务器、网络交换机、IDC机房、CDN机房，及运营商网络等基础资源。同时，还负责京东集团IT基础资源的日常稳定运营，保障各个业务端可靠、连续、安全运行。

吕科先生专注于通过资源集中、高效管理以及流程控制的方式，实现京东集团及核心生态的IT基础设施的成本优化，并充分提升京东集团及核心生态的IT使用效率。

吕科先生十分重视技术创新，作为京东骨灰级程序员之一，曾深入参与京东库存管理系统架构的搭建，这套系统也为后来京东多次品类扩张和系统架构改造起到了很好的支撑作用。在负责京东集团基础IT资源后，作为京东集团技术体系的一位重要负责人，一直密切关注国内外行业的技术演进与创新。在京东集团未来12年的技术发展战略上，从京东集团IT基础能力建设的细节创新，到整体技术架构的创新，均有行业前瞻性的指导规划，并推动京东集团的技术创新。

京东技术官方出品，京东集团IT资源服务部负责人吕科领衔，京东数据中心团队首次对外分享他们多年的数据中心实践技术

从数据中心建设、管理、应用三个维度全面讲解了数据中心构建所需要的技术、方法和实践经验

从数据中心设计中和基层运维者的角度揭示了京东在建设和管理大型数据中心方面的能力和经验

推荐序 Foreword

在与京东合作的这些年里，让我感受最深的是京东的快速发展和锐意创新。5年前，在美国知道京东的人还很少，而今天京东已经成为一个全球著名品牌，跻身于中国顶尖的互联网企业之列。京东的成功体现在了企业的方方面面，其中就包括数据中心。

事实上，在数据中心建设方面，京东算是一个新来者，但却在很短的时间内达到了业内的顶尖水平，成为行业的破局者。在过去相当长的时间内，京东都是租用运营商的IDC（Internet Data Center，互联网数据中心）机房。随着规模的快速扩大，京东开始建设符合自己需求的的数据中心。从一开始，京东就决定不走平庸的道路，英特尔有幸作为京东的合作伙伴，一起探讨并研究全球领先的数据中心技术方案，设定了很高的标准，现在看来，这样的高要求的确带来了高质量的结果。

数据中心是支持互联网企业业务的关键，近几年，云计算、大数据、人工智能等技术层出不穷，在这些新技术的背后，数据中心的基础设施和相关技术也在逐步演进和创新。谁能够掌握最新的数据中心技术，谁就能在激烈的行业竞争中处于优势地位。

我们一直认为，电商是对数据中心要求极为严苛的行业：

第一，在中国，“6.18”和“11.11”期间的业务峰值可能是平时的几十倍甚至上百倍，如果基础设施无法支撑关键时期的业务，损失会非常巨大，而峰值过后又需要考虑闲置资源的再利用。

第二，电商是一个有大量应用场景的行业，包含网站、大数据、人工智能、视频系统、物流、仓储、存储系统、支付系统等，数据中心的基础设施需要满足各种IT系统的灵活性。

第三，京东已经拥有数量众多的服务器，在这样的设备规模下，最基本的资产管理、设备标注都会成为运营人员的梦魇。因此，数据中心管理的智能化、自动化必须是高水平的。

美国的一些互联网公司，极为重视数据中心技术，他们视数据中心为企业的核心竞争力，相关技术都处于保密状态。而京东则抱着开放的态度写了这本书，本书涵盖了数据中心建设的方方面面，总结了京东以及包括英特尔在内的众多合作伙伴的经验和智慧，体现了数据中心建设的高水平，不仅适合数据中心建设的新手学习，也适合老手参考和借鉴。

—Raejeanne Skillern英特尔公司副总裁/互联网数据中心部门总经理

前言 Preface

为什么要写这本书

2017年6月18日是京东13周岁生日，刘总在给全体员工的邮件里写道：“技术引领、正道成功”，未来的京东需要在技术的引领下开拓创新。这是我们今年6·18的主题，更是未来京东将长期坚持的战略。

在高效管理IT资产、提供优质基础服务及变成本中心为利润中心的指导思想下，京东的IDC能力也开始经历从能力建设到产品化服务，最后达到集成京东集团各种能力共同输出的终极目标。

互联网行业是技术创新的排头兵，任何新技术的第一个实战现场都会在互联网行业找到应用场景，比如现在大家耳熟能详的5G网络、AR（增强现实）、VR（虚拟现实）、AI（人工智能）、无人机、大数据、云计算、物联网等前沿科技。这些酷炫技术背后，无不需要一个稳健的数据中心的支持。同时，提高数据中心运维、运营效率的需求不断增强，这导致成本压力带来的聚集规模，以及更复杂细致的客户服务需求，对数据中心从拓扑结构到内部布局以及各种新技术的发展都提出了极为苛刻的挑战。

在行业里，云计算、大数据以及人工智能带来的云化的前提就是IDC化，只有完成了第一步的IDC聚集，才有可能带来更进一步的业务能力云化聚集。数据中心行业也从简单的技术提升进入围绕应用场景化的数据中心及服务阶段。支撑京东集团零售即服务的应用场景，就是京东集团技术后台IDC能力的主要特色。

数据中心行业正在经历新一波的技术创新和革命。一方面，技术创新为数据中心行业的推陈出新、发展壮大提供了源源不断的动力；另一方面，数据中心安全性和可靠性的不断提高为这些创新技术的落地推广、上线应用、稳定运行保驾护航，成为支撑全行业数字化转型的基石。

数据中心的基础设施主要由供配电系统、暖通空调系统、智能化系统、综合布线系统、消防系统组成。供配电系统是持续提供电力的保障，暖通空调系统是拥有适宜环境的保障，智能化系统是实现安全防范的保障，综合布线系统是拥有稳定网络的保障，消防系统是避免火灾的保障。这些系统相对独立却又紧密连接、缺一不可。

京东的数据中心建立伴随着京东集团的高速发展，经历了一个从无到有、从简单到复杂、从租用到自建的过程。2012年，京东组建了自己的数据中心技术团队，开始正式进军数据中心行业。同年，京东在江苏宿迁投建的首个数据中心园区的项目规划落地，迈出了京东在全国布局自建数据中心的第一步。该项目从选址、规划、方案设计到建设、测试验收，再到运维管理，都是由京东自己的技术团队全程主导、深度参与的，从而保证了项目符合预期。

京东数据中心技术团队的成员都是在数据中心行业深耕细作多年的资深专业工程师。他们见证了国内数据中心不断突破传统限制的整个革新过程：机房规模越来越大，机柜功率越来越高，系统形式越来越多，能效指标越来越好，与国际先进水平的差距也越来越近甚至逐渐成为引领者。我们本着“交流、分享、融合、创新”的理念，以开放的心态，与读者分享京东在数据中心行业所做的技术探索，虚心接受业界专家的指正。

本书主要特色

本书不仅从基层设计者的角度重新阐述了数据中心的基础设施系统，重新解读了行业规范的应用，也从基层运维者的角度向读者展示了京东管理大型数据中心的技术能力。这既是对京东技术团队工作思路的全面梳理，也是对多年从事数据中心工作的回顾和总结。

本书读者对象

根据本书的内容特点，可以将阅读对象分为以下几类：

有一定专业基础的数据中心设计人员

数据中心运维管理人员

数据中心管理决策人员

数据中心咨询服务人员

有意向进入数据中心行业的专业技术人员

相关专业的高校师生

如何阅读本书

阅读本书前需要对数据中心行业及基础设施系统有一定的了解。

本书总共10章，大致可以分为两个部分。

第一部分是理论篇，包括第1～9章，按照数据中心基础设施系统的组成分别介绍了供配电系统、供电保障电源、空调制冷系统、柴油发电系统、智能化系统、网络与布线系统、消防系统和装饰装修工程。理论部分摒弃了大而空的高深和浮于表面的粗浅，而是以实用性为原则，干货满满，对设计难点的分析深入浅出，对设计痛点的剖析透彻明了，帮助读者进一步了解数据中心基础设施系统架构诞生的过程。

第二部分是案例篇，即第10章，重点介绍了京东集团自主设计、自主筹建的第一个大型数据中心。该部分以实操为主，介绍了京东数据中心先进的规划思路、基于传统而又不失创新的系统构成，以及专注专业的运维管理能力。京东虽然在数据中心领域起步较晚，但是我们在不停学习追赶，只为以后能创新超越，因为京东人“只做第一”。

勘误和资源

由于我们团队水平有限，编写时间也比较仓促，因此书中难免有错误或者不全面的地方，在此恳请读者朋友批评指正。

致谢

在此感谢为此书出版付出努力的所有工作人员。

吕科

京东集团IT资源服务部负责人

Contents 目录

编委会成员

推荐序

前言

第1章　数据中心概述1

1.1　数据中心的分级1

1.1.1　国标GB 50174—20171

1.1.2　Uptime Tier等级认证2

1.1.3　TIA-9423

1.2　数据中心的选址3

1.3　数据中心的组成4

1.3.1　功能区划分4

1.3.2　功能区面积5

1.4　数据中心的规划布局5

第2章　数据中心供配电系统8

2.1　数据中心对供配电系统的要求8

2.1.1　数据中心对市电供电电源的要求8

2.1.2　数据中心的供电等级11

2.2　数据中心中压电源系统12

2.2.1　电源选择与供电能力13

2.2.2　中压电力系统中性点的运行方式13

2.2.3　中压变配电系统主接线16

2.2.4　中压变配电系统配电网接线18

2.2.5　中压继电保护19

2.2.6　中压配电一次接线典型方案20

2.2.7　中压配电设备定期维护检查21

2.3　数据中心低压配电系统22

2.3.1　低压供配电系统配置22

2.3.2　双总线配电架构介绍23

2.3.3　断路器的选择24

2.3.4　过电流保护26

2.3.5　ATSE系统29

2.3.6　UPS列头柜输出配电和机柜配电32

2.3.7　电子信息设备特性34

2.3.8　低压配电接地系统40

2.3.9　雷电防护及措施47

第3章　数据中心供电保障电源52

3.1　交流UPS的基本原理53

3.1.1　UPS的基础知识53

3.1.2　工频UPS与高频UPS的区别61

3.2　数据中心交流UPS的选择64

3.2.1　UPS电源系统负载容量的确定64

3.2.2　UPS电源系统中配置的选择73

3.3　直流UPS（HVDC供电电源）82

3.3.1　交流供电与直流供电的区别82

3.3.2　240V高压直流简介84

3.4　UPS蓄电池的配置86

3.4.1　蓄电池基础知识86

3.4.2　蓄电池后备时间的计算91

3.5　UPS运行维护保养95

第4章　数据中心空调制冷系统99

4.1　空调与制冷原理99

4.1.1　空调基础知识99

4.1.2　空气处理过程102

4.1.3　制冷基础原理102

4.1.4　制冷循环过程103

4.1.5　制冷剂104

4.2　空调环境与负荷104

4.2.1　数据中心环境要求104

4.2.2　数据中心空调环境特点106

4.2.3　数据中心负荷计算107

4.3　主要冷却设备及系统形式108

4.3.1　风冷直膨空调系统108

4.3.2　水冷直膨空调系统110

4.3.3　风冷冷水空调系统112

4.3.4　水冷冷水空调系统114

4.3.5　冷源自控系统118

4.4　空调送风设备及形式119

4.4.1　空调风机119

4.4.2　房间级送风120

4.4.3　行列级送风121

4.4.4　机柜级送风123

4.5　空气湿度处理124

4.5.1　加湿方式124

4.5.2　除湿方式126

4.6　水处理系统127

4.6.1　加湿水处理127

4.6.2　循环水处理128

4.7　通风系统130

4.7.1　新风系统130

4.7.2　送排风系统131

4.8　主要节能措施与新型系统132

4.8.1　主要节能措施132

4.8.2　新型系统形式133

4.9　主要设备日常维护135

第5章　数据中心后备发电机供电系统138

5.1　后备发电机供电系统在数据中心的定位138

5.2　数据中心电源需求特征与负载特点139

5.2.1　数据中心核心负载设备及辅助系统139

5.2.2　数据中心负荷等级及分类139

5.2.3　数据中心功率密度的变化139

5.2.4　数据中心容性负载对供电系统的影响140

5.3　柴油发电机组对功率的标定141

5.3.1　国标对机组功率的标定141

5.3.2　制造商对机组功率的标定142

5.4　后备发电机供电及电源143

5.4.1　柴油发电机组及配套电控设备143

5.4.2　典型的不同电压等级供电电源架构146

5.4.3　室内外供储油系统149

5.4.4　柴油发电机组的运行方式150

5.4.5　柴油发电机组的负载特性151

5.4.6　柴油发电机组选型前注意事项152

5.4.7　柴油发电机组的容量选择152

5.4.8　电源系统中性点的接地方式153

5.5　发电机房及储油罐区选址155

5.5.1　柴油发电机房选址及机房布局156

5.5.2　室外储罐区的选址及管道系统157

5.6　发电机房进排风及消声降噪的处理159

5.6.1　机组运行时所产生的噪声声源分析159

5.6.2　对机房噪声声源的处理162

5.7　发电机组设备安装、调试及测试验收163

5.7.1　柴油发电系统的安装内容163

5.7.2　柴油发电系统的验收项164

5.7.3　柴油发电机系统的调试项164

5.7.4　柴油发电机系统测试项及常规测试项164

5.8　后备柴油发电机组的运行维护、巡视保养165

5.8.1　柴油发电系统的巡视保养165

5.8.2　柴油发电机组大修期确定166

5.8.3　柴油发电系统辅助设备的基本巡视检查内容166

5.9　柴油发电机组和供储油设施的清洁166

5.9.1　柴油发电机组及配套设施的清洁166

5.9.2　供储油设施的清洁167

第6章　数据中心智能化系统168

6.1　数据中心智能化系统的功能和系统组成169

6.1.1　系统架构与组成170

6.1.2　前端采集层170

6.1.3　传输和数据处理层176

6.1.4　设备管理层181

6.1.5　可视化处理层183

6.1.6　系统应用层186

6.2　楼宇自控系统188

6.2.1　楼宇自控系统的原理与构成188

6.2.2　数据中心冷源系统的自控190

6.3　安全防范系统192

6.3.1　数据中心防护等级的划分193

6.3.2　视频安防监控系统194

6.3.3　出入口控制系统196

6.3.4　入侵报警系统199

6.3.5　安全防范集成管理系统202

6.4　数据中心智能化系统的等级与配置202

第7章　网络与布线系统205

7.1　数据中心布线系统的等级及分类205

7.2　网络的拓扑结构207

7.3　布线系统的构成212

7.3.1　数据中心的布线空间212

7.3.2　数据中心布线系统的拓扑结构215

7.4　不同的网络架构对布线方式的影响221

7.4.1　EoR/MoR和ToR221

7.4.2　刀片式服务器223

7.4.3　模块化POD方案223

7.5　产品分析与应用技术要点224

7.5.1　线缆224

7.5.2　机柜和机架225

7.5.3　配线架226

7.5.4　线缆管理器227

7.5.5　设备线缆与跳线228

7.5.6　预端接系统228

7.5.7　走线通道229

7.5.8　配线设备安装设计230

7.5.9　标签标识231

7.5.10　标识设计232

7.6　综合布线系统的测试234

第8章　数据中心的消防系统237

8.1　火灾的分类237

8.2　数据中心火灾的原因237

8.2.1　外部火灾蔓延238

8.2.2　电气火灾238

8.2.3　空调设备引发的火灾239

8.2.4　蓄电池引发的火灾239

8.2.5　人为火灾239

8.2.6　其他性质的火灾240

8.3　数据中心的防火措施240

8.3.1　建筑防火240

8.3.2　建材防火244

8.3.3　电气防火244

8.3.4　火灾自动报警系统245

8.4　数据中心常用的消防灭火系统246

8.4.1　气体灭火系统246

8.4.2　自动喷水灭火系统249

8.4.3　细水雾灭火系统251

第9章　数据中心装饰装修工程253

9.1　装修工程主要性能要求253

9.1.1　防水253

9.1.2　防火254

9.1.3　保温254

9.1.4　防尘254

9.1.5　防静电255

9.1.6　防虫害255

9.2　装修工程主要组成255

9.2.1　吊顶工程255

9.2.2　地面工程257

9.2.3　隔墙工程258

9.2.4　墙面工程260

9.2.5　门窗工程261

9.2.6　标识工程261

第10章　京东集团华东数据中心263

10.1　京东集团华东数据中心简介263

10.2　京东集团华东数据中心主要基础设施系统265

10.2.1　供配电系统265

10.2.2　空调制冷系统282

10.2.3　京东云数据中心装饰装修效果展示292

10.3　京东集团华东数据中心设施运维管理294

10.3.1　京东集团华东数据中心设施运维管理的目标和内容295

10.3.2　京东集团华东数据中心设施运维管理制度296

10.3.3　京东集团华东数据中心设施运维管理平台304