网络安全态势感知(提取理解和预测)/网络空间安全技术丛书

本书按照网络空间安全态势感知的工作过程——提取、理解和预测，介绍了如何通过获取海量数据与事件，直观、动态、全面、细粒度地提取出各类网络攻击行为，并对其进行理解、分析、预测以及可视化，从而实现态势感知。本书有助于帮助安全团队发现传统安全平台和设备未能发现的事件，并将网络上似乎无关的事件关联起来，从而更有效地对安全事件做出响应。

前　　言网络安全既涉及国家安全也涉及经济安全，目前世界各国每天都在进行着大量隐蔽的较量，网络安全的重要性不容忽视。5年前，我因偶然机遇进入网络空间安全领域，通过各种活动和项目实践见证了国家对网络安全重视程度的不断提升。这期间先后研究过威胁建模、信息安全风险评估与控制、流量检测和安全测试等方面，在持续学习和实践的同时，也与国内许多专家学者和企事业单位频繁接触，深感安全人员不能只关注具体点而忽略整体面。花大价钱购置一大批盒式设备“堆”在网络中的时代已经一去不复返，这只能带来虚假的安全感。安全的“短板效应”和“木桶理论”决定了我们必须以全局整体的视角去看待它，而且这种整体视角是基于动态博弈的暂时平衡。
网络安全的哲学已经从“努力防住”转变为“防范终将失效”，从“发现并修补漏洞”转变为“持续过程监控”，也就是说，无论你在网络和系统中投入多少，入侵者仍可能获胜。基于这个哲学前提，我们能做的就是在入侵者实现目标前尽可能地发现、识别并做出响应，及时分析情况和通报事件的发生，并以最小代价减轻入侵者的破坏，只要入侵者的目标未能达成即是相对安全的。网络安全态势感知就是这种思路的典型体现，通过获取海量数据与事件，直观、动态、全面、细粒度地提取各类网络攻击行为，并对其进行理解、分析、预测以及可视化，从而实现态势感知。它有助于安全团队发现传统安全平台和设备未能监测到的事件，将网络上似乎无关的事件关联起来，从而更有效地排查安全事件并做出响应。
虽然网络安全态势感知的概念早在若干年前就已被提及，但由于当时的技术和认知水平，其发展是有限的。随着时间的推移，以及数据量和数据形态的改变，老问题发生了新变化，需要我们重新审视它。尤其是近几年来，随着大数据技术的迅猛发展、数据处理和分析方法的不断创新，以大数据为平台框架进行安全分析（即数据驱动安全）逐渐成为热点。新技术的驱动给网络安全带来许多新的挑战，也迫使我们重新思考。只有不断更新知识，创造性地发现问题、研究问题和解决问题，才能跟上信息化时代的脚步。正如《人类简史》中所写：“人类近500年的科学革命意义重大，它并不是‘知识的革命’，而是‘无知的革命’。真正让科学革命起步的伟大发现，就是发现‘人类对于最重要的问题其实毫无所知’……现代科学愿意承认自己的无知，就让它比所有先前的知识体系更具活力、更有弹性，也更有求知欲。这一点大幅提升了人类理解世界如何运作的能力，以及创造新科技的能力。”
读者对象本书的读者对象主要包括：
网络安全领域的技术爱好者和学生网络运维管理、信息安全领域的从业人员网络空间安全等相关专业的本科生及研究生期望在网络安全领域就业的技术人员网络安全态势感知领域的研究人员本书结构本书分为四个部分：基础知识、态势提取、态势理解和态势预测。每章都会重点讨论相关理论、工具、技术和核心领域流程。我们将尽可能用通俗易懂的方式进行阐述，让新手和安全专家都能从中获得一些启发。本书所构建的框架和理论基于集体研究、经验以及合著者的观点，对于不同的话题和场景所给出的结论可能与他人不同。这是因为网络安全态势感知更多地是一门实践活动，不同人的认知和理解难以趋同，这也是完全正常的现象。
本书的内容框架如下：
第一部分：基础知识　第1章：开启网络安全态势感知的旅程　第2章：大数据平台和技术第二部分：态势提取　第3章：网络安全数据范围　第4章：网络安全数据采集　第5章：网络安全数据预处理第三部分：态势理解　第6章：网络安全检测与分析　第7章：网络安全态势指标构建　第8章：网络安全态势评估　第9章：网络安全态势可视化第四部分：态势预测　第10章：典型的网络安全态势预测方法　第11章：网络安全态势智能预测　第12章：其他本书涉及的网络安全态势感知主题众多，我们希望书中各章涵盖的内容能够具有一定的参考价值；同时希望读者能够获得愉悦且充沛的阅读体验，就如同我们在字斟句酌数易其稿、亲历从最开始寥寥数页的章节意向到成稿付梓形成手头这本书的过程中体会到的一样。
致谢写书的过程是漫长而艰辛的！我有个习惯，就是无论在何种环境下都会不断告诫自己：“人不能贪图安逸，总要有一个目标，时不时给自己一些挑战，做一些有难度的事情。”从设定这样一个目标到谋划这件事情，再到搭建书的整体框架，对每个章节进行布局，完成初稿、中间修改和定稿的整个过程中，是心中的信念让我克服了人固有的惰性并坚持了下来。
当然，本书之所以能完成，离不开许多朋友直接或间接的帮助，我也想借此机会感谢他们。
感谢父母，在你们的影响下成长，使我成为一个独特的人。作为子女所能做的是，传承他们赋予的性格并分享他们给予的爱。
感谢我的家庭和可爱的女儿，家人给我的爱是浓厚的，对我非常重要，他们在生活中对我的关心和支持，让我有动力完成各种艰难的挑战。
感谢单位的领导和同事，他们给予我充分的信任和支持以开展这方面的研究和实践，并对我的研究工作提出了诸多宝贵意见和建议。
杜嘉薇

目　　录
前言
第一部分　基础知识
第1章　开启网络安全态势感知的旅程 2
1.1　引言 2
1.2　网络安全简史 3
1.2.1　计算机网络 3
1.2.2　恶意代码 4
1.2.3　漏洞利用 6
1.2.4　高级持续性威胁 7
1.2.5　网络安全设施 8
1.3　网络安全态势感知 10
1.3.1　为什么需要态势感知 10
1.3.2　态势感知的定义 12
1.3.3　网络安全态势感知的定义 13
1.3.4　网络安全态势感知参考模型 14
1.3.5　网络安全态势感知的周期 17
1.4　我国网络安全态势感知政策和发展 19
1.4.1　我国网络安全态势感知政策 19
1.4.2　我国网络安全态势感知的曲线发展历程 20
1.5　国外先进的网络安全态势感知经验 21
1.5.1　美国网络安全态势感知建设方式 21
1.5.2　美国网络安全国家战略 21
1.5.3　可信互联网连接 22
1.5.4　信息安全持续监控 23
1.5.5　可借鉴的经验 24
1.6　网络安全态势感知建设意见 24
第2章　大数据平台和技术 26
2.1　引言 26
2.2　大数据基础 27
2.2.1　大数据的定义和特点 27
2.2.2　大数据关键技术 28
2.2.3　大数据计算模式 28
2.3　大数据应用场景 29
2.4　大数据主流平台框架 30
2.4.1　Hadoop 30
2.4.2　Spark 32
2.4.3　Storm 33
2.5　大数据生态链的网络安全态势感知应用架构 34
2.6　大数据采集与预处理技术 34
2.6.1　传感器 36
2.6.2　网络爬虫 37
2.6.3　日志收集系统 39
2.6.4　数据抽取工具 40
2.6.5　分布式消息队列系统 42
2.7　大数据存储与管理技术 46
2.7.1　分布式文件系统 46
2.7.2　分布式数据库 50
2.7.3　分布式协调系统 53
2.7.4　非关系型数据库 55
2.7.5　资源管理调度 57
2.8　大数据处理与分析技术 64
2.8.1　批量数据处理 64
2.8.2　交互式数据分析 67
2.8.3　流式计算 71
2.8.4　图计算 74
2.8.5　高级数据查询语言Pig 75
2.9　大数据可视化技术 76
2.9.1　大数据可视化含义 76
2.9.2　基本统计图表 76
2.9.3　大数据可视化分类 77
2.9.4　高级分析工具 77
2.10　国外先进的大数据实践经验 78
2.10.1　大数据平台 78
2.10.2　网络分析态势感知能力 79
第二部分　态势提取
第3章　网络安全数据范围 82
3.1　引言 82
3.2　完整内容数据 82
3.3　提取内容数据 85
3.4　会话数据 86
3.5　统计数据 88
3.6　元数据 90
3.7　日志数据 93
3.8　告警数据 98
第4章　网络安全数据采集 100
4.1　引言 100
4.2　制定数据采集计划 100
4.3　主动式采集 102
4.3.1　通过SNMP采集数据 102
4.3.2　通过Telnet采集数据 103
4.3.3　通过SSH采集数据 103
4.3.4　通过WMI采集数据 104
4.3.5　通过多种文件传输协议采集数据 104
4.3.6　利用JDBC/ODBC采集数据库信息 105
4.3.7　通过代理和插件采集数据 106
4.3.8　通过漏洞和端口扫描采集数据 107
4.3.9　通过“蜜罐”和“蜜网”采集数据 107
4.4　被动式采集 108
4.4.1　通过有线和无线采集数据 108
4.4.2　通过集线器和交换机采集数据 110
4.4.3　通过Syslog采集数据 112
4.4.4　通过SNMP Trap采集数据 112
4.4.5　通过NetFlow/IPFIX/sFlow采集流数据 113
4.4.6　通过Web Service/MQ采集数据 114
4.4.7　通过DPI/DFI采集和检测数据 115
4.5　数据采集工具 116
4.6　采集点部署 117
4.6.1　需考虑的因素 117
4.6.2　关注网络出入口点 118
4.6.3　掌握IP地址分布 118
4.6.4　靠近关键资产 119
4.6.5　创建采集全景视图 119
第5章　网络安全数据预处理 121
5.1　引言 121
5.2　数据预处理的主要内容 121
5.2.1　数据审核 121
5.2.2　数据筛选 122
5.2.3　数据排序 122
5.3　数据预处理方法 123
5.4　数据清洗 123
5.4.1　不完整数据 124
5.4.2　不一致数据 124
5.4.3　噪声数据 124
5.4.4　数据清洗过程 125
5.4.5　数据清洗工具 126
5.5　数据集成 126
5.5.1　数据集成的难点 126
5.5.2　数据集成类型层次 127
5.5.3　数据集成方法模式 128
5.6　数据归约 129
5.6.1　特征归约 130
5.6.2　维归约 130
5.6.3　样本归约 131
5.6.4　数量归约 131
5.6.5　数据压缩 132
5.7　数据变换 132
5.7.1　数据变换策略 133
5.7.2　数据变换处理内容 133
5.7.3　数据变换方法 133
5.8　数据融合 135
5.8.1　数据融合与态势感知 135
5.8.2　数据融合的层次分类 136
5.8.3　数据融合相关算法 137
第三部分　态势理解
第6章　网络安全检测与分析 142
6.1　引言 142
6.2　入侵检测 143
6.2.1　入侵检测通用模型 143
6.2.2　入侵检测系统分类 144
6.2.3　入侵检测的分析方法 146
6.2.4　入侵检测技术的现状和发展趋势 151
6.3　入侵防御 152
6.3.1　入侵防御产生的原因 152
6.3.2　入侵防御的工作原理 153
6.3.3　入侵防御系统的类型 154
6.3.4　入侵防御与入侵检测的区别 155
6.4　入侵容忍 156
6.4.1　入侵容忍的产生背景 156
6.4.2　入侵容忍的实现方法 156
6.4.3　入侵容忍技术分类 157
6.4.4　入侵容忍与入侵检测的区别 157
6.5　安全分析 158
6.5.1　安全分析流程 158
6.5.2　数据包分析 160
6.5.3　计算机/网络取证 163
6.5.4　恶意软件分析 164
第7章　网络安全态势指标构建 167
7.1　引言 167
7.2　态势指标属性的分类 168
7.2.1　定性指标 168
7.2.2　定量指标 169
7.3　网络安全态势指标的提取 169
7.3.1　指标提取原则和过程 170
7.3.2　网络安全属性的分析 172
7.3.3　网络安全态势指标选取示例 178
7.4　网络安全态势指标体系的构建 179
7.4.1　指标体系的构建原则 179
7.4.2　基础运行维指标 179
7.4.3　脆弱维指标 180
7.4.4　风险维指标 181
7.4.5　威胁维指标 182
7.4.6　综合指标体系和指数划分 183
7.5　指标的合理性检验 184
7.6　指标的标准化处理 185
7.6.1　定量指标的标准化 186
7.6.2　定性指标的标准化 188
第8章　网络安全态势评估 189
8.1　引言 189
8.2　网络安全态势评估的内涵 190
8.3　网络安全态势评估的基本内容 190
8.4　网络安全态势指数计算基本理论 192
8.4.1　排序归一法 192
8.4.2　层次分析法 193
8.5　网络安全态势评估方法分类 194
8.6　网络安全态势评估常用的融合方法 196
8.6.1　基于逻辑关系的融合评价方法 196
8.6.2　基于数学模型的融合评价方法 197
8.6.3　基于概率统计的融合评价方法 204
8.6.4　基于规则推理的融合评价方法 207
第9章　网络安全态势可视化 212
9.1　引言 212
9.2　数据可视化基本理论 213
9.2.1　数据可视化一般流程 213
9.2.2　可视化设计原则与步骤 214
9.3　什么是网络安全态势可视化 216
9.4　网络安全态势可视化形式 217
9.4.1　层次化数据的可视化 217
9.4.2　网络数据的可视化 217
9.4.3　可视化系统交互 219
9.4.4　安全仪表盘 220
9.5　网络安全态势可视化的前景 221
第四部分　态势预测
第10章　典型的网络安全态势预测方法 224
10.1　引言 224
10.2　灰色理论预测 225
10.2.1　灰色系统理论的产生及发展 225
10.2.2　灰色理论建立依据 226
10.2.3　灰色预测及其类型 226
10.2.4　灰色预测模型 227
10.3　时间序列预测 234
10.3.1　时间序列分析的基本特征 235
10.3.2　时间序列及其类型 235
10.3.3　时间序列预测的步骤 236
10.3.4　时间序列分析方法 238
10.4　回归分析预测 240
10.4.1　回归分析的定义和思路 241
10.4.2　回归模型的种类 241
10.4.3　回归分析预测的步骤 242
10.4.4　回归分析预测方法 242
10.5　总结 245
第11章　网络安全态势智能预测 246
11.1　引言 246
11.2　神经网络预测 247
11.2.1　人工神经网络概述 247
11.2.2　神经网络的学习方法 248
11.2.3　神经网络预测模型类型 249
11.2.4　BP神经网络结构和学习原理 252
11.3　支持向量机预测 254
11.3.1　支持向量机方法的基本思想 254
11.3.2　支持向量机的特点 255
11.3.3　支持向量回归机的分类 257
11.3.4　支持向量机核函数的选取 260
11.4　人工免疫预测 261
11.4.1　人工免疫系统概述 262
11.4.2　人工免疫模型相关机理 262
11.4.3　人工免疫相关算法 264
11.5　复合式攻击预测 267
11.5.1　基于攻击行为因果关系的复合式攻击预测方法 268
11.5.2　基于贝叶斯博弈理论的复合式攻击预测方法 269
11.5.3　基于CTPN的复合式攻击预测方法 270
11.5.4　基于意图的复合式攻击预测方法 272
第12章　其他 274
12.1　引言 274
12.2　网络安全人员 274
12.2.1　网络安全人员范围 274
12.2.2　需要具备的技能 275
12.2.3　能力级别分类 277
12.2.4　安全团队建设 278
12.3　威胁情报分析 279
12.3.1　网络威胁情报 279
12.3.2　威胁情报来源 280
12.3.3　威胁情报管理 281
12.3.4　威胁情报共享 282
参考文献 283