白帽子讲Web扫描

　　Web扫描器是一种可以对Web应用程序进行自动化安全测试的工具，它可以帮助我们快速发现目标存在的安全风险，并能够对其进行持续性安全监控。

　　《白帽子讲Web扫描》详细讲述了Web扫描器的概念、原理、实践及反制等知识，笔者凭借多年的安全工作经验，站在安全和开发的双重角度，力求为读者呈现出一个完整的Web扫描知识体系。通过对《白帽子讲Web扫描》的学习和实践，可以让你快速建立自己的Web扫描体系，提高安全基础能力。

QCon大会讲师，分享主题为云WAF。就职于百度安全部门，负责公司对外的企业安全服务。对Web安全，安全扫描等有较多的积累。

《白帽子讲Web扫描》的关键词：Web 2.0爬虫，扫描设计，漏洞审计，云扫描，企业扫描，扫描反制。

　推荐序

　　非常荣幸受刘漩的邀请为本书写推荐序。

　　刘漩是安全宝第一位安全工程师，也是早期WAF规则的主要维护者。这六年多来，他一直在Web安全的最前线与黑客做斗争，从防御到漏洞挖掘，都有着丰富的经验，也正是因为如此，他眼中的扫描技术更为系统化。

　　纵观网络安全的发展历史，扫描器是最早出现的工具，从著名的开源实现Nmap，到国人为之骄傲的流光FluXay，都是端口扫描的利器。而Web安全领域里的扫描器虽然原理类似，但实现却更为复杂，需要考虑扫描频率、扫描深度、爬虫对于HTML的解释能力，还要不断地积累POC。

　　记得我最早使用过的扫描器是IBM的AppScan，其爬取能力很强，但扫描速度却奇慢无比，基本上对URL要尝试所有扫描特征，最后还需要从大量的漏洞中去伪存真。

　　扫描器也是百度安全团队最早开发的工具之一，百度公司有数百个产品线，每天的发布量数不胜数，如果没有一个高效的漏洞扫描，安全几乎无从谈起。无论是新上线的业务，还是当出现0day时的大规模临检，扫描已经成为例行化工作。扫描结合被动的URL发现，目前已经成为最大的漏洞来源，同时扫描与工单系统联动，完成派单、巡检、复检也成为现代安全管理自动化流程的一部分。

　　扫描已经成为所有互联网业务中必不可少的安全工作。这本书将系统化地为读者讲解扫描原理与实现方法，我相信无论你是甲方安全工程师，还是乙方安全服务人员，阅读本书后都将受益匪浅。

　　百度云安全技术总监，百度云加速总负责人

　　冯景辉

第1章 扫描器基础 1
1．1 什么是Web扫描器 1
1．2 扫描器的重要性 2
1．3 扫描器的类型 3
1．4 常见的扫描器（扫描器的示例） 4
1．5 扫描器评测 8
1．6 漏洞测试平台 9
1．7 扫描环境部署 9
1．7．1 测试环境 9
1．7．2 开发环境 12
第2章 Web爬虫基础 19
2．1 什么是Web爬虫 19
2．2 浏览器手工爬取过程 19
2．3 URL 21
2．4 超级链接 22
2．5 HTTP协议（Request/Response） 23
2．5．1 HTTP请求 23
2．5．2 HTTP响应 24
2．6 HTTP认证 25
2．6．1 Basic认证（基本式） 26
2．6．2 Digest认证（摘要式） 27
2．7 HEAD方法 29
2．8 Cookie机制 29
2．9 DNS本地缓存 31
2．9．1 浏览器缓存 31
2．9．2 系统缓存 32
2．10 页面解析 33
2．11 爬虫策略 34
2．11．1 广度优先策略 34
2．11．2 深度优先策略 34
2．11．3 最佳优先策略（聚焦爬虫策略） 35
2．12 页面跳转 35
2．12．1 客户端跳转 36
2．12．2 服务端跳转 37
2．13 识别404错误页面 38
2．14 URL重复/URL相似/URL包含 39
2．14．1 URL重复 39
2．14．2 URL相似 39
2．14．3 URL包含 39
2．15 区分URL的意义 40
2．16 URL去重 40
2．16．1 布隆过滤器（Bloom Filter） 41
2．16．2 哈希表去重 41
2．17 页面相似算法 42
2．17．1 编辑距离（Levenshtein Distance） 42
2．17．2 Simhash 43
2．18 断连重试 43
2．19 动态链接与静态链接 43
第3章 Web爬虫进阶 44
3．1 Web爬虫的工作原理 44
3．2 实现URL封装 45
3．3 实现HTTP请求和响应 47
3．4 实现页面解析 58
3．4．1 HTML解析库 58
3．4．2 URL提取 59
3．4．3 自动填表 66
3．5 URL去重去似 67
3．5．1 URL去重 67
3．5．2 URL去似去含 73
3．6 实现404页面识别 75
3．7 实现断连重试 77
3．8 实现Web爬虫 78
3．9 实现Web 2．0爬虫 83
第4章 应用指纹识别 94
4．1 应用指纹种类及识别 94
4．2 应用指纹识别的价值 95
4．3 应用指纹识别技术 96
第5章 安全漏洞审计 102
5．1 安全漏洞审计三部曲 102
5．2 通用型漏洞审计 103
5．2．1 SQL注入漏洞 103
5．2．2 XSS跨站漏洞 111
5．2．3 命令执行注入 120
5．2．4 文件包含漏洞 129
5．2．5 敏感文件泄露 136
5．3 Nday/0day漏洞审计 146
5．3．1 Discuz!7．2 faq．php SQL注入漏洞 147
5．3．2 Dedecms get webshell漏洞 150
5．3．3 Heartbleed漏洞（CVE-2014-0160） 153
5．3．4 PHP multipart/form-data远程DDoS（CVE-2015-4024） 157
第6章 扫描器进阶 160
6．1 扫描流程 160
6．2 软件设计 163
6．3 功能模块 164
6．4 软件架构 165
6．5 数据结构 166
6．6 功能实现 167
6．6．1 IP/端口扫描和检测（端口模块） 167
6．6．2 端口破解模块 170
6．6．3 子域名信息枚举 172
6．6．4 文件、目录暴力枚举探测（不可视URL爬取） 175
6．6．5 扫描引擎 176
6．7 扫描报告 180
6．8 扫描测试 182
第7章 云扫描 185
7．1 什么是云扫描 185
7．2 云扫描架构 185
7．3 云扫描实践 187
7．3．1 Celery框架 188
7．3．2 扫描器Worker部署 189
7．3．3 云端调度 193
7．4 云扫描服务 199
第8章 企业安全扫描实践 202
8．1 企业为什么需要扫描 202
8．2 企业扫描的应用场景 202
8．2．1 基于网络流量的扫描 202
8．2．2 基于访问日志的扫描 208
8．2．3 扫描的应用场景比较 217
第9章 关于防御 218
9．1 爬虫反制 218
9．1．1 基于IP的反爬虫 218
9．1．2 基于爬行的反爬虫 221
9．2 审计反制 223
9．2．1 云WAF 223
9．2．2 云WAF的价值 223
9．3 防御策略 225
附录A 227
附录B 229