风控要略——互联网业务反欺诈之路

《风控要略——互联网业务反欺诈之路》是一本全面描述互联网业务反欺诈体系的书籍，全书主要分为洞察黑产、体系构建、实战教程和新的战场4个部分。第1部分介绍了黑产欺诈团伙的运作套路和攻击手段；第2部分总结了我们在构建反欺诈技术体系过程中沉淀的实践经验；第3部分分享了我们和黑产对抗的多个实战案例，以及机器学习算法的综合运用；第4部分介绍了我们在物联网、内容安全、隐私合规等方面的实践和对海外厂商的观察。
读者通过仔细阅读《风控要略——互联网业务反欺诈之路》，可以对互联网反欺诈的过去、现在和未来有一个系统的认识。希望《风控要略——互联网业务反欺诈之路》能够为正在关注该领域或从事相关工作的读者提供有价值的参考。《风控要略——互联网业务反欺诈之路》适合互联网投资人、创业者、产品经理、运营人员和安全风控人员阅读。

马传雷

曾任同盾科技反欺诈研究院执行院长、广州中国科学院软件应用技术研究所电子数据取证实验室特聘专家，还曾担任腾讯安全应急响应中心技术负责人、绿盟科技安全技术部总监等职务，国内知名安全专家。

孙　奇

曾任同盾科技反欺诈产品研发总监，浙江大学硕士，知名Java架构师、Qcon全球开发者大会讲师。

高　岳

东南大学硕士，曾任同盾科技移动安全产品研发总监，也曾在腾讯安全平台部负责移动产品安全检测能力建设和安全产品研发，业务安全专家。

《风控要略——互联网业务反欺诈之路》全面、系统地介绍了互联网业务安全行业全貌，内容包括互联网业务安全发展历程、黑产攻击态势、业务风险防控方案、机器学习算法的使用以及行业未来发展走向等。

从2018年开始，我和高岳、孙奇一起从事业务安全产品设计、研发的工作。在此之前，高岳是移动安全方面的专家，孙奇是资深的Java架构师，而我则是从事黑客攻防对抗的工程师。于我们而言，这是一段非常美好的经历，非常感谢命运的安排。

因为个人兴趣和工作需要，我们和很多朋友就互联网业务安全进行了深入交流。他们有的是互联网公司的产品研发人员和运营人员，有的是传统金融机构互联网线上业务拓展推广人员，也有的是专业风控和安全从业者。从与他们的沟通交流中，我们学到了很多业务领域的知识，同时也发现大家对互联网黑产及互联网业务安全体系构建缺乏深入了解。我们常常听到这样的话：“投入了很多资源构建互联网业务安全体系，购买了专业公司的风控产品和服务，但是依然没能阻止网络黑产无情的攻击。”

在实际项目中，我们也遇到了一些困扰：产品POC测试严重脱离业务场景实际需求，错误的策略部署导致产品无法正常发挥防御能力。我们在复盘时常常反思这些问题，是不是可以通过某些方式帮助客户更全面地理解业务风险的脉络和黑产攻击的套路。很多问题的产生并不是因为黑产团伙的技术有多么高明，而是因为防御方不能够很好地帮助客户理解业务风险。

2019年3月的某一天，高岳提议写一本全面介绍互联网业务反欺诈体系构建和实践经验的书籍，这个建议点燃了我们心中的火焰。我们立即开始整理资料并写作，经过8个多月的努力，我们在2020年的春节前完成了这本书稿。

本书主要分为洞察黑产、体系构建、实战教程和新的战场4个部分。第1部分介绍了黑产欺诈团伙的运作套路和攻击手段；第2部分总结了我们在构建反欺诈技术体系过程中沉淀的实践经验；第3部分分享了我们和黑产对抗的多个实战案例，以及机器学习算法的综合运用；第4部分介绍了我们在物联网、内容安全、隐私合规等方面的实践和对海外厂商的观察。

希望读者通过阅读本书，可以对互联网反欺诈的行业现状有一个系统而具体的认识。业务安全的真正力量是内生的，专业的安全风控公司可以提供工具、平台和策略建议，但是只有业务方真正理解风险和防控思路，才能在与黑产的对抗中设计好业务规则、运营好安全策略，取得较好的效果。如果读者正在关注该领域或从事相关工作，我们相信本书一定能够为您提供帮助。

我们相信本书将成为中国互联网历史中一个微小但坚硬的符号。以当前互联网的进化速度，若干年后本书介绍的风控体系可能会被新技术完全重构，行业态势也会有很大的不同。后来者可以通过本书观察和体会行业与技术的演进轨迹，进而把握未来的发展趋势。

用工作之外的时间把自己的想法变成数十万字的图书，是一件非常考验耐心的事情。除了三位主要作者，还有以下几位同学坚持参与撰写本书的部分内容。

— 李克勤、章岚撰写了“第2章 黑产武器库概览”、“第10章 风险数据名单体系”和“第11章 欺诈情报体系”章节的初稿。

— 郭嵩、彭亮撰写了“第4章 风控核心组件设备指纹”中Web设备指纹和JS混淆相关内容的初稿。

— 赵峰撰写了“第5章 基于用户行为的生物探针”章节的初稿。

— 江杰撰写了“第6章 智能验证码的前世今生”章节的初稿。

— 贺海军、王明英撰写了“第12章 机器学习算法的使用”实战案例相关的内容。

— 刘莹撰写了“第13章 互联网反欺诈实战”章节的初稿。

在稿件完成之际，有特别多想感谢的朋友。在过去的一年中，罗小果等同事运作的项目，促使我们对业务安全防御体系有了更深入的思考，使得本书的整体框架更具有逻辑性。在完成初稿后，陈钧衍等多位技术同事给出了很多非常好的修改建议。感谢电子工业出版社的策划编辑符隆美，感谢我们的同事韬哥、伟哥、艺严等，感谢“蓝星技术群”的互联网安全同行，没有你们的鼓励和帮助，也许就不会有这本书的面世。

作为互联网安全从业者，回顾这几年走过的路，黑产的技术发展和规模膨胀给我们带来了很大的压力，同时也让我们有了更大的动力去构建更加有效的安全防御产品体系。在此我们向互联网安全行业中诸多提携我们成长的前辈和守望相助的朋友们致敬，他们是alert7、binw、cnhawk、coolc、cy07、flashsky、huiwang、instruder、kevin1986、lake2、lenx、linkboy、marcohp、mkliu、oldjun、pix、rozero、scz、tb、xi4oyu、xundi、方斌、丁丽萍、顾孔希、高亮、何艺、刘进、林鹏、马坤、聂君、秦波、王彬、王任飞、王英健、阎文斌、杨珉、赵弼政等等（排名不分前后），还有很多很多行业拓荒者和同行者，在此难以一一列举。

由于作者写作水平有限，书中难免存在疏漏与不足之处，恳请读者批评指正。就本书覆盖的内容而言，在反爬虫、反洗钱、业务生态秩序安全治理及用户安全心智建设等深水区没有进行深入阐述，我们也是心有遗憾并且希望能够在下一本书中弥补，敬请期待。

马传雷

引言 互联网业务安全概述 1

第一部分 洞察黑产

第1章 黑产发展态势 8

1.1 黑产组织结构 8

1.2 黑产成员分布 11

1.3 黑产专业化分工 12

1.4 黑产攻击规模 13

1.5 电信欺诈黑产 15

1.6 本章小结 16

第2章 黑产武器库概览 17

2.1 虚假号码 17

2.1.1 猫池 18

2.1.2 短信验证码 20

2.1.3 接码平台 21

2.1.4 空号注册 22

2.1.5 流量卡和物联网卡 22

2.1.6 手机rom后门 23

2.2 代理IP 23

2.3 设备伪造工具 25

2.3.1 改机工具 25

2.3.2 多开工具 26

2.3.3 Root/越狱工具 27

2.3.4 Xposed 28

2.3.5 Cydia Substrate 28

2.3.6 Frida 28

2.3.7 硬改工具 29

2.3.8 脱机挂 29

2.3.9 备份恢复/抹机恢复 30

2.3.10 模拟器 32

2.3.11 定制浏览器 33

2.3.12 自动化脚本 34

2.4 其他工具 35

2.4.1 位置伪造工具 35

2.4.2 群控 36

2.4.3 工具集 42

2.5 本章小结 43

第二部分 体系构建

第3章 反欺诈体系建设思路 46

3.1 动态防控理念 46

3.2 防控体系构建 47

3.3 本章小结 50

第4章 风控核心组件设备指纹 51

4.1 设备指纹的原理 51

4.2 设备指纹的技术实现 52

4.2.1 Android设备指纹 52

4.2.2 iOS设备指纹 54

4.2.3 Web设备指纹 56

4.2.4 设备ID生成与恢复逻辑 58

4.2.5 被动式识别技术 61

4.3 代码保护 62

4.3.1 JS代码混淆技术 63

4.3.2 Android/iOS SDK加固保护 77

4.4 本章小结 92

第5章 基于用户行为的生物探针 93

5.1 生物探针 94

5.2 无感认证 95

5.2.1 无感认证的基础 96

5.2.2 无感认证的构建 97

5.3 生物探针的应用场景 100

5.4 本章小结 100

第6章 智能验证码的前世今生 102

6.1 验证码的诞生 102

6.1.1 验证码的本质 103

6.1.2 验证码的发展 105

6.2 验证码的攻防 108

6.2.1 字符验证码的识别 108

6.2.2 新型验证码的识别 112

6.2.3 对抗黑产的方案 115

6.3 设计一款优秀的验证码 117

6.3.1 设计标准 117

6.3.2 设计实战 118

6.4 本章小结 122

第7章 风控中枢决策引擎系统 123

7.1 规则引擎 123

7.1.1 脚本引擎 124

7.1.2 开源规则引擎 125

7.1.3 商业规则引擎 125

7.1.4 几种规则引擎实现方案的对比 126

7.2 规则管理 127

7.3 规则推送 128

7.4 规则执行 129

7.5 外部系统集成 129

7.6 灰度测试 130

7.7 本章小结 131

第8章 海量数据的实时指标计算 132

8.1 实时指标计算概述 132

8.2 实时指标计算方案 135

8.2.1 基于数据库SQL的计算方案 135

8.2.2 基于事件驱动的计算方案 135

8.2.3 基于实时计算框架的计算方案 136

8.2.4 实时指标计算方案对比 141

8.3 反欺诈实时指标计算实践 141

8.3.1 实时指标计算引擎原型 141

8.3.2 数据拆分计算 144

8.3.3 分片计算 147

8.3.4 引入Flink 148

8.3.5 Lambda架构 148

8.4 反欺诈实时指标计算系统 149

8.5 本章小结 151

第9章 风险态势感知系统 152

9.1 基于统计分析的方法 153

9.1.1 核心风控指标数据 154

9.1.2 核心业务数据 156

9.2 基于无监督学习的方法 157

9.3 基于欺诈情报的方法 158

9.4 预警系统 159

9.5 本章小结 160

第10章 风险数据名单体系 161

10.1 名单体系的价值 162

10.2 名单体系的设计 162

10.3 名单体系的生命周期 166

10.4 名单体系质量管理 168

10.5 本章小结 168

第11章 欺诈情报体系 169

11.1 情报采集 169

11.1.1 数据情报 170

11.1.2 技术情报 171

11.1.3 事件情报 174

11.2 情报分析 175

11.3 本章小结 179

第三部分 实战教程

第12章 机器学习算法的使用 182

12.1 机器学习的广泛应用 182

12.2 机器学习的落地过程 183

12.2.1 特征工程 183

12.2.2 模型选择 187

12.2.3 模型训练 195

12.2.4 工程化和业务落地 197

12.3 机器学习实战案例 198

12.3.1 案例一：黑产设备群控网络挖掘 198

12.3.2 案例二：黑产用户行为聚类分析 205

12.3.3 案例三：金融在线申请反欺诈 212

12.4 本章小结 220

第13章 互联网反欺诈实战 221

13.1 典型反欺诈业务场景风险分析 221

13.1.1 垃圾注册风险识别 222

13.1.2 批量登录风险识别 223

13.1.3 “薅羊毛”风险识别 225

13.1.4 裂变拉新作弊风险识别 227

13.1.5 “任务”作弊风险识别 229

13.1.6 恶意退单风险识别 229

13.2 解决方案设计示例 231

13.2.1 电商薅羊毛 233

13.2.2 裂变拉新 236

13.3 策略部署 239

13.3.1 策略配置 239

13.3.2 策略迭代 241

13.4 运营监控 241

13.4.1 监控预警报表 241

13.4.2 态势感知 242

13.4.3 情报监控 243

13.5 本章小结 244

第四部分 新的战场

第14章 物联网时代的风控 246

14.1 物联网安全态势 246

14.2 物联网安全威胁分析 247

14.2.1 云端平台安全威胁 248

14.2.2 网络通信安全威胁 249

14.2.3 设备终端安全威胁 250

14.2.4 物联网安全监管要求 253

14.3 物联网安全风险控制体系建设思路 254

14.4 物联网安全风险态势感知系统 256

14.5 本章小结 260

第15章 内容安全与合规 261

15.1 内容安全合规概述 261

15.2 文本内容安全 263

15.2.1 敏感词系统 264

15.2.2 基于NLP的AI模型 267

15.3 图像内容安全 271

15.3.1 图像分类 271

15.3.2 敏感人物识别 276

15.3.3 图像文字识别 285

15.4 语音内容安全 286

15.4.1 有语义语音 286

15.4.2 无语义语音 287

15.5 视频内容安全 288

15.5.1 视频内容安全处理流程 289

15.5.2 关键帧提取 289

15.6 内容安全工程 290

15.7 内容安全系统的评价指标 291

15.8 本章小结 292

第16章 风控与数据合规使用 293

16.1 网络安全立法进程 293

16.2 个人数据合规使用 294

16.2.1 用户隐私政策 295

16.2.2 数据安全流转 296

16.3 数据合规技术创新实践 298

16.3.1 数据匿名查询 298

16.3.2 区块链共享黑名单 299

16.4 本章小结 300

第17章 海外风控公司 302

17.1 Arkose Labs 302

17.2 Sift 304

17.3 Forter 305

17.4 Shape Security 306

17.5 Okta 308

17.6 本章小结 313