另类数据：理论与实践

　　所谓另类数据，就其本意，就是非传统数据。目前业内对于另类数据并没有统一的定义，大体上可以理解为有别于传统数据同时有价值的数据和信息。当下越来越多的数据渗入我们的生活中，但是数据本身具有洞见的时候才会有用。随着人工智能和机器学习的发展，我们可以从看似杂乱无章的海量数据中提取特征，云计算的发展也可以有效管理此类数据流，并且高效地训练模型。从国际范围来看，诸多不同类型的另类数据已经应用到与经济相关的很多领域，包括太空中卫星传来的图像，社交媒体上的帖文，大型商场中的客流量等，不一而足，但是中文图书市场尚未有书籍对另类数据进行系统性地讨论和分析，而本书就弥补了图书市场的这个空白。

　　《数字经济系列02-另类数据：理论与实践》共有8章。第1章到第6章详细介绍了另类数据的概念、分类、挑战和风险、应用流程和价值等方面的内容。第7章和第8章则分别介绍了不同类型的另类数据。

　　◎丛书简介

　　数字经济是指以数据资源作为关键生产要素、以现代信息网络作为重要载体、以信息通信技术的有效使用作为效率提升和经济结构优化的重要推动力的一系列经济活动。

　　近年来，数字经济发展速度之快、辐射范围之广、影响程度之深前所未有，正在成为重组全球要素资源、重塑全球经济结构、改变全球竞争格局的关键力量。人类社会正在进入以数字化生产力为主要标志的新阶段，数字经济已经成为引领科技革命和产业变革的核心力量。

　　世界图书出版公司是中国出版集团旗下唯一的科技类出版社，多年来为我国科技和教育的发展做出了重要贡献。当此人类经济丕变之时局，世图公司拟推出"数字经济系列"，编选有关互联网、大数据、云计算、人工智能、另类数据、能源转型、数字制造、数字化治理、数字新基建等一系列主题的优秀原创著作，为读者开阔视野，带来启迪，促进产业转型，引领社会进步，共襄时代盛举。

　　王闻，南开大学经济学硕士，清华大学数量经济学博士，曾在金融业界和智库中工作，现任哈尔滨工业大学副教授。

　　孙佰清，哈尔滨工业大学硕士和博士，现任哈尔滨工业大学教授和博士生导师，金融研究所所长，金融系主任，发表SCI/SSCI检索等论文60余篇，荣获第一届全国优秀金融硕士学位论文指导教师等奖项，出版专著2部。

　　投资，是人类社会经久不衰的活动。在这场竞赛中，优胜者始终需要寻找新方法来获取信息优势。这样的例子比比皆是，既包括观察河水深度、流量的古巴比伦商人，用望远镜观察抵港船只的中世纪威尼斯商人，也包括近代建立遍布于欧洲的信使网络的罗斯柴尔德家族。在现代资产管理行业，新闻快讯、社交媒体、卫星图像、地理位置、线上点评以及商业交易这些大数据时代带来的新型数据，正在成为投资经理们建立竞争优势以获取"阿尔法"的重要工具。这些由非传统信息组成的数据或者通过非传统手段获取的数据，被统称为另类数据，也称非传统数据。

　　在国外，另类数据正快速渗入资产管理行业；在国内，虽然业界对它已有了不少讨论，但是至今尚无系统介绍的书籍。《另类数据：理论与实践》以及《另类数据：投资新动力》这两本著作很好地弥补了这个空白。前者系统介绍了另类数据的概念和分类、风险和挑战、应用流程和价值评估等方面的内容；后者则从股票、利率和汇率、大宗商品以及宏观经济出发，详细介绍了不同类型另类数据的应用案例。

　　工欲善其事，必先利其器。在资产管理行业已出现数据、算法和算力全方位竞争的态势下，两书可成为国内投资经理工具箱中的基件和利器，帮助他们赢得资产管理竞赛。

　　出版说明

　　数字经济是指以数据资源作为关键生产要素、以现代信息网络作为重要载体、以信息通信技术的有效使用作为效率提升和经济结构优化的重要推动力的一系列经济活动。

　　近年来，数字经济发展速度之快、辐射范围之广、影响程度之深前所未有，正在成为重组全球要素资源、重塑全球经济结构、改变全球竞争格局的关键力量。人类社会正在进入以数字化生产力为主要标志的新阶段，数字经济已经成为引领科技革命和产业变革的核心力量。

　　世界图书出版公司是中国出版集团旗下唯一的科技类出版社，多年来为我国科技和教育的发展做出了重要贡献。当此人类经济丕变之局，世图公司推出"数字经济系列"，拟编选有关互联网、大数据、云计算、元宇宙、人工智能、另类数据、能源转型、数字制造、数字化治理、数字新基建等一系列主题的优秀原创著作，开阔知识视野，启迪管理思维，促进产业转型，引领社会进步，共襄时代盛举。

　　世界图书出版公司

　　2023年1月

　　序

　　另类数据，英文名称是alternative data。顾名思义，它是用来描述有别于传统数据的数据。这个词最早出现在美国的对冲基金和资产管理行业，后来延展到包括信贷和保险在内的整个金融领域。就投资过程而言，传统上使用的数据包括金融市场的量价、公司财报以及政府部门披露的宏观经济指标这三大类。随着大数据、人工智能、云计算等金融科技新时代的到来，一些非传统的数据也开始引起了投资者的关注，比如文本、卫星图像、传感器等。美国的一位学者，后来也成为另类数据产业的创业者，Gene Ekster在2014年正式提出了这个概念。

　　另类数据一经问世，就在美欧投资圈得到了广泛的关注。正如《金融时报》全球财经记者Robin Wigglesworth在2020年所说："另类数据是当今投资管理行业最热门的话题之一。无论是用于实时预测全球经济增长，或是用比公司季报更精细的方式解剖公司，还是用于更好地理解股市行为，另类数据都是资产管理领域每个人需要掌握的。" 在这个背景下，各大金融机构、另类数据服务商以及学界纷纷出版各种相关的报告和白皮书。比较有代表性的包括摩根大通(JP Morgan)在2017年发布的长达280页的《大数据和人工智能策略：投资中的机器学习和另类数据方法》报告；德勤（Deloitt）从2017年开始发表的一系列行业报告；另类数据服务商Eagle Alpha不断更新的《另类数据用例》报告；量化分析师Tony Guida邀请学界和业界的一众专家在2019年编辑出版的《量化投资中的大数据和机器学习》；以及英国的Alexander Denev和Saeed Amen在2020年出版的《另类数据之书：献给投资者、交易者和风险管理者的指南》。

　　这些报告、白皮书以及专业书籍勾勒出另类数据这个概念和相关方法，在全球投资领域正在快速发展并且不断深化。相较而言，另类数据引进到我国的时间不是很长，同时在学界和业界引发的关注还比较有限。特别是针对另类数据进行系统论述的专著目前还没有。我们写作这本书以及其姊妹篇--《另类数据：投资新动力》的目的就是要填补这个空白。通过综合当前有关另类数据的行业报告、学术文献和书籍，我们将向国内的业界和学界读者，特别是资产管理行业的从业人员，全方位地介绍另类数据及其在金融市场中的应用。

　　本书总共有八章。第一章用一个学界和一个业界的故事作为开篇，让读者了解另类数据产生的背景和重要意义。第二章将介绍另类数据这个概念以及相关的行业现状，其中特别说明了另类数据和大数据之间的区别和联系。第三章从不同角度对另类数据进行了分类，考虑到另类数据这个概念的内涵和外延是在不断变化的，所以另类数据的分类也将是与时俱进的。第四章介绍了在应用另类数据中遇到的挑战和风险，包括个人隐私、重大非公开信息这些法律问题，处理另类数据需要解决的实体匹配等技术问题，以及在应用另类数据方面领先者和落后者所面对的不同风险。第五章讨论了把另类数据应用到决策过程时的流程，这一章对于资产管理团队在引进另类数据时具有很强的实操含义。第六章讨论了各种对另类数据进行估值的方法，它可以帮助金融机构在引进另类数据时进行合理有效的价值评估。第七章对当前已经得到应用的另类数据按照类别进行了介绍。考虑到环境、社会和治理（ESG）这个概念的重要性，我们把涉及ESG的另类数据单独放到第八章进行了讨论。

　　我们希望本书和《另类数据：投资新动力》可以令读者了解到另类数据对于金融投资的巨大价值，逐步将另类数据应用到资产管理中，提高决策力，最终获得更好的经济效益。同时，我们也希望本书和《另类数据：投资新动力》的出版能够为读者提供更多的交流机会，共同加快另类数据产业在中国的发展！

　　王闻 孙佰清

　　2022年5月10日

第一章 地震和闲聊 001

一、宽客地震 002

二、闲聊公司 005

第二章 另类数据：投资的新水源 011

一、什么是另类数据 012

二、另类数据是大数据吗 015

三、为什么要使用另类数据 020

从主动转向被动/ 业绩不佳的原因/ 解决方案：成本竞争对比另寻

他途/ 另类数据：替代性对比补充性/Alpha 以外的因素

四、另类数据生态圈 031

数据初建商/ 数据中介/ 数据服务商/ 数据使用者

五、数据市场 038

六、创新到哪里了 041

创新者/ 早期接受者/ 早期多数跟进者/ 后期多数跟进者和落后者

第三章 另类数据的分类 047

一、基于数据供应商的角度 048

二、两家数据服务商的分类 050

Neudata/Eagle Alpha/ 一些另类数据的优点和缺点

三、基于数据使用者的角度 062

资产类型 / 投资关联性 / 价值属性 / 成本属性 / 处理阶段 / 数据质

量 / 技术细节

第四章 另类数据的挑战和风险 071

一、另类数据来源的法律问题 072

个人数据 / 网页抓取 / 重大非公开信息

二、处理另类数据中的挑战 075

实体匹配 / 数据匹配 / 缺失数据 / 缺失数据处理 / 异常值 / 结构化数

据 / 面板结构稳定化 / 去偏 / 汇总数据

三、如何评估另类数据的价值 089

直接和间接预测 / 金三角事件研究方法 / 评分卡 / 评分卡：一些案例

四、使用另类数据的风险 099

早期使用者面临的风险 / 落后者面临的风险

第五章 使用另类数据的流程 105

一、获取数据之前的流程 107

制定相关战略和策略 / 确定适当的另类数据集 / 供应商尽职调查 /

事前评估风险 / 事前评估信号

二、获取数据之后的流程 111

载入数据 / 数据预处理 / 提取投资信号 / 业务部署 / 运营维护

三、搭建另类数据团队 118

四、数据产业供应链 125

第六章 另类数据的价值 129

一、价值变化 130

价值衰减 / 价值维持

二、数据的估值方法 133

成本价值（Cost Value） / 市场价值（Market Value） / 经济价值

（Economic Value）

三、投资中的回测 139

量化投资者 / 主观投资者 / 风险经理

四、回到卖方 143

垄断 / 收益分享 / 免费和软美元

第七章 一些另类数据的介绍 151

一、文本数据 152

网页数据 / 新闻 / 社交媒体 / 联储沟通 / 应用场景

二、图像数据 177

卫星图像 / 个人图像

三、位置数据 196

手机位置 / 商船位置 / 商务飞行位置 / 出租车乘坐数据 / 其他传感器

数据

四、调查和众包数据 210

调查数据 / 众包数据

五、投资者关注 225

间接指标 / 直接指标

六、消费者交易和商业交易 231

银行卡交易数据 / 电邮收据数据

七、其他另类数据 242

国际组织、政府、行业和企业数据 / 市场数据

第八章 环境- 社会- 治理 245

一、历史回顾 246

二、行业概览 250

投资光谱 / 整合和融入 / 市场规模和驱动因素 /ESG 生态系统 /

ESG 基金 /ESG 投资绩效

三、评级和指数 268

ESG 评级：关键指标 / 重要性因素 / 评级结果的差异 / 从评级到指

数

四、ESG 数据特征体系 277

ESG 数据的性质 / 投资决策因素 / 数据-决策矩阵

参考文献 286