人工智能的伦理和治理

如何应对以人工智能为代表的新一轮科技革命带来的伦理和治理上的挑战？这是一个未被以往任何单个学科的研究所涵盖的问题。相比以往的技术，人工智能的独特之处就在于它的“自主性”。换言之，或由于技术本身的特性、或由于其应用过程中社会赋予了它特定角色，当代人工智能技术已经在深度“参与”人的决策。在这个意义上，人工智能技术与传统的工具意义上的技术有质的区别。正是由于这种对人的决策的深度“参与”，人工智能技术导致了短期和长期的伦理问题。本书系统地讨论了这些问题，在社会如何应对新一轮科技革命和产业变革的问题上有思想资源和分析框架上的独*性贡献。

How to address the ethical and governance challenges posed by the new technological revolution of artificial intelligence? This is an issue that has not been covered by any previous study in any single discipline. What is unique about AI, compared to previous technologies, is its "autonomy". Contemporary AI technologies are already deeply "involved" in human decision-making, either because of the nature of the technological application itself, or the special role that the society assigns to it as it is applied. In this sense, AI is qualitatively different from the traditional technology. It is precisely because of this deep 'involvement' in human decision-making that AI has led to both short-term and long-term ethical problems. This book discusses these issues systematically, making an original contribution of intellectual resources and analytical frameworks to the question of how society should respond to the new technological revolution.

郭锐（中国人民大学法学院副教授，未来法治研究院研究员，社会责任和治理研究中心主任）郭锐博士的研究包括公司法、金融法、人权法、人工智能伦理与治理等。他毕业于中国政法大学（法学学士、硕士）和哈佛大学法学院（法学硕士、法学博士）。他担任国家信息标准化委员会人工智能专业委员会委员、界面交互专业委员会委员、全国标准化委员会人工智能总体组社会伦理研究负责人，他参与了中国第*个以人工智能标准化为主题的白皮书的写作并撰写“安全、隐私和伦理”部分（《人工智能标准化白皮书（2018）》已于2018年发布），并主持撰写了国家标准委人工智能总体组《人工智能伦理风险研究》报告 (2019年5月发布)。

Rui Guo（Associate Professor of Law at Renmin University of China, researcher of RUC’s Institute of Law and Technology, and Director of Center for Social Responsibility and Governance). Dr. Rui Guo researches on corporate law, financial regulations, human rights, and the ethics of Artificial Intelligence. He graduated from China University of Political Science and Law(LL.B & LL.M) and Harvard Law School (LL.M & S.J.D). Dr. Rui Guo is a member of the Sub-Committee of Artificial Intelligence, National Standardization Committee of Information Technology, and is the Lead Expert for the Research Group on Ethics of Artificial Intelligence of the Artificial Intelligence Working Group, Standardization Administration of the People's Republic of China(SAC). He participated in the drafting of the first AI standardization white paper(published in 2018) and led the drafting of AI Ethical Risk Research Report (published in May 2019 by Artificial Intelligence Working Group, SAC).

序一
王　轶　中国人民大学法学院教授、法学院院长、未来法治研究院院长
人工智能已经深刻改变了、并将继续改变人类的生活。人工智能与经济、社会的深度融合，在提高效率、带来效益的同时，也不可避免地会冲击现有的社会秩序，从而引发一系列的伦理问题。这使人工智能伦理与治理成为国际社会共同关注的一项重要议题。
郭锐博士的这本专著系统地讨论了人工智能的伦理和治理问题，在新一轮科技革命和产业变革所涉及的思想资源及分析框架上有独*性贡献。自2017年7月26日担任中国人民大学法学院院长以来，我一直致力于推动对重大基础性法学理论问题和交叉学科、跨学科前沿问题的研究。2017年9月8日，中国人民大学法学院成立了未来法治研究院，致力于成为促进法学学科与人工智能、互联网、大数据、云计算等现代科技及司法实践深度融合的重要载体，成为具有创新实力、在国际上拥有话语权，能够抢占国际学术制高点的重要战略创新力量，并力争具备在这些新兴学科领域与世界顶*法学院平等对话和有效合作的能力。
郭锐博士是未来法治研究院的核心成员，在人工智能伦理和治理方面是当之无愧的新锐领军人物，不仅得到国内，而且得到国际同行的赞许和认可。过去几年里，他不仅进行了扎实的学术研究、活跃的国际交流，还是法学界参与政策制定、立法咨询和标准化工作的中坚力量。郭锐博士是国家信息标准化委员会人工智能分委员会委员、全国标准化委员会人工智能总体组社会伦理研究负责人。他参与撰写了中国第*个以人工智能标准化为主题的白皮书，并主持撰写了国家标准委人工智能总体组《人工智能伦理风险研究》报告。
如何应对以人工智能为代表的新一轮科技革命带来的伦理和治理上的挑战？这是一个未被以往任何一个学科的研究所涵盖的问题。郭锐博士的研究整合了科技的*新进展、人文社科的关照和法学理论的思考，对人工智能引发的算法、数据、社会等方面的伦理风险有详尽深入的研究。应当提及的是，本书的不少研究成果曾经在未来法治研究院组织的学术活动中分享，也曾在2018年中国人民大学法学院与哈佛大学法学院、日内瓦大学法学院、悉尼大学法学院一年一度的四院论坛上做过主题演讲。
郭锐博士和未来法治研究院的年轻同事们，用他们扎实的学术功底、卓越的科研能力、开阔的国际视野、强烈的家国情怀、自觉的使命担当，展现了青年一代中国法学学人的风采，他们向前迈出的每一步，都是中国人民大学法学院为建立活跃在国际学术前沿、拥有国际话语权的高层次学术共同体迈出的重要一步，也是中国法学学人向着立足中国实际、满足国家重大战略需求、引领未来法学发展迈出的重要一步。他们的学术作品值得我们认真对待，他们的学术思考理应获得我们的尊重。
我很荣幸为我年轻的同事郭锐博士的新著作序，也很高兴向学界同仁和广大读者推荐这部学术作品。
王　轶
2020年3月6日

序二
於兴中　康奈尔大学法学院Anthony W.and Lulu C.Wang讲席教授
当疫情在绮色佳开始肆虐，而我感到忧心忡忡，无能为力之际，有幸读到了郭锐教授的新作《人工智能的伦理和治理》，就像看到了窗外的草木正在染上新绿一样，寒冷之中透出春的希望。
本书作者系哈佛大学法学博士，研习领域侧重经济和社会法，尤以公司法、金融管制、残障法等领域的研究见长。近年来作者在中国人民大学钻研新科技与法律，在理论与实践上均有建树，本书即是他在这一领域研究的*新成果。今天的世界，人类走向异化的趋势日益明显。人对于自己的智商的管理越来越无能为力。这固然是因为人的好奇心使然，但追逐利益的本性也是不可否认的原因。在人类技术发展史上，平衡利益和风险的需要总是反复发生，一再出现。而在今天，人工智能以一种全新的、大规模的形式对人的工作、生活、教育、社会交往等各个方面产生全面影响，甚至影响如何理解和重新定义人本身。
任何科学技术的出现和大规模地应用都会给人们带来一些困惑。人们所面临的首先是异化的问题，其次是人的贪婪和对于未知的恐惧。人工智能的出现，也给人们带来了同样的困惑。人工智能会不会有一天取代人而存在？人是不是会有一天受制于自己创造的机器人？这是异化的问题。人工智能到底有多大的潜力？到底能不能出现所谓的通用的人工智能或超级人工智能？无论人工智能有什么样的潜力，有些商家总是会拿捉摸不定的未来说事，以谋取利润。他们总是会以不同的方式和手段来打造人工智能的神话。这是人的贪婪的问题。而人工智能会不会有一天发展到给人类带来毁灭性的打击的地步？机器人会不会不断地创造机器人，或者发生变异？算法会不会导致新的算法或篡改人本来的意图？这些都属于未知的问题。
人工智能伦理的探究，需要面对的问题在很大的程度上就是以上由异化、贪婪和对未来的未知带来的恐惧。近年来，各国已经先后发布了数量可观的关于人工智能伦理原则的宣言和倡议。其中，普遍认可的原则包括关于透明度、平等/非歧视、责任、安全、隐私等内容。不过，目前已有的人工智能伦理原则仅仅是宣言式的倡议或承诺，缺乏具体程序和规则。在技术乐观主义和巨大现实利益的裹挟下，未来人工智能领域充满了不确定性和迷思。
在这样的背景下，人们需要清醒的头脑和深刻的反思，透过炒作的雾障看清事物的本来面目，从而保证人工智能不会朝着对人类不利的方向发展。郭锐的这本书恰逢其时，在为读者提供了正确的信息的同时，表达了对人工智能发展的前景的期望，也为它有可能导致的危险敲响了警钟。人工智能引发的伦理问题，反映的是人类设计、制造、使用和对待人工智能的道德关怀，所关注的是人工智能可能对人类带来的益处和伤害。总的挑战是，如何在享受技术进步带来的好处的同时，能够对其所带来的风险作出充分的反应。
这本书仅200余页，可谓小书。但小书中却蕴含着大道理。作者以深厚的理论积淀为基础，用生动而明晰的语言、深入浅出的文笔对人工智能的伦理问题做了多学科、多角度的探讨和阐述,这是一本具有理论高度、实践关怀及问题意识的佳作。本书内容翔实、线条清晰，包含了不少洞见，读者需要仔细品鉴。我很荣幸能够先睹为快，也非常郑重地把它推荐给读者。本书首先是一本系统性的学术著作，因此它是人工智能领域内的学人必读的作品。其次，本书也顾及到了人工智能在实际领域和部门中的应用，因此，它也是实际部门的业务人员应该了解的指南。*后,本书也是一本基础性的读物，可供大专院校的学生使用。
於兴中
2020年3月29日
美国纽约州绮色佳（Ithaca）

序三　探求技术背后的人性与伦理价值
韩大元　中国人民大学法学院教授、中国宪法学研究会会长
近年来，以人工智能为代表的科技与人类生活的话题成为学界的主流话语，谈论人工智能的论文、著作以及学术会议几乎代替了纯粹的价值命题，追随技术理性的立场自然成为具有“现代性”的学术标签。本应中立的政府主动提出人工智能的国家战略，于是出现人工智能新的学科、新的博士点等；司法界也不甘落后，大力推动智慧法院、智慧检察院，甚至出现机器人辅助判案等；有些律师事务所开始减少录用律师，将一些工作交由人工智能来完成；在社会生活领域，秩序维护与人的自由之间，人工智能为秩序维护提供各种便利，人们不得不放弃本应坚守的宝贵的自由，如隐私是人作为人的本质，但人脸识别等技术的大量运用，让我们在技术面前，不得不“裸身”，也许即将迎来“零隐私”的世界；法学教育界也普遍感到危机，似乎人工智能会摧毁1088年以来意大利博洛尼亚大学创造的法学院教育传统，于是成立大量的研究人工智能的机构，在跨学科名义下，盲目设置人工智能的课程、学科，把人工智能描绘成“法学未来的知识体系”。我们必须承认，现代社会无法回避科技发展的挑战与影响，人类确实享受了科技的便利，但科技的便利隐含着各种不确定性与生活的不安定性。面对技术对人性的公然“侵犯”，我们从警惕、愤怒、默认到无奈，在有意无意中慢慢被技术“洗脑”，在技术理性与人性之间，我们深深地陷入困惑、焦虑与不安，甚至对未来失去了合理期待。到底人活着的意义是什么？什么是人性的尊严？在无限的技术创新与有限的人性之间，我们如何寻求平衡？在日益强大的技术面前，我们如何捍卫人性的基本立场？科技与人性相关的太多的问题，需要我们思考，人们期待学界的客观、理性而富于正能量的诠释。
郭锐博士的《人工智能的伦理和治理》一书很好地回答了上述的一些困惑，给人们提供跨越事实与价值冲突的纽带，以清晰而立体的语言风格，消除技术的恐惧，在心灵保持着安稳的生活方式。在书中，我们可以体会到作者一贯的学术立场，即基于人性尊严的学术立场。在“人工智能知识爆炸”、充满功利主义色彩的今日的学界，以人性、宗教、伦理、规制与治理等话语解释人工智能的真相是十分必要的，但这是富有挑战的学术命题。
作者以其学术责任，在充分积累素材与学术文献的基础上，对人工智能涉及的伦理以及治理问题做了深度的剖析，在现实与学术命题的探讨中把握技术与伦理价值的框架与方法。郭锐博士在哈佛法学院获得SJD，接受过严格的学术训练，同时将哈佛的人文追求体现在自己的学术研究过程中。加盟中国人民大学法学院以后他关注企业的社会责任、中国国有企业的治理、残疾人保护的国家义务等话题，独立思考着人类的命运，关心人权的道德与生活，体现学术的人文情怀。大概三四年以前开始，他在研究相关领域的法律问题时，开始集中研究人工智能问题，参与国家的《人工智能标准化白皮书》的撰写，发表相关论文。我虽然十多年以前开始关注科技与宪法问题，但对学界对科技的盲目投入还是忧虑的。但与郭锐博士接触中发现，虽同样谈人工智能问题，他与其他学者立场不同，他的立足点与分析视角是围绕人性、伦理与价值，并以风险、治理为工具，将技术纳入价值框架里，试图在伦理体系中安顿技术，以人性控制技术的非理性。可以说，本书是他对人工智能与人性问题进行思考的阶段性成果。
本书的书名是《人工智能的伦理和治理》，以“伦理”与“治理”两个词解读人工智能，将人工智能置于伦理平台是充满风险的。正如作者在导言中所讲的，有可能引出“不合时宜”的学术困境，当人们热衷于技术本身的进步时，能否从伦理上切入，使问题的讨论回到本源？作者设定这样的学术命题是需要学术勇气的，当然更需要学术积累与判断。本书正文共九章，每章所讨论的问题都是当下技术与人类生活中需要回应的新问题，在很多问题上学界是没有共识的。作者通过大量的案例、事例以及实证资料，把深邃的学术话语转化为生动、立体的生活话语，让读者有一种身临其境的感受，在体验和对话中找到一些答案。因为书中出现的与人工智能相关的事例来自生活，对读者来说并不陌生。作者作为研究者，坦诚地与读者交流，有些观点未必成熟，但提出来与大家交流。如提出伦理不是“私人事务”，人是否有权对技术发展给予约束？如不约束，“人工智能的发展将把人类带向一条危险的不归路”，“弱势群体可以在人工智能上发出声音”等。本书作者提出的很多问题值得我们品味、思考与反思。
科技的迅速发展，的确给人类带来了生存危机感。从法治的视角看，法学的使命不是赞赏科技进步带来的辉煌成就，而是要审视科技发展的非理性，探索如何通过法治降低科技发展可能带来的风险，如何通过宪法控制科技对人类文明、尊严与未来的威胁。
宪法意义上的“人”，具有独特性、不可重复性、个别性与多样性，是拥有尊严，拥有道德完整性、自主性和能动性的人。基于人的尊严，人只能作为主体而存在，任何时候都不能成为客体与工具。但我们逐渐发现，在现代科技面前，个人的力量越来越渺小，人类开始变为生物学意义上的价值碎片，完整意义上的人类价值逐渐遭到分解，人类的存在价值趋于分裂，社会共识出现裂痕，科学技术的发展带来深刻的人类主体性危机。面对此种情形，我们必须坚守现代国家和法治的基本价值立场，坚守人的尊严和主体性。而任何违背自然本质，把人降格为物，进而使人成为技术操控对象的行为，实际上都将改变人的定义。在这一点上，先进的基因技术和人工智能技术尤其要经得起正当性与合法性的考验。
作者提出的人工智能风险治理是现代国家中不可回避的问题。科学技术的发展，尤其是新兴科技引发的系统性风险，使现代国家的风险控制任务越发沉重。正是在这一背景下，国家或者说宪法对于科技的态度，早已从启蒙时代那种充满自信、以鼓励态度发展科技，再到百年前以富强、竞争、增强国力为目标、国家主导大力发展科技，逐步过渡到今天考量科技的宪法界限，将法治理念融入科技发展，以审慎的态度对待科技发展，并积极回应文明社会维护人性尊严的关切。
新兴科技为人类的幸福生活提供了可能，但是也将人类带向了不可控的未来。面对价值多元化、科技发展不确定性大幅提升的当今世界，我们要更加珍惜人类文明的价值，更加重视法治的价值，将科技发展对人类共同体利益的潜在促进意义，纳入以宪法为中心的伦理判断体系之中，形成牢固的宪法共识，任何时候都不能牺牲人的价值与人的尊严。
本书作者在结语中说：作为生活在这个时代的普通人，我们被动地发觉以及接受这个时代发生的变化。“科技带给我们的礼物，同样也标好了价格，我们是否准备好了去接受这个价格？”我们需要共同思考作者的提醒，需要形成人类的共同意志，共同建设科技，并造福于人类的美好生活。
韩大元
2020年3月13日

目录
序言
引论
一、“不合时宜”的伦理学
二、伦理知识的危机
三、人工智能伦理的终极困境
四、“道德算法”的缺陷
五、人工智能伦理风险管理
六、无法离开的游戏
第一章 人工智能的伦理问题从何而来
引言
一、人工智能的技术特征和伦理问题
二、人工智能伦理基本原则
三、典型的人工智能伦理问题
第二章 大数据阴影下的隐私：以精准营销为例
引言
一、精准营销：个人数据的商业价值
二、精准营销中的隐私疑云：“大数据杀熟”
三、隐私的可能性与“全景敞视监狱”的弥散
四、隐私权与人的道德主体性
第三章 算法的殷勤和背叛：以推荐系统为例
引言
一、推荐系统——以今日头条为例
二、推荐系统的伦理风险：以内容推荐为例
三、算法与社会的多样性
第四章 风险控制的迷思：以金融领域人工智能应用为例
引言
一、人工智能金融反欺诈的窘境
二、过分自信的人工智能金融风控：一个宏观视角
三、技术之不能与社会之能
第五章 机器决策的困境：以自动驾驶为例
引言
一、自动驾驶技术概览
二、“电车难题”
三、机器决策的困境和归责
第六章 人机关系之惑：以性爱机器人为例
引言
一、作为控制系统的性爱机器人
二、管制的正当理由
三、主奴关系之辩
引言93
一、用于决策的人工智能伦理问题
二、预测性警务
三、人脸识别
四、走出“简单化”的路径依赖
第八章 权利的美丽新世界：以司法领域人工智能应用为例
引言
一、司法领域已有的人工智能应用的伦理问题
二、人工智能在司法领域的前景：司法是否会被算法取代
三、未来人工智能在司法中的应用与伦理风险
四、离开“美丽新世界”
第九章 风险管理：人工智能伦理与治理的新思路
引言
一、人工智能伦理风险的指标
二、人工智能伦理风险管理的最佳实践
三、人工智能伦理委员会：以企业为例
余论
一、风险的警觉
二、应对的规划
三、法律的角色

Table of Content
Introduction
I. The "Anachronistic" AI Ethics
II. The Crisis of Ethical Knowledge
III. The Ultimate Dilemma of AI Ethics
IV. Shortcomings of the Ethical Algorithm
V. Ethical Risk Management in AI
VI. The Game We Can't Leave
Chapter 1. Where the Ethical Issues of Artificial Intelligence Come from
I. Technical Features and Ethical Issues of AI
II. Basic Principles of AI Ethics
III. Typical AI Ethical Issues
Chapter 2: Privacy in the Shadow of Big Data: a Case of Precision Marketing
I. Precision Marketing: the Business Value of Personal Data
II. The Doubt on Big Data
III. The Possibility of Privacy and the Dispersion of Hume’s Panopticon
IV. The Right to Privacy and the Moral Agency of the Human Person
Chapter 3 Attentiveness and Betrayal of Algorithm
I. Recommendation System: Bite Dance as an Example
II. Ethical Risks of Individualized Recommendation System III. Algorithms and the Diversity of Society
Chapter 4 The Myth of Risk Control: an Example from Fin-tech
I. The Dilemma of AI Financial Anti-Fraud
II. The Overconfident AI Risk Control
III. The Inability of Technology and the Ability of the Society
Chapter 5 The Dilemma of Machine Decision-making: an Example of Autonomous Driving
I. Overview of Autonomous Driving Technology
II. The Tram Problem
III. Accountability and the Dilemma of Machine Decision-making
Chapter 6: The Confusion of Human-machine Relation: the Case of Sex Robot
I. Sex Robot as a Control System
II. Justification of Control
III. The Master-slave Relationship
Chapter 7: The Siren Song in the Ear of Power: AI in Public Decision Making
I. Ethical issues of AI in Public Decision-making
II. Predictive Policing
III. Facial Recognition
IV. Moving Away from Path Dependency
Chapter 8 A Beautiful New World of Rights: AI in Court
I. Ethical issues of existing AI applications in court
II. Will Justice Be Replaced by Algorithm
III. The Ethical Risks of AI Applications in Court
IV. Leaving the Brave New World
Chapter 9 Risk Management and AI Ethics and Governance
I. Indicators of Ethical Risks of AI
II. Best Practices for Managing Ethical Risks of AI
III. The Ethics Committee: a Case Study
Conclusion
I. The Perception of Risks
II. Planning for Responses
III. The Role(s) of the Law