机器学习方法

机器学习是以概率论、统计学、信息论、z优化理论、计算理论等为基础的计算机应用理论学科，也是人工智能、数据挖掘等领域的基础学科。《机器学习方法》全面系统地介绍了机器学习的主要方法，共分三篇。第一篇介绍监督学习的主要方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与z大熵模型、支持向量机、Boosting、EM算法、隐马尔可夫模型、条件随机场等；第二篇介绍无监督学习的主要方法，包括聚类、奇异值分解、主成分分析、潜在语义分析、概率潜在语义分析、马尔可夫链蒙特卡罗法、潜在狄利克雷分配、PageRank算法等。第三篇介绍深度学习的主要方法，包括前馈神经网络、卷积神经网络、循环神经网络、序列到序列模型、预训练语言模型、生成对抗网络等。书中每章介绍一两种机器学习方法，详细叙述各个方法的模型、策略和算法。从具体例子入手，由浅入深，帮助读者直观地理解基本思路，同时从理论角度出发，给出严格的数学推导，严谨详实，让读者更好地掌握基本原理和概念。目的是使读者能学会和使用这些机器学习的基本技术。为满足读者进一步学习的需要，书中还对各个方法的要点进行了总结，给出了一些习题，并列出了主要参考文献。

《机器学习方法》是机器学习及相关课程的教学参考书，适合人工智能、数据挖掘等专业的本科生、研究生使用，也供计算机各个领域的专业研发人员参考。

李航，字节跳动科技有限公司人工智能实验室总监， IEEE会士、ACL会士、ACM杰出科学家、CCF杰出会员。研究方向包括信息检索、自然语言处理、统计机器学习及数据挖掘。李航于1988年从日本京都大学电气工程系毕业，1998年获得日本东京大学计算机科学博士。他1990年至2001年就职于日本NEC公司中央研究所，任研究员；2001年至2012年就职于微软亚洲研究院，任高级研究员与主任研究员；2012年至2017年就职于华为技术有限公司诺亚方z实验室，任首席科学家、主任。李航一直活跃在相关学术领域，曽出版过四部学术专著，并在顶级国际学术会议和顶级国际学术期刊上发表过120多篇学术论文，包括SIGIR, WWW, WSDM, ACL, EMNLP, ICML, NIPS, SIGKDD, AAAI, IJCAI，以及NLE, JMLR, TOIS, IRJ, IPM, TKDE, TWEB, TIST等。他和同事的论文获得了KDD2008最佳应用论文奖，他指导的学生获得了SIGIR2008，ACL2012最佳学生论文奖。李航参与了多项产品开发，包括Microsoft SQL Server 2005, Microsoft Office 2007, Microsoft Live Search 2008, Microsoft Bing 2009, Bing 2010, Office 2010, Office 2012，拥有42项授权美国专利。李航还在顶级国际学术会议和顶级国际学术期刊担任许多重要工作，如大会程序委员会主席，资深委员，及委员，期刊编委，包括SIGIR, WWW, WSDM, ACL, NAACL, EMNLP, NIPS,SIGKDD, ICDM, ACML, IJCAI, IRJ, TIST, JASIST, JCST等。

序言

2012年《统计学习方法 (第 1版)》出版，内容涵盖监督学习的主要方法， 2019年第 2版出版，增加了无监督学习的主要方法，都属于传统机器学习。在这段时间里，机器学习领域发生了巨大变化，深度学习在人工智能各个应用方向取得了巨大突破，成为机器学习的主流技术，彻底改变了机器学习的面貌。有些读者希望能看到与之前风格相同的讲解深度学习的书籍，这也触发了作者在原来《统计学习方法》的基础上增加深度学习内容的想法（计划今后再增加强化学习）。从 2018年开始，历时 3年左右，完成了深度学习的写作。

考虑到内容的变化，现将书名更改为《机器学习方法》。第 1篇监督学习和第 2篇无监督学习基本为原来的内容，增加第 3篇深度学习，希望对读者有所裨益。传统机器学习是深度学习的基础，所以将这些内容放在一本书里讲述也有其合理之处。虽然深度学习目前是大家关注的重点，但传统机器学习仍然有其不容忽视的地位。事实上，传统机器学习和深度学习各自有更适合的应用场景，比如，深度学习长于大数据、复杂问题的预测，特别是人工智能的应用；传统机器学习善于小数据、相对简单问题的预测。

本书的定位是讲解机器学习的基本内容，并不完全是入门书。介绍的内容都是最基本的，在这种意义上适合初学者。但主旨是把最重要的原理和方法做系统的总结，方便大家经常阅读和复习。在写第 3篇的时候也接受大家对第 1篇和第 2篇的反馈意见，在力求文字简练清晰的同时，也确保叙述的详尽明了，以方便读者理解。在各章方法的导入部分适当增加了背景和动机的介绍。

第 3篇中使用的数学符号与第 1篇和第 2篇有一定的对应关系，但由于深度学习的特点也有一些改变，也都能自成体系。将符号完全统一于一个框架内还需要做大量的工作，希望在增加第 4篇强化学习之后再做处理。

对第 3篇的原稿，郑诗源、张新松等帮助做了校阅，对一些章节的内容提出了宝贵的意见。责任编辑王倩也为本书的出版做了大量工作。在此对他们表示衷心的感谢。

李航

2021年 5月 27日