自然语言处理实践

本书融合统计学、语言学等知识，以“让计算机能够确切理解人类的语言，并自然地与人进行交互”为终极目标，研究能够实现人与计算机之间用自然语言进行沟通的系列理论与技术。本书兼具基础理论与编程实战，可作为高等院校计算机、信息技术等相关专业的高年级本科生或研究生的实践教材或参考书，也可供从事自然语言处理、数据挖掘和人工智能等领域研究的相关人员参考，是一本实用性极强的入门实践教辅材料。

本书全面讲解了自然语言处理和人工智能技术，理论与实践充分结合，带您开启自然语言处理之门

前言

近年来，人工智能行业的快速发展得到了社会各界的广泛关注，我国政府在《新一代人工智能发展规划》提出“到2030年，使中国成为世界主要人工智能创新中心”。与此同时，我国多所高校也陆续成立人工智能专业。2018年35所高校获教育部批准首批开设人工智能本科专业，2019、2020年新增人工智能专业的高校分别有180所、130所。然而，在人工智能行业高速发展的大背景下，AI人才仍然显得“供血不足”。

从当前的人才需求趋势来看，由于人工智能技术与业务落地实践结合非常紧密，行业亟须大量既懂理论又懂实践的应用型AI人才。作为人才培养的重要基地，我国高校人工智能人才培养目前还面临师资较少、经费不足、实践机会缺失等现实问题，导致目前高校培养的人才仍以学科型、研究型为主。关于行业需求量较大的应用型人才如何培养尚不明确，难以满足人工智能行业的深度需求。

为帮助更多人工智能爱好者了解产业需求，本书应用百度开源深度学习框架百度飞桨（PaddlePaddle），通过大量实践案例，辅以理论知识讲解，帮助读者快速入门，理解核心知识点。并通过由浅入深的真实案例操作，对相关知识进行全面实战检验。同时，从自然语言理解（NLU）和自然语言生成（NLG）两个层面，带领读者探索自然语言处理的奥秘。

本套教材中涵盖了大量源自百度飞桨平台的实践案例。作为我国首个自主研发、功能丰富、开源开放的产业级深度学习平台，百度飞桨已凝聚来自于各行各业的370万开发者，创建42.5万个AI模型，累计服务14万企事业单位，覆盖工业、能源、金融、农业、医疗、城市管理等众多应用场景。作者从百度飞桨中挑选了大量适合初学者学习的案例素材，以期通过真实的产业界实战练习，帮助读者更好地理解、应用相关知识点，更好完成从理论到实践的进阶，成为真正符合市场需求的应用型人工智能人才。

人工智能行业的发展离不开人才培养，应用型人才的培养离不开实践学习。希望本书的出现，可以帮助更多人工智能爱好者通过真实案例更深刻地理解理论知识，并在日后将书中所学应用到产业实践中，共同推动我国人工智能发展。

编者2021年11月

目录

第1章自然语言处理概述

实践一： 随机数生成与排序

实践二： 99乘法表

实践三： “海量”文件遍历

实践四： 文本词频分析

实践五： 百度百科数据爬取

实践六： 百度百科数据预处理

第2章文本表示

实践七： 基于Word2vec的语言模型实践

实践八： 基于ERNIE语言模型的文本语义匹配

实践九： 基于PaddleNLP的短文本相似度计算

第3章文本分类

实践十： 基于FNN网络的电影评论情感分析

实践十一： 基于LSTM网络的谣言检测

实践十二： 基于PaddleHub的低俗文本审核

第4章信息抽取

实践十三： 基于LSTM的命名实体识别

实践十四： 基于BiLSTM+CRF的事件抽取

实践十五： 基于BiLSTM的关系抽取

第5章机器翻译

实践十六： 基于序列到序列模型的中英机器翻译

实践十七： 基于注意力机制的中英机器翻译

实践十八： 基于Transformer的中英机器翻译

第6章自动文摘

实践十九： 基于注意力机制的英文新闻标题生成

实践二十： 基于Transformer的英文自动文摘

实践二十一： 基于ERNIEGEN的中文自动文摘

第7章机器阅读理解

实践二十二： 基于SQuAD的机器阅读理解

实践二十三： 基于BiDAF的机器阅读理解

实践二十四： 基于预训练——微调的机器阅读理解

第8章聊天机器人设计与实现

实践二十五(一)： 聊天机器人模块实现

实践二十五(二)： 聊天机器人系统评测

参考文献