语音信号处理（第3版）/人工智能科学与技术丛书

本书系统地介绍语音信号处理的基础、概念、原理、方法与应用。全书共分9章。第1章介绍语音信号处理及其发展过程； 第2章介绍语音信号的产生与人类听觉的机理，传统的线性语音产生模型，以及非线性语音产生模型； 第3章从语音信号的时域特征入手，引入时频分析的思想，并进一步阐述时频分析中短时傅里叶变换和小波变换在语音信号特征分析中的应用，最后对广泛使用的倒谱特征以及同态解卷积进行介绍； 第4章介绍语音信号的线性预测原理、解法、几种推演方法以及线谱对分析法； 第5章介绍语音编码的相关知识，包括语音的波形编码、极低速率语音编码技术，以及相关编码器的性能指标和评测方法； 第6章介绍语音识别的基本内容，从基于矢量量化的识别技术到动态时间归正的识别技术，从隐马尔可夫模型技术到基于深度学习的语音识别技术，从孤立词识别到连接词识别及连续语音识别技术，再到关键词检出技术，最后还介绍新兴起的语音识别应用技术，以及用于HMM系统构建的HTK工具和用于深度学习系统构建的Kaldi工具等； 第7章介绍说话人识别的基本内容，从基于GMMUBM的识别技术到基于支持向量机的识别技术，从基于联合因子分析的识别技术到基于ivector的识别技术，以及近年来受到关注的基于深度学习的识别技术等； 第8章介绍顽健语音识别技术，从影响语音识别性能的环境变化因素分析开始，介绍噪声环境下顽健语音识别技术，以及变异语音识别的技术； 第9章介绍语音合成的基本原理、线性预测合成、共振峰合成以及汉语按规则合成，以及基于HMM的合成技术等内容。

本书可作为高等院校计算机应用、信号与信息处理、通信与电子系统等专业及学科的高年级本科生、研究生教材，也可供该领域的科研及工程技术人员参考。

韩纪庆 现任哈尔滨工业大学计算机科学与技术学院二级教授、学校长聘岗教授、博士生导师。兼任中国中文信息学会理事及语音处理专委会副主任、全国人机语音通讯学术会议常设机构委员会副主席、《中文信息学报》编委、《数据采集与处理》杂志编委。长期从事语音信号处理、音频信息处理等领域的教学与科研工作。作为项目负责人，正在主持和已经完成“国家自然科学基金重点项目”2项、“面上项目”5项、“国家973计划”课题1项、教育部“跨世纪优秀人才培养计划”基金1项及其他科研项目10余项。获省部级科技二等奖3项、三等奖2项。获国家发明专利7项。已在国内外刊物和会议上发表论文200余篇，并出版图书5部。

语音交互是实现人工智能的基石！全面论述语音信号的生成、处理、压缩、传输、合成、识别与理解！清华、中科院、中国计算机学会、百度人工智能专家联袂推荐！本书适合作为丛书语音信号处理、音频处理等方向的工程技术人员，高校师生阅读，参考！

前言

语音信号处理以语音为研究对象，涉及心理学、生理学、语言学、数字信号处理、模式识别、人工智能、机器学习等诸多研究领域，甚至还涉及人说话时的表情、手势等体态语言信息。由于语音是人们日常生活中的主要交流手段，因此语音信号处理在现代信息社会中占有重要地位。

语音信号处理的研究工作最早可以追溯到19世纪70年代，在20世纪得到了长足的发展，并在20世纪90年代，随着IBM、Microsoft、Apple、AT&T、NTT等著名公司为语音识别的实用化开发投以巨资，掀起了语音信号处理技术的应用热潮。进入21世纪，伴随着以深度神经网络为代表的深度学习理论的全面突破、以通用图形处理器(GPU)为代表的硬件技术的迅猛发展，语音识别的性能得到显著提高，从而迎来了语音信号处理技术的蓬勃发展。

目前在语音信号处理领域中不断有新的技术涌现。本书再版的目的就是将这些新的技术融合到已有的相关理论与技术中。全书以语音信号处理过程的总体框架为线索，全面阐述语音信号的前端处理技术、语音编码技术、语音识别和说话人识别技术，以及语音合成技术。相对于上一版，本书补充了基于深度学习的语音识别、基于ivector的说话人识别等本领域的前沿理论和技术，以利于读者充分了解最新的学术发展动态，并能在学术思想上受到启发。同时，书中也介绍了当前深度学习方法中广泛采用的Kaldi工具的使用技巧，以帮助读者掌握相关的实践手段。

本书涉及作者承担的多项国家自然科学基金项目的部分研究成果，在内容上既注重基本理论的系统性，又兼顾实用性和可读性，可作为高等院校计算机应用、信号与信息处理、通信与电子系统等专业及学科的高年级本科生、研究生教材，也可供该领域的科研及工程技术人员参考。

本书的第1、2、4章由韩纪庆编写，第3、6、9章由张磊编写，第5、7、8章由郑铁然编写。韩纪庆负责全书的总体安排和审定。在新版增加的内容中，郑铁然在基于深度学习的语音识别部分、陈晨在说话人识别部分、史秋莹在Kaldi工具部分的撰写上作出了重要贡献。郑贵滨为书稿的完善做了大量工作，在此表示感谢！

本书虽然是作者从事语音信号处理工作30年的理论与实践的结晶，但因作者水平有限、时间仓促，缺点和错误在所难免，敬请读者批评指正，提出宝贵意见。

作者于哈尔滨工业大学2019年1月

目录

第1章绪论

1.1语音信号处理的发展

1.2语音信号处理的应用

1.3语音信号处理的总体结构

参考文献

第2章语音信号的声学基础及产生模型

2.1语音信号的产生

2.1.1语音的发音器官

2.1.2语音的声学特征

2.1.3语音信号在时域和频域的表示

2.1.4汉语中语音的分类

2.1.5汉语语音的韵律特性

2.2语音信号的感知

2.2.1听觉系统

2.2.2听觉特性

2.2.3掩蔽效应

2.3语音信号的线性产生模型

2.3.1激励模型

2.3.2声道模型

2.3.3辐射模型

2.4语音信号的非线性产生模型

2.4.1调频调幅模型的基本原理

2.4.2Teager能量算子

2.4.3能量分离算法

2.4.4调频调幅模型的应用

参考文献

第3章语音信号的特征分析

3.1语音信号数字化

3.1.1语音信号的采样和量化

3.1.2短时加窗处理

3.2语音信号的时域分析

3.2.1短时能量分析

3.2.2短时平均过零率

3.2.3短时自相关函数和短时平均幅度差函数

3.2.4端点检测和语音分割

3.3语音信号的频域分析

3.3.1滤波器组方法

3.3.2傅里叶频谱分析

3.4传统傅里叶变换缺点及时频分析的思想

3.4.1信号的时频表示

3.4.2不确定原理

3.5Gabor变换

3.6小波变换在语音信号分析中的应用

3.6.1小波的数学表示及意义

3.6.2小波分析特点

3.6.3小波变换的多分辨分析

3.6.4小波变换在语音处理中的应用

3.7语音信号的同态解卷积

3.7.1同态信号处理的基本原理

3.7.2语音信号的复倒谱

3.7.3避免相位卷绕的算法

3.7.4基于听觉特性的Mel频率倒谱系数

3.8语音信号特征应用

3.8.1基音周期估计

3.8.2共振峰的估计

参考文献

第4章语音信号的线性预测分析

4.1线性预测的基本原理

4.2线性预测方程组的解法

4.2.1自相关法

4.2.2协方差法

4.2.3格型法

4.2.4几种求解线性预测方法的比较

4.3线性预测的几种推演参数

4.3.1归一化自相关函数

4.3.2反射系数

4.3.3预测器多项式的根

4.3.4LPC倒谱

4.3.5全极点系统的冲激响应及其自相关函数

4.3.6预测误差滤波器的冲激响应及其自相关函数

4.3.7对数面积比系数

4.4线谱对分析法

4.4.1线谱对分析的原理

4.4.2线谱对参数的求解

4.5感知线性预测PLP系数

参考文献

第5章语音编码

5.1波形编码

5.1.1均匀量化PCM

5.1.2非均匀量化 PCM

5.1.3自适应量化PCM

5.1.4差分脉冲编码

5.1.5自适应差分脉冲编码

5.1.6增量调制和自适应增量调制

5.1.7子带编码

5.1.8自适应变换域编码

5.2参数编码和混合编码

5.2.1参数编码

5.2.2基于全极点语音产生模型的混合编码

5.2.3基于正弦模型的混合编码

5.3极低速率语音编码技术

5.3.1400bps~1.2Kbps的声码器

5.3.2识别合成型声码器

5.4语音编码器的性能指标和质量评测方法

5.4.1编码速率

5.4.2顽健性

5.4.3时延

5.4.4计算复杂度和算法的可扩展性

5.4.5语音质量及其评价方法

5.5语音编码国际标准

5.6感知音频编码

5.6.1感知编码的一般框架

5.6.2心理声学模型

5.6.3常用的感知编码标准

参考文献

第6章语音识别

6.1概述

6.2基于矢量量化的识别技术

6.2.1Kmeans矢量量化算法

6.2.2LBG算法

6.3动态时间归正的识别技术

6.3.1DTW基本原理

6.3.2模板训练算法

6.4隐马尔可夫模型技术

6.4.1HMM基本思想

6.4.2HMM基本算法

6.4.3HMM算法实现中的问题

6.4.4关于HMM训练的几点考虑

6.5连接词语音识别技术

6.5.1连接词识别问题的一般描述

6.5.2二阶动态规划算法

6.5.3分层构筑方法

6.6大词表连续语音识别中的声学模型和语言学模型

6.6.1声学模型

6.6.2统计语言学模型

6.6.3统计语言学模型平滑技术

6.6.4语言学模型自适应技术

6.7大词表连续语音识别中的解码技术

6.7.1图的基本搜索算法

6.7.2面向语音识别的搜索算法

6.8大词表连续语音识别后处理技术

6.8.1语音识别中间结果的表示形式

6.8.2错误处理

6.8.3最小字错误率解码方法

6.9基于HMM的自适应技术

6.9.1基于Bayesian理论的自适应方法

6.9.2基于变换的自适应方法

6．10基于深度学习的语音识别技术

6．10．1基于DNNHMM的语音识别技术

6．10．2基于RNN的语音识别技术

6．10．3端到端的语音识别技术

6.11关键词检出技术

6.11.1问题描述

6.11.2关键词检出系统的组成

6.11.3垃圾模型建模方法

6.11.4语音解码器的设计

6.11.5关键词确认过程

6.11.6关键词检出系统性能优化

6.12语音识别的应用技术

6.12.1语音信息检索

6.12.2发音学习技术

6.12.3基于语音的情感处理

6.12.4网络环境下的语音识别

6.12.5嵌入式语音识别技术

6.13HTK工具介绍

6.13.1数据准备阶段

6.13.2模型训练阶段

6.13.3识别阶段

6．14Kaldi工具介绍

6．14．1Kaldi工具简介

6．14．2Kaldi工具安装

6．14．3数据准备

6．14．4特征提取

6．14．5模型训练

6．14．6性能评测

参考文献

第7章说话人识别

7．1概述

7．2基于GMM与GMMUBM说话人识别

7．2．1GMM的说话人识别

7．2．2GMMUBM的说话人识别

7．3基于SVM的说话人识别

7．3．1SVM说话人识别

7．3．2基于GMM均值超矢量的SVM说话人识别

7．3．3基于GMM得分的SVM说话人识别

7．4复杂信道下的说话人识别

7．4．1特征映射

7.4.2说话人模型合成

7．4．3扰动属性投影

7．4．4联合因子分析

7．5基于ivector的说话人识别

7．5．1基于GMMUBM的ivector说话人识别

7．5．2基于DNN的ivector说话人识别

7．6得分规整

7．6．1零规整

7．6．2测试规整

7．6．3说话人自适应的测试规整

7．6．4TZnorm

7．6．5Hnorm

7．6．6Cnorm

参考文献

第8章顽健语音识别技术

8.1概述

8.2影响语音识别性能的环境变化因素

8.3噪声环境下的顽健语音识别技术

8.3.1基于语音增强的方法

8.3.2通道畸变的抑制方法

8.3.3基于模型的补偿方法

8.4变异语音识别方法

8.4.1变异语音的分析

8.4.2变异语音的分类

8.4.3变异语音的识别

参考文献

第9章语音合成

9.1语音合成的基本原理

9.2参数合成方法

9.2.1线性预测合成方法

9.2.2共振峰合成方法

9.3波形拼接合成技术

9.3.1TDPSOLA算法

9.3.2FDPSOLA算法

9.4汉语按规则合成

9.4.1韵律规则

9.4.2多音节协同发音规则合成

9.4.3轻声音节规则合成

9.4.4儿化音节的规则合成

9.5基于HMM的参数化语音合成技术

9.5.1基于HMM参数语音合成系统的训练

9.5.2基于HMM参数语音合成系统的合成阶段

参考文献