本书系统介绍了语音信号处理的基础、原理、方法、应用、新理论、新成果与新技术、前沿领域及研究进展，以及背景知识、研究现状、应用前景和发展趋势。全书分三篇共18章。第一篇语音信号处理基础，包括第1章绪论，第2章语音信号处理的基础知识；第二篇语音信号分析，包括第3章时域分析，第4章短时傅里叶分析，第5章倒谱分析与同态滤波，第6章线性预测分析，第7章语音信号的非线性分析，第8章语音声学参数检测与估计，第9章矢量量化，第10章隐马尔可夫模型；第三篇语音信号处理技术与应用，包括第11章语音编码，第12章语音合成，第13章语音识别，第14章说话人识别和语种辨识，第15章智能信息处理技术在语音信号处理中的应用，第16章语音增强，第17章麦克风阵列语音信号处理，第18章语音信息对抗。本书体系完整，结构严谨，系统性强，原理阐述透彻，内容繁简适中，丰富而新颖，联系实际应用。本书可作为高等院校信号与信息处理、通信与电子工程、电路与系统、模式识别与人工智能等专业及学科高年级本科生及研究生的教材，也可供该领域的科研及工程技术人员参考。

胡航，哈尔滨工业大学电子信息学院，副教授，主要从事信号处理方面的教学、科研工作，编著出版《语音信号处理》等教材多部，

目 录
第一篇 语音信号处理基础

第1章 绪论 1
1.1 语音信号处理的发展历史 1
1.2 语音信号处理的主要研究内容及
发展概况 3
1.3 本书的内容 7
思考与复习题 8
第2章 语音信号处理的基础知识 9
2.1 概述 9
2.2 语音产生的过程 9
2.3 语音信号的特性 12
2.3.1 语言和语音的基本特性 12
2.3.2 语音信号的时间波形和频谱特性 13
2.3.3 语音信号的统计特性 15
2.4 语音产生的线性模型 16
2.4.1 激励模型 17
2.4.2 声道模型 18
2.4.3 辐射模型 20
2.4.4 语音信号数字模型 20
2.5 语音产生的非线性模型 21
2.5.1 FM-AM模型的基本原理 22
2.5.2 Teager能量算子 22
2.5.3 能量分离算法 23
2.5.4 FM-AM模型的应用 24
2.6 语音感知 24
2.6.1 听觉系统 24
2.6.2 神经系统 25
2.6.3 语音感知 26
思考与复习题 29

第二篇 语音信号分析

第3章 时域分析 30
3.1 概述 30
3.2 数字化和预处理 31
3.2.1 取样率和量化字长的选择 31
3.2.2 预处理 33
3.3 短时能量分析 34
3.4 短时过零分析 36
3.5 短时相关分析 39
3.5.1 短时自相关函数 39
3.5.2 修正的短时自相关函数 40
3.5.3 短时平均幅差函数 41
3.6 语音端点检测 42
3.6.1 双门限前端检测 43
3.6.2 多门限过零率前端检测 43
3.6.3 基于FM-AM模型的端点检测 43
3.7 基于高阶累积量的语音端点检测 44
3.7.1 噪声环境下的端点检测 44
3.7.2 高阶累积量与高阶谱 44
3.7.3 基于高阶累积量的端点检测 46
思考与复习题 48
第4章 短时傅里叶分析 50
4.1 概述 50
4.2 短时傅里叶变换 50
4.2.1 短时傅里叶变换的定义 50
4.2.2 傅里叶变换的解释 51
4.2.3 滤波器的解释 54
4.3 短时傅里叶变换的取样率 55
4.4 语音信号的短时综合 56
4.4.1 滤波器组求和法 56
4.4.2 FFT求和法 58
4.5 语谱图 59
思考与复习题 61
第5章 倒谱分析与同态滤波 62
5.1 概述 62
5.2 同态信号处理的基本原理 62
5.3 复倒谱和倒谱 63
5.4 语音信号两个卷积分量复倒谱的性质 64
5.4.1 声门激励信号 64
5.4.2 声道冲激响应序列 65
5.5 避免相位卷绕的算法 66
5.5.1 微分法 67
5.5.2 最小相位信号法 67
5.5.3 递推法 69
5.6 语音信号复倒谱分析实例 70
5.7 Mel频率倒谱系数 72
思考与复习题 73
第6章 线性预测分析 74
6.1 概述 74
6.2 线性预测分析的基本原理 74
6.2.1 基本原理 74
6.2.2 语音信号的线性预测分析 75
6.3 线性预测方程组的建立 76
6.4 线性预测分析的解法(1)—自相关和
协方差法 77
6.4.1 自相关法 78
6.4.2 协方差法 79
6.4.3 自相关和协方差法的比较 80
6.5 线性预测分析的解法(2)—格型法 81
6.5.1 格型法基本原理 81
6.5.2 格型法的求解 83
6.6 线性预测分析的应用—LPC谱估计和
LPC复倒谱 85
6.6.1 LPC谱估计 85
6.6.2 LPC复倒谱 87
6.6.3 LPC谱估计与其他谱分析方法的
比较 88
6.7 线谱对(LSP)分析 89
6.7.1 线谱对分析原理 89
6.7.2 线谱对参数的求解 91
6.8 极零模型 91
思考与复习题 93
第7章 语音信号的非线性分析 94
7.1 概述 94
7.2 时频分析 94
7.2.1 短时傅里叶变换的局限 95
7.2.2 时频分析 96
7.3 小波分析 97
7.3.1 概述 97
7.3.2 小波变换的定义 97
7.3.3 典型的小波函数 99
7.3.4 离散小波变换 100
7.3.5 小波多分辨分析与Mallat算法 100
7.4 基于小波的语音分析 101
7.4.1 语音分解与重构 101
7.4.2 清/浊音判断 102
7.4.3 语音去噪 102
7.4.4 听觉系统模拟 103
7.4.5 小波包变换在语音端点检测中的应用 103
7.5 混沌与分形 104
7.6 基于混沌的语音分析 105
7.6.1 语音信号的混沌性 105
7.6.2 语音信号的相空间重构 106
7.6.3 语音信号的Lyapunov指数 108
7.6.4 基于混沌的语音、噪声判别 109
7.7 基于分形的语音分析 110
7.7.1 概述 110
7.7.2 语音信号的分形特征 110
7.7.3 基于分形的语音分割 111
7.8 压缩感知 113
7.9 语音信号的压缩感知 114
7.9.1 语音信号的稀疏性 114
7.9.2 语音压缩感知的实现 114
7.9.3 需要进一步解决的问题 116
思考与复习题 117
第8章 语音声学参数检测与估计 118
8.1 基音估计 118
8.1.1 自相关法 119
8.1.2 并行处理法 121
8.1.3 倒谱法 122
8.1.4 简化逆滤波法 124
8.1.5 高阶累积量法 127
8.1.6 小波变换法 127
8.1.7 基音检测的后处理 128
8.2 共振峰估计 129
8.2.1 带通滤波器组法 129
8.2.2 DFT法 130
8.2.3 倒谱法 131
8.2.4 LPC法 133
8.2.5 FM-AM模型法 134
思考与复习题 135
第9章 矢量量化 136
9.1 概述 136
9.2 矢量量化的基本原理 137
9.3 失真测度 138
9.3.1 欧氏距离—均方误差 139
9.3.2 LPC失真测度 139
9.3.3 识别失真测度 141
9.4 最佳矢量量化器和码本的设计 141
9.4.1 矢量量化器最佳设计的两个条件 141
9.4.2 LBG算法 142
9.4.3 初始码书生成 142
9.5 降低复杂度的矢量量化系统 143
9.5.1 无记忆的矢量量化系统 144
9.5.2 有记忆的矢量量化系统 146
9.6 语音参数的矢量量化 148
9.7 智能信息处理在矢量量化中的应用策略 149
思考与复习题 150
第10章 隐马尔可夫模型 151
10.1 概述 151
10.2 隐马尔可夫模型的引入 152
10.3 隐马尔可夫模型的定义 154
10.4 隐马尔可夫模型三个问题的求解 155
10.4.1 概率的计算 156
10.4.2 HMM的识别 158
10.4.3 HMM的训练 159
10.4.4 EM算法 160
10.5 HMM的选取 161
10.5.1 HMM的类型选择 161
10.5.2 输出概率分布的选取 162
10.5.3 状态数的选取 162
10.5.4 初值选取 162
10.5.5 训练准则的选取 164
10.6 HMM应用与实现中的一些问题 165
10.6.1 数据下溢 165
10.6.2 多输出(观察矢量序列)情况 165
10.6.3 训练数据不足 166
10.6.4 考虑状态持续时间的HMM 167
10.7 HMM的结构和类型 169
10.7.1 HMM的结构 169
10.7.2 HMM的类型 171
10.7.3 按输出形式分类 172
10.8 HMM的相似度比较 173
思考与复习题 174

第三篇 语音信号处理技术与应用

第11章 语音编码 175
11.1 概述 175
11.2 语音信号的压缩编码原理 177
11.2.1 语音压缩的基本原理 177
11.2.2 语音通信中的语音质量 178
11.2.3 两种压缩编码方式 179
11.3 语音信号的波形编码 179
11.3.1 PCM及APCM 179
11.3.2 预测编码及自适应预测编码 182
11.3.3 ADPCM及ADM 184
11.3.4 子带编码(SBC) 186
11.3.5 自适应变换编码(ATC) 188
11.4 声码器 190
11.4.1 概述 190
11.4.2 声码器的基本结构 191
11.4.3 通道声码器 191
11.4.4 同态声码器 193
11.5 LPC声码器 194
11.5.1 LPC参数的变换与量化 195
11.5.2 LPC-10 196
11.5.3 LPC-10e 197
11.5.4 变帧率LPC声码器 198
11.6 各种常规语音编码方法的比较 198
11.6.1 波形编码的信号压缩技术 198
11.6.2 波形编码与声码器的比较 199
11.6.3 各种声码器的比较 199
11.7 基于LPC模型的混合编码 200
11.7.1 混合编码采用的技术 201
11.7.2 MPLPC 203
11.7.3 RPELPC 206
11.7.4 CELP 207
11.7.5 CELP的改进形式 210
11.7.6 基于分形码本的CELP 212
11.8 基于正弦模型的混合编码 213
11.8.1 正弦变换编码 214
11.8.2 多带激励(MBE)编码 214
11.9 极低速率语音编码 216
11.9.1 （400～1.2k）b/s数码率的声码器 216
11.9.2 识别-合成型声码器 217
11.10 语音压缩感知编码 218
11.11 语音编码的性能指标 219
11.12 语音编码的质量评价 220
11.12.1 主观评价方法 221
11.12.2 客观评价方法 222
11.12.3 主客观评价方法的结合 225
11.12.4 基于多重分形的语音质量评价 226
11.13 语音编码国际标准 227
11.14 语音编码与图像编码的关系 227
小结 228
思考与复习题 229
第12章 语音合成 230
12.1 概述 230
12.2 语音合成原理 231
12.2.1 语音合成的方法 231
12.2.2 语音合成的系统特性 233
12.3 共振峰合成 233
12.3.1 共振峰合成原理 233
12.3.2 共振峰合成实例 235
12.4 LPC合成 236
12.5 PSOLA语音合成 238
12.5.1 概述 238
12.5.2 PSOLA的原理 238
12.5.3 PSOLA的实现 239
12.5.4 PSOLA的改进 241
12.5.5 PSOLA语音合成系统的发展 241
12.6 文语转换系统 242
12.6.1 组成与结构 242
12.6.2 文本分析 242
12.6.3 韵律控制 244
12.6.4 语音合成 246
12.6.5 TTS系统的一些问题 247
12.7 基于HMM的参数化语音合成 248
12.8 语音合成的发展趋势 252
12.9 语音合成硬件简介 253
思考与复习题 254
第13章 语音识别 255
13.1 概述 255
13.2 语音识别原理 258
13.3 动态时间规整 262
13.4 基于有限状态矢量量化的语音识别 264
13.5 孤立词识别系统 265
13.6 连接词识别 268
13.6.1 基本原理 268
13.6.2 基于DTW的连接词识别 269
13.6.3 基于HMM的连接词识别 271
13.6.4 基于分段K-均值的最佳词串
分割及模型训练 271
13.7 连续语音识别 272
13.7.1 连续语音识别存在的困难 272
13.7.2 连续语音识别的训练及识别方法 273
13.7.3 连续语音识别的整体模型 274
13.7.4 基于HMM统一框架的大词汇
非特定人连续语音识别 275
13.7.5 声学模型 276
13.7.6 语言学模型 278
13.7.7 最优路径搜索 280
13.8 鲁棒的语音识别 282
13.9 分形语音识别 284
13.10 说话人自适应 285
13.10.1 MAP算法 285
13.10.2 基于变换的自适应方法 286
13.10.3 基于说话人分类的自适应方法 286
13.11 关键词确认 287
13.12 可视语音识别 289
13.12.1 概述 289
13.12.2 机器自动唇读 290
13.12.3 双模语音识别 291
13.13 语音理解 294
13.13.1 MAP语义解码 295
13.13.2 语义结构的表示 295
13.13.3 意图解码器 296
小结 297
思考与复习题 297
第14章 说话人识别和语种辨识 299
14.1 概述 299
14.2 特征选取 300
14.2.1 说话人识别所用的特征 300
14.2.2 特征类型的优选准则 301
14.2.3 常用的特征参数 302
14.3 说话人识别系统的结构 302
14.4 说话人识别基本方法概述 303
14.5 说话人识别系统实例 304
14.5.1 DTW系统 304
14.5.2 VQ系统 305
14.6 基于HMM的说话人识别 306
14.7 基于GMM的说话人识别 309
14.8 需要进一步研究的问题 311
14.9 语种辨识 312
思考与复习题 315
第15章 智能信息处理技术在语音
信号处理中的应用 316
15.1 神经网络 316
15.1.1 人工神经网络 316
15.1.2 语音处理中的神经网络结构 319
15.2 神经网络与传统方法结合的策略 324
15.2.1 概述 324
15.2.2 神经网络与DTW 325
15.2.3 神经网络与VQ 325
15.2.4 神经网络与HMM 326
15.3 基于神经网络的语音处理 327
15.3.1 语音识别 327
15.3.2 说话人识别 329
15.3.3 非线性预测编码 330
15.3.4 语音合成 333
15.4 支持向量机 334
15.4.1 概述 334
15.4.2 工作原理 335
15.5 基于支持向量机的语音识别与
说话人识别 337
15.5.1 语音分类 337
15.5.2 说话人辨认 338
15.5.3 说话人确认 339
15.6 深度学习 340
15.7 基于深度学习的语音识别 341
15.7.1 基于深度神经网络 341
15.7.2 基于卷积神经网络 342
15.8 模糊集 343
15.9 基于模糊集的语音处理 344
15.9.1 模糊语音识别策略 344
15.9.2 模糊矢量量化 345
15.10 遗传算法 345
15.11 遗传矢量量化 347
15.12 其他智能优化算法在语音处理中的
应用 348
15.13 语音处理中智能信息处理技术的
融合与集成策略 350
15.14 智能信息处理与非线性技术的结合及
在语音处理中的应用 352
15.14.1 神经网络与混沌和分形 352
15.14.2 基于混沌神经网络的语音识别 353
15.14.3 遗传算法与混沌 355
15.14.4 神经网络与小波 355
思考与复习题 355
第16章 语音增强 357
16.1 概述 357
16.2 语音、人耳感知及噪声的特性 358
16.3 固定滤波法 359
16.4 非线性处理 360
16.5 减谱法 361
16.5.1 基本原理 361
16.5.2 改进形式 362
16.6 相关对消法 363
16.7 自适应滤波法 363
16.7.1 自适应滤波 363
16.7.2 维纳滤波 364
16.7.3 自适应噪声对消 365
16.8 基于语音产生模型的语音增强 367
16.8.1 最大后验概率估计 367
16.8.2 卡尔曼滤波 368
16.9 小波方法 369
16.9.1 原理 369
16.9.2 小波语音增强 369
16.9.3 小波包语音增强 371
16.10 子空间分解方法 372
16.11 其他语音增强方法 375
16.11.1 神经网络方法 375
16.11.2 HMM方法 376
16.11.3 基于听觉感知的方法 376
16.11.4 压缩感知方法 376
思考与复习题 377
第17章 麦克风阵列语音信号处理 378
17.1 概述 378
17.2 技术难点 379
17.3 声源定位 380
17.3.1 去混响 380
17.3.2 近场模型 381
17.3.3 波束形成交叉定位 382
17.3.4 超分辨交叉定位 383
17.3.5 TDOA定位 383
17.3.6 几类定位方法的比较 385
17.4 基于麦克风阵列的语音增强 386
17.4.1 概述 386
17.4.2 波束形成法 387
17.4.3 波束形成法与自适应滤波的结合 388
17.4.4 自适应波束形成法 388
17.4.5 新方法与技术 391
17.4.6 应用 391
17.4.7 与单通道方法相比较的优势 392
17.5 语音盲分离 393
17.5.1 概述 393
17.5.2 瞬时线性混合模型 394
17.5.3 卷积混合模型 398
17.5.4 非线性混合模型 400
17.5.5 需要进一步研究的问题 401
思考与复习题 401
第18章 语音信息对抗 403
18.1 语音侦察与欺骗 403
18.2 语音通信反侦察 403
18.2.1 语音保密通信 404
18.2.2 语音隐蔽通信 405
18.3 语音信息安全 406
18.3.1 语音信息隐藏 406
18.3.2 语音数字水印 408
18.4 语音干扰 409
18.4.1 语音干扰的特征 409
18.4.2 语音干扰效能评估 410
18.5 基于语音处理技术的战场声目标识别 413
思考与复习题 415
汉英名词术语对照 416
参考文献 425