本书结合作者团队多年的研究工作和实践经验，系统阐述情感机器人多模态感知、理解与控制方法和技术及场景应用。主要内容包括：提出多模态情感识别与感知方法，突破不同模态特征难以融合的技术难题；建立深度学习与模糊推理融合的情感意图理解模型，实现多模态情感与个人意图的量化描述；深入探讨情感机器人的实际应用，通过课堂教学评价、情感偏向的机械臂控制等实际应用场景，展示情感机器人在教育与工业领域的应用潜力。

更多科学出版社服务，请扫码获取。

2015年，日本东京工业大学，智能系统科学专业，获工学博士学位 2012年，中南大学，控制科学与工程专业，获工学硕士学位 2009年，中南大学，自动化专业，获工学学士学位2022-01 至 今，中国地质大学（武汉），自动化学院，教授 2018-01 至 2021-12，中国地质大学（武汉），自动化学院，副教授 2015-04 至 2017-12，中国地质大学（武汉），自动化学院，讲师多模态感知与理解、情感计算、智能机器人、智能控制与智能系统以第一或者通讯作者发表高水平论文23篇，包括TNNLS、TII、TIE、TFS、TAFFC、SMCA、TAI、ARC等IEEE汇刊和IFAC系列刊物13篇，以及国内权威期刊SCIENCE CHINA Information Sciences，其中ESI高被引论文3篇、热点论文1篇。SCI引用1137次（他引1013次），H指数20，单篇引用最高次数为138次（他引116次）；谷歌学术引用2161次，H指数25。复杂系统先进控制与智能自动化湖北省重点实验室副主任 中国自动化学会控制理论专业委员会（TCCT）委员、副秘书长 中国自动化学会混合智能专业委员会委员 中国仪器仪表学会智能车与机器人分会委员 湖北省自动化学会常务理事、副秘书长 湖北省人工智能学会理事

目录
前言
第1章 绪论 1
1.1 情感识别与感知 3
1.2 情感意图理解 8
1.3 情感机器人控制 10
1.4 本书主要内容 12
参考文献 13
第2章 多模态情感特征提取 17
2.1 引言 17
2.2 语音情感特征提取 18
2.2.1 语音信号预处理 19
2.2.2 声学情感特征提取 23
2.3 面部情感特征提取 26
2.3.1 人脸检测与定位 26
2.3.2 人脸表情特征提取 27
2.4 姿态情感特征提取 29
2.4.1 人体姿态估计 30
2.4.2 肢体情感特征提取 31
2.5 本章小结 35
参考文献 35
第3章 基于宽度学习与长短期记忆网络的多维度面部情感识别 37
3.1 引言 37
3.1.1 面部情感特征提取 39
3.1.2 面部表情识别 40
3.2 基于卷积特征的情感特征提取 41
3.2.1 基于卷积层的特征提取 41
3.2.2 基于池化层的特征聚合 41
3.2.3 基于主成分分析的特征降维 42
3.3 基于宽度学习与长短期记忆网络的面部特征分类 42
3.3.1 基于宽度学习的面部特征分类 43
3.3.2 基于长短期记忆网络的多重面部图像分类 45
3.4 实验 47
3.4.1 实验环境与样本选择 47
3.4.2 仿真与分析 48
3.5 本章小结 54
参考文献 54
第4章 基于K均值聚类与核典型相关分析的多模态情感识别 59
4.1 引言 59
4.2 基于K均值聚类与核典型方法的特征分析 60
4.2.1 基于K均值的特征聚类 60
4.2.2 基于核典型相关分析的特征融合 63
4.2.3 基于支持向量机的多模态情感识别 64
4.3 实验 64
4.3.1 实验环境与样本选择 64
4.3.2 基于K均值聚类的特征选择 66
4.3.3 应用实验 71
4.4 本章小结 71
参考文献 72
第5章 基于宽深度融合网络的耦合多模态情感识别 75
5.1 引言 75
5.2 基于宽深度融合网络的耦合多模态情感特征分析 78
5.2.1 基于卷积层和池化层的面部特征提取 78
5.2.2 基于三维卷积神经网络的姿态情感特征分类 79
5.2.3 基于宽深度融合网络的面部特征识别 80
5.2.4 基于典型相关分析方法的特征降维 81
5.3 基于耦合模型的情感特征分析 82
5.4 实验 85
5.4.1 实验环境与样本选择 85
5.4.2 仿真与分析 86
5.4.3 应用实验 91
5.5 本章小结 91
参考文献 92
第6章 基于模糊深度神经网络与稀疏自动编码器的情感意图理解 96
6.1 引言 96
6.2 基于Candide3模型的动态情感识别 98
6.3 基于模糊深度学习的情感意图理解模型 100
6.3.1 基于模糊C均值聚类的数据预处理 100
6.3.2 模糊深度神经网络与稀疏自动编码器 101
6.4 实验 104
6.4.1 实验环境与样本选择 104
6.4.2 仿真与分析 105
6.4.3 应用实验 109
6.5 本章小结 114
参考文献 114
第7章 基于宽深度网络模糊推理模型的情感意图理解 118
7.1 引言 118
7.2 基于宽深度网络的模糊推理模型 120
7.2.1 基于卷积神经网络的情感识别 122
7.2.2 基于宽深度网络的情感识别 123
7.3 基于模糊推理模型的情感意图理解 124
7.4 实验 126
7.4.1 实验环境与样本选择 126
7.4.2 基于宽深度融合网络的情感识别实验 127
7.4.3 基于模糊推理模型的情感意图理解实验 128
7.5 本章小结 129
参考文献 130
第8章 情感机器人WEBO 134
8.1 引言 134
8.2 多模态人机情感交互系统 138
8.2.1 系统设计目标 138
8.2.2 系统功能模块 142
8.2.3 系统整体架构 143
8.3 系统功能设计实现 148
8.3.1 情感交互场景规划 148
8.3.2 面向应用场景系统整体设计 150
8.3.3 WEBO机器人系统场景应用 151
8.4 本章小结 153
参考文献 154
第9章 基于WEBO机器人的教学效果评价 156
9.1 引言 156
9.2 基于情感意图理解的教学效果定量评价 159
9.2.1 基于卷积神经网络的情感识别 161
9.2.2 基于模糊推理模型的情感意图理解 162
9.2.3 基于V-A空间模糊推理的教学效果评价 163
9.3 实验 164
9.3.1 实验环境与样本选择 164
9.3.2 情感意图理解实验 164
9.4 基于WEBO机器人的教学评价实验 166
9.5 本章小结 168
参考文献 169
第10章 基于WEBO机器人的机械臂手势跟踪控制 172
10.1 引言 172
10.2 基于种群随机的多目标遗传算法 175
10.3 基于遗传算法的机械臂手势跟踪控制 176
10.4 实验 178
10.4.1 实验环境与样本选择 178
10.4.2 基于种群随机的多目标遗传算法实验 179
10.5 基于WEBO机器人的机械臂手势跟踪控制实验 181
10.6 本章小结 186
参考文献 186
第11章 基于情感偏向快速搜索随机树的机械臂轨迹跟踪控制 190
11.1 引言 190
11.2 机器人情感与运动生成研究现状 191
11.3 基于情感偏向的运动轨迹规划 193
11.3.1 基于目标概率偏向的快速搜索随机树算法 194
11.3.2 基于情感偏向的机械臂轨迹跟踪控制 196
11.4 实验 199
11.4.1 情感偏向计算实验 199
11.4.2 快速搜索随机树实验 205
11.4.3 基于WEBO机器人的机械臂轨迹跟踪控制实验 209
11.5 本章小结 212
参考文献 213