本书是山东大学机器人研究中心在人机交互领域及以人机运动智能感知技术为基础的交互安全领域多年研究成果的总结,系统介绍了人体运动捕捉与行为识别及机器人运动感知领域的技术贡献。主要内容包括:绪论、MARG传感器的模块设计与传感器校准、节点姿态估计技术、人体运动捕捉技术、机器人运动捕捉技术、人体行为识别技术。本书可供从事人机交互、运动感知与安全评估研究的科研人员、相关专业的研究生或高年级本科生阅读,也可供相关领域的工程技术人员参考。
周乐来,男,工学博士,教授,博导,兼任中国自动化学会共融机器人专委会委员,中国自动化学会智能制造系统专委会委员,无人系统技术期刊青年编委。研究方向为机器人技术,机器人设计与系统优化,柔顺机器人设计与控制,人机协作。
目录
第1章 绪论1
1.1 研究背景与意义1
1.2 机器人节点姿态估计技术的研究现状4
1.2.1 单个IMU姿态估计技术4
1.2.2 机器人关节角估计技术5
1.3 人体运动捕捉技术的研究现状7
1.3.1 人体运动捕捉方案7
1.3.2 人体运动捕捉方法9
1.3.3 人体位置跟踪方法11
1.4 人体动作识别技术的研究现状13
1.4.1 传感器部署方案与数据集13
1.4.2 基于机器学习的动作识别方法15
1.4.3 基于深度学习的动作识别方法17
第2章 MARG传感器的模块设计与传感器校准21
2.1 MARG传感器的模块设计21
2.2 传感器校准29
2.2.1 磁力计校准29
2.2.2 加速度计校准31
2.2.3 陀螺仪校准32
第3章 节点姿态估计技术34
3.1 刚体姿态描述方法34
3.2 基于EKF的姿态估计算法35
3.2.1 过程模型35
3.2.2 观测模型36
3.2.3 EKF执行过程37
3.3 基于DEKF的解耦姿态估计算法38
3.3.1 问题描述38
3.3.2 融合加速度矢量和角速度矢量估计物体姿态39
3.3.3 从单位四元数中剔除航向姿态39
3.3.4 融合磁场矢量和角速度矢量估计航向姿态41
3.3.5 融合非航向姿态与航向姿态实现完整姿态估计43
3.4 基于正交观测矢量的姿态估计算法43
3.4.1 参考矢量构造43
3.4.2 参考矢量观测协方差推导44
3.4.3 基于正交观测矢量的解耦姿态解算45
3.5 实验与分析46
3.5.1 磁干扰下解耦姿态估计实验46
3.5.2 静态与动态姿态估计实验48
3.5.3 大范围俯仰运动姿态估计实验50
3.5.4 算法计算效率对比实验53
第4章 人体运动捕捉技术54
4.1 人体关节运动链模型54
4.2 人体运动捕捉算法55
4.2.1 初始姿态标定55
4.2.2 关节姿态解算58
4.2.3 人体运动学模型59
4.3 人体位置跟踪算法62
4.3.1 基于自适应零速度更新的脚部位置跟踪62
4.3.2 融合惯性导航与人体运动学模型的位置跟踪76
4.4 实验结果78
4.4.1 零速度检测实验78
4.4.2 人体动作捕捉实验85
4.4.3 人体位置跟踪实验86
第5章 机器人运动捕捉技术90
5.1 单轴旋转运动旋转轴与转角估计90
5.1.1 旋转轴与转角解析90
5.1.2 实验与分析95
5.2 机械臂姿态捕捉104
5.2.1 问题构建105
5.2.2 关节角与位置解算107
5.2.3 实验与分析115
5.3 移动机器人姿态捕捉120
5.3.1 基于主平面磁场信息的磁力计校准120
5.3.2 移动机器人姿态估计算法123
5.3.3 实验与分析123
第6章 人体行为识别技术129
6.1 基于深度卷积Transformer的对比自监督动作识别模型129
6.1.1 对比自监督预训练模块130
6.1.2 动作识别微调模块135
6.1.3 动作识别测试模块136
6.2 实验平台136
6.2.1 数据集136
6.2.2 模型参数设置137
6.2.3 对比模型137
6.2.4 模型评价方法138
6.3 实验与分析139
6.3.1 数据增强实验139
6.3.2 基于不同比例有标记数据的动作识别实验141
6.3.3 线性评估与微调评估实验143
6.3.4 动作类别分类能力实验143
6.3.5 特征学习能力实验146
6.3.6 消融实验146
参考文献149