本书旨在深入介绍机器人环境感知技术，为广大工程技术人员学习机器人感知方面的应用和最新理论方法奠定基础，同时也可作为高年级本科生、硕士研究生或博士研究生的学习参考书。本书主要内容包括机器人环境感知绪论、基于视觉的机器人环境感知技术、基于激光雷达的机器人环境感知技术、机器人力触觉环境感知技术、主动视觉感知与点云配准、基于多传感器融合的机器人环境感知技术、基于视觉的机器人三维场景重建技术等。全书从方法到实际应用、从算法分析到模型搭建、从理论模型到编程实现等多角度介绍机器人环境感知方面的研究，并深度结合当前国内外最新研究热点，为业内人士从事相关研究与应用工作提供重要参考。　　本书适合机器人感知技术的初学者、爱好者以及普通高校自动化、机器人、人工智能等相关专业的学生作为工具书、教材或参考书，也可以作为机器人感知、人形机器人、具身智能等从业者的参考书。希望读者在阅读完本书后能根据实际的应用场景需求搭建对应的智能机器人环境感知系统，为提升我国机器人核心感知技术创新水平贡献自己的力量。　　本书配有以下教学资源：PPT课件、教学大纲、习题答案、实验项目和源代码等，欢迎选用本书作教材的教师登录www.cmpedu.com注册后下载，或发邮件至jinacmp@163.com索取。

本书遵循教指委相关指导文件和高等院校学生学习规律编写而成。践行四新理念，融入思政元素，注重理论与实践相结合。

随着人形机器人、具身智能、强化学习和大模型等前沿技术的不断发展和应用，机器人的智能化水平得到了显著的提升。这种智能化的提升离不开机器人对周围复杂作业环境的感知和理解，如果没有对环境的充分和可靠的感知，机器人将难以完成设定的工作任务，其智能化更是无从谈起。　　智能机器人具备强大的自适应能力，能够灵活应对复杂多变的动态环境。如协作机器人通过实现与作业环境、人类以及其他机器人的自然交互，在共享的工作空间内，通过近距离的紧密合作高效完成一系列复杂精细的作业任务，这一特性正日益受到产业界广泛关注和重视。英国巴克莱银行的预测显示，至2025年，全球协作工业机器人的市场销售额将迎来显著增长，其年复合增长率预计将达到50.31%，推动市场总销售额飙升至123.03亿美元。人形机器人和协作机器人等的发展水平很大程度上代表了国家科技发展水平和实力。国家《“十四五”机器人产业发展规划》强调了机器人的智能化演进和感知能力的提升，特别强调了三维视觉传感器、六维力传感器等先进传感器的研制和应用。环境感知、强化学习、脑机接口、人机交互等技术的引入，使得智能机器人能够适应更复杂的工作环境，准确理解、感知外部环境，并实时做出应变决策。这种认知智能的提升，让机器人在复杂多变的环境中表现出更高的灵活性和适应性。　　机器人在非结构化环境中的智能操作与自主作业很大程度上依靠对环境的认识程度。因此，高效可靠地获取和理解机器人与作业环境信息并有效交互，是智能机器人实现合理的人机交互和智能操控的迫切需求。美国工程院院士、iRobot公司创始人Brooks教授曾指出，机器人的感知学习能力目前远未达到人类的基本水平。我国研究人员不断研发和创新，致力于提升机器人环境感知的性能和效率，这有助于我国机器人技术水平在国际科技竞争中占据领先地位。　　本书基于团队多项机器人感知与控制技术相关的国家级项目（国家重点研发计划2022YFB4703103、NSFC.62073129、NSFC.U21A20490、NSFC.62303171、NSFC.61673163、湖南省自然科学基金2022JJ10020）的研究成果，聚焦机器人视觉感知前沿和国家战略需求，从应用背景、需求分析、原理方法、算法开发、模型搭建、实验验证、对比分析等方面展开论述。全书共7章，从视觉环境感知、激光雷达环境感知、力触觉环境感知、主动视觉感知和多传感器融合环境感知等方面展开阐述。　　由于编者水平有限，书中难免存在错误和疏漏之处，恳请广大读者批评指正！　　编者于湖南大学

高等院校教师

目录前言第1章机器人环境感知绪论11.1智能机器人概述 11.2机器人环境感知定义和研究现状41.2.1机器人环境感知定义51.2.2机器人环境感知研究现状71.3机器人环境感知传感器121.3.1视觉传感器121.3.2激光雷达传感器141.3.3力触觉传感器151.3.4运动传感器151.3.5其他类型传感器16本章小结16习题16参考文献16第2章基于视觉的机器人环境感知技术182.1视觉传感器概述及工作原理182.1.1摄像机成像模型182.1.2摄像机坐标系之间的空间位置转换关系192.1.3摄像机参数标定212.2基于视觉的机器人障碍物三维识别方法242.2.1基于可微置信度传播的障碍物三维重建262.2.2基于置信度特征融合的目标检测322.2.3实验结果与分析332.3基于视觉的机器人抓取工件三维识别方法382.3.1基于动态尺度特征卷积的编码特征提取382.3.2基于可微归一化匹配代价与联合引导代价聚合的深度估计412.3.3基于多尺度特征映射融合的工件三维识别462.3.4实验结果与分析46本章小结50习题50参考文献50第3章基于激光雷达的机器人环境感知技术533.1激光雷达传感器原理与预处理533.1.1机械式激光雷达543.1.2半固态激光雷达543.1.3全固态激光雷达563.2激光点云配准573.2.1最近点迭代算法573.2.2正态分布变换算法593.3基于激光雷达的环境建图算法613.3.1二维栅格地图构建613.3.2三维点云地图构建643.4基于激光雷达的环境语义分析663.4.1基于激光雷达的物体检测673.4.2基于激光雷达的语义分割71本章小结74习题74参考文献74第4章机器人力触觉环境感知技术774.1机器人力触觉传感器分类及原理784.1.1力触觉传感器分类784.1.2力/力矩传感器原理804.1.3触觉传感器原理864.1.4力传感器性能指标874.2机器人力/力矩感知方法904.2.1机器人-环境交互力建模924.2.2机器人-环境交互力测量944.2.3多维力/力矩传感器解耦984.3机器人触觉感知方法1044.3.1基于触觉的目标感知1054.3.2基于触觉的目标识别107本章小结117习题117参考文献117第5章主动视觉感知与点云配准1185.1机器人主动视觉感知系统中的基本概念1195.1.1机器人主动视觉感知系统概述1195.1.2主动视觉感知基本工作流程1205.1.3视觉规划数据表示1205.2视角规划的基本方法1225.2.1视角规划的基本方法原理1225.2.2视角规划基本方法的仿真测试1245.2.3视角规划基本方法在实际机器人系统上的测试1245.3基于强化学习的视角规划方法1285.3.1强化学习的基本原理1285.3.2视角规划强化学习的建模1305.4点云及其配准1315.4.1点云数据1315.4.2点云配准的概念1325.5成对点云配准 1325.5.1问题定义1335.5.2全局（粗）配准算法1335.5.3精确配准算法1345.5.4基于深度神经网络的点云配准1355.5.5深度点云配准神经网络性能测试1415.6多视角点云配准 1415.6.1基于图优化多视角点云配准1425.6.2基于多视角点云联合距离最小化的配准1445.6.3直接SE(3)约束多姿态优化1465.6.4李代数多姿态优化147本章小结149习题149参考文献149第6章基于多传感器融合的机器人环境感知技术1516.1多传感器融合概述及工作原理1516.1.1激光雷达与摄像机联合标定方法1526.1.2激光雷达与惯性测量单元联合标定1536.1.3摄像机与惯性测量单元联合标定1546.1.4激光雷达、摄像机和惯性测量单元联合标定1546.2 基于视觉与力触觉融合的机器人目标抓取1556.2.1基于视觉模态特征的目标抓取1556.2.2基于触觉模态特征的目标抓取1596.2.3基于视觉与触觉特征融合的目标抓取1626.3基于多传感器融合的机器人自主定位与导航1646.3.1基于多传感器融合的机器人语义地图构建1646.3.2基于多传感器融合的机器人定位导航170本章小结177习题177参考文献178第7章基于视觉的机器人三维场景重建技术1867.1三维场景重建视觉传感器概述及工作原理1867.1.1双目摄像机1867.1.2多目摄像机1887.2基于双目视觉的机器人三维语义地图构建方法1897.2.1多尺度多阶段编码特征提取1897.2.2多尺度渐进式匹配代价特征融合与深度估计1937.2.3多尺度特征融合机器人三维语义地图构建1977.2.4实验结果与分析1977.3基于双目视觉的机器人导航场景深度估计方法2037.3.1基于迟滞注意力的编码特征提取2057.3.2基于三维分组卷积的监督匹配代价构建2097.3.3实验结果与分析212本章小结214习题215参考文献215