大模型赋能，重新定义智能机器人的未来。
本书是一部讲解如何用大模型驱动具身智能的权威指南，系统揭示了从底层架构到实战部署的完整技术路径。作者团队融合多年一线研发经验，深入讲解如何在多模态环境中，实现智能机器人的任务理解、动作控制、记忆建构与仿真协同。本书不仅提供扎实的理论基础，更通过丰富的行业案例与系统性的方法论，帮助读者构建面向未来的具身智能系统。
通过阅读本书，你将获得：
（1）全面理解大模型如何赋能具身智能。揭示大型语言模型在感知-决策-执行链条中的核心作用，理清从感知到行为的智能演化路径。
（2）掌握任务规划与动作控制核心技术。深度解析任务分解、动作生成、空间约束与控制策略，覆盖从高层意图到低层执行的全链路建模方法。
（3）构建具身智能的记忆与反思机制。学习如何实现任务记忆、动态规划与自我优化机制，提升机器人在复杂环境中的自适应能力。
（4）搭建可复用的开发与仿真框架。熟练运用 ROS、MoveIt、Gazebo 等核心中间件与仿真平台，助力系统开发与快速迭代。
无论你是正在开发具身智能系统的工程师；投身人工智能前沿的科研人员；关注智能机器人产业落地的技术管理者或产品决策者；本书都将成为你不可或缺的参考读物，引领你从理念到落地，真正掌握大模型时代的具身智能开发的核心技术，让你在这场技术革新中把握先机。

（1）权威背书，实力保障
作者系湖南国家应用数学中心副主任、湘潭大学博士生导师，科技部国家重点子课题（大模型相关）的负责人 ，长期深耕AI与机器人前沿，是业界公认的具身智能专家。
（2）实战丰富，产业导向
主导多个具身智能项目从原型到落地，深入企业应用场景，积累了大量工程实操经验，本书凝练了其技术落地的核心方法论。
（3）技术全面，系统透彻
从大模型能力剖析，到多模态感知、任务规划、动作控制、架构设计与部署实现，全方位讲解具身智能系统的核心技术链条。
（4）案例详实，贴近实战
深度解析特斯拉FSD、松灵机器人等行业级案例，配套ROS控制、仿真系统、动作规划等实操细节，既可学习框架，也可直接落地。

前言
本书写作目的
大模型驱动的具身智能正以前所未有的速度推动社会变革，并带来了深远的影响。大模型的崛起不仅吸引了全球资本的关注，也为智能机器人技术的未来注入了无限可能。具身智能伴随大模型技术的进步加速发展，它所带来的变革将不亚于工业革命。然而，这次变革带来的影响不限于技术层面，还深刻触及社会的各个方面。在具身智能的广阔发展前景下，人类的职业、生活方式乃至社会关系和制度都可能被重新定义。例如，埃隆·马斯克在一次采访中被问到，在AI和机器人逐步取代许多工作的趋势下，他会给自己的孩子们什么职业建议。他的回答是鼓励孩子们遵循内心，去追求他们真正感兴趣和能获得成就感的事业，并尽可能对社会有用。这看似简单的回答，实则暗含深意，反映出马斯克对如何应对这场变革的深层次思考。对于个人而言，每一次技术革命不仅会带来全新的生活方式，也会伴随着巨大的商业机会。无论是AI技术的突破，还是大模型驱动的具身智能，都会带来新的市场需求与创业契机。拥抱这次技术变革，积极寻找其中的机会，不仅是个人发展的方向，也是应对未来挑战的有效途径。在技术层面，具身智能架构的复杂性尤为突出。机器人架构的设计，尤其在任务规划与动作控制的实现方面，涉及多层次的复杂性，需要对其进行有效的管理与协调。在这种背景下，传统的机器人架构设计就已具有较高的难度，而大模型的引入则又提出了新的挑战。如何将大模型的推理与规划能力有效地集成到机器人中，以实现智能化的任务和动作决策，是目前亟待解决的问题。而系统架构的选择直接决定了系统的运行效率、功能实现及整体性能。本书正是基于这样的背景而撰写的。在书中，我结合自己在多家企业中设计具身智能方案的丰富经验以及深厚的理论基础，以深入浅出的方式为读者系统剖析大模型驱动的具身智能的架构、设计与实现。本书旨在围绕大模型与具身智能的融合，为读者提供清晰的指导和全面的解析，使其得以从容应对技术变革的浪潮，抓住机遇。
本书主要内容
本书是一本关于大模型驱动的具身智能的全面指南，包括11章，深入探讨了大模型在具身智能领域的应用，以及具身智能的架构设计、任务级与动作级规划、记忆机制、中间件、仿真框架及未来发展等内容。第1章概述具身智能的基本概念和传统决策算法，介绍世界模型在具身智能中的作用，并讨论多模态大模型构建的世界模拟器及其应用。
第2章介绍机器人控制的基础知识，包括机器人的分类与组成、自由度、执行器，以及传统的系统设计范式和运动控制层级，为具身智能的架构设计奠定基础。
第3章深入分析大模型在任务级和动作级规划中的角色，介绍具身大模型的基元级、伺服级控制方法以及分级混合架构。
第4章探讨具身任务分解、任务级分层与端到端架构，结合微调与外部记忆，为读者提供全面的任务级规划实现方法。
第5章讨论基于动作原语和价值图的动作级分层规划，分析其在空间位置约束、任务感知动作等应用中的优势与局限性。
第6章介绍端到端动作级规划，通过视觉语言动作模型和多任务端到端架构展示具身大模型在复杂环境中的统一规划与控制能力。
第7章介绍人类记忆和大模型的记忆机制，包括参数记忆、上下文与工作记忆、外部记忆，并探讨其在具身智能中的实现方式和作用。
第8章分析多计划选择、反思与提炼、外部规划器等技术，为具身智能的决策优化提供解决方案。
第9章重点介绍ROS机器人中间件框架、MoveIt 2逆向运动库和人形具身逆向运动库，解析中间件在具身智能中的关键作用。
第10章讨论仿真框架的组成、仿真环境构建、代理、分层任务规划、运动生成器、强化学习支持、模仿学习和远程操作等，为具身智能的虚拟环境提供基础。
第11章探讨具身智能机器人的行业前景，从成熟度曲线和行业成熟度等角度展望未来发展。
本书读者对象
●AI领域的工程师。通过对具身智能算法、控制架构、微调和优化的深入探讨，提高他们在具身智能方面的技术水平。
●AI研究人员。书中关于大模型与具身智能结合的前沿技术及分布式优化的内容，可为他们提供宝贵的研究和应用启示。
●技术架构师和系统设计师。在设计大规模具身智能系统时，本书提供的关于架构设计、序列化及内存管理的详细信息可作为参考资源。
●计算机科学领域的本科生。本书可帮助他们学习具身智能和大模型的基础理论与实践，为未来学习和职业发展提供技术背景。
●计算机科学领域的研究生。他们可从本书中的高阶主题，如多任务端到端架构、优化策略等内容中获取灵感，为自己的学术或行业创新提供支持。
●商业战略规划者和技术决策制定者。在涉及具身智能技术采购、策略制定时，书中关于非性能需求、成本优化等内容可为制定长远的AI发展战略提供指导。
联系作者
鉴于作者的写作水平有限，书中难免存在不妥之处，如你在阅读过程中有任何疑问或建议，可以通过邮箱chenggextu@hotmail.com联系我。非常期待你的反馈，这将对我未来的写作有巨大帮助。希望你在阅读本书的过程中能获得深刻的启示，加深对大模型和人工智能的理解。
致谢
感谢我的家人。在本书的撰写过程中，我陪伴他们的时间大大减少，但他们始终给予我支持与理解，让我能够全身心地投入写作中，而无后顾之忧。感谢我的研究生李伟华、李泳和谢芃，他们为本书绘制了大量的插图，我对他们的付出表示由衷的感谢。

程戈，博士生导师，湘潭大学技术转移中心副主任，湘潭市京东智能城市与大数据研究院副院长，湘潭大学计算机学院.网络空间学院教授，CCF计算法学会执委，湖南省知识产权保护专家，湖南省知识产权行政保护技术调查官。2011年获得华中科技大学计算机系统结构专业的工学博士学位。
　　研究方面，主要从事知识表示学习与内容安全问题研究，并逐渐聚焦于采用类似Chatgpt大规模语言模型解决人工智能在司法行业中应用的相关场景。近年来，主持国家重点研发子课题2项，湖南省重点研发1项，国家自科基金1项，博士点基金1项，参与其他国家与省部级项目10余项；在国内外重要SSCI/SCI/EI学术期刊和会议发表论文 30 多篇；申请发明专利20多项，获得发明专利授权 20多项，软件著作权10多项。
　　社会服务方面，产学研合作求真务实，在北京捷通华声科技有限公司等6家企业担任技术顾问，主持参与横向课题10余项，多项成果转化应用创效，其中语音识别的单项成果广泛应用于北京捷通华声科技有限公司的车载导航系统中。担任潇湘大数据研究院研究员，大数据与智慧司法研究中心研究员，省创新创业大赛的评委。

目录
第1章　大模型与具身智能1　
　1.1　具身智能的概念1
　1.2　传统的决策算法3
1.2.1　预编程方法4
1.2.2　模仿学习5
1.2.3　强化学习6
　1.3　世界模型8
1.3.1　什么是世界模型8
1.3.2　世界模型在具身智能中的作用10
　1.4　通往世界模型的渐进之路12
1.4.1　大模型编码世界12
1.4.2　多模态大模型构建世界模拟器14
第2章　机器人系统架构19　
　2.1　机器人控制基础19
2.1.1　机器人的分类与组成19
2.1.2　自由度与执行器22
　2.2　机器人系统设计范式24
2.2.1　层次范式24
2.2.2　行为范式25
2.2.3　混合范式27
　2.3　运动控制层级27
2.3.1　递进规划28
2.3.2　反应机制30
2.3.3　双向控制架构31
2.3.4　分层与端到端33
第3章　基于大模型的混合控制架构36　
　3.1　大模型与任务级规划36
3.1.1　基础模型36
3.1.2　任务级分层与端到端39
　3.2　大模型与动作级规划41
3.2.1　直接动作规划41
3.2.2　间接动作规划43
3.2.3　动作级分层与端到端44
3.2.4　具身大模型45
　3.3　基元级与伺服级46
3.3.1　正向运动学的计算46
3.3.2　逆向运动学的计算48
3.3.3　伺服级控制49
3.3.4　端到端控制网络50
　3.4　具身智能分级混合架构51
第4章　具身任务级规划54
　4.1　任务分解54
　4.2　任务级分层与端到端架构57
4.2.1　感知与规划57
4.2.2　分层架构57
4.2.3　端到端架构58
　4.3　任务级规划微调与外部记忆61
4.3.1　具身经验的获取61
4.3.2　微调与外部记忆63
第5章　分层动作级规划65
　5.1　动作原语及其局限性65
5.1.1　动作原语66
5.1.2　技能68
5.1.3　局限性68
　5.2　基于技能的单步动作级规划70
5.2.1　低成本具身智能方案70
5.2.2　GPTR工作流程71
5.2.3　局限性73
　5.3　基于动作原语的直接动作级规划75
5.3.1　代码即策略75
5.3.2　提示模板77
5.3.3　优势与局限性78
　5.4　基于价值图的动作级分层规划80
5.4.1　空间信息与间接动作规划80
5.4.2　价值图81
5.4.3　动作规划83
5.4.4　价值图的构建Prompt86
5.4.5　优势与局限性87
　5.5　基于空间位置约束的动作级分层规划88
5.5.1　空间位置约束与轨迹优化89
5.5.2　面向任务的抓取91
5.5.3　任务感知动作规划92
5.5.4　视觉语言模型与Prompt94
5.5.5　优势与局限性95
第6章　端到端动作级规划97
　6.1　统一模型与多任务模型97
　6.2　视觉语言动作模型99
6.2.1　动作规划流程99
6.2.2　控制原语101
6.2.3　控制参数的离散化101
6.2.4　动作序列文本化103
6.2.5　词表103
6.2.6　具身动作微调105
6.2.7　动作输出限制106
6.2.8　优势和局限性108
　6.3　多任务端到端109
6.3.1　端到端中的多任务109
6.3.2　多任务端到端网络架构111
6.3.3　特征提取任务112
6.3.4　感知任务113
6.3.5　预测任务115
6.3.6　规划任务117
6.3.7　多任务的分步训练118
6.3.8　特斯拉全自动驾驶的多任务架构119
6.3.9　具身任务迁移122
6.3.10　优势和局限性123
第7章　具身智能记忆125
　7.1　人类记忆125
　7.2　大模型的记忆机制127
7.2.1　参数记忆127
7.2.2　上下文与工作记忆129
7.2.3　外部记忆130
　7.3　具身智能系统中的记忆机制实现131
7.3.1　记忆来源131
7.3.2　记忆实现方式133
7.3.3　基于RAG的外部记忆机制134
7.3.4　大模型参数微调及参数编辑135
　7.4　记忆在具身智能系统中的作用137
7.4.1　记忆驱动具身智能137
7.4.2　技能学习与泛化139
第8章　决策优化142
　8.1　多计划选择142
8.1.1　多计划生成143
8.1.2　最优计划选择144
　8.2　反思与提炼146
8.2.1　反思与提炼的过程146
8.2.2　多角色147
8.2.3　局限性148
　8.3　外部规划器149
8.3.1　符号规划器149
8.3.2　神经网络规划器151
第9章　中间件与基础库154
　9.1　ROS机器人中间件框架154
9.1.1　ROS的生态系统155
9.1.2　ROS 2架构156
9.1.3　分布式通信模式157
9.1.4　节点161
9.1.5　参数配置162
　9.2　MoveIt 2逆向运动库164
9.2.1　基本概念和功能164
9.2.2　MoveIt 2的解算器库165
9.2.3　逆向规划的一般过程166
　9.3　人形具身逆向运动库167
9.3.1　全身逆向运动167
9.3.2　人体姿态表征168
9.3.3　交互表征171
9.3.4　具身数据收集173
9.3.5　逆向运动迁移175
9.3.6　轨迹优化176
第10章　仿真框架178
　10.1　仿真框架的组成179
　10.2　仿真环境构建181
10.2.1　交互方式181
10.2.2　环境描述183
　10.3　代理184
　10.4　分层任务规划186
　10.5　运动生成器188
　10.6　强化学习支持189
10.6.1　框架封装190
10.6.2　并行仿真环境190
10.6.3　从仿真到现实192
　10.7　模仿学习和远程操作195
第11章　具身智能的未来197
　11.1　具身智能机器人：短暂泡沫还是未来趋势197
11.1.1　人形具身热潮197
11.1.2　智能化与人形具身198
　11.2　行业渗透预测200
11.2.1　成熟度曲线200
11.2.2　行业成熟度202
11.2.3　加速的发展浪潮203