这是一本采用系统化知识架构的具身智能仿真技术实战指南。全书遵循由浅入深、循序渐进的原则，共分为3个阶段，旨在为读者构建关于具身智能仿真器的基本概念与实践方法的完整认知框架。第1阶段介绍具身智能的核心定义与仿真器选型，搭建知识基础框架；第2阶段聚焦ManiSkill仿真环境，涵盖环境搭建、策略训练与 Sim-to-Real 迁移等实操内容；第3阶段介绍Isaac Lab仿真环境，结合强化学习实现人形机器人控制，并打通从仿真到真机部署的全流程。全书摒弃理论堆砌，以实操为核心，助力读者快速掌握具身智能仿真技术，实现从入门到落地的跨越。无论是初涉该领域的学习者，还是致力于在具身智能领域开展深入研究的学术工作者，本书均可作为其开展实践创新的重要参考。

张瑞茂中山大学电子与通信工程学院副教授、博士生导师，深圳市海外高层次人才。深耕具身智能、机器人视觉及多模态大模型等前沿交叉领域，所指导课题组的核心研究愿景为“研发能够在复杂动态环境中与人类实现自然、有效交互的具身智能体”。截至2026年6月，已在人工智能领域期刊与会议上发表学术论文近百篇，谷歌学术总被引量逾万次。获授权中国及美国发明专利近20项。同时，长期担任多个领域国际会议的审稿人与领域主席，并受聘为知名学术期刊编委，深度参与学术共同体建设。近年来，与腾讯、华为、小鹏、星海图等具身智能领域的头部企业建立了紧密的技术合作关系，积极推动前沿技术的工程化落地。此外，基于深厚的研究积累与实践经验，撰写了口碑技术书《具身智能原理与实践》 。

第1章 具身智能初探：开启机器人仿真之门 1
1.1 具身智能初体验 1
1.1.1 什么是具身智能 1
1.1.2 如何塑造具身智能 2
1.1.3 具身智能系统的核心组成 3
1.2 为什么需要仿真器 4
1.2.1 现实的窘境与挑战 4
1.2.2 仿真器的必要性 5
1.2.3 仿真器的核心价值 6
1.3 仿真器如何发挥作用 7
1.3.1 仿真器基本架构 7
1.3.2 仿真器的运行逻辑 10
1.3.3 核心优势与现实挑战 11
1.4 主流仿真器概览 11
1.4.1 仿真器的发展简史 11
1.4.2 四大维度解构仿真器 12
1.4.3 主流仿真器巡礼 14
第2章 从仿真生成到真实交互：具身智能的数据训练基础 16
2.1 具身智能数据采集系统 16
2.1.1 数据采集系统的目标与总体架构 18
2.1.2 真实环境采集系统与仿真环境采集系统 20
2.1.3 关键模块与数据闭环 21
2.2 具身智能数据采集标准 22
2.2.1 数据标准化的必要性与基本组成 22
2.2.2 训练样本结构与数据集构建标准 24
2.2.3 仿真—真实统一标准与数据质量控制 25
2.3 具身智能数据采集技术 26
2.3.1 仿真环境数据生成技术 26
2.3.2 真实交互数据采集技术 27
2.3.3 多源融合与从仿真到真实的数据训练路径 29
第3章 动手构建仿真世界：基于 ManiSkill 的环境搭建与实战 32
3.1 ManiSkill 概述与安装 32
3.1.1 ManiSkill简介 32
3.1.2 ManiSkill安装流程 35
3.1.3 快速入门：“捡起方块”任务环境创建 37
3.2 ManiSkill 仿真环境创建核心要素 39
3.2.1 智能体 41
3.2.2 场景和物体资产 48
3.2.3 传感器 51
3.3 小试牛刀：“打开储物柜抽屉”仿真环境搭建 54
第4章 教机器人“照着做”：ManiSkill 仿真平台模仿学习实战 59
4.1 专家演示数据获取 59
4.1.1 标准数据集下载 59
4.1.2 自定义数据集构建 61
4.2 基于 ManiSkill 的模仿学习训练范式 67
4.2.1 基于模仿学习的策略模型 67
4.2.2 基于 ManiSkill 的策略模型训练 70
4.3 基于 ManiSkill 的模仿学习评估范式 75
4.3.1 基于 ManiSkill 的策略模型评估基准集 75
4.3.2 策略模型评估指标构建 77
第5章 ManiSkill的Sim2Real流程 80
5.1 核心挑战与全链路架构概览 80
5.1.1 虚实鸿沟的工程解构 80
5.1.2 ManiSkill 的分层解决方案 81
5.2 训练侧：构建高泛化的数字孪生 83
5.2.1 视觉随机化：光照、相机与背景 83
5.2.2 动力学随机化：物理参数的并行重构 84
5.2.3 工程实现：基于配置文件的随机化流程 85
5.3 开发侧：面向部署的任务定义规范 86
5.3.1 生命周期的严格分离：加载与重置 87
5.3.2 观测空间的物理边界：可部署与特权信息 87
5.3.3 动作空间与控制模式的契约 88
5.3.4 面向对齐的参数化设计 89
5.4 部署侧：Sim2RealEnv 适配器与工程落地 90
5.4.1 硬件抽象与架构分层 90
5.4.2 Sim2RealEnv 的核心对齐机制 91
5.4.3 真机评估 92
第6章 RoboFactory: 基于 ManiSkill 的多智能体系统实战 93
6.1 RoboFactory：面向多智能体协作的仿真系统 93
6.1.1 RoboFactory 多智能体系统决策约束剖析 94
6.1.2 RoboFactory 多智能体系统决策组件 95
6.2 RoboFactory 中的任务及数据生成流程 96
6.2.1 多智能体协同任务 97
6.2.2 数据生成流程 99
6.2.3 数据生成流程的优越性 101
6.3 小试牛刀：四智能体拍照任务中的数据生成 101
6.3.1 仿真环境初始化 102
6.3.2 基于RoboBrain和RoboChecker的动作生成 113
6.3.3 动作执行及任务成功条件 117
第7章 Isaac Lab：面向具身智能的下一代仿真生态 123
7.1 Isaac Lab平台深度解析 123
7.1.1 统一机器人研发的愿景：从Isaac Gym/Sim到Isaac Lab 123
7.1.2 技术基石与生态：Omniverse、Isaac Sim 与 Isaac Lab 124
7.1.3 核心优势：为加速机器人学习而生的开放生态 125
7.2 Isaac Lab 开发环境搭建 126
7.2.1 前置依赖与环境准备 126
7.2.2 安装 Isaac Sim 126
7.2.3 安装 Isaac Lab 127
7.3 项目结构与端到端开发流程 128
7.3.1 目录结构与模块分工 128
7.3.2 从0到1：标准开发工作流 130
第8章 Isaac Lab 核心工作流：从强化学习环境构建到端到端训练 132
8.1 强化学习基础与核心接口 132
8.1.1 问题定义：马尔可夫决策过程 132
8.1.2 标准交互协议：Gymnasium API 133
8.1.3 从单体到并行：向量化环境与 GPU 加速 133
8.2 Isaac Lab 的仿真运行基石 134
8.2.1 仿真应用与生命周期管理 134
8.2.2 世界的描述与构建：OpenUSD 135
8.2.3 物理引擎与数据流架构 136
8.2.4 高性能视觉渲染流程 137
8.3 构建机器人学习任务 138
8.3.1 构建交互式场景 139
8.3.2 定义MDP逻辑与工作流选择 141
8.3.3 管理者式工作流：模块化的声明式开发 142
8.3.4 直接式工作流：基于继承的单体实现 147
8.3.5 任务的生命周期与运行时序 151
8.4 端到端的强化学习训练流程 153
8.4.1 任务注册 154
8.4.2 基于强化学习库的训练流程 154
8.4.3 训练循环的数据流与内部机制 157
第9章 人形机器人控制进阶：高动态运动与全身动作追踪实战 158
9.1 人形机器人仿真基础与资产准备 158
9.1.1 机器人动力学基础与强化学习接口 158
9.1.2 仿真核心：执行器建模与参数整定 159
9.2 实战一：基于速度指令的类人行走 163
9.2.1 任务综述与开发流程概览 163
9.2.2 场景构建：崎岖地形与感知系统 164
9.2.3 交互逻辑：MDP 要素的实现解读 167
9.2.4 环境组装与训练评估 172
9.3 实战二：基于动作捕捉的全身动作追踪 175
9.3.1 任务综述与技术背景 175
9.3.2 数据来源与动作重定向流程 175
9.3.3 工程架构与文件组织 176
9.3.4 核心组件：运动加载器与指令生成 177
9.3.5 交互逻辑：动作空间与观测空间设计 180
9.3.6 训练策略：域随机化与事件管理 183
9.3.7 交互逻辑：终止条件的判定 185
9.3.8 训练配置与任务执行 186
第10章 跨越虚实鸿沟：策略的软硬件在环验证与真机部署 190
10.1 验证与部署概览 190
10.1.1 虚实鸿沟 191
10.1.2 标准化的部署流程 191
10.2 unitree mujoco：mujoCo与SDK2的接口级仿真 192
10.2.1 整体架构与运行流程 192
10.2.2 代码与文件结构：入口与关键模块 193
10.2.3 使用：配置、编译与启动 194
10.3 unitree rl lab deploy：部署侧控制架构 195
10.3.1 功能目标与双线程架构设计 196
10.3.2 代码结构与配置组织 197
10.3.3 闭环控制逻辑与数据流转 198
10.3.4 架构解析与开发范式 198
10.3.5 动作追踪任务状态的深度实现与代码解析 199
10.3.6 自定义任务开发指南与最佳实践 201
10.4 部署与真机运行 203
10.4.1 环境依赖与编译构建 203
10.4.2 执行软件在环验证 203
10.4.3 真机部署 204
参考文献 205