本記事はAIを利用して作成した技術解説・実装例です。掲載するコードや手順は一次情報を基に構成していますが、筆者による実機での動作確認は行っていません。環境やバージョンによって動作が異なる場合があります。
从官方信息解读跨具身机器人导航策略的训练与 COMPASS 框架
机器人导航功能对于感知周围环境、选择路径、在躲避障碍物的同时安全到达目标地点至关重要。然而，每当将此功能迁移至不同的机器人或环境时，都需要重复进行新数据、仿真资产、机器人接口、训练、诊断和评估，这带来了巨大的工作量与挑战。
NVIDIA Technical Blog 公布的一手信息介绍了“COMPASS”框架，该框架利用结合了 AI 代理与人工批准关卡的工作流，将预训练的“NVIDIA X-Mobility”策略适应转换为特定机器人及环境的残差专家（Residual Specialist）。本文根据官方信息对其构成要素及步骤进行了梳理。
什么是 COMPASS
COMPASS（Cross-Embodiment Mobility Policy via Residual RL and Skill Synthesis）是一个集成框架，它利用来自单一具身的专家演示来实现可扩展的跨具身移动性（Cross-Embodiment Mobility）。
该框架不从头开始重新学习导航动作，而是重复利用预训练的“NVIDIA X-Mobility”策略的动作，并训练强化学习（RL）策略——“残差专家”，来根据所选的机器人或环境调整基础行为。此后，还可以将来自多个专家的数据蒸馏到一个共享的跨具身策略中。
flowchart TD
A["NVIDIA X-Mobility Base Policy"] --> B["COMPASS Framework"]
B --> C["Embodiment Specialists via Residual RL"]
C --> D["Shared Cross-Embodiment Policy"]
代理驱动型工作流概述
开发人员定义机器人、场景源和导航目标，编码代理则利用代码库中的技能来进行依赖项验证、资产准备、冒烟测试执行、训练启动、故障诊断以及检查点比较。在场景接受、单一环境中的冒烟测试以及检查点提升等重要节点上，由人工批准关卡进行控制。
参考实现采用了四足机器人 Boston Dynamics Spot，并准备了三种路径：内置仓库（Warehouse）、生成的 SAGE-10K 室内场景，以及由 NVIDIA Omniverse NuRec 重建的环境。
此外，如果在机器人侧未提供兼容的里程计或变换，则可将 CUDA 加速的视觉里程计和 SLAM 库“NVIDIA cuVSLAM”用作部署时的里程计。
开发环境要求
根据一手信息，使用 COMPASS 软件栈的硬件和软件要求如下：
Ubuntu 22.04 或 24.04 系统
32 GB 及以上 RAM
配备 16 GB 及以上 VRAM 的 RTX 兼容 NVIDIA GPU（Isaac Sim 6.0 的最低参考 GPU 为 GeForce RTX 4080，测试通过的 Linux 驱动为 580.95.05）
配备 NVIDIA Container Toolkit 的 Docker Engine 24 及以上版本
拥有访问受保护的 nvidia/COMPASS 和 nvidia/X-Mobility Hugging Face 代码库权限的 Hugging Face 账户及读取令牌（Token）
测试通过的软件栈：NVIDIA Isaac Lab 3.0 与 NVIDIA Isaac Sim 6.0
步骤 1：设置 COMPASS 代理工作流
在准备代码库和开始场景工作之前，需指导编码代理遵循工作流契约。执行下载受保护资产、在 Codex 中启用 COMPASS 技能、验证软件栈等操作，并在单一环境的批准关卡处暂停。
例如，在 Codex 或 Claude Code 环境中公开技能并传递验证提示词，从而在每个阶段生成可审查的证据，如软件和资产清单、环境报告以及冒烟测试日志。令牌等敏感信息必须妥善处理，且仅允许在 Shell 上进行配置。
步骤 2：选择并准备导航场景
作为场景源，可以从以下三条路径中进行选择：
内置仓库（combined_multi_rack）：复现速度最快的基准。机器人、场景和占用网格地图（Occupancy Map）已注册完毕，非常适合用于部署时的安装确认。
SAGE-10K 场景：包含跨越 50 种房间类型的 10,000 个生成的室内场景，提供几何形状、材质、布局元数据以及预览。通过在 Isaac Sim 中确认 USD、验证占用网格地图等批准关卡后使用。
通过 NuRec 捕获的环境：将立体 RGB 捕获转换为与 Isaac Sim 兼容的重建模型，是用于部署环境的仿真评估和微调的可选路径。
步骤 3：机器人与场景的集成验证
一旦选定的场景可在 COMPASS 中使用，便可在扩大训练规模之前在单一环境中运行预览。确认 Isaac Sim 启动、场景加载、机器人出现在有效位置、获取到相机观测数据，并且能够响应策略指令而不会发生裁剪、跌倒或未解决的仿真错误。
步骤 4：训练残差专家
通过预览批准后，启动标准的残差 RL 工作流。
【Windows环境で確認予定】
python run.py -c configs/train_config.gin -o ./outputs/spot_combined_multi_rack -b ./assets/x_mobility.ckpt --enable_cameras --embodiment spot --environment combined_multi_rack
在训练过程中，根据 GPU 内存配置环境数量，并监控奖励组件、目标进度、接触与跌倒情况、回合结束状态、吞吐量以及 GPU 内存。切勿盲目假定最终迭代就是最优的，应定期保存检查点并在相同条件下进行评估。若发生失败，请在更改环境或设置之前使用诊断工作流进行调查。
总结
通过利用 COMPASS 框架，能够在以预训练的 NVIDIA X-Mobility 策略为基础的同时，结合 AI 代理的协助与人工批准关卡，高效推进残差学习与场景验证。建议参考官方代码库与指南，在合适的环境下核对步骤并推进部署。
コメント