RLT 全称 RL Token，是面向具身智能机器人精细操作的轻量化在线强化学习方案，核心思路就是把已经训练好的 VLA 视觉语言动作大模型冻结不动，只增加一个轻量的 Actor-Critic 网络，依靠 RL Token 做中间表征，专门解决机器人任务收尾阶段最后几毫米精准对位的难题，不用改动 VLA 本身，只在真机上用很短时间的交互数据做局部动作修正。现在预训练 VLA 模型虽然能看懂指令、完成大部分粗动作，比如把工具拿到目标附近，但到了螺丝对准、网线插入、卡扣固定这类需要亚毫米级接触的环节，很容易因为感知误差、物体动力学偏差失败；如果直接对整个 VLA 做大模型强化学习，参数多、真机试错成本极高，还容易出现灾难性遗忘，把之前学会的通用操作能力丢掉。RLT 会先从冻结 VLA 的内部特征里提取压缩后的 RL Token，作为稳定状态接口，VLA 负责全局理解、生成粗略动作，轻量强化学习网络只在最后高精度阶段做动作微调，还增加正则约束，防止新学的动作偏离 VLA 原本的合理动作范围。在螺丝安装、扎带固定、网线插入、充电器对接这四类真机测试任务里，RLT 只需要十几分钟到几小时真机交互，就能把关键精细阶段速度最高提升 3 倍，任务成功率明显上涨，部分场景甚至比人工遥控操作更快。这套方案把通用泛化能力和局部精准微调分开，兼顾 VLA 的通用性和机器人末端精细操作的适配性，是具身智能落地精密装配任务的实用路线。
一、RLT 整体架构分工
- 冻结 VLA：不更新权重，负责视觉理解、语言指令解析、输出基础粗动作，保留原本所有通用操作能力
- RL Token 编码器：从 VLA 内部特征提取压缩表征，作为大模型和强化学习网络之间的桥梁
- 轻量 Actor-Critic 网络：参数量很小，只基于 RL Token 做在线强化学习，输出残差修正动作
- 正则约束模块：把微调后的动作锚定在 VLA 原始动作附近，避免大幅度偏离
二、RLT 的运行流程
- 粗动作阶段：机器人依靠冻结 VLA 的输出，完成物体抓取、移动、靠近目标等远距离操作
- 触发精细阶段：机器人到达目标附近，进入最后几毫米的高精度对位环节，自动切换 RLT 微调模式
- 在线试错学习：机器人不断尝试接触，根据稀疏奖励调整动作，Actor 输出修正量，Critic 评估动作好坏
- 任务完成或退出：对位成功就结束任务；如果偏离过大，切回 VLA 原始策略重新规划
三、RLT 实测效果汇总
| 测试任务 | 优化方向 | 训练数据量 | 效果表现 |
|---|---|---|---|
| 螺丝安装 | 螺丝对准拧入 | 短时间真机交互 | 成功率大幅提升 |
| 扎带紧固 | 扎带对位拉紧 | 十几分钟真机数据 | 精细阶段提速明显 |
| 网线插入 | 水晶头对准网口 | 少量试错样本 | 部分场景超过人工遥控速度 |
| 充电器对接 | 插头精准插入 | 数小时以内训练 | 减少对位失败 |
- 核心优势：不用微调 VLA，样本效率高，不容易遗忘原有技能
- 上限：只优化局部精细动作，不提升远距离、复杂长流程任务的泛化能力
四、RLT 方案的优势与局限
- 优势
- 保护 VLA 原有泛化能力，冻结主干模型，不会发生灾难性遗忘
- 真机学习速度快，只需要少量机器人交互数据，硬件试错成本低
- 分工清晰，大模型管理解和粗动作，小网络管毫米级精细调整
- 局限
- 依赖人工设置奖励信号，现阶段还很难做到完全自主学习
- 只针对接触式精密装配场景，不是所有机器人任务都适用
- 精度上限受 VLA 本身感知能力、机器人硬件精度制约
【相关 FAQ】
问题 1：具身智能 RLT 框架冻结 VLA 模型，为什么专门针对最后几毫米做在线强化学习？
回答 1：具身智能 RLT 框架冻结 VLA 模型，VLA 擅长远距离、大范围的通用操作，但到最后几毫米接触对位时，受感知、接触动力学影响容易失败；RLT 不改动 VLA，只用轻量强化学习在这个局部阶段做动作修正，兼顾通用性和末端精度。
问题 2：具身智能 RLT 框架里的 RL Token 是什么，在冻结 VLA 在线强化学习里起到什么作用？
回答 2：具身智能 RLT 框架里的 RL Token 是从冻结 VLA 内部特征提取的压缩表征，它是 VLA 和轻量 Actor-Critic 网络之间的接口，把 VLA 里有用的任务信息打包，让在线强化学习可以高效学习，不用直接操作庞大的 VLA 参数。
问题 3：使用具身智能 RLT 框架，冻结 VLA 做在线强化学习，会不会让 VLA 丢掉原本学会的其他操作技能？
回答 3：不会，具身智能 RLT 框架全程冻结 VLA，VLA 权重完全不更新，只训练独立的轻量强化学习头，还有正则约束锚定动作，所以不会出现灾难性遗忘，VLA 原本的各类操作能力可以保留。
【参考资料】
[2026-11-08]（RLT：让冻结的 VLA 学会最后几毫米的在线强化学习）CSDN 博客
[2026-04-24]（RL Token: Bootstrapping Online RL with Vision-Language-Action Models）arXiv
[2026-03-19]（Precise Manipulation with Efficient Online RL）Physical Intelligence 官网
[2026-03-24]（Paper Notes：RL Token，冻结 VLA 实现精密操作在线强化学习）个人技术博客
【免责声明】
本内容基于公开论文、技术博客信息整理，具身智能 RLT 框架冻结 VLA 实现最后几毫米在线强化学习属于前沿学术研究成果，相关性能、落地效果仅在实验室真机环境验证，商业化落地还存在不确定性，内容仅作技术科普，不构成项目落地、技术采购投资建议。