核心摘要
TurboVLA 是首个在边缘设备上实现 32Hz 实时推理的轻量级 VLA 模型,仅用 0.2B 参数(π0.5 的 6%)和 0.9GB 显存即可运行。通过摒弃 LLM 自回归解码,采用 V-L 双向交互模块直接生成动作块,在 LIBERO 基准上达到 97.7% 平均成功率。在真实世界机器人任务中,TurboVLA 以 31ms 延迟完成叠碗、抓取滚筒等任务,性能超越 π0.5 等大规模模型。
相关服务:美国GPU服务器
📋 基本信息
| 项目 | 内容 |
|---|---|
| 论文标题 | TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM |
| 作者 | Hengyi Xie*, Chenfei Yao*, Xianjin Wu, Xuanyang Xi, Yiping Tang, Di Xu, Yingying Zhu, Dingkang Liang†, Xiang Bai, Han Ding |
| 第一作者单位 | 华中科技大学(H-EmbodVis 团队)+ 华为技术有限公司 |
| 通讯作者 | Dingkang Liang(项目负责人)、Han Ding |
| 期刊/会议 | arXiv:2607.27205 (2026 年 7 月) |
| 发表年份 | 2026 |
| DOI/arXiv ID | 2607.27205 |
| 官方链接 | arxiv.org/abs/2607.27… |
| 代码仓库 | github.com/H-EmbodVis/… |
| 项目主页 | h-embodvis.github.io/TurboVLA/ |
| 模型权重 | huggingface.co/H-EmbodVis/… |
| 论文类型 | 方法(轻量级实时 VLA 模型) |
| 难度级别 | ⭐⭐⭐☆☆ |
| 推荐指数 | ⭐⭐⭐⭐⭐ |
| 是否有开源代码 | ✅ |
| 引用数 | 待统计 |
一、这篇论文要解决什么问题?
1.1 领域背景
想象一个机器人需要完成"把三个碗叠起来"的任务。现有的 Vision-Language-Action(VLA)模型通常依赖大型语言模型(LLM)作为核心,比如 π0.5(3.4B 参数)、CogVLA(8.3B 参数)等。这些模型虽然性能强大,但面临三大部署瓶颈:
- 高延迟:LLM 的自回归解码需要 93ms+,动作更新频率仅 11Hz,机器人动作"卡顿"
- 高显存:需要 12-16GB VRAM,必须依赖远程服务器
- 高成本:需要网络连接到云端 GPU,受环境限制大
这就像让一个"思考过度"的司机开车——每次转动方向盘前都要长篇大论分析路况,结果反应太慢,容易出事故。
1.2 核心问题定义
如何在保持 VLA 模型强大语义理解能力的同时,实现边缘设备上的 32Hz 实时推理?
具体来说,现有 LLM-centric VLA 面临的核心矛盾:
- 输入:多视角图像 + 语言指令
- 输出:机器人动作序列(需要高频更新)
- 核心矛盾:LLM 的自回归解码速度 vs 机器人控制的实时性需求
1.3 现有方法的不足
| 方法类别 | 代表工作 | 核心不足 | 本文的改进方向 |
|---|---|---|---|
| LLM-centric VLA | π0.5, CogVLA, OpenVLA | 依赖 LLM 自回归解码,延迟 93ms+,显存 12GB+,需远程服务器 | 摒弃 LLM,采用轻量级 V-L 交互模块 |
| Action Expert VLA | ACT, Diffusion Policy | 无语义理解能力,无法处理复杂语言指令 | 保留语言编码器(BERT),维持语义理解 |
| 轻量级 VLA | SmolVLA, Evo-1 | 参数量仍偏大(2.3B/0.8B),延迟 203ms/137ms | 极致压缩至 0.2B,延迟降至 31ms |
1.4 本文的研究目标与贡献
核心目标:
- 构建超轻量级 VLA 模型(0.2B 参数),可在消费级 GPU(RTX 4090)上实时运行
- 实现 32Hz 动作更新频率,满足机器人控制的实时性需求
- 在保持语义理解能力的同时,大幅降低显存占用(<1GB)
贡献总结:
- 🎯 理论贡献:提出 V+L→A 架构范式,摒弃 LLM 自回归解码,采用双向 V-L 交互直接生成动作
- 🔧 方法贡献:设计 V-L Interaction Module(双向交叉注意力),融合视觉和语言特征
- 📈 实践贡献:LIBERO 97.7% 成功率,真实世界 4 个任务均超越 π0.5,延迟仅 31ms
二、核心方法详解
图:TurboVLA 整体架构。左侧为整体流程:DinoV3 提取视觉特征,BERT 提取指令特征,经 V-L Interaction Module 融合后生成 Action-Ready Features,最后由 Action Chunk Decoder 输出动作块。右侧为 V-L Interaction Module 细节:N 层双向交叉注意力(Visual-to-Instruction + Instruction-to-Visual)。
2.1 方法概述与核心洞察
核心思想: TurboVLA 的核心洞察是——机器人控制不需要 LLM 的自回归"思考"过程,而是需要视觉和语言的快速"对话"。
核心洞察(Key Insight):
- LLM 的自回归解码是"串行思考"(一个 token 接一个 token),速度慢
- 机器人控制需要"并行反应"(同时处理视觉和语言,直接输出动作)
- 解决方案:用双向交叉注意力替代 LLM,让视觉和语言特征直接"对话"
与现有方法的本质区别:
图:左半部分对比三种架构范式。V→L→A(自回归 VLA):视觉特征先对齐到语言空间,再经 LLM 自回归解码生成动作。V+L→A(TurboVLA):视觉和语言特征通过双向交叉注意力直接融合,跳过多层 LLM 块,直接输出动作策略。右半部分为性能对比:TurboVLA(红色三角)在成功率 - 延迟散点图中位于左上角(高成功率、低延迟),参数量仅为其他方法的 1/40 到 1/8。
| 维度 | LLM-centric VLA (V→L→A) | TurboVLA (V+L→A) |
|---|---|---|
| 核心组件 | 大型语言模型(Block 1~N) | V-L Interaction Module(N 层双向交叉注意力) |
| 解码方式 | 自回归解码(串行) | 直接输出动作块(并行) |
| 参数量 | 3.4B~8.3B | 0.2B |
| 推理延迟 | 84~203ms | 31ms |
| 动作频率 | 5~11Hz | 32Hz |
2.2 关键技术组件
组件 1:V-L Interaction Module — 让视觉和语言直接"对话"
功能: 替代传统 LLM 的多层 Transformer Block,通过双向交叉注意力实现视觉和语言特征的快速融合。
详细原理:
输入:
- 视觉特征:DinoV3 提取的多视角图像特征(蓝色方块)
- 指令特征:BERT 提取的语言指令特征(橙色方块)
处理: N 层双向交叉注意力模块,每层包含:
- Visual-to-Instruction Cross-Attn:视觉特征作为 Query,指令特征作为 Key/Value
- Instruction-to-Visual Cross-Attn:指令特征作为 Query,视觉特征作为 Key/Value
- Layer Norm + FFN:标准 Transformer 后处理
输出: Action-Ready Features(动作就绪特征),直接输入 Action Chunk Decoder
数学描述:
直觉解释: 想象视觉和语言是两个人在"对话"——视觉说"我看到碗在桌子上",语言说"任务是把碗叠起来",经过几轮对话后,双方达成共识"应该伸手去抓最上面的碗"。这个"对话"过程就是双向交叉注意力。
组件 2:Action Chunk Decoder — 直接输出动作序列
功能: 将 Action-Ready Features 解码为固定长度的动作块(Action Chunk),避免自回归解码的延迟。
详细原理:
- 输入:Action-Ready Features + Robot State(机器人状态)
- 输出:动作块 ,通常为 8-16 步动作
- 解码方式:非自回归,一次性输出整个动作块
直觉解释: 传统 LLM 像"打字机"——一个一个字母输出;TurboVLA 像"打印机"——一次性输出一整行。
组件 3:轻量级特征编码器
视觉编码器: DINOv3 ViT-B/ViT-L(冻结预训练权重,freeze_vision_encoder=False 可选微调)
- 提取多视角图像特征(
encode_views_separately=True逐视角编码,LIBERO 2 视角,RoboTwin 3 视角) - LIBERO 用 ViT-B(
facebook/dinov3-vitb16-pretrain-lvd1689m),RoboTwin 用 ViT-L - 支持 bf16 自动混合精度(
compute_precision="bf16_autocast"),自动剥离 CLS/前缀 token - 通过
VisionProjection(LayerNorm + MLP + Skip Connection)投影到隐藏维度 256 - 支持两种位置编码:
view(简单视角嵌入)和learned_patch(可学习 patch 位置 + 缩放因子)
文本编码器: BERT base-uncased(冻结预训练权重,force_eval_when_frozen=True 始终 eval 模式)
- 在线编码(每次 forward 都实时运行 BERT,无需预缓存文本特征)
- 通过
text_projection(Linear 层)将 BERT hidden_size 投影到 hidden_dim=256 - 支持 sub-sentence attention mask(
generate_masks_with_special_tokens,基于[CLS]/[SEP]/./?分割子句) - 支持按指令动态调整 padding 长度(
padding_length_by_instruction) - 默认 max_length=256,zero_padded_tokens=False
2.3 关键创新点深度解析
创新点 1:摒弃 LLM,采用 V+L→A 架构
创新之处: 首次证明 VLA 模型不需要 LLM 也能达到 SOTA 性能,且速度提升 3 倍。
与现有方法的对比:
| 维度 | π0.5 (LLM-centric) | TurboVLA (V+L→A) | 优势 |
|---|---|---|---|
| 参数量 | 3.4B | 0.2B | 41× 更小 |
| 推理延迟 | 93.6ms | 31.2ms | 3× 更快 |
| 显存占用 | 12.8GB | 0.9GB | 14× 更少 |
| 动作频率 | 11Hz | 32Hz | 3× 更高 |
| LIBERO 成功率 | 96.9% | 97.7% | 略优 |
为什么有效:
- 机器人控制是"感知 - 动作"映射,不需要 LLM 的"语言推理"能力
- 双向交叉注意力足以融合视觉和语言信息
- 动作块解码避免自回归延迟
创新点 2:边缘设备实时部署
创新之处: 首次在消费级 GPU(RTX 4090)上实现 32Hz VLA 推理。
图:部署方式对比。上排:LLM-centric VLA 依赖远程服务器,需要网络连接,延迟 93ms,动作更新 11Hz,任务未完成。下排:TurboVLA 直接在边缘设备运行,无需网络,延迟 31ms,动作更新 32Hz,任务完成。
| 维度 | LLM-centric VLA | TurboVLA |
|---|---|---|
| 部署位置 | 远程服务器 | 边缘设备(RTX 4090) |
| 网络依赖 | 需要(高延迟、高成本) | 无需(低延迟、低成本) |
| 显存占用 | 12-16GB | 0.9GB |
| 推理延迟 | 93ms | 31ms |
| 动作频率 | 11Hz | 32Hz |
| 任务完成 | 未完成(太慢) | 完成(实时) |
2.4 关键设计决策
| 决策 | 选择方案 | 替代方案 | 选择理由 |
|---|---|---|---|
| 视觉编码器 | DinoV3 | CLIP, ResNet | DinoV3 特征质量高,无需微调 |
| 文本编码器 | BERT | LLM, GPT-2 | BERT 足够编码简单指令,速度快 100 倍 |
| 交互方式 | 双向交叉注意力 | 单向交叉、拼接 | 双向交互信息融合更充分(见消融实验) |
| 动作解码 | Action Chunk | 自回归 token | 非自回归解码速度快 3 倍 |
| 参数量 | 0.2B | 1B+ | 边缘设备显存限制(<1GB) |
三、实验结果深度分析
3.1 实验设置
数据集与评测指标
| 数据集 | 规模 | 任务类型 | 选择理由 |
|---|---|---|---|
| LIBERO | 4 个子集(Spatial/Object/Goal/Long) | 桌面操作任务 | 标准 VLA 评测基准 |
| 真实世界 | 4 个任务 | 机器人操作 | 验证实物部署能力 |
| 指标 | 含义 | 重要性 |
|---|---|---|
| 成功率 (%) | 任务完成比例 | ⭐⭐⭐⭐⭐ |
| 推理延迟 (ms) | 单次推理耗时 | ⭐⭐⭐⭐⭐ |
| 参数量 (B) | 模型大小 | ⭐⭐⭐⭐ |
| 显存占用 (GB) | 推理 VRAM | ⭐⭐⭐⭐ |
3.2 主实验结果
LIBERO 基准测试
图:LIBERO 基准测试结果对比表。TurboVLA(最后一行)以 0.2B 参数、0.9GB 显存、31.2ms 延迟,达到 97.7% 平均成功率,超越所有对比方法。
| 方法类别 | 方法 | 参数量 (B)↓ | 显存 (GB)↓ | 延迟 (ms)↓ | LIBERO 平均成功率 (%)↑ |
|---|---|---|---|---|---|
| Non-VLA | Diffusion Policy | 0.3 | 1.1 | 924.8 | 72.4 |
| Capability-oriented VLAs | |||||
| OpenVLA | 7.5 | 14.9 | 202.9 | 76.5 | |
| π0.5 | 3.4 | 12.8 | 93.6 | 96.9 | |
| CogVLA | 8.3 | 16.1 | 115.5 | 97.4 | |
| Mantis | 4.9 | 7.9 | 198.7 | 96.7 | |
| Acceleration-oriented VLAs | |||||
| OpenVLA-OFT | 7.7 | 15.7 | 112.2 | 97.1 | |
| DDVLA | 7.5 | 14.5 | 60.8 | 96.4 | |
| Lightweight VLAs | |||||
| SmolVLA | 2.3 | 7.1 | 203.1 | 88.8 | |
| Evo-1 | 0.8 | 1.7 | 137.2 | 94.8 | |
| VLA-Adapter | 1.5 | 4.3 | 87.3 | 97.3 | |
| TurboVLA (Ours) | 0.2 | 0.9 | 31.2 | 97.7 |
关键发现:
- 参数量仅 0.2B:是 π0.5 的 6%,CogVLA 的 2.4%,但成功率最高
- 延迟 31.2ms:比最快的 DDVLA(60.8ms)还快 2 倍
- 显存 0.9GB:唯一能在消费级 GPU 上运行的 VLA 模型
方法对比(Per-task vs Multi-task)
图:Per-task training 和 Multi-task training 两类设置下的方法对比。TurboVLA 在 Multi-task 设置下以 0.4B 参数达到 60.2% 平均成功率,超越 UP-VLA(52.9%)和 π0.5(57.0%)。
Per-task training:
| 方法 | 参数量 (B)↓ | 延迟 (ms)↓ | 平均成功率 (%)↑ |
|---|---|---|---|
| Diffusion Policy | 0.1 | 794.1 | 28.0 |
| ACT | 0.1 | 20.4 | 29.7 |
| π0.5 | 3.2 | 87.6 | 46.4 |
| TurboVLA | 0.4 | 43.4 | 60.2 |
Multi-task training:
| 方法 | 参数量 (B)↓ | 延迟 (ms)↓ | 平均成功率 (%)↑ |
|---|---|---|---|
| UP-VLA | 1.6 | 74.3 | 52.9 |
| π0.5 | 3.4 | 95.6 | 57.0 |
| StarVLA-α | 3.8 | 74.9 | 50.3 |
| TurboVLA | 0.4 | 43.4 | 60.2 |
3.3 真实世界实验
图:真实世界机器人实验。左图为硬件设置:AgileX PIPER 6-DoF 机械臂,配备 Third-View 和 Wrist-View 两个 D435 RGB-D 相机。右上图为 4 个任务的成功率对比:TurboVLA(绿色)在 Grab Roller、Move Playingcard、Press Stapler、Stack Bowls 四个任务上均超越 π0.5(橙色)。右下图为任务执行序列照片。
硬件设置:
- 机械臂:6-DoF AgileX PIPER Robot Arm
- 相机:Third-View + Wrist-View RGB-D Camera (D435)
- 计算:RTX 4090(边缘设备)
任务成功率对比:
| 任务 | TurboVLA (%) | π0.5 (%) | 提升 |
|---|---|---|---|
| Grab Roller | 92.5 | 87.5 | +5.0 |
| Move Playingcard | 80.0 | 77.5 | +2.5 |
| Press Stapler | 90.0 | 82.5 | +7.5 |
| Stack Bowls | 87.5 | 85.0 | +2.5 |
关键发现:
- TurboVLA 在所有 4 个真实世界任务上均超越 π0.5(3.4B 参数)
- 平均成功率提升 4.4%,证明轻量级模型也能在实物部署中表现出色
- 32Hz 动作频率使机器人动作更流畅,任务完成度更高
3.4 消融实验
图:V-L 交互方式消融实验。对比 4 种配置:(a) w/o Interaction(无交互)、(b) Language Queries Visual(单向语言查视觉)、(c) Visual Queries Language(单向视觉查语言)、(d) Bidirectional Interaction(双向交互,本文方法)。
| 配置 | 描述 | 成功率 (%) |
|---|---|---|
| (a) w/o Interaction | 视觉和语言特征直接拼接,无交叉注意力 | 最低 |
| (b) Language Queries Visual | 仅 Instruction-to-Visual 单向交叉注意力 | 中等 |
| (c) Visual Queries Language | 仅 Visual-to-Instruction 单向交叉注意力 | 中等 |
| (d) Bidirectional Interaction | 双向交叉注意力(本文) | 最高 |
消融分析:
- 双向交互 > 单向交互:证明视觉和语言需要"双向对话"才能充分融合
- 单向交互 > 无交互:证明交叉注意力比简单拼接更有效
- 结论:V-L Interaction Module 的双向设计是性能提升的关键
四、代码解读与复现指南
4.1 核心流程概览(基于实际仓库结构)
TurboVLA/
├── turbovla/ # 核心库
│ ├── models/
│ │ ├── turbovla.py # TurboVLA 主模型(VisionLanguageInteraction + TurboVLAActionHead)
│ │ ├── action_head.py # StateProjection + ACTDecoder(Transformer Decoder)
│ │ ├── configuration.py # 5 个 Dataclass 配置(Text/Vision/Interaction/Action/TurboVLA)
│ │ ├── vision_encoder.py # DINOv3VisionEncoder(支持 ViT-B/ViT-L,bf16 自动混合精度)
│ │ ├── text_encoder.py # TurboVLATextEncoder(在线 BERT 编码 + 文本投影)
│ │ └── components/
│ │ ├── fusion.py # BiMultiHeadAttention + BiAttentionBlock(源自 GroundingDINO)
│ │ ├── transformer.py # TransformerEncoderLayer(文本自注意力)
│ │ └── utils.py # MLP、_get_clones 等工具
│ ├── training/
│ │ ├── train_mixed.py # LIBERO 混合套件训练入口
│ │ ├── trainer.py # 训练器(分布式、日志、checkpoint)
│ │ └── pi05.py # pi0.5 风格训练超参配置
│ ├── evaluation/
│ │ ├── policy.py # 推理策略封装
│ │ └── suite_policy.py # 评测套件策略
│ ├── data/
│ │ ├── libero_rlds.py # LIBERO RLDS 数据集加载
│ │ ├── mixed_suite.py # 混合套件数据集
│ │ └── suite_stats.py # 归一化统计
│ └── text/
│ └── bert.py # BertModelWarper + generate_masks_with_special_tokens
├── experiments/
│ ├── libero/ # LIBERO 实验入口(train.py / evaluate.py)
│ └── robotwin/ # RoboTwin 实验入口(train.py / evaluate.py)
├── scripts/
│ ├── libero/ # LIBERO 辅助脚本(no-noops 生成、结果聚合)
│ └── robotwin/ # RoboTwin 脚本(数据准备、训练、评估)
└── third_party/
├── starvla_runtime/ # StarVLA 兼容的 RoboTwin 训练/评估运行时
└── vla_adapter/ # VLA-Adapter 的 LIBERO rollout 协议
4.2 核心代码逻辑(基于实际源码)
4.2.1 V-L Interaction Module(turbovla/models/turbovla.py)
# 实际代码:VisionLanguageInteraction
class VisionLanguageInteraction(nn.Module):
def __init__(self, config: InteractionConfig) -> None:
super().__init__()
# 每层包含:1 个 BiAttentionBlock(双向交叉注意力)+ 1 个 TransformerEncoderLayer(文本自注意力)
text_layer = TransformerEncoderLayer(
d_model=config.hidden_dim, # 默认 256
nhead=max(1, config.nheads // 2), # 默认 4
dim_feedforward=config.enhancer_inner_dim, # 默认 1024
)
fusion_layer = BiAttentionBlock(
v_dim=config.hidden_dim, # 256
l_dim=config.hidden_dim, # 256
embed_dim=config.enhancer_inner_dim, # 1024
num_heads=max(1, config.nheads // 2), # 4
drop_path=config.fusion_droppath, # 0.1(Layer Scale + DropPath)
residual_style=config.residual_style, # "normalized"
)
self.text_layers = _get_clones(text_layer, config.num_layers) # 默认 6 层
self.fusion_layers = _get_clones(fusion_layer, config.num_layers) # 默认 6 层
def forward(self, visual_tokens, text_tokens, text_key_padding_mask, text_self_attention_masks):
for fusion_layer, text_layer in zip(self.fusion_layers, self.text_layers):
# 步骤 1:双向交叉注意力(视觉 ↔ 语言),源自 GroundingDINO 的 BiMultiHeadAttention
visual_tokens, text_tokens = fusion_layer(
v=visual_tokens, l=text_tokens,
attention_mask_l=text_key_padding_mask,
)
# 步骤 2:文本自注意力(语言内部推理)
text_tokens = text_layer(src=text_tokens.transpose(0, 1), ...).transpose(0, 1)
return visual_tokens, text_tokens
关键发现:实际实现并非简单的双向交叉注意力,而是 BiAttentionBlock(源自 GroundingDINO)+ TransformerEncoderLayer 的交替堆叠。BiAttentionBlock 使用 Layer Scale(
gamma_v,gamma_l)和 DropPath 保证训练稳定性。BiMultiHeadAttention 同时计算 V→L 和 L→V 两个方向的注意力,共享 Q/K/V 投影但独立输出投影。
4.2.2 Action Head(turbovla/models/action_head.py)
# 实际代码:ACT Decoder(非简单 MLP)
class ACTDecoder(nn.Module):
def __init__(self, config, hidden_dim, nheads, dim_feedforward):
super().__init__()
self.horizon = config.horizon # LIBERO: 12, RoboTwin: 50
self.action_queries = nn.Embedding(self.horizon, hidden_dim) # 可学习动作查询
decoder_layer = nn.TransformerDecoderLayer(
d_model=hidden_dim, nhead=nheads, # 8 头注意力
dim_feedforward=dim_feedforward, # 2048
num_layers=config.num_layers, # 3 层 Transformer Decoder
batch_first=True, norm_first=True,
)
self.decoder = nn.TransformerDecoder(decoder_layer, num_layers=config.num_layers)
self.action_projection = MLP(hidden_dim, config.mlp_hidden_dim, config.action_dim, 3) # 3 层 MLP
def forward(self, memory):
queries = self.action_queries.weight.unsqueeze(0).expand(memory.shape[0], -1, -1)
hidden = self.decoder(tgt=queries, memory=memory) # memory = V-L tokens + State tokens
return torch.tanh(self.action_projection(hidden)) # tanh 归一化输出
关键发现:动作头并非简单 MLP,而是 ACT(Action Chunking with Transformers)Decoder——使用可学习的 action queries 通过 3 层 Transformer Decoder 交叉注意力从 V-L 特征中解码动作序列,最后经 3 层 MLP + tanh 输出。State 通过
StateProjection(LayerNorm + Linear + GELU + Dropout + Linear)投影为num_state_tokens=2个 token,与 V-L tokens 拼接后作为 memory。
4.2.3 配置系统(turbovla/models/configuration.py)
# 实际默认配置(LIBERO 设置)
@dataclass
class InteractionConfig:
hidden_dim: int = 256 # 隐藏维度
nheads: int = 8 # 注意力头数
num_layers: int = 6 # V-L 交互层数
dim_feedforward: int = 2048 # FFN 维度
enhancer_inner_dim: int = 1024 # BiAttentionBlock 内部维度
@dataclass
class ActionHeadConfig:
action_dim: int = 7 # LIBERO: 7-D(6 关节 + 1 夹爪)
state_dim: int = 8 # 机器人状态维度
horizon: int = 12 # 动作块长度(LIBERO: 12 步)
num_state_tokens: int = 2 # 状态 token 数
num_layers: int = 3 # ACT Decoder 层数
4.3 复现命令(基于实际 README)
# 环境配置
git clone https://github.com/H-EmbodVis/TurboVLA.git
cd TurboVLA
conda create -n turbovla-libero python=3.10 -y && conda activate turbovla-libero
pip install torch==2.3.1 torchvision==0.18.1 --index-url https://download.pytorch.org/whl/cu121
pip install -e ".[libero]"
# 另需安装 LIBERO: https://github.com/Lifelong-Robot-Learning/LIBERO
# 下载预训练权重
pip install -U huggingface_hub
hf download H-EmbodVis/TurboVLA --local-dir pretrained/TurboVLA
# LIBERO 训练(4 卡,每卡 batch_size=8,梯度累积 4 步,共 80k 步)
torchrun --nproc_per_node=4 experiments/libero/train.py \
--dataset_dirs "data/libero/libero_10_no_noops/1.0.0,data/libero/libero_goal_no_noops/1.0.0,data/libero/libero_object_no_noops/1.0.0,data/libero/libero_spatial_no_noops/1.0.0" \
--stats_path experiments/libero/configs/libero_all4_stats.json \
--stats_key libero_all4_no_noops \
--dinov3_path facebook/dinov3-vitb16-pretrain-lvd1689m \
--bert_path google-bert/bert-base-uncased \
--allow_hf_download \
--pretrained_init_ckpt /path/to/groundingdino_swint_ogc.pth \
--batch_size 8 \
--checkpoint_dir outputs/libero
# LIBERO 评估(单卡,单套件)
python experiments/libero/evaluate.py \
--ckpt_path pretrained/TurboVLA/checkpoints/libero/libero_object.pth \
--dinov3_path /path/to/dinov3-vitb \
--bert_path /path/to/bert-base-uncased \
--stats_path experiments/libero/configs/libero_all4_stats.json \
--stats_key libero_all4_no_noops \
--task_suite_name libero_object \
--num_trials_per_task 50 \
--chunk_size 12 --num_open_loop_steps 12 \
--seed 7 --precision bf16
# RoboTwin 训练(4 卡,ViT-L,14-D 动作,50 步 ACT,55k 步)
export ROBOTWIN_DATA_ROOT="$PWD/playground/Datasets/RoboTwin"
export BERT_MODEL_PATH=/path/to/bert-base-uncased
export TURBOVLA_INIT_CKPT=/path/to/groundingdino_swint_ogc.pth
export DINOV3_MODEL_PATH=/path/to/dinov3-vitl
MAX_TRAIN_STEPS=55000 RUN_ID=turbovla_robotwin_clean50_55k bash scripts/robotwin/train.sh
4.4 复现难度评估
| 维度 | 难度 | 说明 |
|---|---|---|
| 环境配置 | ⭐⭐☆☆ | 需分别配置 LIBERO(TFDS/RLDS)和 RoboTwin(flash-attn)两套环境 |
| 数据准备 | ⭐⭐⭐☆☆ | LIBERO 需下载 4 个 no-noops 套件(TFDS 格式),RoboTwin 需下载 LeRobot 格式数据 |
| 模型初始化 | ⭐⭐☆☆ | 需下载 GroundingDINO Swin-T 权重作为初始化(pretrained_init_ckpt) |
| 训练复现 | ⭐⭐☆☆ | LIBERO 需 4 卡 GPU(80k 步),RoboTwin 需 4 卡 GPU(55k 步) |
| 总体 | ⭐⭐☆☆☆ | 代码结构清晰,文档完善,但环境配置有一定门槛 |
五、局限性与批判性分析
5.1 方法局限
| 局限 | 具体表现 | 根本原因 | 改进思路 |
|---|---|---|---|
| 复杂推理能力弱 | 无法处理需要多步逻辑推理的任务 | 摒弃 LLM 后失去语言推理能力 | 引入轻量级推理模块(如 0.5B 小 LLM) |
| 长指令理解有限 | BERT 最大 512 token,无法处理长文本 | BERT 的序列长度限制 | 采用 Longformer 或分段处理 |
| 单任务泛化 | 跨任务迁移能力未充分验证 | 仅在 LIBERO 和 4 个真实任务测试 | 增加跨数据集泛化实验 |
5.2 实验设计局限
- 数据集规模: LIBERO 仅 4 个子集,样本量有限,无法验证大规模数据下的表现
- 真实世界任务: 仅 4 个简单桌面操作任务,未测试复杂场景(如厨房、仓库)
- 对比方法: 未与部分最新轻量级 VLA(如 DreamVLA)进行直接对比
- 硬件多样性: 仅在 RTX 4090 上测试,未验证其他边缘设备(如 Jetson、移动端)
5.3 论文本身不足
- 缺少对 V-L Interaction Module 层数(N)的消融实验
- 未讨论 Action Chunk 大小对性能的影响
- 缺少失败案例分析(什么情况下 TurboVLA 会失败?)
- 未提供与人类操作者的性能对比
5.4 潜在风险
- 安全风险: 32Hz 高频动作若出现错误,可能导致快速危险动作
- 部署风险: 0.9GB 显存虽低,但仍需 GPU,纯 CPU 设备无法运行
- 泛化风险: 在训练数据分布外的场景可能表现不佳
六、启发与应用
6.1 启发
对研究者:
- "去 LLM 化"思路: 不是所有任务都需要 LLM,简单任务用轻量级模块反而更好
- V-L 双向交互: 双向交叉注意力是融合多模态信息的有效方式,可迁移到其他任务
- 边缘部署优先: 设计模型时应考虑部署约束(显存、延迟),而非仅追求性能
对工程师:
- 落地场景: 桌面操作机器人、服务机器人、教育机器人等对实时性要求高的场景
- 硬件选择: RTX 4090 即可运行,无需昂贵的 A100/H100
- 优化空间: 模型量化(INT8/INT4)可进一步降低显存,适配更低端设备
对行业:
- VLA 模型正从"云端大模型"走向"边缘小模型",降低部署门槛
- 32Hz 实时控制使 VLA 可用于高速操作任务(如装配、分拣)
- 轻量级 VLA 有望进入消费级机器人市场
6.2 方法改进方向
| 时间维度 | 改进方向 | 思路 | 预期效果 | 难度 |
|---|---|---|---|---|
| 短期(1 年内) | 模型量化 | INT8/INT4 量化 | 显存降至 0.5GB 以下 | ⭐ |
| 短期(1 年内) | CPU 推理优化 | ONNX/TensorRT 优化 | 无需 GPU 即可运行 | ⭐⭐ |
| 中期(1-3 年) | 复杂任务扩展 | 引入轻量推理模块 | 处理多步逻辑任务 | ⭐⭐⭐⭐ |
| 中期(1-3 年) | 移动部署 | 适配 Jetson/移动端 | 真正边缘化 | ⭐⭐⭐⭐ |
| 长期(3 年+) | 自监督预训练 | 大规模无标注数据预训练 | 提升泛化能力 | ⭐⭐⭐⭐⭐ |
6.3 跨领域应用与开放问题
-
跨领域应用:
- 无人机控制:视觉 + 语言指令的实时飞行控制
- 自动驾驶:轻量级 VLA 用于车载实时决策
- 智能家居:语音指令驱动的家电控制
-
开放问题:
- 如何在保持实时性的同时提升复杂推理能力?
- 如何实现跨机器人形态的零样本迁移?
- 如何在纯 CPU 设备上实现 32Hz 推理?
- 如何保证高频动作的安全性(避免快速错误动作)?
七、问题与解答
Q1: 视觉和语言独立编码,如何保证信息融合?
TurboVLA 的策略是"先独立编码,后深度融合"。独立编码用轻量级编码器(DINOv3 + BERT)高效提取模态特有特征,避免 LLM 的冗余开销。融合靠的是 N 层堆叠的双向交叉注意力模块(BiAttentionBlock,源自 GroundingDINO):
- 指令→视觉: 语言特征作 Query,引导视觉关注任务相关区域(如"拿起红色的碗"→关注红色碗的视觉信息)
- 视觉→指令: 视觉特征作 Query,用场景上下文细化语言表示(如视觉中只有一个可操作物体→强化指令中的指代)
N 层交互后,V^N 和 L^N 拼接为 Z^L = [V^N; L^N]。
消融实验验证(论文表 5):
| 配置 | 成功率 |
|---|---|
| 无交互(简单拼接) | 95.2% |
| 仅指令→视觉 | 96.1% |
| 仅视觉→指令 | 96.5% |
| 双向交互 | 97.7% |
双向交互提供互补信息,是性能提升的关键。
Q2: 创新仅仅是"语言和视觉并行处理"吗?
不只是并行处理。核心在于将 VLA 范式从 V→L→A 转变为 V+L→A,具体分三层:
- 轻量级模态独立编码: BERT 处理指令,DINOv3 处理视觉。执行层面的机器人指令(对象、属性、空间关系)不需要 LLM 的开放式推理能力
- 双向 V-L 交互模块(核心): 用紧凑的多层双向交叉注意力替代 LLM 作为融合中心,产生"指令条件化视觉特征"和"视觉感知指令特征"
- 非自回归动作解码: ACT Decoder 一次性预测连续动作块,LLM 完全从执行路径中移除
前端并行只是第一步,更深层的是如何替代 LLM 完成深度融合,并通过非自回归解码实现实时控制。
Q3: 去除 LLM 后,长链路复杂任务是否受限?
是的,这是核心局限。论文结论原文:
"TurboVLA is designed primarily for concrete execution-level instructions and may not provide the complex semantic understanding and reasoning required for high-level task planning."
三个原因:
- BERT 只提取执行层面语义,不具备 LLM 的世界知识和任务分解能力(如"准备早餐"→"拿鸡蛋""煎蛋""烤面包")
- 模型专注于根据当前观察和单一指令预测短时序动作块,没有长时序规划或自主重规划机制
- 设计假设指令已明确指定操作技能,适合"指令清晰、步骤直接"的执行层面操作
论文提出的未来方向是分层系统:LLM 负责高层任务分解,TurboVLA 负责低层实时执行。
Q4: 机器人状态(Robot State)如何导入?
机器人状态(关节角度、末端执行器姿态等)通过轻量级投影网络 f_state 独立编码为状态 token,不经过视觉-语言交互模块,直接在动作块解码阶段与融合特征拼接:
实际代码中 f_state 为 StateProjection(LayerNorm + Linear + GELU + Dropout + Linear),默认生成 2 个状态 token。
设计逻辑:V-L 交互模块专注场景理解("做什么""在哪里做"),机器人状态提供物理约束("如何做"),职责分离。
Q5: 动作块解码器如何工作?
采用 ACT-style Transformer Decoder,核心特点:
- 输入: 拼接后的 [Z_n^{vl}; Z_n^s] 作为 Key/Value,H 个可学习动作查询 Q_a 作为 Query
- 并行解码: H 个动作查询在单次前向传播中同时输出 H 步连续动作,避免自回归的序列化延迟
- 输出: 连续动作块 A_n ∈ R^{H × d_a}(LIBERO: H=12, d_a=7; RoboTwin: H=50, d_a=14)
- 训练: 行为克隆 + L1 损失,无辅助语言建模目标
数据流:
视觉观察 --(DINOv3)--> Visual Features
语言指令 --(BERT)-----> Instruction Features
|
V-L Interaction Module
|
Action-Ready Features (Z_n^{vl})
|
+--- Robot State --(f_state)--> Z_n^s
|
V (Concat)
|
[H Learnable Queries Q_a] --> ACT Decoder --> Action Chunk
八、关键术语表
| 术语 | 英文 | 解释 | 首次出现 |
|---|---|---|---|
| VLA | Vision-Language-Action | 视觉 - 语言 - 动作模型,将视觉理解和动作生成统一在语言模型框架中 | 核心摘要 |
| V+L→A | Vision+Language→Action | TurboVLA 提出的架构范式,视觉和语言直接双向交互后输出动作,区别于 V→L→A | 二 -2.1 |
| BiAttentionBlock | Bi-Directional Attention Block | 双向注意力块,源自 GroundingDINO,同时计算 V→L 和 L→V 交叉注意力,使用 Layer Scale 保证训练稳定性 | 二 -2.2 |
| ACT Decoder | Action Chunking with Transformers Decoder | 使用可学习 action queries 通过 Transformer Decoder 解码动作序列,最后经 MLP + tanh 输出 | 四 -4.2 |
| Action Chunk | Action Chunk | 动作块,一次性输出固定长度的动作序列(LIBERO: 12 步,RoboTwin: 50 步) | 二 -2.2 |
| 自回归解码 | Autoregressive Decoding | 逐 token 串行生成,LLM 的标准解码方式 | 二 -2.1 |
| 边缘设备 | Edge Device | 本地计算设备(如 RTX 4090),无需云端连接 | 一 -1.3 |
| LIBERO | LIBERO | 标准 VLA 评测基准,包含 4 个子集(Spatial/Object/Goal/Long) | 三 -3.1 |
| RoboTwin | RoboTwin 2.0 | 机器人仿真基准,50 个 clean 任务,14-D 关节动作,LeRobot 数据格式 | 三 -3.1 |
| DINOv3 | DINOv3 | Meta 提出的视觉特征提取器,支持 ViT-B/ViT-L,无需微调即可使用 | 二 -2.2 |
| GroundingDINO | GroundingDINO | IDEA Research 的开放集目标检测模型,TurboVLA 复用其 BiMultiHeadAttention 组件 | 四 -4.2 |
九、相关论文推荐
9.1 前置知识(阅读本文前必读)
| 论文 | 作者/年份 | 关联说明 |
|---|---|---|
| GroundingDINO | Liu et al. 2023 | TurboVLA 复用其 BiMultiHeadAttention 组件,理解 V-L 双向交互的关键 |
| ACT (Action Chunking Transformer) | Zhao et al. 2023 | Action Chunk 概念的原始论文,TurboVLA 动作头的核心设计 |
| π0.5 (Physical Intelligence) | 2025 | TurboVLA 的主要对比对象,LLM-centric VLA 代表 |
| OpenVLA | Kim et al. 2024 | 开源 VLA 基线,理解 VLA 基本架构 |
9.2 相关工作与竞争方法
| 论文 | 作者/年份 | 与本文关系 |
|---|---|---|
| CogVLA | Li et al. 2025 | 8.3B 参数 VLA,性能强但部署成本高 |
| SmolVLA | Shukor et al. 2025 | 2.3B 轻量 VLA,但仍比 TurboVLA 大 10 倍 |
| Evo-1 | Lin et al. 2026 | 0.8B 轻量 VLA,延迟 137ms,TurboVLA 的直接竞品 |
| DDVLA | Liang et al. 2026 | 7.5B 参数但优化推理速度(60.8ms) |
| VLA-Adapter | Wang et al. 2026 | 1.5B 参数,延迟 87ms,TurboVLA 复用了其 LIBERO rollout 协议 |
| StarVLA | StarVLA Team 2026 | TurboVLA 复用了其 RoboTwin 训练/评估运行时(third_party/starvla_runtime) |
9.3 后续发展(引用本文的重要工作)
| 论文 | 作者/年份 | 对本文的改进/扩展 |
|---|---|---|
| 待论文被引用后补充 | — | — |
十、延伸资源
10.1 官方资源
- 论文 PDF: arxiv.org/abs/2607.27…
- 代码仓库: github.com/H-EmbodVis/…
- 项目主页: h-embodvis.github.io/TurboVLA/
- 模型权重: huggingface.co/H-EmbodVis/…
- 许可证: Apache 2.0
10.2 第三方解读
- 待社区讨论补充
十一、总结评价
11.1 质量评估
| 维度 | 评分 | 说明 |
|---|---|---|
| 创新性 | ⭐⭐⭐ | 首次证明 VLA 不需要 LLM 也能 SOTA,"去 LLM 化"思路新颖 |
| 技术深度 | ⭐⭐ | V-L 双向交互设计优雅,但缺少理论分析 |
| 实验充分性 | ⭐⭐⭐⭐☆ | LIBERO + 真实世界验证,但任务数量和场景有限 |
| 写作清晰度 | ⭐⭐⭐⭐ | 图表清晰,对比直观,动机阐述清楚 |
| 可复现性 | ⭐⭐⭐⭐⭐ | 代码开源,模型权重发布在 HuggingFace,文档完善,训练/评估脚本齐全 |
| 影响力 | ⭐⭐⭐⭐⭐ | 为边缘部署 VLA 开辟新方向,实用价值高 |
| 综合 | ⭐⭐⭐⭐☆ | 轻量级实时 VLA 的标杆工作,工程价值突出 |
11.2 推荐读者
- ✅ 强烈推荐: 做机器人部署的工程师、边缘计算研究者、实时控制系统开发者
- ✅ 推荐阅读: VLA 模型研究者、轻量级模型设计者、计算机视觉工程师
- ⚠️ 可选阅读: 传统 LLM 研究者(了解"去 LLM 化"思路)、机器人学研究者
- 不推荐: 纯理论研究者(偏工程应用)、NLP 研究者(不涉及语言理解创新)
11.3 最终评价
TurboVLA 是轻量级实时 VLA 领域的重要突破。其核心贡献在于:(1)首次证明 VLA 模型可以摒弃 LLM,用 0.2B 参数 + 双向 V-L 交互达到 SOTA 性能;(2)实现 32Hz 实时推理,使 VLA 真正可用于机器人实时控制;(3)0.9GB 显存占用让消费级 GPU 也能运行 VLA,大幅降低部署门槛。在 LIBERO 和真实世界实验中的全面验证(尤其是 4 个任务均超越 π0.5)充分证明了方法的有效性。需要注意的是,模型在复杂推理任务和长指令理解上仍有局限,未来可探索轻量级推理模块的引入。总体而言,这是 VLA 边缘部署方向不可错过的重要论文。
版权与免责
本文是个人学习向论文阅读笔记,仅用于技术交流,不用于任何商业用途。文中观点仅代表本人理解,不代表原论文作者、所属机构立场。
原文引用遵循著作权合理使用原则,少量摘抄内容、图表用于介绍与评述原论文。
原论文信息:《TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM》,作者:Hengyi Xie, Chenfei Yao et al.,来源:arXiv:2607.27205 (arxiv.org/abs/2607.27…
若版权方认为本文存在侵权问题,可联系本人,将第一时间处理删除。






