TurboVLA:0.2B 参数实现 32Hz 实时推理,RTX 4090 仅需 0.9GB 显存

2026-10-08 01:56:11593 阅读量

核心摘要

TurboVLA 是首个在边缘设备上实现 32Hz 实时推理的轻量级 VLA 模型,仅用 0.2B 参数(π0.5 的 6%)和 0.9GB 显存即可运行。通过摒弃 LLM 自回归解码,采用 V-L 双向交互模块直接生成动作块,在 LIBERO 基准上达到 97.7% 平均成功率。在真实世界机器人任务中,TurboVLA 以 31ms 延迟完成叠碗、抓取滚筒等任务,性能超越 π0.5 等大规模模型。

相关服务:美国GPU服务器


📋 基本信息

项目内容
论文标题TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM
作者Hengyi Xie*, Chenfei Yao*, Xianjin Wu, Xuanyang Xi, Yiping Tang, Di Xu, Yingying Zhu, Dingkang Liang†, Xiang Bai, Han Ding
第一作者单位华中科技大学(H-EmbodVis 团队)+ 华为技术有限公司
通讯作者Dingkang Liang(项目负责人)、Han Ding
期刊/会议arXiv:2607.27205 (2026 年 7 月)
发表年份2026
DOI/arXiv ID2607.27205
官方链接arxiv.org/abs/2607.27…
代码仓库github.com/H-EmbodVis/…
项目主页h-embodvis.github.io/TurboVLA/
模型权重huggingface.co/H-EmbodVis/…
论文类型方法(轻量级实时 VLA 模型)
难度级别⭐⭐⭐☆☆
推荐指数⭐⭐⭐⭐⭐
是否有开源代码✅
引用数待统计

一、这篇论文要解决什么问题?

1.1 领域背景

想象一个机器人需要完成"把三个碗叠起来"的任务。现有的 Vision-Language-Action(VLA)模型通常依赖大型语言模型(LLM)作为核心,比如 π0.5(3.4B 参数)、CogVLA(8.3B 参数)等。这些模型虽然性能强大,但面临三大部署瓶颈:

  1. 高延迟:LLM 的自回归解码需要 93ms+,动作更新频率仅 11Hz,机器人动作"卡顿"
  2. 高显存:需要 12-16GB VRAM,必须依赖远程服务器
  3. 高成本:需要网络连接到云端 GPU,受环境限制大

这就像让一个"思考过度"的司机开车——每次转动方向盘前都要长篇大论分析路况,结果反应太慢,容易出事故。

1.2 核心问题定义

如何在保持 VLA 模型强大语义理解能力的同时,实现边缘设备上的 32Hz 实时推理?

具体来说,现有 LLM-centric VLA 面临的核心矛盾:

  • 输入:多视角图像 + 语言指令
  • 输出:机器人动作序列(需要高频更新)
  • 核心矛盾:LLM 的自回归解码速度 vs 机器人控制的实时性需求

1.3 现有方法的不足

方法类别代表工作核心不足本文的改进方向
LLM-centric VLAπ0.5, CogVLA, OpenVLA依赖 LLM 自回归解码,延迟 93ms+,显存 12GB+,需远程服务器摒弃 LLM,采用轻量级 V-L 交互模块
Action Expert VLAACT, Diffusion Policy无语义理解能力,无法处理复杂语言指令保留语言编码器(BERT),维持语义理解
轻量级 VLASmolVLA, Evo-1参数量仍偏大(2.3B/0.8B),延迟 203ms/137ms极致压缩至 0.2B,延迟降至 31ms

1.4 本文的研究目标与贡献

核心目标:

  1. 构建超轻量级 VLA 模型(0.2B 参数),可在消费级 GPU(RTX 4090)上实时运行
  2. 实现 32Hz 动作更新频率,满足机器人控制的实时性需求
  3. 在保持语义理解能力的同时,大幅降低显存占用(<1GB)

贡献总结:

  • 🎯 理论贡献:提出 V+L→A 架构范式,摒弃 LLM 自回归解码,采用双向 V-L 交互直接生成动作
  • 🔧 方法贡献:设计 V-L Interaction Module(双向交叉注意力),融合视觉和语言特征
  • 📈 实践贡献:LIBERO 97.7% 成功率,真实世界 4 个任务均超越 π0.5,延迟仅 31ms

二、核心方法详解

figure_3_整体架构.png 图:TurboVLA 整体架构。左侧为整体流程:DinoV3 提取视觉特征,BERT 提取指令特征,经 V-L Interaction Module 融合后生成 Action-Ready Features,最后由 Action Chunk Decoder 输出动作块。右侧为 V-L Interaction Module 细节:N 层双向交叉注意力(Visual-to-Instruction + Instruction-to-Visual)。

2.1 方法概述与核心洞察

核心思想: TurboVLA 的核心洞察是——机器人控制不需要 LLM 的自回归"思考"过程,而是需要视觉和语言的快速"对话"。

核心洞察(Key Insight):

  • LLM 的自回归解码是"串行思考"(一个 token 接一个 token),速度慢
  • 机器人控制需要"并行反应"(同时处理视觉和语言,直接输出动作)
  • 解决方案:用双向交叉注意力替代 LLM,让视觉和语言特征直接"对话"

与现有方法的本质区别:

figure_2_架构对比与性能.png 图:左半部分对比三种架构范式。V→L→A(自回归 VLA):视觉特征先对齐到语言空间,再经 LLM 自回归解码生成动作。V+L→A(TurboVLA):视觉和语言特征通过双向交叉注意力直接融合,跳过多层 LLM 块,直接输出动作策略。右半部分为性能对比:TurboVLA(红色三角)在成功率 - 延迟散点图中位于左上角(高成功率、低延迟),参数量仅为其他方法的 1/40 到 1/8。

维度LLM-centric VLA (V→L→A)TurboVLA (V+L→A)
核心组件大型语言模型(Block 1~N)V-L Interaction Module(N 层双向交叉注意力)
解码方式自回归解码(串行)直接输出动作块(并行)
参数量3.4B~8.3B0.2B
推理延迟84~203ms31ms
动作频率5~11Hz32Hz

2.2 关键技术组件

组件 1:V-L Interaction Module — 让视觉和语言直接"对话"

功能: 替代传统 LLM 的多层 Transformer Block,通过双向交叉注意力实现视觉和语言特征的快速融合。

详细原理:

输入:

  • 视觉特征:DinoV3 提取的多视角图像特征(蓝色方块)
  • 指令特征:BERT 提取的语言指令特征(橙色方块)

处理: N 层双向交叉注意力模块,每层包含:

  1. Visual-to-Instruction Cross-Attn:视觉特征作为 Query,指令特征作为 Key/Value
  2. Instruction-to-Visual Cross-Attn:指令特征作为 Query,视觉特征作为 Key/Value
  3. Layer Norm + FFN:标准 Transformer 后处理

输出: Action-Ready Features(动作就绪特征),直接输入 Action Chunk Decoder

数学描述:

CrossAttn(Q,K,V)=softmax(QKTd)V\text{CrossAttn}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d}}\right)V

直觉解释: 想象视觉和语言是两个人在"对话"——视觉说"我看到碗在桌子上",语言说"任务是把碗叠起来",经过几轮对话后,双方达成共识"应该伸手去抓最上面的碗"。这个"对话"过程就是双向交叉注意力。

组件 2:Action Chunk Decoder — 直接输出动作序列

功能: 将 Action-Ready Features 解码为固定长度的动作块(Action Chunk),避免自回归解码的延迟。

详细原理:

  • 输入:Action-Ready Features + Robot State(机器人状态)
  • 输出:动作块 [at,...,at+chunksize−1][a_t, ..., a_{t+chunksize-1}],通常为 8-16 步动作
  • 解码方式:非自回归,一次性输出整个动作块

直觉解释: 传统 LLM 像"打字机"——一个一个字母输出;TurboVLA 像"打印机"——一次性输出一整行。

组件 3:轻量级特征编码器

视觉编码器: DINOv3 ViT-B/ViT-L(冻结预训练权重,freeze_vision_encoder=False 可选微调)

  • 提取多视角图像特征(encode_views_separately=True 逐视角编码,LIBERO 2 视角,RoboTwin 3 视角)
  • LIBERO 用 ViT-B(facebook/dinov3-vitb16-pretrain-lvd1689m),RoboTwin 用 ViT-L
  • 支持 bf16 自动混合精度(compute_precision="bf16_autocast"),自动剥离 CLS/前缀 token
  • 通过 VisionProjection(LayerNorm + MLP + Skip Connection)投影到隐藏维度 256
  • 支持两种位置编码:view(简单视角嵌入)和 learned_patch(可学习 patch 位置 + 缩放因子)

文本编码器: BERT base-uncased(冻结预训练权重,force_eval_when_frozen=True 始终 eval 模式)

  • 在线编码(每次 forward 都实时运行 BERT,无需预缓存文本特征)
  • 通过 text_projection(Linear 层)将 BERT hidden_size 投影到 hidden_dim=256
  • 支持 sub-sentence attention mask(generate_masks_with_special_tokens,基于 [CLS]/[SEP]/./? 分割子句)
  • 支持按指令动态调整 padding 长度(padding_length_by_instruction)
  • 默认 max_length=256,zero_padded_tokens=False

2.3 关键创新点深度解析

创新点 1:摒弃 LLM,采用 V+L→A 架构

创新之处: 首次证明 VLA 模型不需要 LLM 也能达到 SOTA 性能,且速度提升 3 倍。

与现有方法的对比:

维度π0.5 (LLM-centric)TurboVLA (V+L→A)优势
参数量3.4B0.2B41× 更小
推理延迟93.6ms31.2ms3× 更快
显存占用12.8GB0.9GB14× 更少
动作频率11Hz32Hz3× 更高
LIBERO 成功率96.9%97.7%略优

为什么有效:

  • 机器人控制是"感知 - 动作"映射,不需要 LLM 的"语言推理"能力
  • 双向交叉注意力足以融合视觉和语言信息
  • 动作块解码避免自回归延迟

创新点 2:边缘设备实时部署

创新之处: 首次在消费级 GPU(RTX 4090)上实现 32Hz VLA 推理。

figure_1_部署对比.png 图:部署方式对比。上排:LLM-centric VLA 依赖远程服务器,需要网络连接,延迟 93ms,动作更新 11Hz,任务未完成。下排:TurboVLA 直接在边缘设备运行,无需网络,延迟 31ms,动作更新 32Hz,任务完成。

维度LLM-centric VLATurboVLA
部署位置远程服务器边缘设备(RTX 4090)
网络依赖需要(高延迟、高成本)无需(低延迟、低成本)
显存占用12-16GB0.9GB
推理延迟93ms31ms
动作频率11Hz32Hz
任务完成未完成(太慢)完成(实时)

2.4 关键设计决策

决策选择方案替代方案选择理由
视觉编码器DinoV3CLIP, ResNetDinoV3 特征质量高,无需微调
文本编码器BERTLLM, GPT-2BERT 足够编码简单指令,速度快 100 倍
交互方式双向交叉注意力单向交叉、拼接双向交互信息融合更充分(见消融实验)
动作解码Action Chunk自回归 token非自回归解码速度快 3 倍
参数量0.2B1B+边缘设备显存限制(<1GB)

三、实验结果深度分析

3.1 实验设置

数据集与评测指标

数据集规模任务类型选择理由
LIBERO4 个子集(Spatial/Object/Goal/Long)桌面操作任务标准 VLA 评测基准
真实世界4 个任务机器人操作验证实物部署能力
指标含义重要性
成功率 (%)任务完成比例⭐⭐⭐⭐⭐
推理延迟 (ms)单次推理耗时⭐⭐⭐⭐⭐
参数量 (B)模型大小⭐⭐⭐⭐
显存占用 (GB)推理 VRAM⭐⭐⭐⭐

3.2 主实验结果

LIBERO 基准测试

figure_4_LIBERO结果.png 图:LIBERO 基准测试结果对比表。TurboVLA(最后一行)以 0.2B 参数、0.9GB 显存、31.2ms 延迟,达到 97.7% 平均成功率,超越所有对比方法。

方法类别方法参数量 (B)↓显存 (GB)↓延迟 (ms)↓LIBERO 平均成功率 (%)↑
Non-VLADiffusion Policy0.31.1924.872.4
Capability-oriented VLAs
OpenVLA7.514.9202.976.5
π0.53.412.893.696.9
CogVLA8.316.1115.597.4
Mantis4.97.9198.796.7
Acceleration-oriented VLAs
OpenVLA-OFT7.715.7112.297.1
DDVLA7.514.560.896.4
Lightweight VLAs
SmolVLA2.37.1203.188.8
Evo-10.81.7137.294.8
VLA-Adapter1.54.387.397.3
TurboVLA (Ours)0.20.931.297.7

关键发现:

  1. 参数量仅 0.2B:是 π0.5 的 6%,CogVLA 的 2.4%,但成功率最高
  2. 延迟 31.2ms:比最快的 DDVLA(60.8ms)还快 2 倍
  3. 显存 0.9GB:唯一能在消费级 GPU 上运行的 VLA 模型

方法对比(Per-task vs Multi-task)

figure_5_方法对比.png 图:Per-task training 和 Multi-task training 两类设置下的方法对比。TurboVLA 在 Multi-task 设置下以 0.4B 参数达到 60.2% 平均成功率,超越 UP-VLA(52.9%)和 π0.5(57.0%)。

Per-task training:

方法参数量 (B)↓延迟 (ms)↓平均成功率 (%)↑
Diffusion Policy0.1794.128.0
ACT0.120.429.7
π0.53.287.646.4
TurboVLA0.443.460.2

Multi-task training:

方法参数量 (B)↓延迟 (ms)↓平均成功率 (%)↑
UP-VLA1.674.352.9
π0.53.495.657.0
StarVLA-α3.874.950.3
TurboVLA0.443.460.2

3.3 真实世界实验

figure_6_真实世界实验.png 图:真实世界机器人实验。左图为硬件设置:AgileX PIPER 6-DoF 机械臂,配备 Third-View 和 Wrist-View 两个 D435 RGB-D 相机。右上图为 4 个任务的成功率对比:TurboVLA(绿色)在 Grab Roller、Move Playingcard、Press Stapler、Stack Bowls 四个任务上均超越 π0.5(橙色)。右下图为任务执行序列照片。

硬件设置:

  • 机械臂:6-DoF AgileX PIPER Robot Arm
  • 相机:Third-View + Wrist-View RGB-D Camera (D435)
  • 计算:RTX 4090(边缘设备)

任务成功率对比:

任务TurboVLA (%)π0.5 (%)提升
Grab Roller92.587.5+5.0
Move Playingcard80.077.5+2.5
Press Stapler90.082.5+7.5
Stack Bowls87.585.0+2.5

关键发现:

  • TurboVLA 在所有 4 个真实世界任务上均超越 π0.5(3.4B 参数)
  • 平均成功率提升 4.4%,证明轻量级模型也能在实物部署中表现出色
  • 32Hz 动作频率使机器人动作更流畅,任务完成度更高

3.4 消融实验

figure_7_消融实验.png 图:V-L 交互方式消融实验。对比 4 种配置:(a) w/o Interaction(无交互)、(b) Language Queries Visual(单向语言查视觉)、(c) Visual Queries Language(单向视觉查语言)、(d) Bidirectional Interaction(双向交互,本文方法)。

配置描述成功率 (%)
(a) w/o Interaction视觉和语言特征直接拼接,无交叉注意力最低
(b) Language Queries Visual仅 Instruction-to-Visual 单向交叉注意力中等
(c) Visual Queries Language仅 Visual-to-Instruction 单向交叉注意力中等
(d) Bidirectional Interaction双向交叉注意力(本文)最高

消融分析:

  • 双向交互 > 单向交互:证明视觉和语言需要"双向对话"才能充分融合
  • 单向交互 > 无交互:证明交叉注意力比简单拼接更有效
  • 结论:V-L Interaction Module 的双向设计是性能提升的关键

四、代码解读与复现指南

4.1 核心流程概览(基于实际仓库结构)

TurboVLA/
├── turbovla/                       # 核心库
│   ├── models/
│   │   ├── turbovla.py             # TurboVLA 主模型(VisionLanguageInteraction + TurboVLAActionHead)
│   │   ├── action_head.py          # StateProjection + ACTDecoder(Transformer Decoder)
│   │   ├── configuration.py        # 5 个 Dataclass 配置(Text/Vision/Interaction/Action/TurboVLA)
│   │   ├── vision_encoder.py       # DINOv3VisionEncoder(支持 ViT-B/ViT-L,bf16 自动混合精度)
│   │   ├── text_encoder.py         # TurboVLATextEncoder(在线 BERT 编码 + 文本投影)
│   │   └── components/
│   │       ├── fusion.py           # BiMultiHeadAttention + BiAttentionBlock(源自 GroundingDINO)
│   │       ├── transformer.py      # TransformerEncoderLayer(文本自注意力)
│   │       └── utils.py            # MLP、_get_clones 等工具
│   ├── training/
│   │   ├── train_mixed.py          # LIBERO 混合套件训练入口
│   │   ├── trainer.py              # 训练器(分布式、日志、checkpoint)
│   │   └── pi05.py                 # pi0.5 风格训练超参配置
│   ├── evaluation/
│   │   ├── policy.py               # 推理策略封装
│   │   └── suite_policy.py         # 评测套件策略
│   ├── data/
│   │   ├── libero_rlds.py          # LIBERO RLDS 数据集加载
│   │   ├── mixed_suite.py          # 混合套件数据集
│   │   └── suite_stats.py          # 归一化统计
│   └── text/
│       └── bert.py                 # BertModelWarper + generate_masks_with_special_tokens
├── experiments/
│   ├── libero/                     # LIBERO 实验入口(train.py / evaluate.py)
│   └── robotwin/                   # RoboTwin 实验入口(train.py / evaluate.py)
├── scripts/
│   ├── libero/                     # LIBERO 辅助脚本(no-noops 生成、结果聚合)
│   └── robotwin/                   # RoboTwin 脚本(数据准备、训练、评估)
└── third_party/
    ├── starvla_runtime/            # StarVLA 兼容的 RoboTwin 训练/评估运行时
    └── vla_adapter/                # VLA-Adapter 的 LIBERO rollout 协议

4.2 核心代码逻辑(基于实际源码)

4.2.1 V-L Interaction Module(turbovla/models/turbovla.py)

# 实际代码:VisionLanguageInteraction
class VisionLanguageInteraction(nn.Module):
    def __init__(self, config: InteractionConfig) -> None:
        super().__init__()
        # 每层包含:1 个 BiAttentionBlock(双向交叉注意力)+ 1 个 TransformerEncoderLayer(文本自注意力)
        text_layer = TransformerEncoderLayer(
            d_model=config.hidden_dim,         # 默认 256
            nhead=max(1, config.nheads // 2),  # 默认 4
            dim_feedforward=config.enhancer_inner_dim,  # 默认 1024
        )
        fusion_layer = BiAttentionBlock(
            v_dim=config.hidden_dim,           # 256
            l_dim=config.hidden_dim,           # 256
            embed_dim=config.enhancer_inner_dim,  # 1024
            num_heads=max(1, config.nheads // 2),   # 4
            drop_path=config.fusion_droppath,  # 0.1(Layer Scale + DropPath)
            residual_style=config.residual_style,  # "normalized"
        )
        self.text_layers = _get_clones(text_layer, config.num_layers)   # 默认 6 层
        self.fusion_layers = _get_clones(fusion_layer, config.num_layers)  # 默认 6 层

    def forward(self, visual_tokens, text_tokens, text_key_padding_mask, text_self_attention_masks):
        for fusion_layer, text_layer in zip(self.fusion_layers, self.text_layers):
            # 步骤 1:双向交叉注意力(视觉 ↔ 语言),源自 GroundingDINO 的 BiMultiHeadAttention
            visual_tokens, text_tokens = fusion_layer(
                v=visual_tokens, l=text_tokens,
                attention_mask_l=text_key_padding_mask,
            )
            # 步骤 2:文本自注意力(语言内部推理)
            text_tokens = text_layer(src=text_tokens.transpose(0, 1), ...).transpose(0, 1)
        return visual_tokens, text_tokens

关键发现:实际实现并非简单的双向交叉注意力,而是 BiAttentionBlock(源自 GroundingDINO)+ TransformerEncoderLayer 的交替堆叠。BiAttentionBlock 使用 Layer Scale(gamma_v, gamma_l)和 DropPath 保证训练稳定性。BiMultiHeadAttention 同时计算 V→L 和 L→V 两个方向的注意力,共享 Q/K/V 投影但独立输出投影。

4.2.2 Action Head(turbovla/models/action_head.py)

# 实际代码:ACT Decoder(非简单 MLP)
class ACTDecoder(nn.Module):
    def __init__(self, config, hidden_dim, nheads, dim_feedforward):
        super().__init__()
        self.horizon = config.horizon                    # LIBERO: 12, RoboTwin: 50
        self.action_queries = nn.Embedding(self.horizon, hidden_dim)  # 可学习动作查询
        decoder_layer = nn.TransformerDecoderLayer(
            d_model=hidden_dim, nhead=nheads,            # 8 头注意力
            dim_feedforward=dim_feedforward,             # 2048
            num_layers=config.num_layers,                # 3 层 Transformer Decoder
            batch_first=True, norm_first=True,
        )
        self.decoder = nn.TransformerDecoder(decoder_layer, num_layers=config.num_layers)
        self.action_projection = MLP(hidden_dim, config.mlp_hidden_dim, config.action_dim, 3)  # 3 层 MLP

    def forward(self, memory):
        queries = self.action_queries.weight.unsqueeze(0).expand(memory.shape[0], -1, -1)
        hidden = self.decoder(tgt=queries, memory=memory)  # memory = V-L tokens + State tokens
        return torch.tanh(self.action_projection(hidden))  # tanh 归一化输出

关键发现:动作头并非简单 MLP,而是 ACT(Action Chunking with Transformers)Decoder——使用可学习的 action queries 通过 3 层 Transformer Decoder 交叉注意力从 V-L 特征中解码动作序列,最后经 3 层 MLP + tanh 输出。State 通过 StateProjection(LayerNorm + Linear + GELU + Dropout + Linear)投影为 num_state_tokens=2 个 token,与 V-L tokens 拼接后作为 memory。

4.2.3 配置系统(turbovla/models/configuration.py)

# 实际默认配置(LIBERO 设置)
@dataclass
class InteractionConfig:
    hidden_dim: int = 256          # 隐藏维度
    nheads: int = 8                # 注意力头数
    num_layers: int = 6            # V-L 交互层数
    dim_feedforward: int = 2048    # FFN 维度
    enhancer_inner_dim: int = 1024 # BiAttentionBlock 内部维度

@dataclass
class ActionHeadConfig:
    action_dim: int = 7            # LIBERO: 7-D(6 关节 + 1 夹爪)
    state_dim: int = 8             # 机器人状态维度
    horizon: int = 12              # 动作块长度(LIBERO: 12 步)
    num_state_tokens: int = 2      # 状态 token 数
    num_layers: int = 3            # ACT Decoder 层数

4.3 复现命令(基于实际 README)

# 环境配置
git clone https://github.com/H-EmbodVis/TurboVLA.git
cd TurboVLA
conda create -n turbovla-libero python=3.10 -y && conda activate turbovla-libero
pip install torch==2.3.1 torchvision==0.18.1 --index-url https://download.pytorch.org/whl/cu121
pip install -e ".[libero]"
# 另需安装 LIBERO: https://github.com/Lifelong-Robot-Learning/LIBERO

# 下载预训练权重
pip install -U huggingface_hub
hf download H-EmbodVis/TurboVLA --local-dir pretrained/TurboVLA

# LIBERO 训练(4 卡,每卡 batch_size=8,梯度累积 4 步,共 80k 步)
torchrun --nproc_per_node=4 experiments/libero/train.py \
  --dataset_dirs "data/libero/libero_10_no_noops/1.0.0,data/libero/libero_goal_no_noops/1.0.0,data/libero/libero_object_no_noops/1.0.0,data/libero/libero_spatial_no_noops/1.0.0" \
  --stats_path experiments/libero/configs/libero_all4_stats.json \
  --stats_key libero_all4_no_noops \
  --dinov3_path facebook/dinov3-vitb16-pretrain-lvd1689m \
  --bert_path google-bert/bert-base-uncased \
  --allow_hf_download \
  --pretrained_init_ckpt /path/to/groundingdino_swint_ogc.pth \
  --batch_size 8 \
  --checkpoint_dir outputs/libero

# LIBERO 评估(单卡,单套件)
python experiments/libero/evaluate.py \
  --ckpt_path pretrained/TurboVLA/checkpoints/libero/libero_object.pth \
  --dinov3_path /path/to/dinov3-vitb \
  --bert_path /path/to/bert-base-uncased \
  --stats_path experiments/libero/configs/libero_all4_stats.json \
  --stats_key libero_all4_no_noops \
  --task_suite_name libero_object \
  --num_trials_per_task 50 \
  --chunk_size 12 --num_open_loop_steps 12 \
  --seed 7 --precision bf16

# RoboTwin 训练(4 卡,ViT-L,14-D 动作,50 步 ACT,55k 步)
export ROBOTWIN_DATA_ROOT="$PWD/playground/Datasets/RoboTwin"
export BERT_MODEL_PATH=/path/to/bert-base-uncased
export TURBOVLA_INIT_CKPT=/path/to/groundingdino_swint_ogc.pth
export DINOV3_MODEL_PATH=/path/to/dinov3-vitl
MAX_TRAIN_STEPS=55000 RUN_ID=turbovla_robotwin_clean50_55k bash scripts/robotwin/train.sh

4.4 复现难度评估

维度难度说明
环境配置⭐⭐☆☆需分别配置 LIBERO(TFDS/RLDS)和 RoboTwin(flash-attn)两套环境
数据准备⭐⭐⭐☆☆LIBERO 需下载 4 个 no-noops 套件(TFDS 格式),RoboTwin 需下载 LeRobot 格式数据
模型初始化⭐⭐☆☆需下载 GroundingDINO Swin-T 权重作为初始化(pretrained_init_ckpt)
训练复现⭐⭐☆☆LIBERO 需 4 卡 GPU(80k 步),RoboTwin 需 4 卡 GPU(55k 步)
总体⭐⭐☆☆☆代码结构清晰,文档完善,但环境配置有一定门槛

五、局限性与批判性分析

5.1 方法局限

局限具体表现根本原因改进思路
复杂推理能力弱无法处理需要多步逻辑推理的任务摒弃 LLM 后失去语言推理能力引入轻量级推理模块(如 0.5B 小 LLM)
长指令理解有限BERT 最大 512 token,无法处理长文本BERT 的序列长度限制采用 Longformer 或分段处理
单任务泛化跨任务迁移能力未充分验证仅在 LIBERO 和 4 个真实任务测试增加跨数据集泛化实验

5.2 实验设计局限

  • 数据集规模: LIBERO 仅 4 个子集,样本量有限,无法验证大规模数据下的表现
  • 真实世界任务: 仅 4 个简单桌面操作任务,未测试复杂场景(如厨房、仓库)
  • 对比方法: 未与部分最新轻量级 VLA(如 DreamVLA)进行直接对比
  • 硬件多样性: 仅在 RTX 4090 上测试,未验证其他边缘设备(如 Jetson、移动端)

5.3 论文本身不足

  • 缺少对 V-L Interaction Module 层数(N)的消融实验
  • 未讨论 Action Chunk 大小对性能的影响
  • 缺少失败案例分析(什么情况下 TurboVLA 会失败?)
  • 未提供与人类操作者的性能对比

5.4 潜在风险

  • 安全风险: 32Hz 高频动作若出现错误,可能导致快速危险动作
  • 部署风险: 0.9GB 显存虽低,但仍需 GPU,纯 CPU 设备无法运行
  • 泛化风险: 在训练数据分布外的场景可能表现不佳

六、启发与应用

6.1 启发

对研究者:

  • "去 LLM 化"思路: 不是所有任务都需要 LLM,简单任务用轻量级模块反而更好
  • V-L 双向交互: 双向交叉注意力是融合多模态信息的有效方式,可迁移到其他任务
  • 边缘部署优先: 设计模型时应考虑部署约束(显存、延迟),而非仅追求性能

对工程师:

  • 落地场景: 桌面操作机器人、服务机器人、教育机器人等对实时性要求高的场景
  • 硬件选择: RTX 4090 即可运行,无需昂贵的 A100/H100
  • 优化空间: 模型量化(INT8/INT4)可进一步降低显存,适配更低端设备

对行业:

  • VLA 模型正从"云端大模型"走向"边缘小模型",降低部署门槛
  • 32Hz 实时控制使 VLA 可用于高速操作任务(如装配、分拣)
  • 轻量级 VLA 有望进入消费级机器人市场

6.2 方法改进方向

时间维度改进方向思路预期效果难度
短期(1 年内)模型量化INT8/INT4 量化显存降至 0.5GB 以下⭐
短期(1 年内)CPU 推理优化ONNX/TensorRT 优化无需 GPU 即可运行⭐⭐
中期(1-3 年)复杂任务扩展引入轻量推理模块处理多步逻辑任务⭐⭐⭐⭐
中期(1-3 年)移动部署适配 Jetson/移动端真正边缘化⭐⭐⭐⭐
长期(3 年+)自监督预训练大规模无标注数据预训练提升泛化能力⭐⭐⭐⭐⭐

6.3 跨领域应用与开放问题

  • 跨领域应用:

    • 无人机控制:视觉 + 语言指令的实时飞行控制
    • 自动驾驶:轻量级 VLA 用于车载实时决策
    • 智能家居:语音指令驱动的家电控制
  • 开放问题:

    1. 如何在保持实时性的同时提升复杂推理能力?
    2. 如何实现跨机器人形态的零样本迁移?
    3. 如何在纯 CPU 设备上实现 32Hz 推理?
    4. 如何保证高频动作的安全性(避免快速错误动作)?

七、问题与解答

Q1: 视觉和语言独立编码,如何保证信息融合?

TurboVLA 的策略是"先独立编码,后深度融合"。独立编码用轻量级编码器(DINOv3 + BERT)高效提取模态特有特征,避免 LLM 的冗余开销。融合靠的是 N 层堆叠的双向交叉注意力模块(BiAttentionBlock,源自 GroundingDINO):

  • 指令→视觉: 语言特征作 Query,引导视觉关注任务相关区域(如"拿起红色的碗"→关注红色碗的视觉信息)
  • 视觉→指令: 视觉特征作 Query,用场景上下文细化语言表示(如视觉中只有一个可操作物体→强化指令中的指代)

N 层交互后,V^N 和 L^N 拼接为 Z^L = [V^N; L^N]。

消融实验验证(论文表 5):

配置成功率
无交互(简单拼接)95.2%
仅指令→视觉96.1%
仅视觉→指令96.5%
双向交互97.7%

双向交互提供互补信息,是性能提升的关键。

Q2: 创新仅仅是"语言和视觉并行处理"吗?

不只是并行处理。核心在于将 VLA 范式从 V→L→A 转变为 V+L→A,具体分三层:

  1. 轻量级模态独立编码: BERT 处理指令,DINOv3 处理视觉。执行层面的机器人指令(对象、属性、空间关系)不需要 LLM 的开放式推理能力
  2. 双向 V-L 交互模块(核心): 用紧凑的多层双向交叉注意力替代 LLM 作为融合中心,产生"指令条件化视觉特征"和"视觉感知指令特征"
  3. 非自回归动作解码: ACT Decoder 一次性预测连续动作块,LLM 完全从执行路径中移除

前端并行只是第一步,更深层的是如何替代 LLM 完成深度融合,并通过非自回归解码实现实时控制。

Q3: 去除 LLM 后,长链路复杂任务是否受限?

是的,这是核心局限。论文结论原文:

"TurboVLA is designed primarily for concrete execution-level instructions and may not provide the complex semantic understanding and reasoning required for high-level task planning."

三个原因:

  • BERT 只提取执行层面语义,不具备 LLM 的世界知识和任务分解能力(如"准备早餐"→"拿鸡蛋""煎蛋""烤面包")
  • 模型专注于根据当前观察和单一指令预测短时序动作块,没有长时序规划或自主重规划机制
  • 设计假设指令已明确指定操作技能,适合"指令清晰、步骤直接"的执行层面操作

论文提出的未来方向是分层系统:LLM 负责高层任务分解,TurboVLA 负责低层实时执行。

Q4: 机器人状态(Robot State)如何导入?

机器人状态(关节角度、末端执行器姿态等)通过轻量级投影网络 f_state 独立编码为状态 token,不经过视觉-语言交互模块,直接在动作块解码阶段与融合特征拼接:

Zns=fstate(Sn)∈RNs×d\mathbf{Z}_n^s = f_{\text{state}}(S_n) \in \mathbb{R}^{N_s \times d}

A^n=Dθ(Qa,[Znvl;Zns])\hat{\mathbf{A}}_n = D_\theta(\mathbf{Q}_a, [\mathbf{Z}_n^{vl}; \mathbf{Z}_n^s])

实际代码中 f_state 为 StateProjection(LayerNorm + Linear + GELU + Dropout + Linear),默认生成 2 个状态 token。

设计逻辑:V-L 交互模块专注场景理解("做什么""在哪里做"),机器人状态提供物理约束("如何做"),职责分离。

Q5: 动作块解码器如何工作?

采用 ACT-style Transformer Decoder,核心特点:

  • 输入: 拼接后的 [Z_n^{vl}; Z_n^s] 作为 Key/Value,H 个可学习动作查询 Q_a 作为 Query
  • 并行解码: H 个动作查询在单次前向传播中同时输出 H 步连续动作,避免自回归的序列化延迟
  • 输出: 连续动作块 A_n ∈ R^{H × d_a}(LIBERO: H=12, d_a=7; RoboTwin: H=50, d_a=14)
  • 训练: 行为克隆 + L1 损失,无辅助语言建模目标

数据流:

视觉观察 --(DINOv3)--> Visual Features
语言指令 --(BERT)-----> Instruction Features
                              |
                    V-L Interaction Module
                              |
                    Action-Ready Features (Z_n^{vl})
                              |
                    +--- Robot State --(f_state)--> Z_n^s
                    |
                    V (Concat)
                    |
    [H Learnable Queries Q_a] --> ACT Decoder --> Action Chunk

八、关键术语表

术语英文解释首次出现
VLAVision-Language-Action视觉 - 语言 - 动作模型,将视觉理解和动作生成统一在语言模型框架中核心摘要
V+L→AVision+Language→ActionTurboVLA 提出的架构范式,视觉和语言直接双向交互后输出动作,区别于 V→L→A二 -2.1
BiAttentionBlockBi-Directional Attention Block双向注意力块,源自 GroundingDINO,同时计算 V→L 和 L→V 交叉注意力,使用 Layer Scale 保证训练稳定性二 -2.2
ACT DecoderAction Chunking with Transformers Decoder使用可学习 action queries 通过 Transformer Decoder 解码动作序列,最后经 MLP + tanh 输出四 -4.2
Action ChunkAction Chunk动作块,一次性输出固定长度的动作序列(LIBERO: 12 步,RoboTwin: 50 步)二 -2.2
自回归解码Autoregressive Decoding逐 token 串行生成,LLM 的标准解码方式二 -2.1
边缘设备Edge Device本地计算设备(如 RTX 4090),无需云端连接一 -1.3
LIBEROLIBERO标准 VLA 评测基准,包含 4 个子集(Spatial/Object/Goal/Long)三 -3.1
RoboTwinRoboTwin 2.0机器人仿真基准,50 个 clean 任务,14-D 关节动作,LeRobot 数据格式三 -3.1
DINOv3DINOv3Meta 提出的视觉特征提取器,支持 ViT-B/ViT-L,无需微调即可使用二 -2.2
GroundingDINOGroundingDINOIDEA Research 的开放集目标检测模型,TurboVLA 复用其 BiMultiHeadAttention 组件四 -4.2

九、相关论文推荐

9.1 前置知识(阅读本文前必读)

论文作者/年份关联说明
GroundingDINOLiu et al. 2023TurboVLA 复用其 BiMultiHeadAttention 组件,理解 V-L 双向交互的关键
ACT (Action Chunking Transformer)Zhao et al. 2023Action Chunk 概念的原始论文,TurboVLA 动作头的核心设计
π0.5 (Physical Intelligence)2025TurboVLA 的主要对比对象,LLM-centric VLA 代表
OpenVLAKim et al. 2024开源 VLA 基线,理解 VLA 基本架构

9.2 相关工作与竞争方法

论文作者/年份与本文关系
CogVLALi et al. 20258.3B 参数 VLA,性能强但部署成本高
SmolVLAShukor et al. 20252.3B 轻量 VLA,但仍比 TurboVLA 大 10 倍
Evo-1Lin et al. 20260.8B 轻量 VLA,延迟 137ms,TurboVLA 的直接竞品
DDVLALiang et al. 20267.5B 参数但优化推理速度(60.8ms)
VLA-AdapterWang et al. 20261.5B 参数,延迟 87ms,TurboVLA 复用了其 LIBERO rollout 协议
StarVLAStarVLA Team 2026TurboVLA 复用了其 RoboTwin 训练/评估运行时(third_party/starvla_runtime)

9.3 后续发展(引用本文的重要工作)

论文作者/年份对本文的改进/扩展
待论文被引用后补充——

十、延伸资源

10.1 官方资源

10.2 第三方解读

  • 待社区讨论补充

十一、总结评价

11.1 质量评估

维度评分说明
创新性⭐⭐⭐首次证明 VLA 不需要 LLM 也能 SOTA,"去 LLM 化"思路新颖
技术深度⭐⭐V-L 双向交互设计优雅,但缺少理论分析
实验充分性⭐⭐⭐⭐☆LIBERO + 真实世界验证,但任务数量和场景有限
写作清晰度⭐⭐⭐⭐图表清晰,对比直观,动机阐述清楚
可复现性⭐⭐⭐⭐⭐代码开源,模型权重发布在 HuggingFace,文档完善,训练/评估脚本齐全
影响力⭐⭐⭐⭐⭐为边缘部署 VLA 开辟新方向,实用价值高
综合⭐⭐⭐⭐☆轻量级实时 VLA 的标杆工作,工程价值突出

11.2 推荐读者

  • ✅ 强烈推荐: 做机器人部署的工程师、边缘计算研究者、实时控制系统开发者
  • ✅ 推荐阅读: VLA 模型研究者、轻量级模型设计者、计算机视觉工程师
  • ⚠️ 可选阅读: 传统 LLM 研究者(了解"去 LLM 化"思路)、机器人学研究者
  • 不推荐: 纯理论研究者(偏工程应用)、NLP 研究者(不涉及语言理解创新)

11.3 最终评价

TurboVLA 是轻量级实时 VLA 领域的重要突破。其核心贡献在于:(1)首次证明 VLA 模型可以摒弃 LLM,用 0.2B 参数 + 双向 V-L 交互达到 SOTA 性能;(2)实现 32Hz 实时推理,使 VLA 真正可用于机器人实时控制;(3)0.9GB 显存占用让消费级 GPU 也能运行 VLA,大幅降低部署门槛。在 LIBERO 和真实世界实验中的全面验证(尤其是 4 个任务均超越 π0.5)充分证明了方法的有效性。需要注意的是,模型在复杂推理任务和长指令理解上仍有局限,未来可探索轻量级推理模块的引入。总体而言,这是 VLA 边缘部署方向不可错过的重要论文。

版权与免责

本文是个人学习向论文阅读笔记,仅用于技术交流,不用于任何商业用途。文中观点仅代表本人理解,不代表原论文作者、所属机构立场。

原文引用遵循著作权合理使用原则,少量摘抄内容、图表用于介绍与评述原论文。

原论文信息:《TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM》,作者:Hengyi Xie, Chenfei Yao et al.,来源:arXiv:2607.27205 (arxiv.org/abs/2607.27…

若版权方认为本文存在侵权问题,可联系本人,将第一时间处理删除。

本文地址:https://www.limyvps.com/news/26_234022.html