具身智能大模型技术综述：VLA、世界模型、策略学习、机器人基础模型、Sim2Real 与 LLaDA

版本：2026-07-17 完整版

证据口径：文中区分论文公开事实、综述归纳和证据缺口。跨论文成功率只有在 benchmark、split、输入、动作空间、适配制度和统计协议同构时才可横向比较；否则只用于说明论文内趋势。

摘要

具身智能与纯视觉语言模型的根本区别，不在于模型是否更大，而在于输出是否进入真实反馈闭环并改变下一次输入。一个完整系统至少包含：观察与语言目标 → 内部表征 → 动作生成或选择 → 执行 → 环境改变 → 新观察。因此，VLA、世界模型、动作扩散、轨迹规划器和生成式模拟器即使共享 Transformer，也可能承担完全不同的决策责任。

本报告以“动作从哪里来”为第一坐标：一是视觉语言模型直接生成离散动作 token；二是 diffusion/flow 在连续空间生成动作块；三是 masked discrete diffusion 迭代填充离散动作块；四是世界模型预测动作后果并在线搜索或训练 actor；五是高层规划器组合低层技能。再以感知表征、世界预测、动作生成、长程决策、真实迁移和数据规模化六类能力问题横向审计。核心结论是：当前没有脱离任务接口的普遍最优路线；所谓进步，本质上是在语义迁移、控制精度、模型调用次数、反馈频率、数据成本和安全责任之间重新分工。

领域演进也不是参数量编年史。2016—2020 年的主要矛盾是仿真支持集、系统辨识和模型式规划；2021—2022 年转向序列策略、多峰动作和轨迹生成；2023 年动作 token 与 Web 视觉语言知识进入机器人；2024 年开放 VLA、连续 action expert、跨本体数据和真实场景采集成为主轴；2025—2026 年进一步分化为连续 flow、离散 masked diffusion 与生成式 world data engine。旧问题——视觉域差、动力学误差、离线分布偏移和安全——并未消失，只是被更大数据与预训练后移。

对 LLaDA 的专项判断是：LLaDA 已有一个可由论文正文确认的直接机器人控制落点 LLaDA-VLA，它明确使用 LLaDA 语言骨干与 LLaDA-V 预训练权重，并在仿真和真实机器人上生成动作；但截至检索截止日，尚未严格确认第二项同谱系直接控制工作，LLaDA-o、LLaDA2.0-Uni 的公开实验也没有机器人动作控制。因此它不是“零落地”，也不是成熟具身生态。Discrete Diffusion VLA、Diffusion Policy、π0、GR00T N1 等是重要相邻机制，但分别属于架构复用或仅生成形式类比，不能并入 LLaDA 血缘。

1. 入门坐标：先看闭环，再看模型名字

1.1 统一信息流

可把具身系统写成：

o_t, g → z_t → 候选动作/策略输出 → a_t → 环境执行 → o_{t+1}

其中 o_t 可包括单帧或多帧图像、本体状态、触觉和历史，g 是语言指令、目标图像或奖励，z_t 是显式或隐式表征，a_t 可以是单步动作、动作块、轨迹前缀或技能调用。真正决定系统性质的是：输出怎样成为执行器命令、执行多少步后读取新观察、预测是否改变当前动作。

VLA 把视觉、语言与动作置于端到端或紧耦合模型中；直接策略范围更宽，ACT、Behavior Transformer 和 Diffusion Policy 没有大语言模型也直接从观察映射到动作；机器人基础模型强调预训练表示和接口能否跨任务、本体复用，“基础性”来自覆盖与适配，而非参数量；世界模型学习动作条件未来，但只有当预测被规划器、actor 训练或外部策略消费时，才真正进入决策链。[1–9]

一个系统可以同时含高层语言规划、VLA、世界模型和安全控制器。分类不是为了给论文贴唯一标签，而是确定误差责任：高层规划器负责技能组合却不替代接触控制；VLA 直接出动作却不天然安全；世界模型能比较后果，却可能被规划器利用预测误差。

1.2 四种常被混淆的“动作”

• 动作 token：把连续控制量量化为类别，生成后反量化。共用语言 token 接口不等于已获得物理 grounding；坐标系、量程、频率和关节/末端语义仍由数据 schema 决定。

• action chunk：一次预测未来多步动作。它可缩短有效决策长度并保持时间一致，却引入块内承诺。完整执行、执行前缀后重规划、每步重查询并融合重叠块，是三种不同协议。

• trajectory：通常联合包含未来状态、动作，部分还含 reward 或 return-to-go。若未来状态和回报参与当前动作选择，它已超出直接策略。

• latent action：未必对应执行器。Genie 从无动作标签视频反演出的 latent action 能控制画面变化，但不自动对应关节、末端位姿或力矩，也不自带 policy 与 reward。[10–14]

1.3 判断世界模型的三问

1. 是否预测未来观察、状态、latent、reward 或 value-relevant 信息？

2. 预测是否以候选动作为条件？

3. 预测是否在部署搜索、想象训练或数据生成中改变最终动作？

PlaNet、MuZero、TD-MPC 在真实动作前模拟候选后果，分别用 CEM、MCTS、MPPI 选动作，是在线 planner。[15–17] DreamerV3、DayDreamer 用 latent imagination 训练 actor-critic，部署由 actor 直接动作，世界模型主要在训练闭环。[18][19] Genie、UniSim 更接近交互环境或 data engine，成功标准转为动作 fidelity、奖励 fidelity、长期一致和策略访问分布覆盖。[13][20]

角色不是线性代际。控制 latent 可以舍弃纹理以降低搜索成本；可观察生成环境则承担更强的视觉一致和动作干预要求。视频逼真不能推出碰撞、支撑、守恒、对象恒常或不可视力学正确。

1.4 生成内部迭代不等于环境闭环

连续 diffusion 的多次去噪、flow 的 Euler 积分、masked diffusion 的多轮填充，通常都以同一观察为条件。只有动作执行后读入 o_{t+1}，才发生新的感知—动作闭环。采样多样性仅表明模型能表达多个动作模式，不等于样本频率与真实频率一致；softmax、top-1/top-2 gap 和 ensemble disagreement 也只能称代理信号，除非另有 reliability、ECE、Brier、NLL 或 coverage 证据。

2. 五阶段发展脉络：瓶颈如何迁移

2.1 仿真与模型式控制地基

Domain Randomization 随机纹理、相机、光照和背景，让真实图像在特定任务中更可能落入训练支持集；Dynamics Randomization 随机质量、摩擦、阻尼、控制增益和延迟，让历史条件策略隐式辨识动力学。[21][22] 二者的前提是现实落在模拟模型族支持范围内；结构性接触错误、柔性和磨损不会因参数变宽自动消失。SimOpt 用少量真实 rollout 比较真实与模拟轨迹，再更新参数分布，减少盲目随机化，但仍受模拟器表达能力和不可辨识性限制。[23]

PlaNet 学动作条件随机 latent、观察和 reward，并用 CEM 搜索；MuZero 不重建观察，只保留 reward、policy、value 搜索所需信息。[15][16] 这奠定了世界模型的两种语义：可观察预测与决策等价表示。新问题是规划成本、终端价值误差以及 planner 主动寻找模型漏洞。

2.2 序列策略与轨迹生成

BeT 以动作簇加连续残差避免互斥示范被均值化；ACT 一次预测动作块并在每个控制步重新查询，以 temporal ensemble 融合重叠预测。[10][11] 动作块有助于局部时间一致，但不等于任务级长程规划。Trajectory Transformer 联合建模状态、动作、reward、RTG 并 beam search；Diffuser 对整段状态—动作轨迹去噪并通过 inpainting 或 return guidance 加约束。[12][14] 它们让未来状态参与当前动作选择，却付出搜索时延和分布外模型利用风险。

2.3 语言接地与动作 token

RT-2 把连续动作维量化为 256 个 bin，以 VLM next-token 方式生成动作；论文在其机器人评测设定下报告，机器人示范与 Web 视觉语言数据共训后，对象、符号和关系相关任务的表现得到改善。作者将这部分增益归因于 Web 视觉语言知识迁移，同时明确这种共训没有自动产生新运动技能。[1] RoboCat 将图像、本体状态、目标和动作离散为统一序列，并以示范、微调、真机采集、成功筛选、重训形成数据回流；其新任务/本体结果仍依赖目标数据适配。[3]

Open X-Embodiment 聚合异质机器人数据，证明跨数据集混合可有正迁移；但 RLDS 文件统一不等于物理动作统一，坐标、相机、绝对/相对动作和控制模式仍不同。[24]

2.4 开放 VLA、连续 action expert 与真实数据

OpenVLA 以 SigLIP+DINOv2 视觉特征接 Llama 2 7B，输入单张 RGB 与语言，逐维生成 7D 量化动作，并开放权重与适配工具；标准版本没有历史、多相机、本体状态或动作块。[2] Octo 使用可插拔 tokenizer/readout 与小型 diffusion action head，共享 Transformer 负责跨数据表示；迁移依赖共同 delta 末端动作子空间。[5]

π0 把语义 VLM 与动作专家解耦：PaliGemma expert 处理图文，状态与带噪动作进入 action expert，两者通过 attention 交互，以 flow matching 学连续动作块。[6] 能力来自架构、数据、目标域后训练和系统栈的组合，不能独归 flow。DROID 在统一 Franka 栈上扩大场景、相机和操作者变化，与 OXE 的多本体异构形成互补。[25]

2.5 解码分化与生成 data engine

GR00T N1 以 VLM+flow-matching DiT 构成共享核心，为每种本体保留 state/action MLP，说明跨本体关键在 schema 边界。[7] Discrete Diffusion VLA 在 OpenVLA 风格骨干上把动作区改为 masked diffusion；LLaDA-VLA 则直接继承 LLaDA/LLaDA-V 的 diffusion VLM 谱系。[8][9] 另一侧，UniSim 生成动作条件视频供策略训练，生成模型开始成为 data engine，但风险转向长期一致、动作/奖励 fidelity 和策略利用伪影。[20]

3. VLA：动作解码三分法

3.1 离散自回归 token

信息流为：图像/历史 + 指令 → VLM → 固定顺序动作 token → 反量化 → 执行 → 新观察。RT-2 和 OpenVLA 的动作学习本质是离散行为克隆；后生成维度依赖前 token，前 token 不能利用后维度，动作维顺序成为人工偏置。[1][2]

优点是最大化复用 VLM 词表、交叉熵、约束解码和推理栈，Web 预训练可迁移语义。代价是：量化误差；token 越多串行延迟越高；错误前缀传播；单标签 CE 与固定次序不利于多个可行动作组合；统一 token 不消除本体动作语义差异。词表约束只能防非法 token，不能保证碰撞和关节安全；token accuracy 也不是校准。

单步输出能频繁读新图像，但每步都需完整视觉编码和串行生成。底层控制器的高 Hz 不能写成 VLA 推理率。RoboCat 虽预测未来图像 token，若部署不以它比较候选动作，仍主要是直接策略而非在线 planner。[3]

3.2 连续 diffusion/flow action chunk

信息流为：观察历史/多视角/语言/状态 → 条件表征 → 连续噪声迭代生成动作块 → 执行全部或前缀 → 新观察重规划。

Diffusion Policy 对示范动作块加 Gaussian noise，以 noise-prediction MSE 学条件去噪；观察只是条件，不预测环境图像，所以不是世界模型。[4] Octo 将迭代集中在小 action head，昂贵主干可只前向一次。[5] π0 用 flow matching 学从噪声到动作的速度场，再以多次 Euler 积分得到连续块；GR00T N1 以本体专属边界层对齐状态与动作。[6][7]

动作块联合建模避免固定逐维顺序，可表达绕左/绕右等多峰模式并保持时间平滑。但块越长，对扰动反应越慢；块越短，重规划和视觉编码成本越高。必须同时披露 observation-to-action 延迟、块长、执行前缀、控制器频率、异步与否，以及何时读新观察。

连续路线适合精细位姿、高维灵巧和多峰轨迹，但付出多次函数评估、专用 head、目标域数据和块内安全成本。随机采样仍不是 epistemic uncertainty；代表方法普遍没有足够的概率校准支持安全拒绝。

3.3 Masked discrete diffusion 动作块

信息流为：条件 → 全 MASK 动作 token 块 → 多轮并行预测/提交/重掩码 → 反量化 → 执行 → 新观察。

Discrete Diffusion VLA 将连续维度量化为 256 类，多个时刻组成固定块；训练随机遮盖动作位置，只在 masked positions 做 CE，动作区采用双向 attention。推理按最大 softmax 或 top-1/top-2 gap 决定提交顺序，低分位置可保留 MASK，已提交位置也可 secondary remasking。[8] 这些 confidence 是排序启发式，无 ECE、Brier、coverage 等校准证据。

LLaDA-VLA 的骨干谱系不同：它使用 LLaDA 语言 backbone 与 LLaDA-V 预训练权重，视觉经 SigLIP-2 与 MLP 接入；每时刻使用特殊 token 表示 3D 平移、3D 旋转和夹爪，以局部动作词表分类。层次解码先在 action level 决定动作级保留/重掩码，再在 token level 细化。[9][26][27]

内部十余轮 refinement 仍基于同一观察，不等于十次环境反馈。真正闭环取决于动作块执行协议，而两篇论文对完整执行、前缀长度、异步与重规划频率的披露都不充分。并行 token 也不自动等于低 observation-to-action 延迟。

相对 AR，这一路线有双向块依赖和可修订性；相对连续扩散，它保留分类头与统一 Transformer 接口。代价是量化与 NFE 同时存在，置信度未校准，SE(3)、关节、频率和标定也不会因 token 统一自动 grounding。

3.4 统一机制裁决

三者主要区分生成因子化和解码偏置，不自动代表三种不同 backbone 表示。公平比较至少要固定数据、VLM、动作坐标与 horizon、目标域后训练、推理预算、执行协议、任务、trials、seeds 与 checkpoint 选择；当前公开结果不满足，不能用跨论文成功率宣布胜者。

3.5 “统一”与“动作 token”到底统一什么

因此，“语言—动作统一”至少可能指共享序列容器、共享 backbone 条件表征、共享词表，或共享训练目标；四者不能互换。LLaDA-VLA 的直接证据是视觉语言 diffusion backbone 被用于条件化离散动作 token，并非已经证明语言和连续机器人动作共享同一物理表征空间。

3.6 三类生成目标的概率语义不等价

这里的三类 loss 即使都写成 CE 或 MSE，也不具有统一数值尺度。报告只比较它们约束的随机变量、生成因子化和系统成本，不以“loss 更低”跨家族排名。

还要区分三层证据：sample diversity 只说明样本覆盖；held-out likelihood、ELBO 或相应代理反映特定建模目标下的分布拟合；epistemic uncertainty 则要求模型对未见状态的知识不确定性有可验证表示。三者不能相互替代。VAE/RSSM 中带 q(z|x)、prior 和 KL 的随机潜变量，diffusion 的 noisy state，以及 flow 的插值状态，在推断图中的角色不同；本文不把后两者统称为“随机潜表示”。

4. 世界模型：预测量 × 用途

4.1 在线 planner

PlaNet 的 RSSM 以动作条件先验预测 latent，以观察/奖励似然和 posterior-prior KL 训练；CEM 在有限视野搜索，只执行首动作再重规划。[15] MuZero 不要求观察重建，只学 reward、policy、value 足以支持 MCTS 的 latent。[16] TD-MPC/2 以 reward、Q 和 latent consistency 学 control-oriented 表示，用 MPPI 短 rollout，并以 terminal Q 承担视野外回报。[17][28]

这三者体现不同误差责任：PlaNet 视野外截断；MuZero 用 leaf value；TD-MPC 用 terminal Q。延长 rollout 减少 bootstrap 却放大动力学复合误差；缩短 rollout 把责任交给 value/Q。所谓“短规划更稳定”不是误差消失，而是误差类型转换。

PlaNet 有显式随机 posterior 与 KL，但没有 calibration；MuZero/TD-MPC 动力学主要确定性。CEM/MPPI 的动作采样分布、Q ensemble 和类别式 value 都不能自动解释为环境不确定性的校准估计。

4.2 想象训练 actor

DreamerV3 学观察、reward、continue 和随机 latent，从 replay posterior 状态出发，在潜空间 rollout actor，以想象轨迹训练 actor/critic；部署 actor 直接动作，不做 lookahead。[18] DayDreamer 将这一闭环用于 A1、UR5、XArm、Sphero 等真机，但依赖持续真实采集、任务 reward 与安全工程，不是生成世界预训练后的零样本 Sim2Real。[19]

想象 actor 把训练期昂贵 rollout 摊销为部署期一次策略前向，适合低延迟；但 actor 会系统优化模型给出的回报，可能更积极利用模型漏洞。短想象视野也不等于只看短期，因为 critic 承担远期；反之，有 critic 不等于具有可解释长程规划。

4.3 交互环境与 data engine

Genie 将视频离散为视觉 token，从相邻帧反演 latent action，并按历史与动作生成后继画面。[13] latent action 不对应执行器；有限记忆、较慢生成和不真实未来限制机器人用途。UniSim 用动作条件视频 diffusion 生成 rollout，供另一个 VLM policy 或 RL 训练，部署 policy 可不携带 simulator。[20]

Data engine 可离线承担较高生成成本，却必须覆盖训练后策略访问分布，避免策略利用生成器和 reward model 的共同伪影。它的验证门包括动作效果、reward、对象身份、长期一致、不可视力学和真实迁移增益，而不仅是视频质量。

世界模型不是从 planner“升级”到 data engine，而是用途分叉。前者优化每步候选排序和实时性；后者优化经验规模与可观察一致性，承担不同风险。

4.4 决策责任归一表

“长程”的来源也必须随责任表解释：PlaNet 的有效视野受截断限制；MuZero 和 TD-MPC 的远期效果依赖 value/Q；Dreamer 的远期责任压缩进 critic 和 actor；Genie/UniSim 自身没有动作选择责任。相应地，ACT、Diffusion Policy、π0 等 action chunk 只是把局部时间相关性压缩进一次动作生成，不含候选未来状态的反事实比较，也没有 terminal value，因此不能凭 chunk 更长归为规划系统。

5. 策略学习、轨迹规划与长程决策

BeT 按历史预测动作簇与连续残差，缓解多模态动作均值化；簇只是几何分区，不必是语义技能。[10] ACT 从多视角与双臂状态预测未来约百步关节目标块，训练有 CVAE posterior/KL，测试固定 latent；每控制步重查询，并以 temporal ensemble 融合对同一时刻的重叠预测。[11] 因而 ACT 部署基本确定性，“预测百步”也不是开环执行百步。

Trajectory Transformer 将状态、动作、奖励、RTG 离散为联合序列，以 beam search 选轨迹；Diffuser 对整段状态—动作轨迹去噪，用 inpainting 或回报梯度引导。[12][14] 它们与直接策略的区别是：生成的未来状态/回报参与当前动作选择。但长轨迹生成仍不等于长程任务成功；时域越长，几何、动力学和目标一致越难，搜索成本也更高。

真正长程能力至少要求：阶段性子目标；关键事件后重新观察与改计划；失败诊断和恢复；远期评价来源清楚；高低层接口可执行。动作块只编码局部时间相关并减少策略查询，不提供这些能力。更长 chunk 甚至可能减弱对突发变化的响应。

6. 机器人基础模型：基础性不等于参数量

机器人基础模型应是在广泛相关数据上预训练、形成可迁移感知—状态—动作表示，并通过明确接口与有限目标数据构成新闭环策略的可复用起点。至少看六项：任务/场景/本体覆盖；动作 schema；适配成本；反馈与失败恢复；开放生态；OOD、校准与安全。

RoboCat 统一图像、状态、目标和动作 token，并以示范—微调—采集—筛选—重训形成数据回流；新本体仍依赖约 100–1000 示范和全量微调，流程也主要验证一轮。[3] Octo 以可插拔 tokenizer/readout/action head 提供开放适配；约 80 万 OXE episode 经筛选保留共同 delta-EE 动作，这提升一致性，也说明迁移有共同动作子空间前提。[5] GR00T N1 以共享 VLM+DiT 和本体专属 MLP 分离通用表征与接口，混合真机、仿真、生成视频与伪动作数据；新本体仍需 schema 和 post-training。[7]

因此，参数较小但权重、代码、接口齐全的 Octo 可能比更大的封闭系统更具工程基础性；大模型覆盖更多本体，也不意味着未知硬件 zero-shot。当前趋势不是消灭本体差异，而是把差异从整个网络移到 tokenizer、state mapper、action head 和时间接口。

7. Sim2Real：不是最后一步，而是贯穿数据与部署的叠加栈

Sim2Real 的目标不是让模拟画面无限逼真，而是让策略面对训练—部署变化时仍保留完成任务所需的信息。可将当前流程写成：

名义模拟/数字孪生 → 视觉与动力学随机化 → 少量真实轨迹校准 → 真机数据预训练或共训 → 目标任务适配 → 运行时监控

7.1 域随机化：扩大支持集

视觉 Domain Randomization 改变纹理、光照、相机和背景，使真实图像有机会落入合成训练支持集；Dynamics Randomization 则改变质量、摩擦、阻尼、执行器参数和延迟，使历史条件策略隐式适应动力学。[21][22] 它们有效的原因不是模型理解了真实材质或物理，而是任务相关变化被训练分布覆盖。

边界也由此清楚：若真实接触、柔性、背隙或传感延迟不在模拟器模型族中，增大已有参数范围不能补上结构缺失。视觉定位迁移也不能自动外推到接触控制。SimOpt 让少量真实 rollout 进入参数分布更新，以真实—模拟轨迹差异塑造随机化范围；这比盲目铺宽分布更集中，却仍依赖状态跟踪、可辨识参数和模拟器结构。[23]

7.2 Real2Sim2Real：把目标现场纳入训练

RialTo 扫描目标真实场景、构建数字孪生、收集少量真实示范，再在仿真中用强化学习补充恢复行为，最后将仿真和真实数据蒸馏或共训回真实策略。[29] 它的价值不是获得普适物理模拟器，而是把具体现场的几何、物体和初始示范纳入数据生产闭环。其成本也明显：每个场景需要资产处理、接触调试和策略训练；扫描到的视觉几何不等于摩擦、柔性和磨损完全复制。

因此，纯 Sim2Real、Real2Sim2Real 和真机规模化并非互斥路线。差别在于现实信息何时进入：只在最终测试进入、在参数/场景校准阶段进入，还是从预训练起就直接提供动作监督。

7.3 OXE 与 DROID：真实数据规模化的两种取舍

Open X-Embodiment 汇集 60 个数据集、22 种机器人和百万级真实轨迹，说明异构数据混合能够带来正迁移。[24] 但实际策略训练所用 mixture 覆盖更少本体，坐标、控制频率、动作语义与传感器也未天然统一。统一 RLDS 格式只是存储与读取层统一，不是统一物理动作空间。

DROID 在统一 Franka 采集栈上公开约 7.6 万条成功轨迹、350 小时、564 个场景，并保留失败数据。[25] 它以本体单一换取动作、相机和采集流程一致，再扩大场景、操作者和对象多样性。论文的目标任务仍使用约 50–150 条示范，说明大规模预训练降低但没有消除目标数据需求。

这两种路线构成重要对照：OXE 最大化本体覆盖，却承担 schema gap；DROID 减少 schema gap，却不能直接证明跨本体。生成式 data engine 可进一步扩数据，但只有在动作效果、奖励、长期一致和策略利用测试通过后，才可承担真实训练经验。

7.4 部署判断不能只看成功率

真机可部署性至少还需四类信息：

1. 控制频率与端到端延迟：3 Hz VLA 与 30–50 Hz 低层策略是不同控制接口；底层伺服频率不能冒充模型推理率。

2. 失败与接管：卡死、掉物、碰撞、超时、人工重置和安全接管应分开统计。

3. 部署算力：本地/云端、GPU、最坏时延和异步执行决定系统能否离开展示环境。

4. 训练—评测重叠：所谓新任务可能与训练中的对象、场景或技能近邻，必须限定泛化范围。

代表论文对这些字段披露不一致。公开资料没有给出时，本报告使用 N/R（未报告），不从演示视频反推。Sim2Real 通过也不等于几何或材质理解；它只证明指定策略、随机化支持集、硬件和评测协议下实现了迁移。

8. LLaDA 专项：谱系、直接落地与相邻机制

8.1 LLaDA 的核心机制与系列演化

LLaDA 将语言建模改写为离散 masked diffusion：前向过程逐步把 token 替换为 MASK，反向模型在给定当前遮盖状态时预测原 token；推理从全 MASK 或部分 MASK 序列出发，多轮填充与修订。[26] 与固定左到右自回归相比，它允许同一生成块内部利用双向上下文，但仍需面对 mask schedule、迭代次数和中间状态分布问题。

LLaDA-V 在 LLaDA 上加入视觉编码器与连接器，把图像特征投影到语言 embedding，再由 diffusion language backbone 生成文本回答。[27] 它证明视觉可以条件化离散语言扩散，却仍只输出语言，没有执行器动作或机器人闭环。

从 dLLM 科研助理（dllmharness）获取的语料快照显示，LLaDA 后续研究还涉及 LLaDA 1.5、MoE、UltraLLaDA、LLaDA2.0/2.1、LLaDA-o 与 LLaDA2.0-Uni 等规模化、长上下文和多模态支线；快照包含 615 篇论文、10 个方向，更新时间为 2026-07-17。[来源: dLLM 科研助理 · dllmharness] 其中 LLaDA2.x 是 InclusionAI 主导、原作者参与的合作支线，不应写成 LLaDA 1.5 checkpoint 的简单顺序升级。LLaDA-o、LLaDA2.0-Uni 的公开任务集中在多模态理解、图像生成或编辑，本次一手核验未发现机器人动作控制实验。

8.2 直接证据链：LLaDA → LLaDA-V → LLaDA-VLA

截至 2026-07-17，可由论文正文确认、明确继承 LLaDA 架构或权重并执行机器人控制的直接实例是 LLaDA-VLA。[9] 论文明确使用 LLaDA language backbone 与 LLaDA-V pretrained weights。信息流为：语言指令与前视 RGB 经 SigLIP-2 和 MLP 投影，与文本 token 进入 masked-diffusion 主干；模型输出 K×7 动作 token，反量化为三维平移增量、三维旋转增量和夹爪状态，再由机器人执行。

*图 1：LLaDA-VLA 论文 Figure 2，来源：arXiv:2509.06932v2。原图展示视觉—语言条件进入 LLaDA-V 骨干，以及 action-level 与 token-level 的层次化 masked decoding。*

图中左侧是视觉和语言条件：图像经视觉编码器/连接器进入 diffusion VLM；中部不是一次左到右吐出动作，而是让固定长度动作区域在多轮去掩码中被共同预测；右侧的层次策略先判断哪些完整动作时间步需要保留或重掩码，再在单个动作内部细化各控制维。这种设计的作用是让跨时间与动作维之间产生双向依赖，并允许尚未执行的 token 被修改。需要强调：图中的多轮去掩码属于同一观察条件下的生成内部循环，不是机器人每轮都获得一张新图。

LLaDA-VLA 使用局部动作词表，避免通用语言词表承担所有动作位置分类；动作块 K=5，推理进行多轮 masked refinement。论文在 SimplerEnv、CALVIN 和真实 WidowX 250S 上报告实验，因此它不是愿景或名称类比，而是直接具身证据。

8.3 证据边界

这一落点仍有明确限制：

• 连续动作被量化再反量化，精细接触、跨本体量程和频率仍受 token schema 影响；

• 多轮并行 refinement 不自动等于低端到端延迟；控制频率、最坏时延、部署算力等披露不完整；

• 内部重掩码不是新观察反馈，块执行前缀和重规划协议需要更完整说明；

• token confidence 没有 reliability、ECE 或 coverage 证据，不能解释为失败概率；

• 与连续 diffusion/flow 缺同数据、同 backbone、同动作视野、近似同预算的公平对照。

所以准确结论是：已有一个直接权重继承的机器人控制落点，但尚未形成成熟生态。它验证预训练 diffusion VLM 可以延伸到动作 token，却没有单独证明语言—动作统一 mask 目标相对连续动作专家的额外收益。

8.4 四档谱系与三种认识论状态

关系强度还要与认识论状态正交：

• 检索负结果：给出数据库、检索式、截止日期与命中情况；只说明该检索没有找到。

• 证据缺失：存在相关材料，但不足以支持权重继承、机器人动作或独立复现等强断言。

• 不存在：本报告不主张任何工作绝对不存在，只写“截至截止日，本次未确认”。

本次使用 "LLaDA" AND (robot OR robotic OR embodied OR action OR VLA OR control OR planning)、LLaDA robot 等检索式交叉检查 arXiv、项目页和 GitHub。dllmharness 中 embodied robotics 精确检索返回 0 条。[来源: dLLM 科研助理 · dllmharness] 该结果可能受标签和召回影响，仅作辅助，不能证明领域没有工作。

8.5 离散 mask diffusion 与连续动作 diffusion/flow 到底差在哪

语言 token 有强离散组合规律；机器人动作还受连续几何、控制周期与动力学约束。因此，语言 masked diffusion 迁移到动作不是“自然必胜”，而是待验证的归纳偏置转移。LLaDA-VLA 的价值在于提供了一个实证入口，而非完成最终裁决。

9. 能力主张与证据边界

9.1 能力—证据—独立验证审计

这里“作者主实验”不等于证据无效，而是说明任务、数据、成功判定和 checkpoint 由同一研究团队设计；“下游间接支持”也不能自动识别中间机制。未来若建立具身版 CASP 式评测，应由第三方保留任务与真机配置，统一披露模型时延、置信度、失败和接管，并在测试前冻结 checkpoint。该建议是评测方向判断，不是当前领域已有协议。

RT-2 的结果支持 Web 视觉语言知识改善特定机器人语义泛化，但论文同时说明没有从 Web 数据获得新运动能力。[1] OpenVLA 证明开放 VLM 组件、OXE 数据和动作 token 可构成可适配基线，却没有多视角、历史或 proprioception 的标准输入，不能从成功率反推完整三维可供性。[2] π0 的复杂任务来自 VLM、action expert、大量私有数据、目标域后训练和系统工程共同作用，不能只归因 flow。[6]

DreamerV3 的高回报证明 latent imagination 能支持决策，不证明 OOD 下掌握真实物理。[18] Genie 的可交互视频说明外部动作能改变输出，不表示有机器人 policy、planner、自主目标或可信接触模型。[13] LLaDA-VLA 的仿真/真机实验支持 masked diffusion 动作可行，却不足以宣布它优于连续 action diffusion。[9]

“论文报告”“官方项目披露”“代码公开”“社区使用”和“完整主结果独立复现”是不同状态。当前许多工业系统依赖私有数据与部署栈；开放论文不等于结果已被独立复制。报告中的 本次未确认 只表达核验边界，不等于不存在。

10. 技术选型决策树

1. 是否需要高频、精细、连续接触控制？

- 是：优先考察连续 action chunk（Diffusion Policy、π0、Octo、GR00T N1），同时预算 NFE、块内反馈延迟和低层安全控制。

- 否：离散 token 可最大化复用 VLM 与语言模型基础设施。

2. 是否希望在统一 token Transformer 中联合生成并回改动作块？

- 是：可考察 masked discrete diffusion，但必须验证量化误差、完整时延、confidence 校准和执行协议。

3. 部署时是否必须显式比较候选动作后果？

- 是：使用 PlaNet/TD-MPC/MuZero 类在线 planner，并同时审计模型 rollout 与 terminal value 误差。

- 否：Dreamer 式 imagined actor 或直接策略可降低部署延迟。

4. 缺少真机数据时，目标环境是否可可靠建模？

- 模型族可信：Domain/Dynamics Randomization 或 SimOpt；

- 目标场景明确：RialTo 式数字孪生；

- 需要广泛先验：OXE/DROID/生成 data engine 预训练后再做目标适配。

5. 是否安全关键或存在明显 OOD？

- 当前代表方法普遍缺充分校准，必须外接约束控制、监控、拒绝、人工接管和真实长尾测试。

10.1 未来趋势判断

趋势一：语义主干与动作专家继续解耦。 VLM 擅长对象与指令语义，连续 action expert 承担高频控制；关键从“是否统一模型”转向两者如何交换信息、共同后训练及避免语义—动作接口失真。

趋势二：离散 masked 与连续 flow 的公平对照将成为关键。 当前数据、骨干和评测不同，无法判断哪种归纳偏置普遍占优。未来真正有价值的实验应固定数据、VLM、horizon、NFE/时延预算和闭环协议。

趋势三：世界模型继续分叉。 Control latent 面向在线候选排序或 imagined actor；observable world generator 面向数据合成和交互。二者优化目标不同，不会简单合并成一个“更大视频模型”。

趋势四：Sim、real 与生成数据形成混合闭环。 仿真提供可控覆盖，真机提供真实接口与长尾，生成模型提供规模；竞争重点将是如何校准三者偏差，而非宣称某一来源取代另外两者。

趋势五：跨本体瓶颈转向 schema 和时间接口。 状态/动作坐标、频率、夹爪语义、传感器与安全层会成为共享主干之外的标准化焦点。

趋势六：校准、拒绝与运行时安全成为部署门槛。 采样多样、ensemble 分歧和 token confidence 都不是合格风险概率。真实部署需要失败分型、coverage、OOD 检测、约束控制和接管统计。

11. 结论

大模型在具身智能中的实质进展，不是把语言模型简单接到机器人，而是逐步把视觉语言语义、动作分布、未来预测和真实数据生产接入同一反馈闭环。公开研究分别报告了以下方向的进展：VLA 将开放语义引入动作接口；动作块与扩散提供表达多峰和时间相关动作的容量；世界模型在在线规划、想象训练和数据生成间分叉；机器人基础模型以共享核心与本体边界层降低部分适配成本；Sim2Real 则从末端迁移技巧演化为贯穿仿真、真机和生成数据的校准系统。这些是系统层归纳，不表示单一组件已被控制变量实验识别为性能原因。

当前没有普遍最优的动作生成形式。离散 AR 最易复用 VLM，连续 diffusion/flow 更自然地表示高频多峰控制，masked discrete diffusion 则探索统一 token 接口中的双向动作块。三者的价值取决于动作 schema、延迟预算、反馈频率、目标数据与安全要求，而不是论文品牌。

LLaDA 专项的最终裁决是：LLaDA-VLA 构成一个直接、明确的机器人控制落点；LLaDA-V 是其视觉上游；LLaDA-o、LLaDA2.0-Uni 尚无本次核验到的动作控制证据；Discrete Diffusion VLA 等相邻工作不属于 LLaDA 谱系。最准确的定位是“从语言/视觉扩散进入机器人动作的单点验证阶段”，不是零落地，也不是成熟生态。

附录 A：最小披露原则

跨论文绝对数字仅在 evaluation harness、split、输入、动作、适配和统计协议同构时比较。核心工作应记录：sim/real、本体、数据与 checkpoint 开放性、benchmark/split、主实验或 demo、动作块与反馈接口、控制频率/延迟、部署算力、失败/接管、训练—评测重叠和独立复现。未报告字段写 N/R，不从产品演示反推。

参考文献

1. Brohan et al. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. 2023. arXiv:2307.15818

2. Kim et al. OpenVLA: An Open-Source Vision-Language-Action Model. 2024. arXiv:2406.09246

3. Bousmalis et al. RoboCat: A Self-Improving Robotic Agent. 2023. arXiv:2306.11706

4. Chi et al. Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. 2023. arXiv:2303.04137

5. Octo Model Team. Octo: An Open-Source Generalist Robot Policy. 2024. arXiv:2405.12213

6. Black et al. π0: A Vision-Language-Action Flow Model for General Robot Control. 2024. arXiv:2410.24164

7. NVIDIA et al. GR00T N1: An Open Foundation Model for Generalist Humanoid Robots. 2025. arXiv:2503.14734

8. Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies. 2025. arXiv:2508.20072

9. LLaDA-VLA: Vision Language Diffusion Action Models. 2025. arXiv:2509.06932

10. Shafiullah et al. Behavior Transformers: Cloning k Modes with One Stone. 2022. arXiv:2206.11251

11. Zhao et al. Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ACT/ALOHA). 2023. arXiv:2304.13705

12. Janner et al. Offline Reinforcement Learning as One Big Sequence Modeling Problem. 2021. arXiv:2106.02039

13. Bruce et al. Genie: Generative Interactive Environments. 2024. arXiv:2402.15391

14. Janner et al. Planning with Diffusion for Flexible Behavior Synthesis (Diffuser). 2022. arXiv:2205.09991

15. Hafner et al. PlaNet: Learning Latent Dynamics for Planning from Pixels. 2018. arXiv:1811.04551

16. Schrittwieser et al. Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model (MuZero). 2019. arXiv:1911.08265

17. Hansen et al. Temporal Difference Learning for Model Predictive Control. 2022. arXiv:2203.04955

18. Hafner et al. Mastering Diverse Domains through World Models (DreamerV3). 2023. arXiv:2301.04104

19. Wu et al. DayDreamer: World Models for Physical Robot Learning. 2022. arXiv:2206.14176

20. Yang et al. UniSim: Learning Interactive Real-World Simulators. 2023. arXiv:2310.06114

21. Tobin et al. Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World. 2017. arXiv:1703.06907

22. Peng et al. Dynamics Randomization for Sim-to-Real Transfer of Robotic Control. 2017. arXiv:1710.06537

23. Chebotar et al. SimOpt: Learning Robotic Skills from Simulation. 2018. arXiv:1810.05687

24. Open X-Embodiment Collaboration. Open X-Embodiment: Robotic Learning Datasets and RT-X Models. 2023. arXiv:2310.08864

25. Khazatsky et al. DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset. 2024. arXiv:2403.12945

26. Nie et al. Large Language Diffusion Models (LLaDA). 2025. arXiv:2502.09992

27. LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning. 2025. arXiv:2505.16933

28. Hansen et al. TD-MPC2: Scalable, Robust World Models for Continuous Control. 2023. arXiv:2310.16828

29. Torne et al. RialTo: Reconciling Reality through Simulation. 2024. arXiv:2403.03949

30. Ramos et al. BayesSim: Adaptive Domain Randomization via Probabilistic Inference for Robotics Simulators. 2019. arXiv:1906.01728

31. OpenAI et al. Solving Rubik’s Cube with a Robot Hand. 2019. arXiv:1910.07113

32. Makoviychuk et al. Isaac Gym: High Performance GPU-Based Physics Simulation for Robot Learning. 2021. arXiv:2108.10470

33. Todorov et al. MuJoCo: A Physics Engine for Model-Based Control. 2012. DOI

34. Xiang et al. SAPIEN: A SimulAted Part-based Interactive ENvironment. 2020. arXiv:2003.08515

35. Gu et al. ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills. 2023. arXiv:2302.04659

36. Savva et al. Habitat: A Platform for Embodied AI Research. 2019. arXiv:1904.01201

37. Szot et al. Habitat 2.0: Training Home Assistants to Rearrange their Habitat. 2021. arXiv:2106.14405

38. Ahn et al. Do As I Can, Not As I Say: Grounding Language in Robotic Affordances (SayCan). 2022. arXiv:2204.01691

39. Huang et al. VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models. 2023. arXiv:2307.05973

40. Brohan et al. RT-1: Robotics Transformer for Real-World Control at Scale. 2022. arXiv:2212.06817

41. Reed et al. A Generalist Agent (Gato). 2022. arXiv:2205.06175

42. Driess et al. PaLM-E: An Embodied Multimodal Language Model. 2023. arXiv:2303.03378

43. Nair et al. R3M: A Universal Visual Representation for Robot Manipulation. 2022. arXiv:2203.12601

44. Ma et al. VIP: Towards Universal Visual Reward and Representation via Value-Implicit Pre-Training. 2022. arXiv:2210.00030

45. Shah et al. ViNT: A Foundation Model for Visual Navigation. 2023. arXiv:2306.14846

46. Padalkar et al. Open X-Embodiment: Robotic Learning Datasets and RT-X Models official project. Project

47. OpenVLA official project and repository. Project · GitHub

48. Octo official project and repository. Project · GitHub

49. LLaDA-VLA official project. Project · GitHub

50. dLLM 科研助理（dllmharness）Paper Context：615 篇论文、10 个方向的快照，更新时间 2026-07-17；凡采用该语料的方向归纳均已显著标注。 [来源: dLLM 科研助理 · dllmharness]