大晓机器人与南洋理工大学S-Lab联合宣布开源全球首个L5级多模态具身物理智能数据集ACE-Data-0，为通用物理智能的规模化落地提供关键基础设施。该数据集突破传统数据采集范式，通过环境式采集引擎ACE实现真实家庭场景中物理交互的高保真记录，覆盖从指尖接触压力到长程任务规划的全维度信息，标志着具身智能研究进入"真实世界训练"新阶段。
数据集包含150小时连续采集数据，涵盖1700万帧视频、200类任务场景、50名参与者真实交互记录。其核心创新在于构建了桌面尺度与房间尺度双系统：桌面系统通过12台高精度摄像机、光学动作捕捉阵列和触觉传感矩阵，记录抓取、倾倒等手部精细操作；房间系统则利用广基线立体视觉和全空间运动捕捉，追踪跨房间移动、多任务衔接等长程活动。两套系统共享统一时空坐标系，确保不同尺度数据精准同步。
针对传统数据"看得见动作，看不见过程"的缺陷，ACE-Data-0实现六模态深度融合。每帧数据同步包含第一人称视角视频、多视角第三人称视频、全身运动轨迹、手部关节状态、物体六自由度位置、触觉压力分布及环境音频。通过硬件级时间戳对齐和空间标定技术，将不同传感器的采样误差控制在微秒级，确保视觉、运动、触觉信号精确对应同一物理瞬间。例如在倒水任务中，系统能同时记录水流轨迹、容器倾斜角度、手部握力变化及液体流动声纹。
该数据集采用目标导向型采集范式，参与者仅被告知任务目标（如"准备早餐"），可自由选择操作路径和应对策略。这种设计保留了真实场景中的犹豫、修正和意外处理过程，使数据包含丰富的行为变体。测试显示，相同任务下不同参与者的操作路径差异度达67%，有效覆盖了家庭场景中的非确定性交互模式。数据标注团队开发了半自动标注工具链，通过采集系统直接获取物体位姿、接触状态等物理参数，减少人工估计误差，使遮挡场景下的标注一致率提升至92%。
基于该数据集构建的三级评测基准，揭示了现有模型的显著能力缺口。在接触感知测试中，主流视觉模型误报率达41%；长程任务理解测试显示，模型在任务中断后的恢复成功率不足28%。这些发现为具身智能训练指明方向：需突破单模态感知局限，建立跨模态物理因果推理能力。数据集已支撑大晓机器人开发出新一代具身模型，在物体操作成功率上较前代提升3.2倍，任务中断恢复能力提升5.7倍。
作为开放数据平台，ACE-Data-0提供完整的工具链支持，包括数据加载接口、预处理脚本和基准测试套件。研究者可便捷获取同步后的多模态数据流，或基于特定需求重构数据子集。该数据集已吸引全球37个研究机构申请访问，在机器人学习、世界模型构建和人机交互等领域展现出广泛应用潜力。大晓机器人宣布将持续扩展数据集规模，计划年内增加1000小时跨文化家庭场景数据，并开放数据采集引擎ACE供学术界使用。
