全球首个可仿真的人–场景交互重建框架 HSImul3R：让人类视频真正成为机器人技能来源

近日，大晓机器人联合南洋理工大学 S-Lab、上海人工智能实验室发布全新人–场景交互重建研究 HSImul3R ，直指三维视觉长期存在的“感知—仿真鸿沟”，推动三维重建从“视觉正确”走向“物理可执行”。该成果已被全球计算机视觉顶级会议 ECCV 2026 正式接收。不同于传统方法主要关注人和场景是否重建得像、是否对齐，HSImul3R 将 重力稳定性、真实接触与交互稳定性 纳入核心评价标准。团队将其定义为首个面向非标定稀疏视角输入、实现稳定可仿真（Simulation-Ready）人–场景交互重建的框架，并进一步支持单目视频输入。与此同时，团队构建了面向人–场景交互的 HSIBench ，直接检验重建结果能否在物理仿真中稳定交互。HSImul3R 在 Easy、Medium、Hard 三档任务中的交互稳定率分别达到 53.68%、30.56% 和 13.92% ，显著高于 HSfM 的 10.52%、4.50% 和 2.66% ，并将人–场景三维穿模率从 69.51% 降至 22.90% 。 本文由大晓机器人提供，量子位获授权转载，观点归原作者所有。

注：以上内容摘选自原始新闻，点击「访问原文」查看完整内容。