HelixWorld 网页演示:角斗场世界与移动控制

生成视频这件事,今年已经不稀奇了。稀奇的是:你往前走两步,画面跟着变,声音也跟着从左边移到右边。

HelixWorld 是 Noiz AI 开源的实时交互音视频世界模型。给它一张图、一句话,它会生成一个能走动的场景:WASD 移动,方向键或者拖拽转头,画面实时续写。声音不是后期贴上去的配乐,而是和画面一起长出来的——你转身,声场跟着转;画面里有人在打鼓,鼓点就落在鼓的位置上。

HelixWorld 生成的夜间音乐节场景

技术上值得说的是两点。它把连续的 6-DoF 相机位姿注入视频分支,再用跨模态注意力把视觉几何和声学特征绑在一起,相机怎么动,立体声的声像就怎么偏。第二是速度:单张 H800,768×512、24 帧,稳定状态下的实时系数 0.77,视频和音频解码都算在里面。这意味着它是能玩的,不是排队等半小时出一段片。

代价也明摆着。Preview v1 要 Linux、Python 3.11、CUDA 12,官方建议 80G 显存的卡,实际跑起来占七十来 G,普通人的电脑别想。不过官网 helixworld.org 上有个浏览器 demo,选一个世界、写一句提示词就能进,什么都不用装。我昨晚在里面站了十分钟,看角斗场里两只老虎朝我冲过来。

代码 Apache 2.0,权重放在 Hugging Face,连评测基准 HelixBench 都一起开源了。论文、模型、榜单、demo 全都摆出来,比发段视频吊人胃口强得多。