Kyutai 的 AURA 说话头像模型:给你的声音一张实时流式的脸
AURA(AUdio-dRiven streaming Avatar,音频驱动流式头像)是 Kyutai 的语音转视频模型家族,2026-11-20 随论文、代码、权重和一个三万条合成视频的数据集一起发布。真正要紧的卖点:一张肖像加一路实时语音流,在单张 GPU 上实时变成说话头像视频——头像低延迟地跟着声音走、逐块渲染,而不是等几秒钟降噪出一整段。本页是关于 AURA 是什么、不是什么的外部参考 — 最后核查:2026-11-21。
速览
| 外部参考 | Kyutai AURA——kyutai.org 的发布文章、GitHub 仓库(kyutai-labs/aura)与 Hugging Face 合集 |
|---|---|
| Imgo 上的可用性 | 不在 Imgo 上,也不能从 Imgo 生成——其权重许可禁止商用,就算技术上可行,Imgo 集成也谈不上。 |
| 最后核查 | 2026-11-21 |
| 今天能在 Imgo 上生成什么 | 在线的 Seedance 2 家族渲染带原生同步音频的说话头像与对白片段——脚本口播、UGC 风格广告、主持镜头——每次运行前有积分报价。 |
| 官方来源与计费单位 | Kyutai 全部开放发布 — 没有 AURA API 计费。权重:AURA-1.3B 为 CC BY-NC 4.0,AURA-5B 为 Snap 的非商用许可。 |
今天就到 Imgo 做说话头像视频:Seedance 2.0 带原生音频,在视频生成器里。
AURA 到底是什么
两个模型,一个想法。AURA 1.3B 在单张 GPU 上实时流式输出 576p 说话头像——16 Hz 播放下每秒 20.7 帧,比蒸馏前的教师模型快 23 倍。AURA 5B 以每秒 9.7 帧流式输出 720p,在与它的 TalkVerse 教师同等的质量下快 17 倍。两者都从 50 步双向教师蒸馏成 4 步因果学生模型,逐块生成、滚动 KV cache、不看音频前瞻:当前块的音频一到,它的视频就能开始渲染。最后这条性质就是全部意义所在——它决定了头像能撑起一场实时对话,而不是每句话延迟五秒才张嘴。
速度从哪来
这次发布既是模型也是蒸馏研究:两阶段流水线,先把因果学生回归到冻结教师的轨迹上,再无梯度地展开学生、在学生自己的路径上匹配教师与批评分数。工程细节——对四个潜在帧组成的块做块级因果注意力、运动上下文完全由 KV cache 承载、每个块用不同的扩散时间步——是它能流式起来的原因。完整方法在论文(BMVC 2026)里。
许可,直说
这里的"开放"不等于"不受限"。代码有自己的许可 — 两份权重都是非商用——AURA-1.3B 是 CC BY-NC 4.0,AURA-5B 是 Snap Inc. 的非商用许可(它的教师源自 Snap 的 TalkVerse)。研究、个人项目、原型,都没问题。要做产品——客服头像、变现的陪伴应用——你就是把楼盖在不能发货的权重上。围绕它写代码之前,先读仓库里的许可文件。
谁该用 AURA,谁不该
AURA 是给做交互系统的人的:给语音助手一张脸(发布演示里它实时驱动 Kyutai 的 Unmute 语音 AI)、给 Agent 一个流式头像、给延迟研究一个平台。它不是成品营销视频的生产工具——输出是 576p/720p 的说话头像,为"跟着音频快"调校,不为"组一支带产品特写的三镜头广告"调校。如果你的交付物是脚本口播、UGC 风格广告或带对白的产品短片,带原生音频的生成模型才是对的工具,延迟也不再重要。
说话头像内容的 Imgo 路径
在 Imgo 上,在线的 Seedance 2 家族渲染带原生同步音频的对白与主持片段——口播、房间感、音效是同一次生成的一部分,首尾帧控制让跨镜头保持观感一致,参考图让脸不跑偏。每次运行提交前都有积分报价。你用 AURA 的实时对话能力,换来成品镜头的画质和一份允许商用的许可——这才是大多数营销与内容团队真正需要的交换。
常见问题
AURA 是开源的吗?
代码、论文、权重和三万条片段的数据集都公开——但权重是非商用的(1.3B 为 CC BY-NC 4.0,5B 为 Snap 的非商用许可)。可以研究、可以打原型 — 不能直接上产品。
AURA 能做到对话级延迟吗?
这就是它的设计目标:单张 GPU 上 576p 实时(20.7 帧/秒),且不看音频前瞻。公开演示驱动的是一场实时语音对话。
能在 Imgo 上用 AURA 吗?
不能——没有集成,其非商用许可也让 Imgo 集成成为错误选择。今天就能生成的说话头像视频,请用在线的 Seedance 2 家族,原生音频渲染对白。
AURA 1.3B 和 AURA 5B 有什么区别?
规模与分辨率:1.3B 在单卡上实时流式 576p — 5B 以每秒 9.7 帧流式 720p,质量对齐更大的教师。架构同为因果少步 — 差别只在速度/分辨率的取舍。
来源:kyutai.org 2026-11-20 的 AURA 发布文章(规格、蒸馏流水线、演示)、github.com/kyutai-labs/aura(代码与许可文件)、Hugging Face 合集(权重许可、数据集)——均核查于 2026-11-21。
分享
Related Posts
No image
AURA 是 Kyutai 对实时说话头像的开源权重答案:音频进、说话头像视频流式出、单卡运行——以及动手前必须看清的非商用权重许可。核查于 2026-11-21。
No image
Suno Visuals 是 Suno 的歌生视频功能:最长 15 秒的片段、歌词同步、单独出售的积分。它覆盖什么、做不到什么,以及在 Imgo 在线 Seedance 2 家族上自己执导的替代工作流——核查于 2026-11-21。
No image
LTX-2.5 是 Lightricks 的开源权重音视频模型:多镜头连续性、同步声音、自动时长,以及一份允许商用的社区许可。实际意味着什么——核查于 2026-11-21,Imgo 侧的今天可跑选项是在线 Seedance 2 家族。