AURA của Kyutai, mô hình avatar biết nói: khuôn mặt streaming cho giọng nói của bạn
AURA (avatar streaming điều khiển bằng âm thanh) là họ mô hình giọng-sang-video của Kyutai, công bố ngày 2026-11-20 cùng bài báo, mã, trọng số và một bộ dữ liệu tổng hợp 30.000 clip. Tuyên bố đáng chú ý: một bức chân dung cộng một luồng giọng nói trực tiếp trở thành video talking head thời gian thực trên một GPU duy nhất — avatar bám theo giọng với độ trễ thấp, từng khúc một, thay vì chờ vài giây để khử nhiễu một clip hoàn chỉnh. Trang này là tham chiếu bên ngoài về việc AURA là gì và không là gì — kiểm chứng lần cuối: 2026-11-21.
Tóm tắt
| Tham chiếu bên ngoài | Kyutai AURA — bài đăng phát hành trên kyutai.org, kho GitHub (kyutai-labs/aura) và bộ sưu tập Hugging Face |
|---|---|
| Tình trạng trên Imgo | Không có trên Imgo, và không thể tạo từ Imgo — giấy phép trọng số cấm sử dụng thương mại, nên tích hợp với Imgo đã bị loại ngay cả về mặt kỹ thuật. |
| Kiểm chứng lần cuối | 2026-11-21 |
| Hôm nay bạn tạo được gì trên Imgo | Dòng Seedance 2 đang chạy render các clip talking head và đối thoại với âm thanh gốc đồng bộ — spot có kịch bản, quảng cáo kiểu UGC, khung người dẫn — báo giá credit trước mỗi lần chạy. |
| Nguồn chính thức và đơn vị tính phí | Kyutai công bố mọi thứ rộng rãi — không có tính phí API cho AURA. Trọng số: AURA-1.3B dưới CC BY-NC 4.0, AURA-5B dưới giấy phép phi thương mại của Snap. |
Làm video talking head trên Imgo hôm nay: Seedance 2.0 với âm thanh gốc, trong trình tạo video.
AURA thực sự là gì
Hai mô hình, một ý tưởng. AURA 1.3B stream video talking head 576p thời gian thực — 20,7 khung hình mỗi giây cho phát ở 16 Hz trên một GPU, nhanh hơn 23 lần giáo viên mà nó được chưng cất. AURA 5B stream 720p ở 9,7 khung/giây, ngang chất lượng giáo viên TalkVerse của nó ở tốc độ 17 lần. Cả hai được chưng cất từ các giáo viên hai chiều 50 bước thành học sinh nhân quả 4 bước, sinh ra từng khúc với KV cache cuộn và không nhìn trước âm thanh: chỉ cần âm thanh của khúc hiện tại là video của khúc đó bắt đầu render. Tính chất cuối này là toàn bộ điểm mấu chốt — nó khiến một avatar có thể giữ được cuộc hội thoại trực tiếp, thay vì trả lời trễ năm giây.
Tốc độ đến từ đâu
Bản phát hành vừa là một nghiên cứu chưng cất vừa là một mô hình: một pipeline hai giai đoạn, trước tiên hồi quy học sinh nhân quả lên quỹ đạo của giáo viên bị đóng băng, sau đó triển khai học sinh không gradient và khớp điểm của giáo viên và phê bình trên chính đường đi của học sinh. Các chi tiết kỹ thuật — attention nhân quả theo khối trên các khúc khung hình tiềm ẩn, ngữ cảnh chuyển động do KV cache gánh trọn, các bước khuếch tán khác nhau cho từng khúc — là lý do nó stream được. Bài báo (BMVC 2026) chứa đầy đủ phương pháp.
Giấy phép, nói thẳng
Ở đây mở không có nghĩa là không giới hạn. Mã mang giấy phép riêng — trọng số đều phi thương mại — AURA-1.3B dưới CC BY-NC 4.0, AURA-5B dưới giấy phép phi thương mại của Snap Inc. (giáo viên của nó gốc từ TalkVerse của Snap). Cho nghiên cứu, dự án cá nhân và prototype — ổn. Cho một sản phẩm — avatar hỗ trợ khách hàng, app bạn đồng hành kiếm tiền — bạn đang xây trên trọng số không thể bàn giao. Đọc các tệp giấy phép trong kho mã trước khi viết dù chỉ một dòng code quanh nó.
AURA dành cho ai, và không dành cho ai
AURA dành cho người dựng hệ thống tương tác: một khuôn mặt cho trợ lý giọng nói (bản phát hành trình diễn nó lái trực tiếp Unmute của Kyutai), một avatar streaming cho một agent, một nền tảng nghiên cứu về độ trễ. Nó không phải công cụ sản xuất cho video marketing hoàn chỉnh — đầu ra là talking head 576p/720p, tinh chỉnh để bám âm thanh nhanh, không phải để dựng quảng cáo ba cú quay với các đoạn cận cảnh sản phẩm. Nếu sản phẩm giao của bạn là người dẫn có kịch bản, quảng cáo kiểu UGC hay spot sản phẩm có hội thoại, mô hình sinh với âm thanh gốc là nhạc cụ đúng, và độ trễ thôi không còn quan trọng.
Con đường Imgo cho nội dung talking head
Trên Imgo, dòng Seedance 2 đang chạy render các clip đối thoại và người dẫn với âm thanh gốc đồng bộ — câu thoại, căn phòng và hiệu ứng là một phần của cùng một lượt, với kiểm soát khung đầu và khung cuối để giữ phong cách giữa các đường cắt và hình tham chiếu để giữ một khuôn mặt. Mỗi lần chạy báo giá credit trước khi gửi. Bạn đổi cuộc hội thoại thời gian thực của AURA lấy chất lượng cú quay hoàn chỉnh và một giấy phép cho phép công việc thương mại — khoản đánh đổi mà phần lớn các đội marketing và nội dung thực sự cần.
Câu hỏi thường gặp
AURA có phải mã nguồn mở không?
Mã, bài báo, trọng số và bộ dữ liệu 30 nghìn clip được công bố rộng rãi — nhưng trọng số phi thương mại (CC BY-NC 4.0 cho 1.3B, giấy phép phi thương mại của Snap cho 5B). Mở để nghiên cứu và làm prototype — không mở để bàn giao trong sản phẩm.
AURA chịu được độ trễ hội thoại?
Đó là mục tiêu thiết kế của nó: 576p thời gian thực (20,7 khung/giây) trên một GPU duy nhất và không nhìn trước âm thanh. Bản demo công khai dẫn dắt một cuộc hội thoại giọng nói trực tiếp.
Tôi dùng AURA trên Imgo được không?
Không — không được tích hợp, và giấy phép phi thương mại của nó khiến tích hợp với Imgo là nước đi sai. Cho video talking head tạo được hôm nay, dòng Seedance 2 đang chạy render hội thoại với âm thanh gốc.
Khác biệt giữa AURA 1.3B và AURA 5B là gì?
Quy mô và độ phân giải: 1.3B stream 576p thời gian thực trên một GPU — 5B stream 720p ở 9,7 khung/giây với chất lượng ngang giáo viên lớn hơn của nó. Cùng kiến trúc nhân quả ít bước — chỉ khác cân bằng tốc độ/độ phân giải.
Nguồn: bài phát hành AURA trên kyutai.org ngày 2026-11-20 (thông số, pipeline chưng cất, demo), github.com/kyutai-labs/aura (mã và tệp giấy phép), bộ sưu tập Hugging Face (giấy phép trọng số, bộ dữ liệu) — tất cả kiểm chứng 2026-11-21.
Chia sẻ
Related Posts
No image
AURA là câu trả lời trọng số mở của Kyutai cho avatar biết nói thời gian thực: âm thanh vào, video talking head streaming ra, trên một GPU — cùng các giấy phép trọng số phi thương mại cần nắm trước khi xây trên nó. Kiểm chứng 2026-11-21.
No image
Suno Visuals là tính năng bài-hát-sang-video của Suno: clip tới 15 giây, đồng bộ lời, tín dụng bán riêng. Nó che phủ gì, không làm được gì, và quy trình thay thế — tự đạo diễn trên dòng Seedance 2 đang chạy của Imgo. Kiểm chứng 2026-11-21.
No image
LTX-2.5 là mô hình âm thanh-video trọng số mở của Lightricks: tính liên tục multi-shot, âm thanh đồng bộ, thời lượng tự động và giấy phép cho phép công việc thương mại. Ý nghĩa thực tế — kiểm chứng 2026-11-21, lựa chọn tạo ngay hôm nay trên Imgo là dòng Seedance 2 đang chạy.