Kyutais AURA-Sprechavatar-Modell: Streaming-Gesichter für deine Stimme
AURA (AUdio-dRiven streaming Avatar) ist Kyutais Familie von Sprache-zu-Video-Modellen, veröffentlicht am 2026-11-20 zusammen mit Paper, Code, Gewichten und einem synthetischen Datensatz aus 30.000 Clips. Die Behauptung, die zählt: Ein Porträt plus ein Live-Sprachstrom wird auf einer einzigen GPU in Echtzeit zu Talking-Head-Video — der Avatar folgt der Stimme mit geringer Latenz, Stück für Stück, statt Sekunden auf das Denoisen eines fertigen Clips zu warten. Diese Seite ist eine externe Referenz dessen, was AURA ist und nicht ist — zuletzt geprüft: 2026-11-21.
Auf einen Blick
| Externe Referenz | Kyutai AURA — der Release-Post auf kyutai.org, das GitHub-Repository (kyutai-labs/aura) und die Hugging-Face-Kollektion |
|---|---|
| Verfügbarkeit auf Imgo | Nicht auf Imgo, und nicht aus Imgo generierbar — die Gewichtlizenzen verbieten kommerzielle Nutzung, eine Imgo-Integration wäre also selbst technisch vom Tisch. |
| Zuletzt geprüft | 2026-11-21 |
| Was du heute auf Imgo generieren kannst | Die live Seedance-2-Familie rendert Talking-Head- und Dialogclips mit nativ synchronisiertem Audio — geskriptete Spots, UGC-artige Anzeigen, Presenter-Einstellungen — vor jedem Lauf in Credits beziffert. |
| Offizielle Quelle und Abrechnungseinheit | Kyutai veröffentlicht alles offen — es gibt keine AURA-API-Abrechnung. Gewichte: AURA-1.3B unter CC BY-NC 4.0, AURA-5B unter Snap nicht-kommerzieller Lizenz. |
Mache heute Talking-Head-Video auf Imgo: Seedance 2.0 mit nativem Audio, im Video-Generator.
Was AURA wirklich ist
Zwei Modelle, eine Idee. AURA 1.3B streamt 576p-Talking-Head-Video in Echtzeit — 20,7 Frames pro Sekunde bei 16-Hz-Wiedergabe auf einer GPU, 23× schneller als das Lehrermodell, aus dem es destilliert wurde. AURA 5B streamt 720p mit 9,7 fps und erreicht die Qualität seines TalkVerse-Lehrers bei 17× der Geschwindigkeit. Beide wurden aus 50-Schritt-bidirektionalen Lehrern in 4-Schritt-kausale Studenten destilliert, die Stück für Stück mit rollierendem KV-Cache und ohne Audio-Vorausschau generieren: Nur das Audio des aktuellen Stücks wird gebraucht, bevor sein Video zu rendern beginnt. Diese letzte Eigenschaft ist der ganze Punkt — sie macht einen Avatar möglich, der ein Live-Gespräch halten kann, nicht einen, der mit fünf Sekunden Verzögerung antwortet.
Woher die Geschwindigkeit kommt
Das Release ist ebenso sehr eine Destillationsstudie wie ein Modell: eine Zwei-Stufen-Pipeline, die zuerst den kausalen Studenten auf die Trajektorie des eingefrorenen Lehrers regressiert, dann den Studenten ohne Gradienten abwickelt und Lehrer- und Kritiker-Scores auf dem eigenen Pfad des Studenten angleicht. Die Engineering-Details — kausale Block-Attention über Stücke latenter Frames, der Bewegungskontext vollständig im KV-Cache getragen, Diffusion-Zeitschritte pro Stück — sind der Grund, warum das Ding streamt. Das Paper (BMVC 2026) trägt die vollständige Methode.
Die Lizenzen, klar gesagt
Offen heißt hier nicht uneingeschränkt. Der Code trägt eine eigene Lizenz — die Gewichte sind beide nicht-kommerziell — AURA-1.3B unter CC BY-NC 4.0, AURA-5B unter Snap Inc. nicht-kommerzieller Lizenz (sein Lehrer stammt von Snaps TalkVerse ab). Für Forschung, private Projekte und Prototypen: in Ordnung. Für ein Produkt — einen Support-Avatar, eine monetisierte Companion-App — würdest du auf Gewichten bauen, die du nicht ausliefern darfst. Lies die Lizenzdateien im Repository, bevor du eine Zeile Code drumherum schreibst.
Für wen AURA ist — und für wen nicht
AURA ist für Leute, die interaktive Systeme bauen: ein Gesicht für einen Sprachassistenten (das Release zeigt es live Kyutais Unmute steuernd), ein gestreamter Avatar für einen Agenten, eine Forschungsplattform für Latenzarbeit. Es ist kein Produktionswerkzeug für fertiges Marketingvideo — der Output ist ein Talking Head in 576p/720p, darauf getrimmt, Audio schnell zu folgen, nicht darauf, eine Drei-Shot-Anzeige mit Produkt-Schönheitspassagen zu komponieren. Wenn dein Deliverable ein geskripteter Presenter, eine UGC-artige Anzeige oder ein Produktspot mit Dialog ist, ist ein Generationsmodell mit nativem Audio das richtige Instrument — und Latenz hört auf zu zählen.
Der Imgo-Weg für Talking-Head-Inhalte
Auf Imgo rendert die live Seedance-2-Familie Dialog- und Presenter-Clips mit nativ synchronisiertem Audio — die gesprochene Zeile, der Raum und die Effekte sind Teil desselben Durchgangs, mit Erstes-/Letztes-Bild-Kontrolle, um einen Look über Schnitte zu halten, und Referenzbildern, um ein Gesicht zu halten. Jeder Lauf beziffert seine Credit-Kosten vor dem Absenden. Du tauschst AURAs Echtzeit-Konversation gegen fertige Schönheit und eine Lizenz, die kommerzielle Arbeit erlaubt — der Trade, den die meisten Marketing- und Content-Teams wirklich brauchen.
Häufige Fragen
Ist AURA Open Source?
Code, Paper, Gewichte und ein 30K-Clip-Datensatz sind offen veröffentlicht — aber die Gewichte sind nicht-kommerziell (CC BY-NC 4.0 für 1.3B, Snap nicht-kommerzielle Lizenz für 5B). Offen zum Studieren und Prototypen — nicht offen zum Ausliefern in einem Produkt.
Hält AURA Konversationslatenz?
Das ist sein Designziel: 576p in Echtzeit (20,7 fps) auf einer einzelnen GPU und ohne Audio-Vorausschau. Die öffentliche Demo steuert ein Live-Sprachgespräch.
Kann ich AURA auf Imgo verwenden?
Nein — nicht integriert, und seine nicht-kommerziellen Lizenzen machen eine Imgo-Integration zum falschen Move. Für heute generierbares Talking-Head-Video rendert die live Seedance-2-Familie Dialog mit nativem Audio.
Was ist der Unterschied zwischen AURA 1.3B und AURA 5B?
Skalierung und Auflösung: 1.3B streamt 576p in Echtzeit auf einer GPU — 5B streamt 720p mit 9,7 fps bei Qualität auf Augenhöhe mit seinem größeren Lehrer. Gleiche kausale Wenig-Schritt-Architektur — nur der Kompromiss Geschwindigkeit/Auflösung unterscheidet sich.
Quellen: der AURA-Release-Post auf kyutai.org vom 2026-11-20 (Spezifikationen, Destillationspipeline, Demo), github.com/kyutai-labs/aura (Code und Lizenzdateien), die Hugging-Face-Kollektion (Gewichtlizenzen, Datensatz) — alles geprüft am 2026-11-21.
Teilen
Related Posts
No image
AURA ist Kyutais Antwort auf Echtzeit-Sprechavatare mit offenen Gewichten: Audio rein, Talking-Head-Video im Streaming raus, auf einer GPU — mit nicht-kommerziellen Gewichtlizenzen, die zählen, bevor man darauf baut. Geprüft am 2026-11-21.
No image
Suno Visuals ist Sunos Song-zu-Video-Funktion: Clips bis 15 Sekunden, lyriksynchron, separat verkaufte Credits. Was sie abdeckt, was nicht — und der Alternative-Workflow für eigene Regie auf Imgos live Seedance-2-Familie, geprüft am 2026-11-21.
No image
LTX-2.5 ist Lightricks' Audio-Video-Modell mit offenen Gewichten: Multi-Shot-Kontinuität, synchronisierter Klang, automatische Dauer und eine Lizenz, die kommerzielle Arbeit erlaubt. Was das praktisch heißt — geprüft am 2026-11-21, mit der Seedance-2-Familie als Option, um heute auf Imgo zu generieren.