AURA של Kyutai, מודל האווטאר המדבר: פנים בסטרימינג לקול שלך
AURA (אווטאר מסונכרן בסטרימינג מונחה שמע) הוא משפחת מודלי הדיבור-לווידאו של Kyutai, שפורסמה ב-2026-11-20 יחד עם המאמר, הקוד, המשקולות ומערך נתונים סינתטי של 30,000 קליפים. הטענה שחשובה: פורטרט אחד וערוץ דיבור חי הופכים לווידאו talking head בזמן אמת על GPU יחיד — האווטאר עוקב אחרי הקול בהשהיה נמוכה, נתח אחר נתח, במקום לחכות שניות לניקוי רעשים של קליפ מוגמר. העמוד הזה הוא הפניה חיצונית למה AURA כן ומה לא — בדיקה אחרונה: 2026-11-21.
בקצרה
| הפניה חיצונית | Kyutai AURA — פוסט ההשקה ב-kyutai.org, הריפוזיטורי ב-GitHub (kyutai-labs/aura) והאוסף ב-Hugging Face |
|---|---|
| זמינות ב-Imgo | אינו ב-Imgo, ואי אפשר לייצר אותו מ-Imgo — רישיונות המשקולות אוסרים שימוש מסחרי, כך שאינטגרציה עם Imgo הייתה יורדת מהפרק גם טכנית. |
| בדיקה אחרונה | 2026-11-21 |
| מה אפשר לייצר ב-Imgo היום | משפחת Seedance 2 הפעילה מרנדרת קליפי talking head ודיאלוג עם אודיו מקורי מסונכרן — ספוטים כתובים, פרסומות בסגנון UGC, שוטים של מנחה — עם הצעת קרדיטים לפני כל הרצה. |
| מקור רשמי ויחידת חיוב | Kyutai מפרסמת הכל בגלוי — אין חיוב API ל-AURA. משקולות: AURA-1.3B תחת CC BY-NC 4.0, AURA-5B תחת הרישיון הלא-מסחרי של Snap. |
עשו היום וידאו talking head ב-Imgo: Seedance 2.0 עם אודיו מקורי, במחולל הווידאו.
מה AURA באמת
שני מודלים, רעיון אחד. AURA 1.3B מסטרמט וידאו talking head ב-576p בזמן אמת — 20.7 פריימים לשנייה לניגון ב-16Hz על GPU יחיד, פי 23 מהר יותר מהמורה שממנו זוקק. AURA 5B מסטרמט 720p ב-9.7 פריימים לשנייה ומשתווה לאיכות המורה TalkVerse שלו במהירות פי 17. שניהם זוקקו ממורים דו-כיווניים בני 50 צעדים לתלמידים סיבתיים בני 4 צעדים שמייצרים נתח אחר נתח עם KV cache מתגלגל ובלי להציץ קדימה בשמע: רק השמע של הנתח הנוכחי נדרש לפני שהווידאו שלו מתחיל להתרנדר. התכונה הזאת היא כל העניין — היא שמאפשרת אווטאר שיכול לקיים שיחה חיה, ולא כזה שעונה באיחור של חמש שניות.
מאיפה מגיעה המהירות
השחרור הוא לא פחות מחקר זיקוק מאשר מודל: פייפליין בשני שלבים שקודם מרגרס את התלמיד הסיבתי על מסלול המורה הקפוא, ואז מפרק את התלמיד בלי גרדיאנטים ומיישב את ציוני המורה והמבקר על המסלול של התלמיד עצמו. הפרטים ההנדסיים — אטנציה סיבתית בבלוקים על נתחי פריימים חבויים, הקשר התנועה שנישא כולו ב-KV cache, timesteps דיפוזיה שונים לכל נתח — הם הסיבה שהדבר בכלל מסטרם. המאמר (BMVC 2026) נושא את השיטה המלאה.
הרישיונות, בלי עיגולים
פתוח כאן לא אומר בלי מגבלות. הקוד נושא רישיון משלו — שתי המשקולות לא-מסחריות — AURA-1.3B תחת CC BY-NC 4.0, AURA-5B תחת הרישיון הלא-מסחרי של Snap Inc. (המורה שלו יורד מ-TalkVerse של Snap). למחקר, פרויקטים אישיים ואבות-טיפוס — בסדר. למוצר — אווטאר שירות לקוחות, אפליקציית ליווי ממונטת — בונים על משקולות שאי אפשר לשחרר. קראו את קובצי הרישיון בריפוזיטורי לפני שכותבים סביבם שורת קוד אחת.
למי AURA מיועד, ולמי לא
AURA מיועד לבוני מערכות אינטראקטיביות: פנים לעוזר קולי (השחרור מציג אותו מניע בזמן אמת את Unmute של Kyutai), אווטאר בסטרימינג לסוכן, פלטפורמת מחקר לעבודת השהיה. הוא לא כלי ייצור לווידאו שיווקי מוגמר — הפלט הוא talking head ב-576p/720p, מכוונן לעקוב אחרי שמע במהירות, לא להלחין פרסומת בת שלושה שוטים עם מעברי יופי של המוצר. אם התוצר שלכם הוא מנחה עם תסריט, פרסומת בסגנון UGC או ספוט מוצר עם דיאלוג — מודל גנרטיבי עם אודיו מקורי הוא הכלי הנכון, וההשהיה מפסיקה להיות רלוונטית.
המסלול של Imgo לתוכן talking head
ב-Imgo משפחת Seedance 2 הפעילה מרנדרת קליפי דיאלוג והגשה עם אודיו מקורי מסונכרן — השורה המדוברת, החלל והאפקטים חלק מאותה פאס, עם שליטה בפריים הראשון והאחרון כדי להחזיק לוק בין חיתוכים ותמונות ייחוס כדי להחזיק פנים. כל הרצה מתומחרת בקרדיטים לפני שליחה. מחליפים את השיחה בזמן אמת של AURA באיכות שוט מוגמר וברישיון שמתיר עבודה מסחרית — העסקה שרוב צוותי השיווק והתוכן באמת צריכים.
שאלות נפוצות
האם AURA קוד פתוח?
הקוד, המאמר, המשקולות ומערך של 30 אלף קליפים מפורסמים בגלוי — אבל המשקולות לא-מסחריות (CC BY-NC 4.0 ל-1.3B, הרישיון הלא-מסחרי של Snap ל-5B). פתוח ללימוד ולאב-טיפוס — לא פתוח לשחרור במוצר.
AURA עומד בהשהיה של שיחה?
זה יעד העיצוב שלו: 576p בזמן אמת (20.7 fps) על GPU יחיד ובלי להציץ קדימה בשמע. הדמו הציבורי מנהל שיחת קול חיה.
אפשר להשתמש ב-AURA על Imgo?
לא — אין אינטגרציה, והרישיונות הלא-מסחריים שלו הופכים אינטגרציה עם Imgo לצעד שגוי. לווידאו talking head שאפשר לייצר היום, משפחת Seedance 2 הפעילה מרנדרת דיאלוג עם אודיו מקורי.
מה ההבדל בין AURA 1.3B ל-AURA 5B?
סקאלה ורזולוציה: 1.3B מסטרמט 576p בזמן אמת על GPU יחיד — 5B מסטרמט 720p ב-9.7 fps עם איכות שווה למורה הגדול שלו. אותה ארכיטקטורה סיבתית מרובת-מעט-צעדים — רק יחס המהירות/רזולוציה שונה.
מקורות: פוסט ההשקה של AURA ב-kyutai.org מ-2026-11-20 (מפרט, פייפליין הזיקוק, דמו), github.com/kyutai-labs/aura (קוד וקובצי רישיון), אוסף Hugging Face (רישיונות משקולות, מערך נתונים) — הכל נבדק ב-2026-11-21.
שיתוף
Related Posts
No image
AURA הוא התשובה של Kyutai לאווטארים מדברים בזמן אמת עם משקולות פתוחות: שמע נכנס, ווידאו talking head יוצא בסטרימינג, על GPU אחד — ורישיונות משקולות לא-מסחריים שחשוב להבין לפני שבונים עליהן. נבדק ב-2026-11-21.
No image
Suno Visuals הוא פיצ'ר השיר-לסרטון של Suno: קליפים עד 15 שניות, מסונכרנים עם המילים, קרדיטים שנמכרים בנפרד. מה הוא מכסה, מה הוא לא יכול, וזרימת העבודה החלופית — לביים בעצמכם על משפחת Seedance 2 הפעילה ב-Imgo. נבדק ב-2026-11-21.
No image
LTX-2.5 הוא מודל האודיו-וידאו במשקולות פתוחות של Lightricks: המשכיות מולטי-שוט, צליל מסונכרן, משך אוטומטי ורישיון שמתיר עבודה מסחרית. מה זה אומר בפועל — נבדק ב-2026-11-21, עם משפחת Seedance 2 כאפשרות לייצר היום ב-Imgo.