EMO AI: בינה מלאכותית גורמת לאנשים לשיר מתמונות

החדש ששוחרר EMO AI, הבינה המלאכותית של הקבוצה Alibaba, גרם להשלכה גדולה באינטרנט. הכלי מייצר סרטונים מתצלומים, גורם לאוואטר לשיר שירים בשפות שונות, בריאליזם מפתיע.

פלח הבינה המלאכותית הזה עשה התקדמות משמעותית במהלך השנים, כשהופיע בעבר עם עריכת תמונות, כאשר באמצעות אפליקציות, ניתן היה להחליף פרצופים עם מישהו, להוסיף פילטרים ולהשתמש בפיצ'רים אחרים. כעת, הדמיית פעולות בסרטונים עוררה עניין רב בקרב משתמשי האינטרנט, בעיקר בשל הריאליזם המופעל על תכנים אלו.

מה זה EMO AI?

A EMO AI: Emote Portrait Alive הוא כלי ליצירת תוכן אור-קולי באמצעות הפצת אודיו ווידאו אולטרה-ריאליסטיים - או תמונות.

A IA מתמקדת בהדמיה מדויקת ונאמנה של תווי הפנים של הדוגמנית במצבים שניתן להעלות על הדעת מצילום. אפשר להפיק קליפ מתצלום של אדם, שבו הדמות יכולה לשיר שיר פופולרי, להזיז את השפתיים ושרירי הפנים שלה, לבטא נכון את המילים בתנוחות מציאותיות.

לדברי המפתחים של המכון למחשוב חכם, מהקבוצה Alibaba, הסרטונים שנוצרו על ידי EMO AI הם יכולים לקבל כל משך זמן, תלוי רק בגודל קובץ האודיו שהוכנס להפקת הסרטון.

איך עובד AI?

בהתבסס על המתודולוגיה בה משתמשים אנשי מקצוע, ה EMO הוא צריך רק תמונה שתשמש בסיס להפקת הסרטון שנוצר על ידי הבינה המלאכותית שלו. לאחר מכן, עליך להכניס קובץ אודיו כדי שהכלי יוכל ליצור את הסרטון עם הפרשנות של הדמות, לסנכרן את תנועות השפתיים עם המילים ולהנפש את האדם, כל עוד קובץ האודיו נמשך.

ראה למטה סרטון באמצעות EMO AI

הסרטון שלמעלה משתמש בציור אנימה כדי ליצור סצנה מדומה בינה מלאכותית. O EMO AI הוא גם הצליח לייצר בצורה משביעת רצון את תנועת הפנים והשפתיים של הדמות בצורה משכנעת.

מבנה כלי EMO AI

המתודולוגיה המשמשת בפיתוח ה EMO AI יושם בדיוק במטרה לחפש התקדמות באיכות הסרטונים שנוצרו על ידי AI's. החוקרים שאפו למצוא דרכים חלופיות להגברת איכות התוצאה.

בגלל זה, בשלב הראשוני של התהליך, קרא קידוד מסגרת, רשת עצבית הנקראת ReferenceNet מחלץ תכונות מתמונת התייחסות אחת על ידי הדמיית מסגרות התנועה. תהליך הקידוד הזה מניח את הבסיס לסרטון.

לאחר מכן, משולבים האודיו, בעזרת מקודד, מורחים מסכות פנים שיאפשרו תנועות פנים ריאליסטיות. השלמת התהליך, המנגנון רשת עמוד השדרה אחראי על שימור זהות הדמות והתאמת מהירות תנועת הפנים.

למרות התהליך החדשני, מפתחי עליבאבא מדווחים במאמרם המדעי שמצאו מגבלות במודל. הם ציטטו כי ה EMO AI זה לוקח יותר זמן לייצר תוכן מאשר AI אחרים באותו קטע, ובמקרים מסוימים, חלקים אחרים של הגוף עשויים להופיע בסרטון, כמו, למשל, הידיים של הדמות.

החיפוש אחר AI המדמים פעולות

עם התאימות הגוברת של AI למערכות הפעלה קיימות בטלפונים סלולריים, החיפוש אחר הכלים הללו זינק בשנים האחרונות. נכון לעכשיו, ניתן למצוא מספר אפשרויות אפליקציה שמשנות את פני המשתמש עם אחד מפורסם, מזדקנים אותם, מצעירים אותם, מתקנים הבעות פנים, בין היתר.

בין האפשרויות הללו, ה עמוק, שהיא תוצאה של התאמת פנים או החלפתה באמצעות AI. משאב זה יכול לשמש למטרות שונות, כגון הומור, פוליטי או אפילו פורנוגרפי. לגבי פוליטיקה, בברזיל, ה TSE הפעילה את ההתראה בנושא זה, כבר חוזה את השימוש ב עמוק בבחירות באוקטובר השנה.

במקרה זה, ה עמוק זה צלחת מלאה עבור חדשות מזויפות, שכן הם מציגים בדרך כלל מועמד במצבים שקרניים או מדמים נאומים שנויים במחלוקת, שהוא מעולם לא דיבר עליהם, מונעים מאינטרסים פוליטיים.

EMO AI מייצר ביטויים במספר שפות

מחסום נוסף שעליו מתגברים בינה מלאכותית, כולל EMO AI, הוא הפקת סרטונים בשפות שונות. טכנולוגיות אלו מבינות שפות שונות, את צליל המילים שלהן ואת ההגייה שלהן. בכך ניתן להפיק תוכן אורקולי בשפות רבות.

בדוק סרטונים נוספים שנוצרו על ידי EMO AI למטה

מקורות: NowadAls, ארקסיב, Humanaigc.

ראה גם:

נסקר על ידי גלאוקון ויטל ב-28/2/24.