חוקרי גוגל יוצרים תוכנה שמשתמשת בתמונות מהאינטרנט כדי ליצור מחדש מבנים גדולים בתלת מימד

צוות של שישה חוקרים מ-Google Research, חטיבת מחקר תוכנה של גוגל, פיתח תוכנה המשתמשת במספר תמונות נפוצות מהאינטרנט כדי לשחזר מודלים תלת-ממדיים של אובייקטים שונים, כגון אטרקציות תיירותיות בערים שונות ברחבי העולם.

הפרויקט, המכונה "NeRF-W" (ראשי תיבות של "Wild Neural Radiation Fields" בהתייחס לתמונות ש"פורסמו" ברחבי האינטרנט), משתמש בטכניקות אינטרפולציה של תמונות ובינה מלאכותית (AI) כדי "לצייר", ברמת דיוק גבוהה, סדרה של אתרי תיירות מובילים, כגון שער ברנדנבורג (ברלין, גרמניה), בזיליקת הלב הקדוש (פריז, צרפת) ומזרקת טרווי (רומא, איטליה).

זה שם מפואר, אבל "אינטרפולציה של תמונה" היא פשוטה להבנה: דמיינו שיש לכם שתי תמונות או יותר של אותו אובייקט, שצולמו מזוויות שונות. מה שטכניקה זו עושה הוא "לאחד" את כל התמונות הללו ולמקם אותן מחדש כך שהתוצאה הסופית תהיה מעין מודל של האובייקט המתואר.

הטכניקה עצמה אינה חדשה במיוחד, אם כי מעט מוכרת. אך זו הפעם הראשונה שהיא מיושמת באמצעות בינה מלאכותית וצוות קטן, שכן הצוות המלא של גוגל מורכב משישה חוקרים "רק": ריקרדו מרטין-ברואלה, נוהא רדואן, מהדי ס.מ. סאג'די, ג'ונתן ט. בארון, אלכסיי דוסוביצקי ודניאל דאקוורת'. הפיתוח חולק מרחוק, כאשר שלושה מהם ממוקמים בברלין, בעוד שלושת האחרים ממוקמים בסיאטל, וושינגטון, ובסן פרנסיסקו, קליפורניה.

חדש גם הוא השיטה שבה השתמשו כדי להשיג את התוצאות המדויקות יותר: על פי האתר הרשמי, הם יצרו למעשה שלושה קווי לכידת תמונה: אחד עבור התמונות עצמן, אחר להסרת "רעש" (הולכי רגל בתמונות, מכוניות חולפות בקרבת מקום וכו'), ושלישי לתאורת הסביבה. שלושת הקווים הללו משמשים כמרווח טעות כך שהבינה המלאכותית בה השתמשו תוכל לעבוד בדיוק רב יותר בעת יצירת המודל התלת-ממדי.

"NeRF-W מפריד את התאורה מהגיאומטריה של הסצנה התלת-ממדית שמתחתיה. [בדרך זו,] האחרונה נשארת קבועה, גם כאשר התאורה משתנה." במילים אחרות, מה שהמחברים אומרים הוא שללא קשר לשינויים בתאורה, כפי שמראים הסרטונים בשינויים בין שעות היום והלילה, האובייקט המוקלט - במקרה זה, ציוני הדרך - אינו משתנה, מה שמוכיח את דיוק המערכת כולה.

הפרויקט כולו עדיין בשלב ניסיוני, אך יוצרי גוגל כבר מתכננים תוכניות שאפתניות עבורו. הם מצפים להפוך אותו לזמין לציבור "בקרוב" (הם לא מציינים תאריך) כדי שאחרים יוכלו לעזור להם ליצור ייצוג נאמן של כדור הארץ. בזמן שאנחנו ממתינים שהם יגיעו לנקודה זו, ראו להלן עוד כמה דוגמאות ליצירות התוכנה:

מקור: NeRF בטבע