איך נשמע הזוהר הצפוני? הפרויקט המסקרן של וואווי באמצעות הבינה המלאכותית של Mate 20
מה קורה כשצלם מוכשר, מלחין מחונן ומנצח מפורסם חוברים לפרויקט שאפתני שאליו הם מגייסים בינה מלאכותית, כדי להלחין את הזוהר הצפוני? התשובה היא היצירה Sound of Light, שהופקה ע"י Huawei בעזרת הסמארטפון Mate 20. כך זה נשמע
מה הקשר בין הזוהר הצפוני, חברת וואווי, בינה מלאכותית, קונצרט, וינה וסמארטפון? התשובה לא פחות מוזרה מהשאלה: יצירה קלאסית. אילו נקלעתם השבוע לאולם הקונצרטים בראהמס בווינה שבאוסטריה, הייתם עדים לאירוע ראשון מסוגו, שבו הגיע לשיא פרויקט שאפתני שלחברת וואווי (Huawei) הסינית: לכידת צלילי האור. מדובר בפרויקט חוצה גבולות, תרתי משמע: גבולות גיאוגרפיים, גבולות בין החושים (חוש הראייה וחוש השמיעה) וגבולות בין טכנולוגיה לאמנות – והמשמעות שלו עצומה.
הרעיון שניסתה וואווי ליישם, ואף הצליחה, הוא לרתום את יכולות הבינה המלאכותית של סמארטפון הדגל שלה, Huawei Mate 20, כדי להפוך את תופעת הטבע של הזוהר הצפוני לסימפוניית צלילי האור (Sound of Light). הפרויקט כולו התנקז לקונצרט באולם ברהמס ההיסטורי שבווינה, אוסטריה – שאליו הוזמנו עיתונאים מכל העולם, ולשמחתי גם אני.
חשוב להבין, לא מדובר בסימפוניה שהולחנה מ-א' ועד ת' על-ידי טלפון חכם עם בינה מלאכותית משוכללת, אשר תרגמה את הזוהר הצפוני למוזיקה. אנחנו עדיין לא שם, וייקח עוד זמן עד שאפשר יהיה להיפרד מבני אדם כמלחינים ולהאזין לסימפוניות שהולחנו מתמונות שקיעה, זריחה או חתונה. אולם, השילוב בין הבינה האנושית לבינה המלאכותית עבר כאן קפיצת מדרגה. מדובר בשיתוף פעולה חסר תקדים בין צילום שבוצע ע"י צוות מקצועי, מוזיקה שהולחנה ע"י בני אדם, וחיבור בין התמונות לצלילים שבוצע ע"י הבינה המלאכותית.
איך זה עבד?
הפרויקט הורכב מכמה שלבים ומכמה צוותים, והתהליך נמשך שלושה חודשים.
המסע החל בשליחתו של קייטי סקוגלי (Kjetil Skogli), "צייד הזוהר הצפוני", אל נורווגיה. שם הוא תיעד בווידאו, במרחבים הפתוחים שמתחת שמי הלילה, את הזוהר הצפוני.
לאחר מכן, הסרט נשלח למעבדות הסאונד, שם בעצם התבצע פינג-פונג בין המלחין מארק סייפריץ (Mark Sayfritz) לבין מערכת הבינה המלאכותית (AI) כדי ליצור את הסימפוניה שהתבססה על תמונות הזוהר הצפוני. מדובר במערכת AI שנבנתה במיוחד, אשר תרגמה את אורות הזוהר הצפוני ל-10 תצורות שונות – וזאת לאחר שצוות משולב של מתכנתים ומוזיקאים אימנו אותה לכך. לכל אחת מ-10 התצורות הללו הולחן קטע מוזיקה, ומערכת ה-AI ניתחה את תמונות הזוהר הצפוני על סמך התנועה והאור כדי לייצר מתאם בין התמונות לצלילים. את התוצר היא שלחה אל המתכנתים, וקיבלה משוב שבאמצעותו למדה היכן היא טעתה. כך היא יכולה הייתה להחזיר מענה מוזיקלי מתאים יותר.
תפקידו של סייפריץ היה לקחת את מרכיבי הצליל שנוצרו על-ידי מערכת הבינה המלאכותית שנבנתה במיוחד ולהרכיב את הצלילים החדשים האלה לסימפוניה.
יחידות הצליל הללו הפכו ליצירת סימפוניה, כמובן בשילוב ה-Huawei Mate 20, אשר מצויד במעבד החדש Kirin 980. הסיבה לשימוש בסמארטפון Huawei Mate 20 היא העובדה שהוא מצויד במעבד חזק במיוחד ובמערכת בינה מלאכותית שנבנתה במיוחד עבורו ומסוגלת ליצור מתאם בין מרכיבים מוזיקליים לסרט וידיאו.
"השילוב של בינה מלאכותית במוזיקה שלי, פתח בפניי מנעד חדש וגדול של אפשרויות יצירתיות. כעת, אני יכול להזין סרטים שצילמתי של הזוהר הצפוני למערכת בינה מלאכותית שתנתח דברים כגון צבע, ממדים, צורה ומהירות. בשלב הבא, המערכת מחוללת וריאציות של המשפטים המוזיקליים שלי על סמך מה שהיא רואה. כאשר ה-AI מזהה תצוגת אורות דרמטית במיוחד, היא מסוגלת לאפנן את הצלילים כדי שישקפו את האינטנסיביות שבקומפוזיציה. או אז, אני יכול לשלב את כל המרכיבים לסימפוניה", מסביר המלחין סייפריץ.
לסיום, לאחר שהקטעים המוזיקליים הולחנו, סייפריץ שיתף אותם עם המנצח ג'יימס שירמן (James Shearman), אשר עיבד את הקטעים ליצירה התזמורתית "צלילי האור".
כאמור, הפרויקט הגיע לשיאו בהופעה חיה שבה ניגנה את היצירה התזמורת Synchron Stage Orchestra. התזמורת היא למעשה מבחר קפדני של המוזיקאים הטובים ביותר מהתזמורות המפורסמות ביותר של וינה, והיא מנגנת באולפן הקלטות המתמחה בתזמורות גדולות ובמוזיקה לסרטים. גם במהלך הקונצרט עצמו נעשה שימוש במייט 20 שחובר לסינתיסייזרים.
מה לוואווי ולסימפוניה קלאסית והאם זה נוגע לצרכן הסופי?
ענקית הטכנולוגיה Huawei הסינית, רואה בבינה המלאכותית יעד שהיא מעוניינת לפתח וכלי שצפוי לשנות את העולם.
מאחר שהיא שילבה בסדרת הדגל שלה Mate 20 מעבד חזק ויכולות בינה מלאכותית משוכללות, היא יצאה לדרך עם פרויקט שיסמן גבולות גזרה חדשים לתעשייה כולה.
מבחינת משתמשי הקצה, כלומר, הצרכנים עצמם, בשלב הזה אין משמעות מיידית ליכולות הללו כאשר הם רוכשים את וואווי Mate 20, אבל יש להניח שלא ירחק היום ומפתחי אפליקציות ינגישו את היכולות הללו גם לשימושים יומיומיים.
בשורה התחתונה, סדרת מייט 20 של וואווי מביאה יכולות שטרם נראו וטרם יושמו באמצעות סמארטפון ומכניסה את הבינה המלאכותית לטריטוריה חדשה. יש להניח שהיצרניות המתחרות כמו אפל וסמסונג לא יישבו בחיבוק ידיים נוכח הרחבת גבולות הגזרה של וואווי, והבינה המלאכותית תגיע למחוזות רבים ומעניינים שלא ראינו עד כה בסמראטפונים, תוך נגיעה לחיי היומיום של המשתמשים.
