גולן לוין יוצר אומנות שמביטה עליך בחזרה

שלום! שמי גולן לוין. אני אמן ומהנדס. שבהדרגה הופכת להכלאה נפוצה יותר ויותר. אבל אני עדיין נופל בחרך מוזר כזה שאנשים לא ממש מבינים אותי. וחיפשתי יום אחד ומצאתי את התמונה הנפלאה הזאת. זה מכתב מתוך מגזין "ארט-פורום" בשנת 1967 שאומר "אנחנו לא יכולים לדמיין שאי פעם נוציא גיליון מיוחד בנושא אלקטרוניקה או מחשבים באומנות". והם עדיין לא עשו את זה... ואם אתם חושבים שכולכם, אליטת תעשיית המחשבים, נאורים יותר, נכנסתי לחנות תוכנות המקוונת של iPhone לפני כמה זמן. איפה קטגוריית אומנות? מצאתי קטגוריית פרודוקטיביות, ספורט. ואיכשהו, הרעיון שמישהו ירצה ליצור אומנות לiPhone, מה שאני וחבריי עושים עכשיו, עדיין לא משתקף בהבנה שלנו על מהו ייעודם של המחשבים.

אז משני הכיוונים, יש סוג של... אני חושב, חוסר הבנה לגבי מה המשמעות של להיות אמן שמשתמש בחומרים של זמנו שלו, או של זמנה שלה. שלפי דעתי אמנים מחויבים לכך, ללחקור באמת את פוטנציאל הביטוי של הכלים החדשים שיש לנו. במקרה הפרטי שלי, אני אמן, ואני מאוד מתעניין בהרחבת "אוצר המילים" של הפעולה האנושית, ובעצם להעצים אנשים דרך אינטראקטיביות. אני רוצה שאנשים יגלו את עצמם כשחקנים, כשחקנים יצירתיים, כתוצאה מהתנסויות אינטראקטיביות.

הרבה מהעבודה שלי היא ניסיון להתחמק מזה: זאת תמונה של שולחן העבודה של סטודנט שלי. וכשאני אומר שולחן עבודה, אני מתכוון לא רק לשולחן עצמו, איפה שהעכבר שלו שחק את משטח השולחן. אם תסתכלו טוב, תוכלו אפילו לראות רמז מהתפריט של Apple, כאן בצד שמאל למעלה, במקום שבו העולם הוירטואלי חדר הלכה למעשה לתוך העולם הפיזי. אז זה בעצם, כמו שג'וי מונטפורד אמר פעם, "העכבר הוא כנראה הקשית הצרה ביותר דרכה אתה יכול לנסות לשאוב את כל ההבעה האנושית."

(צחוק)

והדבר שאני באמת מנסה לעשות הוא לאפשר לאנשים סוגים מגוונים יותר של חוויות אינטראקטיביות. איך אנחנו יכולים להתחמק מהשימוש בעכבר ולהשתמש בכל הגוף שלנו כדרך לחקור חוויות אסתטיות, לאו דווקא כאלה עם תועלת. אני כותב תוכנות. וככה אני עושה את זה. והרבה מההתנסויות שלי דומות למראות בדרך מסויימת. בגלל שזה, במובן מסויים, הדרך הראשונה, שבה אנשים מגלים את הפוטנציאל שלהם כשחקנים, ומגלים את היכולת שלהם. בכך שאומרים "מי הוא האדם שבמראה? אהה זה בעצם אני."

וכדי לתת דוגמא: זה פרוייקט משנה שעברה שנקרא "מעבד החלק שבמרווח". והוא מאפשר לאנשים לחקור את תשליל הצורות שהם יוצרים כשהם רק מתעסקים בעניינים היום-יומיים שלהם. כך כשאנשים יוצרים צורות עם הידיים והראש וכו' , או אחד עם השני, הצורות האלה ממש מפיקות קולות ונופלות מהאוויר. ככה לוקחים מה שבדרך כלל הוא סוג של חלל בלתי נראה, או חלל שלא התגלה, ויוצרים ממנו דבר מציאותי, שאנשים יכולים להעריך ולהיות יצירתיים איתו. אז שוב, כך אנשים מגלים את היכולת היצירתית שלהם. והאישיות שלהם עצמם יוצאת החוצה בדרכים ייחודיות לחלוטין.

אז בנוסף לקלט דרך כל הגוף, משהו שאני חוקר, כבר זמן מה, הוא השימוש בקול, שהוא מערכת מאד הבעתית בשבילנו, כשאנחנו מדברים. שירה היא אחת הדרכים העתיקות שלנו לגרום לעצמנו להישמע ולהיות מובנים. ונתקלתי במחקר הנפלא הזה של וולפגנג קולר (פסיכולוג גרמני), שנחשב לאבי פסיכולוגיית הגשטלט (צורה), משנת 1927, שהציג לקהל כמוכם את שתי הצורות הבאות: והוא אמר שאחת מהן נקראת מאלומה (Maluma) ולשניה קוראים טאקטה (Taketa). איזה מהן היא מי? מישהו רוצה לנחש ? מאלומה היא העליונה. כן. אז, כפי שהוא אומר כאן, רוב האנשים עונים בלי להסס.

אז הדבר שאנחנו רואים כאן הוא תופעה שנקראת פונאסטזיה (ענף בבלשנות), שהוא סוג של סינסטזיה (ערבוב חושי) שקיימת אצל כולכם. וכך, בעוד שד"ר אוליבר סאקס (נוירולוג וסופר בריטי) דיבר על איך שאולי לאחד מתוך מיליון אנשים יש סינסטזיה אמיתית, כאשר הוא "שומע" צבעים או "טועם" צורות, וכדומה... פונאסטזיה היא תופעה שכולנו יכולים לחוות עד מידה מסויימת. מדובר במיפויים בין מרחבים שונים של תפיסה. כמו קַשְׁיוּת, חדות, בהירות וחשכה, והפונמות (היחידה הקטנה ביותר בהגיה) איתן אנחנו יכולים לדבר.

אז, במשך 70 שנה נעשה מחקר מסוים בו פסיכולוגים קוגניטיבים (הכרתיים) למעשה הסיקו את המידה, זאת אומרת, שבה האותיות L,M ו-B נקשרות יותר לצורות שנראות כך: ואילו האותיות P,T ו-K כנראה יותר נקשרות לצורות כמו אלה: וכאן, אנחנו פתאום מתחילים לקבל מיפוי בין עקמימות שמהם אנחנו יכולים להפיק מידע מספרי, מיפוי היחסים בין עקמימות וצורה

אז עלה בדעתי: מה קורה אם היינו מריצים את אלה הפוך ? וכך נולד הפרוייקט שנקרא "Remark" (הערה), שהוא שיתוף פעולה עם זאקרי ליברמן ו- Ars Electronica Futurelab. וזה התקן אינטרקטיבי שמציג את הפיקציה שדיבור מטיל צללים נראים לעין. אז הרעיון הוא שאתה נכנס למעין אור קסום וכאשר אתה נכנס, אתה רואה צללים של הדיבור של עצמך. והם כאילו עפים להם, מתוך הראש שלך. ואם מערכת זיהוי קולי של מחשב מסוגלת לזהות מה שאתה אומר, אז היא מאייתת את זה ואם היא לא אז היא מפיקה צורה שמבחינה פונאסטזית מאוד קרובה לקולות שאתה מפיק. אז בואו נעלה את הוידאו של זה.

(מחיאות כפיים)

תודה. אז. והפרוייקט הזה פה, עבדתי עם הזמר האבסטרקטי המעולה , יאפ בלונק. והוא מומחה בעל שם עולמי בביצוע "The Ursonate", שהיא שיר איגיון (נונסנס) בן חצי שעה שנכתב על ידי קורט שוויטרס (אמן גרמני) בשנות ה-20. שהיא חצי שעה של איגיון בעל תבנית מאוד ברורה. וזה כמעט בלתי אפשרי לביצוע, אבל יאפ הוא בין המומחים היחידים בעולם בביצוע השיר. ובפרוייקט הזה פיתחנו סוג של כתוביות אינטיליגנטיות בזמן אמת. אז אלו הם הכתוביות-בשידור-חי שלנו, שמופקות על ידי מחשב שיודע את הטקסט של "The Ursonate" , למרבה המזל, יאפ יודע גם, טוב מאוד. והוא מציג את הטקסט בוא זמנית עם יאפ. כל הטקסט שאתם עומדים לראות מופק בזמן אמת על ידי המחשב, מדמה את מה שהוא עושה עם הקול שלו. כאן אתם יכולים לראות את התפאורה כאשר יש מסך עם הכתוביות מאחוריו. טוב. אז... (מחיאות כפיים) הסרטונים המלאים נמצאים ברשת אם אתם מעוניינים.

קיבלתי תגובות מעורבות לזה בזמן ההופעה החיה, בגלל שישנם אנשים שמבינים שכתוביות בזמן אמת הם סוג של אוקסימורון (ניגוד). בגלל שבדרך כלל יש מישהו שמכין אותן לאחר מכן. וגם קבוצת אנשים שאומרים כאילו, "מה הביג דיל ? אני רואה כתוביות כל הזמן בטלוויזיה." אתם יודעים, הם לא מדמיינים לעצמם את האדם בתא שלו, מקליד את כל זה.

אז בנוסף לגוף כולו , ובנוסף לקול, דבר אחר שאני מאוד מתעניין בו, ממש לאחרונה, הוא השימוש בעיניים, או המבט, במונחים של איך אנשים מתקשרים אחד לשני. זו כמות משמעותית של אינפורמציה א-ורבלית שמתוקשרת בעזרת העיניים. וזה אחד מהאתגרים הטכניים המעניינים ביותר שמאוד פעיל עכשיו במדעי המחשב. היכולת שתהיה מצלמה שתוכל להבין ממרחק גדול למדי, איך הכדורים הקטנים האלה (גלגל העין) ממש מצביעים בכיוון כזה או אחר, ולחשוף במה אתה מתעניין, ולאן תשומת הלב שלך מכוונת. אז יש הרבה תקשורת רגשית שמתרחשת שם.

אז התחלתי, על ידי מגוון פרוייקטים שונים, להבין איך אנשים יכולים להתקשר עם מכונות בעזרת העיניים. ובעצם לשאול את השאלות, מה היה אם אומנות היתה מודעת לכך שאנחנו מסתכלים עליה? איך היא היתה יכולה להגיב, בדרך מסוימת, כדי לאשר את העובדה שאנחנו מסתכלים עליה? ומה היא היתה יכולה לעשות אם היתה יכולה להביט בנו בחזרה ? ואלה הם השאלות שקורות בפרוייקטים הבאים,

בראשון, שאני הולך להראות לכם, שנקרא Eyecode, זו חלק מתוכנה אינטרקטיבית שבה, אם נקרא את המעגל הקטן הזה, הסימן שהושאר על ידי המבט של הצופה הקודם מביט בסימן שהושאר על ידי המבט של הצופה הקודם. הרעיון הוא שזוהי תמונה שכולה נבנתה מההיסטוריה של הצפיה בה עצמה על ידי אנשים שונים בתוך מערך מסוים. אז תנו לי רק לעבור כדי שנוכל לעשות את ההדגמה החיה. אז בואו נריץ את זה ונראה אם זה עובד.

אוקיי, אהה, יש הרבה וידאו בהיר ונחמד. יש פה מסך בדיקה קטן שמראה שזה עובד. ומה שאני רק הולך לעשות אני אסתיר את זה... ואתם יכולים לראות פה שמה שזה עושה זה להקליט את העיניים שלי בכל פעם שאני ממצמץ. שלום? ואני יכול... שלוווום... אוקיי. ולא משנה איפה אני, מה שבאמת קורה כאן הוא שזוהי מערכת-מעקב-אחרי-העין שמנסה לאתר את העיניים שלי. ואם אני מתרחק אני מטושטש. אתם יודעים, יהיו לכם נקודות מטושטשות כמו זו שאולי רק דומות לעיניים בדרך מאוד מאוד מופשטת. אבל אם אני מתקרב מאוד ומביט ישירות במצלמה בלפטופ הזה אז אתם יכולים לראות את העיניים בחדות נהדרת.

אתם יכולים לחשוב על זה כדרך, של פחות או יותר, הקלדה, בעזרת העיניים. ומה שאתם מקלידים הוא הקלטות של העיניים שלכם כאשר אתם מביטים בעיניים של אחרים. כך שכל אדם אדם מביט במבט של כל אלה שהיו לפניו. וזה קיים גם בהתקנים גדולים יותר איפה שיש אלפים על גבי אלפים של עיניים שאנשים יכולים לצפות בהם, כאשר אתם יכולים לראות מי מסתכל על האנשים שמסתכלים על האנשים שמסתכלים לפניהם. אז רק אוסיף עוד שני מצמוצים. בלינק. בלינק. ואתם יכולים לראות, שוב, איך זה פחות או יותר מוצא את העיניים שלי ועושה את המאמץ להעריך מתי הן ממצמצות. אוקיי. בואו נניח לזה. אז זה לגבי הסוג הזה של של מערכת צפייה רקורסיבית. (מחיאות כפיים) תודה לכם.

שני הדברים האחרונים שאני הולך להראות למעשה נכנסים תחת תחום חדש של רובוטיקה, בשבילי, חדש בשבילי. זה נקרא "אופטו-אייסולטור" ואני הולך להציג וידאו של הגרסה הישנה שלו, שהוא רק באורך דקה. אוקיי. במקרה הזה, ה"אופטו-אייסולטור" ממצמץ כתגובה למישהו שממצמץ. כך שזה ממצמץ שניה אחרי שאתה ממצמץ. זה מכשיר שמיועד להפחית את התופעה של בהיה על ידי החומרים הפשוטים ביותר. רק עין אחת, מסתכלת עלייך, ומעלימה כל דבר אחר שיש בפנים. רק מחשיבה מבט בדרך אחת ובודדת כסוג של, כמו יסוד. ובו זמנית, היא מנסה ליצור קשר במה שאם תרצו לקרוא לו התנהגויות מבט/בהייה פסיכולוגיות-סוציאליות מוכרות. כמו להביט הצידה אם אתה בוהה בה יותר מידי כי היא נהיית ביישנית. או דברים דומים.

אוקיי. אז הפרוייקט האחרון שאני הולך להראות הוא פרוייקט חדש שמקרא "סנאוט" (צחוק בקהל) זה חוטם באורך 2.5 מטר, עם עין "מתנדנדת". (צחוק בקהל) ובתוכו יש זרוע רובוטית במשקל 360 קילו שהשאלתי, (צחוק בקהל) מחבר. (צחוק בקהל) זה עוזר כשיש חברים טובים. אני ב"קרנגי מלון" (אוניברסיטה). יש לנו מכון רובוטי מעולה שם. אני רוצה להראות לכם דבר שנקרא סנאוט, שהוא - הרעיון מאחורי הפרוייקט הוא ליצור רובוט שנראה כאילו מופתע לראות אותך כל הזמן. (צחוק בקהל) הרעיון הוא שבעצם - הוא כאילו כל הזמן "מה?.... מה?" בגלל זה השם השני שלו הוא דאבלטייקר, מכפיל מבטים. הוא כל הזמן כאילו עושה קטע כפול: "מה?" והרעיון הוא בעיקרון, שהוא יכול להסתכל עלייך ולגרום לך להרגיש כאילו, "מה זה? הנעליים שלי?" "יש לי משהו על השיער?" בואו נתחיל. יאללה.

בודק אותו. לגיקים שביניכם, הנה חלק קטן מאחורי הקלעים. יש לו מערכת צפייה ממוחשבת ותראו שהוא מנסה להסתכל על האנשים שזזים הכי הרבה. אלו הן המטרות שלו. שם רואים את השלד. שזה בעצם מה שהוא מנסה לעשות. והעניין הוא לנסות ליצור שפת גוף מקורית לייצור חדש. הוליווד עושה את זה כל הזמן, כמובן. אבל גם ששפת הגוף תעביר משהו עם הבנאדם שמסתכל עליה. השפה הזאת היא תקשורת כשהיא מופתעת לראות אותך והיא מתעניינת להסתכל עלייך.

(צחוק בקהל)

(מחיאות כפיים)

תודה רבה לכם. זה כל מה שיש לי להיום. ואני מאוד שמח להיות כאן. תודה רבה רבה לכם

(מחיאות כפיים)