ד"ר בת' סינגלר מאוניב' קימברידג', עוסקת בהיבטים שונים של ביו ממטיקה, עתידנות, שילוב אדם ומכונה, בינה מלאכותית, (רשימת פרסומים שלה), את מאמרה 'אמונה', היא פותחת בשאלה: "המאמינים הנלהבים ביותר בתחום הבינה המלאכותית הם חילוניים באגרסיביות – אך שפתם שפה דתית בצורה מוזרה. למה?".
בהמשך המאמר היא מציינת:
הדבר המוזר לגבי האנטי-דתיות בקהילת העתידנים הוא, שהשפה הדתית משמשת תדיר בשורותיה, ובאופן שבו התקשורת מדווחת עליה. לקהילה יש 'אוראקל', לטכנולוגיה יש חסידים 'אוונגליסטים', המאמינים בעתיד שעדיין לא הגיע, ועוד הרבה דיבורים רופפים על מלאכים, אלים והאפוקליפסה. ריי קורצווייל, מנהל בגוגל, מתראיין באופן קבוע כנביא, לפעמים כנביא לגל הבא של "אינטליגנציה" (מעל היכולת האנושית), לפעמים כ"נביא אבדון" (הודות להצהרותיו על הסיכויים הקודרים לאנושות), ולעתים קרובות כמגיד עתידות של הסינגולריות, כאשר בני אדם יתמזגו עם מכונות, וכתוצאה מכך יחיו לנצח. אנשי הטכנולוגיה היוצרים את המטאפורות וההטפות האלו פועלים בדרך כלל באופן גלוי בחברה החילונית, שיוצרת כביכול דת רציונלית חילופית.
התפיסה הזו החלה ב1965 ע"י חישוב שערך רוברט מור בנוגע לתחזית על ההתפתחות המעריכית של יכולת הקטנת השבבים, מה שהתפרסם בהמשך כ'חוק מור', כבר אז דובר על "המכונה האולטרא אינטלגנטית הראשונה", מתמטיקאי בריטי הגדיר אותה כמי שתעלה בהרבה על כל פעילותו האינטלקטואלית של החכם באדם, לכן תוכל היא לתכנן מכונות טובות יותר מהאדם, והמכונה הראשונה תהיה ההמצאה האנושית האחרונה.
סינגלר מזכירה ביטויים שונים של מלומדים וחוקרים שקידמו את הרעיונות האלו בהתרגשות ובחרדה, ירידתו של האדם מן הבמה, ועל כך היא כותבת: כאשר הסינגולריות נתפסת כישות עצמאית, האדם מוטרד מן השאלה, איך בדיוק יעמוד מול יצור לא אנושי יודע הכל, שזו בעצם בעיה העומדת בפני מאמינים דתיים במשך דורות רבים. במאה ה13 עסק בכך המלומד הנוצרי תומס מאקוינס, ואף ניסח תפלה שכזו: "תן לי, אלוהים אדירים, מוח להכיר אותך, לב לחפש אותך, חוכמה למצוא אותך", תפלה זו יאה לדיונים בין סינגולריסטים בפורומים מקוונים. . . ייתכן והיא תענה על המצוקה הקיומית שלהם.
במקרה אחד ידוע לשמצה מ -2014, סינגולריסטים הציגו אינטליגנציה סופר-אינטליגנטית תועלתנית הידועה בשם "Basilisk" של רוקו. הוא נקרא על שמו של רוקו, המשתמש שהציע אותו לראשונה בבלוג הרציונליסטי לסוורונג, ה'בזיליסק', הינו יצור מיתולוגי שתואר כישות כמעט כל-יכולה. מכיוון שבזיליסק פועל ללא הרף כדי ליצור את הטוב ביותר עבור כולם, הוא מסיק באופן הגיוני שרק קיומו יכול להבטיח תוצאה זו, הוא יוצר תמריץ להביא את עצמו לידי קיום, הוא יעניש את כל בני האדם, גם לאחר מותם, במדה והם לא יעבדו כהוראותיו. המנגנון שמאחורי העונש הזה הוא מורכב – אך די אם נאמר כי נקדיש ללימוד הענין את ימי הראשון בכל שבוע…
בני האדם מתמודדים אפוא עם דילמה מהותית ברגע שהם לומדים על הבזיליסק של רוקו, הם יכולים לעזור בבניית האינטליגנציה העל-יסודית, או להתמודד עם אבדן מכאיב ואינסופי בידי ארגון סינגולרי עתידי ורציונלי. מייסד הפורום LessWrong היה כל כך מודאג מהעלאת הרעיון הזה, ולכן מחק את ההודעה המקורית, ואסר לדון בנושא…
מדובר בעצם בגירסה דתית המזכירה את ההימור המפורסם של פסקל, כשהשתתפתי בכנס של סינגולריסטית בלונדון, מספרת סינגלר, האזנתי להרצאתו של הסופר הבריטי צ'ייס, שעסק בסינגולריות כלכלית וטכנולוגית, באופן עקרוני הכינוס אמור היה לעסוק ואף עסק בפתרונות כלכליים, כלים המבוססים על לוגיקה וראיות, אבל בפועל, האוירה היתה שונה לגמרי, דיבורים אל אפוקליפסה תיאורטית ולא מובנת, אחד המשתתפים דיבר בפאתוס תוך כדי שהוא משלב אנלוגיות מהתנ"ך ומבשורת ההתגלות.
מצד אחד, רציונליסטים אוהבים לתאר את הדת כשריד לא רציונלי מהאדם הפרימיטיבי, ולהתייחס ברחמים למאמינים, חיים לאחר המוות או עולם הבא הוא נחמת שוטים וסוג של התמודדות פסיכולוגית עם האובדן והסיום. אלא שהם עצמם מתנחמים נחמות שוטים באפוקליפסות ומהפכות עתידיות שאין להם שום בסיס רציונלי אמיתי, ואף הדיון בהם לא נושא אופי רציונלי.
הדוגלים בסינגולריות ואיחוד האדם והמכונה, תופסים באופן קיצוני את האדם כגוש חומר בלבד, כמו דיסקט או כונן קשיח, שעתידו הוא התחברות למכונה חכמה וטובה יותר, גם ה'מדע' הזה הוא דרך להתעלות מעל מצבנו השברירי, גירסה של מרד נגד הקיום האנושי הטבעי.
מדובר על אמונה שההיסטוריה היא התקדמות מכוונת מטרה כלפי מעלה, האורגניזמים מתפתחים בהכרח לקראת דרגה עליונה יותר, כמה טרנסומניסטים ניסו לעצב כנסיות משלהם כדי לפנות אל מי ששומר על נטיות "אלוקות" – מאמצים שהניבו את כנסיית טיורינג, את מסדר המהנדסים הקוסמיים ואת כנסיית החיים הנצחיים. גירסאות אלו לא הצליחו כ"כ בשיווק…
השאיפה לסינגולריות היא סוג של בריחה מהגשמיות ומחיי הבשר, ה'שינוי' שמייחלים לו מקביל לשאיפה לאחרית הימים, הכמיהה לביג דאטא יודע כל – היא הכמיהה לנביא, אנשי הדת העילאיים הלבושים בחליפות חכמות – מקבילות לחליפות של אנשי הדת, במודע ובלא מודע, זו כנסיה דתית.
עד כאן מעולם הדימויים הנהדר של סינגלר.
על אגדת הביג דאטא, כבר הרחבנו במקום אחר, מה שמתרחש בינתיים הוא שקהילת מאמיני הרובוטיקה מעצבת אמונה במוסריות של הרובוטים ובסגנון מוסרי שונה מהמוסר האנושי, כפי שמדווח יאיר בן דוד בהארץ:
פרופ' פיטר קהן מאוניברסיטת וושינגטון ועמיתיו ערכו מחקר שהראה שכאשר רובוטים ומכונות לומדות מקבלים החלטות שיש בהן אי צדק, למשל החלטה לא להעניק פרס לאנשים שאמורים על פי דין לזכות בו, אנשים נוטים לתפוס אותם כאחראים מוסרית, להאשים אותם ואף לכעוס עליהן. המחקרים שערכו קהן ועמיתיו מראים, שככל שלרובוט / המכונה שמקבלים את ההחלטה יש תכונות אנושיות יותר, כך האחריות המוסרית שתיוחס לה, במידה שהיא מבצעת החלטה שיש בה אי-צדק, גדולה יותר. אבל המחקרים מראים גם, כי לא משנה כמה נעניק לרובוט תכונות אנושים, אנשים יטו לתפוס בני אדם כאחראים יותר מוסרית למעשיהם מאשר רובוטים. מממצאים אלו עולה כי הפקדת קבלת החלטות בידי מכונה תמיד תפחית את האשמה על החלטות שהיא מקבלת, לכן, מי שמפחד מאשמה מוסרית על החלטותיו, רצוי שיסתתר מאחורי מכונה שתקבל את ההחלטות בשבילו.
אבל, ההבדל בין היחס המוסרי שלנו כלפי מערכות לומדות ורובוטים וכלפי בני אדם לא מסתכם במידת האחריות המוסרית שאנחנו מייחסים להם, אלא גם בסוג המוסר בו אנחנו מצפים מהן להשתמש. פרופ' ברטראם מאלה מאוניברסיטת בראון, וצוות חוקרים שהוביל, הראו במחקרם שבדילמות בהן יש דרישה לבחור אם להקריב בן אדם אחד למען הצלת חיים של רבים – אנחנו מצפים מרובוטים להקריב אדם אחד למען הצלתם של רבים, דבר שלא בהכרח נצפה מבני אדם.
החוקרים טוענים שבאופן כללי אנחנו נצפה מרובוטים למוסר "תוצאתני" יותר. כלומר, מוסר כזה שבו התוצאה קובעת, גם אם למענה נצטרך לבצע מעשה לא מוסרי למען רוב. מבני אדם, לעומת זאת, לא נצפה למוסר "תוצאתני" כזה. לא תמיד המטרה תקדש את האמצעים. הדילמה בין קבלת החלטה על פי מוסר תועלתני לקבלת החלטה על פי מוסר דאונטולוגי היא דילמה המלווה היבטים רבים בחיינו.
אבל האם תמיד נצפה מרובוטים וממכונות למוסר "תוצאתני"? מחקר שפורסם בכתב העת Science בשנה שעברה, מראה שכשמשתפים אנשים בדילמה לגבי האופן בו כדאי לתכנת החלטות של רכבים אוטונומיים, וספציפית בשאלה מה על הרכב האוטונומי לעשות כאשר הוא עומד לדרוס מספר אנשים והדרך היחידה להמנע מכך כוללת פגיעה אפשרית ב"נהג" הרכב בעצמו, למשל באמצעות הסטה של הרכב למדרכה או לגדר הפרדה. מרבית הנשאלים עונים שרכב אוטונומי אמור להיות ממתוכנת באופן בו יקבל את ההחלטה שתחסוך בחיי אדם רבים יותר, גם אם המחיר לכך הוא פגיעה בנהג עצמו. יתרה מכך, הנשאלים גם ענו שרכב שההחלטות שלו מוגדרות בצורה תוצאתנית כזו, הוא רכב שהם ישמחו להמליץ עליו לחבריהם. אבל, בצורה שאינה מפתיעה כלל, כאשר נשאלו אם יבחרו ברכב "תוצאתני" כזה בשביל עצמם, מרבית הנשאלים אנו שלא, ושיעדיפו רכב שמגן על נוסעיו בכל מחיר. ביניכם לבין עצמכם, האם זו לא הבחירה שגם אתם הייתם עושים?
אנחנו מייחסים פחות אחריות מוסרית לרובוטים ומכונות, מה שמאפשר להסתתר מאחוריהן בעת החלטות שנויות במחלוקת. בנוסף, אנחנו מצפים מהם למוסר תוצאתני יותר, וזה כבר ממצא מדאיג יותר. כאשר אנחנו בונים מערכת אוטומטית לניהול אבטחה בתור בכניסה לאוניברסיטה, לדוגמה, או בכניסה למוסד ממשלתי או מועדון, והמערכת תזהה שאנשים עם עור בצבע, מין וסטטוס סוציו אקונומי מסוים נוטים יותר לבצע פיגועים, הם יסננו ויעכבו אותם ובכך יאפשרו לכל השאר מעבר מהיר יותר ללא בדיקות אבטחה. פעולה כזו תקצר את התור לכולם בסופו של דבר (כי היא בעיקר תקבע את מי לא לעכב) ולכן תביא לתוצאה טובה יותר מבחינה תועלתנית, כמצופה ממערכת לומדת, אבל יהיה לה מחיר מבחינת מוסרית נתפסת, בכך שהיא תיצור "אפליה על רקע אלגוריתמי".
אפליה כזו כבר מתרחשת בכניסה למדינות ולמוסדות, והיא צפויה להתרחב בעתיד גם לחברות מסחריות, מכיוון שהסלקציה תעבור לניהולן של מערכות לומדות, היא תיתפס כלגיטימית יותר, מכיוון שההחלטה שהיא מקבלת היא "תוצאתנית" יותר.
(ראה בהמשך הכתבה, בה צופה בן דוד שינוי לטובה בנתונים מדאיגים אלו).
אבל מכיון שברור שלרובוט לא תהיה תודעה, הוא לעולם לא יוכל להיות דומה לנו ולהבין את המניעים שלנו, ולכן לעולם לא יוכל לספק בעצמו באופן אוטונומי את מה שנרצה ממנו.
בכדי לערער דברים פשוטים אלו, נאלצים העתידנים להטיל ספק כמובן בקיומה של התודעה עצמה, כך הנוירולוג פרופ' מייקל גרציאנו מפרינסטון, במאמרו "בנה מוח" מתחיל מהסוף: "המוח הוא מכונה, מכשיר שמעבד מידע, זה על פי 100 השנים האחרונות של מדעי המח, ובכל זאת, איכשהו… המח חווה את הנתונים שלו, איך זה יכול להיות?"
ברור לו שהמח הוא רק מכונה, והענין הפעוט של התודעה הוא בעיניו "הבעיה של התודעה", זו בעיה שקיימת כמובן רק למי שמכחיש את התודעה, ומניח שהמח הוא מכונה, וכביכול איזה מחקר הוכיח או בכלל יכול להוכיח דבר כזה.
לפי גרציאנו, התודעה אינה תוצר לואי מוזר, היא בסך הכל כלי לויסות מידע במח, וזה לא מסתורי כמו שחושבים רוב האנשים, הוא מאמין בכלל שאנו קרובים להבנת התודעה בכדי ליצור רובוט עם תודעה…
מה שהוא עושה באריכות יתרה, הוא לחזור על הרעיון הסתירתי שהתודעה היא יצירת דמיון (כבר נטחן כאן), בשלב ראשון יוצרים אצל הרובוט מנגנון של דימוי, כלומר תפיסה פשוטה ומוערכת של המון נתונים (כמו שאנו רואים 'כדור צבעוני' ולא רשימה של היקף גובה אורכי גל וכו'), בשלב שני יוצרים אצלו מודל של עצמי, כלומר מידע על עצמו, ובשלב השלישי יוצרים קישור בין המידע על עצמו ובין התפיסה הפשוטה והחזותית, כלומר, כשהרובוט יראה כדור, הוא יסביר לנו: יש כאן כך וכך מולקולות כך וכך אורכי גל וכו', אבל מה שאני (קוראים לי ג'ון) רואה הוא תמונה של כדור. תהיה לו 'תודעה' במובן של זכרון זמין משתנה, הוא לא יזכור הכל ויראה הכל בבת אחת וכו'.
כאן אומר גרציאנו, הרובוט יתעקש "יש לי תודעה, אני רואה כדור, וגם מסוגל לחשוב על כך בצורה אחרת", ואנחנו נגיד לו: אינך אלא רובוט.אז זהו, זה מה שקורה איתנו, אנחנו טוענים "יש לנו תודעה אנחנו רואים כדור", וגרציאנו מגלה לנו את אמריקה: "אתם רק רובוטים"… (גרציאנו טורח להסביר שהתודעה היא לא אשליה, להיפך, היא עוזרת לאדם לחיות ולנווט בים המידע).
הכשל הלוגי ברור, אנו יודעים שהרובוט יתעקש, באופן של הקלדת תשובות, כתיבתם, או אפילו אמירתם בקול ממוחשב, אבל אנחנו גם יודעים שאין לרובוט שום חוייה סובייקטיבית, הוא יכול לצעוק עד מחר, זו תכנה ואלגוריתם, לעומת זאת, אנחנו לא צריכים לצעוק, אנו חשים את החויה הסובייקטיבית, השאלה היא לא איזה מנגנון מביא אותנו להתנהג בצורה כזו, אלא איך חומר יכול לחשוב על עצמו. התודעה היא לא רק מנגנון הפשטה וניווט והחזקה מנטלית, אלא גם תחושה סובייקטיבית. אם הרגשת פעם כאב, פיזי או נפשי, אתה יודע זאת. רובוט לעולם לא ירגיש כאב, ניתן לתכנת אותו לצרוח או להתעוות, אבל אין שם בפנים מישהו שמרגיש.
אם מחפשים את מבחן טיורינג האמיתי, זה שבאמת יוכיח מי רובוט ומי אדם, הוא פשוט מאד: אלן טיורינג התאבד, מכיון שהיה הומוסקסואל, תכונה שנחשבה בזמנו למחלת נפש. שום יצור שאינו בעל תודעה לא יתאבד לעולם מחמת בושה או פגיעה נפשית, שום יצור מלאכותי אינו יכול לחוש בושה ופגיעה נפשית. אפשר בהחלט לתכנן רובוט שישמיד את עצמו במצבים כל שהם, אבל זה יהיה מילוי פקודה, ולא רגש סובייקטיבי שאנו מכירים. אם נפנה לרובוט הוא לא יבין זאת, אבל מכיון שאנו מבינים ומרגישים זאת, מה הטעם בכל הדיבורים הטפשיים על מודלים ולולאות מוזרות?
ראה גם: שלוש השאלות שאינטליגנציה מלאכותית לא תוכל להשיב עליהן
להאזנה: פודקאסט עם מישל מנדוזה, על תיאורי הסייבורג אצל יובל נח הררי, והאם יש להם בסיס ריאלי.