1

האם למומחים יש מושג?

ג'ונה לרר, במאמר שתורגם ע"י אלכסון,  שואל את השאלה המתבקשת, האם מי שנחשב כ'מומחה' – זה אומר שיש לו מושג? (די מקביל למאמרו של טום ניקולס, שלא פותח בשאלה אלא בקביעה: "אכן המומחים טועים").

ובכן, אומר לרר:

העולם שורץ מומחים. הם נמצאים בכול מקום: מביעים את דעתם במאמרים, מתנבאים בטלוויזיה, מצייצים נבואות בטוויטר. יש למומחים האלה קהל מאזינים, משום שלפחות בתיאוריה, הדעות שלהם מעוגנות בתחום ההתמחות שלהם. להבדיל מאתנו, הם יודעים על מה הם מדברים.

האמנם? המחקר המפורסם ביותר הנוגע למומחים בפרשנות פוליטית, נעשה על ידי צוות מאוניברסיטת פנסילבניה, שבראשו עמד פיליפ טֶטְלוֹק (Tetlock). מסקנות החוקרים היו כי למרבית בני-הסמכא אין שום סיכוי לנבא התרחשויות עתידיות, כמו למשל מי יזכה בבחירות לנשיאות. הם מפזרים תחזיות בביטחון עצמי מלא, אבל לעולם אינם מתבקשים להסביר איך קרה שהתחזיות שלהם לא התממשו. התוצאה היא מרחב ציבורי שמתגמל בנדיבות את מי שמתבטאים בקולניות ובביטחון. ערוצי חדשות בכבלים הם דוגמא מובהקת לכך.

למרות שחטאי המחשבה שטטלוק זיהה הם אוניברסליים – שהרי כולנו נופלים ברשתם של מפגיני הביטחון ונוטים להטיית האישור (Confirmation Bias) – לא ברור אם מגרעותיהם של המומחים לפוליטיקה משותפות גם למומחים בתחומים אחרים. ראשית, תחזיות גיאו-פוליטיות ידועות כמסוכנות וטעונות: יש להתחשב באינספור משתנים המתייחסים זה לזה באינספור דרכים לא ברורות. יתכן, אם כך, שבמרחב המכיל פחות משתנים, מומחים שינסו לחזות תוצאות של ניסויים בתחום מומחיותם, יוכלו לעשות זאת בצורה מוצלחת יותר.

בנוגע לדבריו של טטלוק, ראה במאמר המקורי של טום ניקולס שטוען שהוא סובל משגיאה מתודית. אבל עדיין הרושם קשה מאד, ובפרט לאור הדברים הבאים שכותב לרר:

מחקר חדש שנערך על ידי סטפנו דֶלָה וִינייָה (DellaVigna) מאוניברסיטת ברקלי ודֶווין פופ (Pope) מאוניברסיטת שיקגו, מנסה להעמיד מומחים מן האקדמיה במבחן נוקשה יותר. החוקרים כינסו 208 מומחים מתחומי הכלכלה, הכלכלה ההתנהגותית והפסיכולוגיה וביקשו מהם לחזות את השפעתם של גורמים שונים על ביצועיהם של נבדקים, שנתבקשו לבצע מטלה משעממת במיוחד. הנבדקים נתבקשו ללחוץ על כפתורים המסומנים 'A' או 'B' במקלדת במהירות רבה ככל האפשר, במשך עשר דקות. תנאי הניסוי היו מגוונים: מתמריצים ברורים, כמו תשלום רב יותר תמורת ביצוע טוב יותר, ועד לתמריצים שהשפעתם פחות מובהקת. החוקרים בחנו גם את השפעתם של גורמים נוספים כמו ההשוואה לביצועים של נבדקים אחרים, נדיבות והרצון להימנע מהפסד. השאלות האלה מעניינות במיוחד, כי דלה וינייה ופופ ידעו את התשובות מראש: הם ביצעו ניסויי מוטיבציה על כמעט 10,000 נבדקים. התעלומה הייתה האם המומחים מהאקדמיה יוכלו לצפות בדייקנות את התוצאות.

על מנת לאפשר להם לחזות את תוצאות הניסוי בקלות רבה יותר, נחשפו בפני המומחים שלושה תנאים שהיוו נקודות ציון ונאמר להם מה מספר הלחיצות הממוצע ("הנקודות") בכל תנאי. למשל, כשנאמר לנבדקים שהביצועים שלהם לא ישפיעו על התשלום שיקבלו, הם לחצו רק 1521 לחיצות בממוצע. לעומת זאת, כשקיבלו תשלום של 10 סנט תמורת כל מאה לחיצות, הם לחצו בממוצע 2175 לחיצות. המומחים נתבקשו לחזות את מספר הלחיצות בחמישה עשר תנאי ניסוי נוספים.

החדשות הטובות – מבחינת מומחי האקדמיה האלה – הן שהם הצליחו הרבה יותר מהמומחים שבחן טטלוק במחקרו. כשנתבקשו לחזות את מספר הנקודות הממוצע בכל תנאי בניסוי, הם הפגינו חוכמת המונים: התחזיות שלהם חרגו מהתוצאה האמתית בחמישה אחוזים בלבד. כלומר: קובעי מדיניות המנסים לחזות את השפעתם של צעדים על מעשי הציבור יכולים בהחלט להפיק תועלת מהתייעצות עם חבורה של אקדמאים.

החדשות הרעות הן שברמה האישית, האקדמאים האלה לא היו מוצלחים במיוחד. כשהתשובות שלהם נבחנו כמכלול, אמנם נדמה היה שהם מצליחים לראות את הנולד, אבל בחינה של כל תחזית כזו בנפרד הניבה תוצאות מרשימות הרבה פחות. והכי מטריד – בוודאי מבחינת המומחים – היה לגלות שמי שאינם מומחים השיגו תוצאות טובות בהרבה בניבוי מספר הלחיצות של הנבדקים בכל תנאי, וידעו לחזות טוב יותר איזה תנאים ידרבנו את הלוחצים ללחוץ הכי הרבה פעמים או הכי מעט פעמים. כפי שדלה וינייה ציין במייל, התוצאות מעידות פחות על כישלון המומחים ויותר על העובדה שמי שאינם מומחים מצליחים בצורה "מדהימה" במשימה. המסקנה כאן ברורה מאוד: יתכן שיש תועלת בהיוועצות עם קבוצה של חוקרי אקדמיה, אבל טיפשי מאוד לסמוך על תחזית של מומחה בודד.

יתרה מזאת, למרבה התדהמה התגלה קשר זעיר בלבד בין התארים של אותם מומחים לבין הצלחתם. פרופסורים ותיקים נטו לדייק פחות בתחזיותיהם מפרופסורים בראשית דרכם, וכך גם מומחים שחיפוש שמם בגוגל מניב תוצאות רבות במיוחד. תלמידים לדוקטורט הפגינו ביצועים 'לא פחות טובים' מהבוסים שלהם. ברור שלניסיון בתחום המחקר יש ערך, אבל הוא כנראה לא בא לידי ביטוי בניסיונות לחזות תוצאות של ניסויים כאלה.

מאז שטטלוק פרסם את הביקורת הנוקבת שלו על מומחים לפוליטיקה, הוא ביצע מחקר נוסף שבמרכזו מי שמכונים "חזאי-על", חובבנים שהתחזיות שלהם בנוגע לאירועים בעולם היו, לאורך זמן, מדויקות יותר מאלה של מנתחים אינטליגנטים בעלי גישה למקורות מידע חסויים. באופן כללי, לחזאי-העל האלה יש אופי דומה: הם מוכנים ללמוד מהטעויות שלהם, הם ממהרים לעדכן את אמונותיהם ונוטים לחשוב בגוונים של אפור, ולא בשחור-לבן. אחרי איסוף המידע, דלה וינייה ופופ הצליחו לזהות את חזאי-העל שלהם. כקבוצה, הלא-מומחים האלה הצליחו יותר, במידה ניכרת, מחוקרי האקדמיה, והגיעו לממוצע שגיאות טוב משל הפרופסורים ב-20 אחוז. אלה אנשים חסרי רקע במחקר התנהגותי. הם קיבלו תשלום של דולר וחצי לכל עשר דקות מזמנם. ולמרות זאת, התחזיות שלהם היו מדויקות משל המומחים שניסו לחזות את תוצאות המחקר.

מגבלותיהם של מומחים נחשפות היטב כשהם אינם מצליחים להבחין במגבלות שלהם עצמם. כשדלה וינייה ופופ בדקו את המומחים האלה, הם ציפו שהנודעים בהם גם ידייקו יותר מאחרים. ההפך היה נכון. הם גם ציפו שתלמידים לדוקטורט יצליחו פחות מהפרופסורים – וגם זה לא קרה – ושאקדמאים שלמדו פסיכולוגיה יצליחו יותר מכולם. הנתונים מראים את ההפך.

מדובר בכישלונות צורמים. המומחים האלה צברו ניסיון בתחום ההתנהגות האנושית. הם חקרו את הנטיות והמגרעות שלנו. ולמרות זאת, בכל הנוגע לביצועים שלהם עצמם, הם עיוורים ואינם מסוגלים לראות במה אינם מבחינים. זהו הקושי הגדול מכולם – לדעת מה איננו יודעים.

נשמע עגום, ובקשר לשאלה אם למומחים יש מושג, אי אפשר בלי הסרט הקלאסי משנות ה70 של אורסון וואלס החוקר את ה'מומחיות' באמנות:

והטריילר שהוא בעצם המשך ויצירה בפני עצמה: