מה אנחנו יודעים בכלל?
התרגלנו לחשוב שכשמדובר על מחקר, או על השיטה המדעית, ישנם כללים הגיוניים לפיהם יש דברים שאנחנו "יודעים" לפי הכללים והשיטות המקובלות, ויש דברים שנשארים מוטלים בספק. בפולמוס "אפשר לסמוך על מחקרים" הזכרנו קצת מדברי חוקרים שמפקפקים בהנחות היסוד של המובהקות הסטטיסטית, כאן נביא דיווח מעניין של רון פרסלר, ב"הארץ" 19.08.2011, לפיו הגבולות בין "מחקר" ודברים ש"אנחנו יודעים", עשויים להיטשטש (חלק מתוך הכתבה):
כתב-עת אמריקאי מכובד לפסיכולוגיה פירסם השנה מאמר של פרופסור מכובד מאוניברסיטה מכובדת, שטען כי אנשים יכולים לראות תמונות תועבה מהעתיד. דריל בם מאוניברסיטת קורנל מתאר במאמר ניסויים שמוכיחים, על פי כל כללי השיטה המדעית המקובלת, שבני אדם ניחנו, במקרים מסוימים, בתפיסה מוקדמת. כלומר אנחנו יכולים לראות את העתיד. באחד הניסויים של בם ישב כל נבדק מול מסך מחשב שהציג שני וילונות שמאחורי אחד מהם הסתתרה תמונה, והנבדק התבקש לנחש איזה מהווילונות יתרומם ויגלה את התמונה מאחוריו. מאה הנבדקים ניחשו היטב ב-53 אחוז מהמקרים – יותר מהתוצאה הצפויה של 50 אחוז – אבל רק כשהתמונה היתה "תועבה". במקרים אחרים לא נרשמה ראיית נולד כלשהי, גם לא כשהתמונה היתה "רומנטית" בלבד.
המאמינים בעל-טבעי קפצו על ממצאי המחקר כמוצאי שלל רב. אם אנשים רגילים, שמחשבותיהם בהמיות, מסוגלים לראות תועבה מהעתיד, תארו לעצמכם מה יראה מקובל טהור-לב? אחרים הסיקו מהמחקר אחת משתי מסקנות. הראשונה: השפעתה של תועבה חזקה כל כך עד שהיא מסוגלת לנוע אחורה בזמן, או, לחלופין, אנחנו מסוגלים לשלוח את תודעתנו לעתיד, אבל רק כדי לראות שם תועבה. השנייה: המתודולוגיה המדעית המקובלת, שלפיה פעל גם פרופ' בם, עלולה להוביל למסקנות לא נכונות.
ב-2005 פירסם הרופא היווני ג'ון יונידיס מאמר מדעי שכותרתו "מדוע רוב המסקנות במאמרים מדעיים שגויות". מחקרים המבוססים על סטטיסטיקה, כמו רבים מהמחקרים הרפואיים ורוב המחקרים הפסיכולוגיים (וגם זה של בם), משכנעים באמיתותם בעזרת מידה הנקראת "מובהקות סטטיסטית". הם בודקים את ההשערה על מדגם אקראי באוכלוסייה, וכאן טמונה הבעיה. האקראיות במדגם האקראי יכולה לגרום לתוצאות מקריות. למשל, אם בוחרים באקראי מאה ישראלים, יש סיכוי – קטן אמנם – שרובם יהיו בלונדינים, אף שהדבר אינו משקף את המצב באוכלוסייה.
המובהקות הסטטיסטית, שאותה קל לחשב, היא הסיכוי שתוצאות המחקר משקפות נכון את המציאות ואינן מקריות. אם הסיכוי הזה גבוה מ-95%, הסף המקובל באקדמיה, התוצאות נחשבות מובהקות. כבר מראש, הסף הזה מניח ש-5% מהמחקרים שמתפרסמים, אינם נכונים. כלומר אם נבדוק סטטיסטית את הקשר לסרטן של כל המאכלים בעולם, אחד מכל 20 מאכלים יימצא, בטעות, כמסרטן במידה מובהקת מספיק לפרסום בכתב-עת מדעי.
אבל הבעיה עם המחקר הסטטיסטי גדולה הרבה יותר. יונידיס (כמו אחרים לפניו) הראה שהמובהקות הסטטיסטית כלל אין בה די לגלות תופעה בטבע. כדי להבין מדוע, נחשוב על בדיקה רפואית שמגלה איידס בהסתברות של 95%; כלומר, על אדם חולה הבדיקה תאמר ב-95% מהמקרים שהוא כזה. כעת נניח שאנחנו בודקים אדם שפגשנו באקראי ברחוב והבדיקה קובעת שהוא חולה. מה הסיכוי שהוא אכן כזה? התשובה היא "תלוי", אבל הרבה פחות מ-95%. הסיבה לכך היא שלתוצאת הבדיקה יש שני הסברים: אחד, שהאדם בריא והבדיקה טועה, מה שאינו סביר; והשני שהבדיקה אינה טועה ושהאדם חולה. אבל אם שכיחות המחלה באוכלוסייה נמוכה (נניח 1%) מהסיכוי שהבדיקה טועה (5%), סביר יותר שהבדיקה טועה והאדם בריא.
מאותה סיבה בדיוק המשטרה לא חוקרת כל זוכה לוטו בחשד שרימה. הסתברות הזכייה בלוטו מבלי לרמות כמעט אפסית – נמוכה הרבה יותר מהסיכוי שפוליטיקאי קיבל מתנה בלי שהסתתרה מאחוריה כוונת שוחד – ולכן אמורה לעורר חשד, אבל המשטרה מאמינה שהסיכוי שהזוכה הצליח לרמות את מפעל הפיס נמוך עוד יותר.
רופאים מודעים לעובדה הסטטיסטית הזאת כשהם מאבחנים מחלות, אבל מדענים לא תמיד מודעים לה כשהם כותבים מחקרים. כמו בדיקת האיידס, גם המחקר המדעי הסטטיסטי הוא בדיקה של המציאות, עם סיכויים לשגיאה. אם מחקר סטטיסטי הראה קשר בין גן מסוים לבין התקרחות, הסיכוי שהתוצאה מקרית עשוי להיות נמוך מ-5%, אבל הסיכוי שדווקא הגן הזה, מבין כ-20 אלף גנים, הוא הגורם התקרחות, נמוך עוד יותר.
וככל שהטענה מופרכת יותר, נוגדת יותר את הניסיון – למשל הטענה שאפשר לראות את העתיד – כך המובהקות הנדרשת להוכחה גבוהה יותר. בקיצור: טענה קיצונית דורשת הוכחה קיצונית. אבל דווקא הטענות המופרכות והשערורייתיות הן אלו המעניינות והמפתיעות, אלו שמדען ישמח לחקור, מוסד ישמח לממן וכתב-עת או עיתון לפרסם, ומידת ההוכחה הסטטיסטית שכתבי-עת מדעיים דורשים ממחקרים מפתיעים זהה לזאת הנדרשת ממחקרים בנאליים.
יונידיס מצא דרך להעריך את הסיכוי שטענות מסוימות נכונות עוד טרם נבדקו בתחומים שונים ברפואה, והראה שדווקא ככל שתחום כלשהו ממומן יותר, כך אמיתות המחקרים בו נמוכה יותר, כי האינטרס הכספי משפיע על דיוק המחקר; ודווקא בתחום חם ופופולרי, כזה שיש בו תחרות גדולה בין קבוצות חוקרים, מספר התוצאות הנכונות נמוך, משום שניסויים דומים נערכים בהרבה מקומות: ברובם הם נכשלים והתוצאה השלילית לא מדווחת, ובמקום אחד הם מצליחים, במקרה, ואז הם מתפרסמים; בדיוק כמו שאנשים רבים קונים חיש-גד אחרי ארוחת הצהריים ואחד מהם אולי יזכה, ואין בכך כדי להוכיח שקניית חיש-גד אחרי ארוחת הצהריים מגדילה את סיכויי הזכייה. זאת הסיבה, טוען יונידיס, שלעתים קרובות מכריזים בהתלהבות על ממצא חדש (פתרון תשבצים מונע אלצהיימר) ואחרי כמה חודשים או שנים מדווחים באכזבה שאין הדבר כך.
יונידיס חזה ש-25% מהמחקרים הרפואיים הסטטיסטיים הקפדניים ביותר (מחקרים רנדומליים) וכ-80% ממחקרים קפדניים פחות (ואלו מרביתם), שגויים. הוא לא הסתפק בניחוש, אלא בדק את 49 המאמרים הרפואיים המצוטטים ביותר שהתפרסמו בכתבי העת המכובדים ביותר – אלו שחקרו את יעילותם של סטנטים במניעת התקפי לב, יעילות ויטמין E במניעת מחלות לב, וטיפולים הורמונליים לנשים – ומצא שמבין 34 המחקרים שנבדקו שנית, הממצאים של 14 נמצאו שגויים או מוגזמים. כלומר בין שליש למחצית המחקרים הרפואיים הנודעים והמשפיעים ביותר, אלה שהרופאים מסתמכים עליהם בהצעת טיפולים וטיפולים מונעים, אינם נכונים, ובתחומי מחקר מסוימים – תזונה (יתרונות בריאותיים של ויטמין E או אומגה 3), גנים (נמצא גן המגדיל את הסיכון לחלות במחלה מסוימת), ורבים ממחקרי תרופות חדשות – רוב הממצאים הם לוקש גמור.
גם את המאמר של יונידיס קיבלו חובבי העל-טבעי והקונספירציה בשמחה. יונידיס הראה כי המדע שגוי. אם כך, אולי אין התחממות גלובלית, ואולי טיפול בהומאופתיה ובאנרגיות יעיל לריפוי סרטן, או לכל הפחות, יעיל לא פחות מ"טיפולים מדעיים".
אבל יונידיס לא יצא נגד המדע אלא נגד האקדמיה. לא המדע בעייתי אלא החובה האקדמית לפרסם מספר גבוה של מחקרים בשנה היא זו שמאלצת מדענים להסתפק בראיות שאינן מספקות. מחקרים נרחבים, או כאלו שנעשים בשיתוף של כמה קבוצות ברחבי העולם – כלומר מחקרים שדורשים זמן רב – מוצאים קרוב לוודאי מסקנות נכונות… (המשך במקור).
***הכותב הוא דוקטורנט במחלקה לאקולוגיה, אבולוציה והתנהגות באוניברסיטה העברית
הערה: שונו כמה מלים בכתבה מסיבות של סגנון נאות. י.ע.