לחץ לגירסת הדפסה

מדד ה'איזכורים' משפיע על החיים של כולנו, הוא זה שקובע איזו שיטה מחקרית יותר 'טובה', איזה טיפול תרופתי יותר טוב, איזו פרקטיקה הנדסית יותר חזקה, איזו שיטת ניהול יותר טובה, איזה מוסד יותר טוב, ואיזה מדען יותר מצליח.

שקלול האזכורים, כמה פעמים אוזכר מאמר מסויים במאמרים אחרים, יוצר מדד של 'אימפקט פקטור' – IF שעל פיו נקבעים ערכים של שיטות מדעיות, מאמרים, אנשי מדע, ואוניברסיטאות.

היתכן שכל השיטה הזו היא אשליה ועיוות? שהיא לא באמת תורמת להבדיל בין טוב ליותר טוב או בין טוב ללא טוב?

המשך הסדרה, בעקבות "כל שקרי האקדמיה" להלן מפרק 6 של הספר:

"לעיתים נדמה שההצטיינות במדע היא לא רק אמצעי אלא גם מטרה שיצאה קצת מפרופורציה. האקדמיה לא רק מודדת ומשווה כל מה שאפשרי ולא אפשרי, כדי לסדר סולמות ולהכתיר מצטיינים, אלא גם טובעת בטקסי כבוד והאדרה. הרצאות רבות בימי עיון וכנסים נפתחות בהצגה טקסית וארכנית של התארים וההישגים של הדובר. זו גם הסיבה שכל CV של חבר סגל אקדמי הוא מגילה מפורטת של פרסומים, פרסים, מענקים וכיבודים. הכל מנוקד וממוספר עד לפריט האחרון…

חוקרים ומוסדות עוקבים באדיקות אחרי טבלאות הרייטינג המדעי, מתוך סקרנות ומתוך רצון לתרגם למספרים את ערכם המקצועי ביחס לאחרים. אבל טיבה של סטטיסטיקה שהיא מקבלת חיים משל עצמה, ובשלב מסוים הופכת מאמצעי למטרה. התהליך שעברה האקדמיה בתחום המדידה העצמית הוא אחד הסיפורים המוזרים בתקופתנו ומהווה עוד מרכיב בדקדנס שאליו היא שקעה…

מה שמאפיין את כתבי העת המדעיים היוקרתיים ביותר הוא שילוב בין IF גבוה לבין סכום אזכורים גבוה. ברשימה המכובדת הזו נכללים לרוב כתבי העת הבאים: New England Journal of Medicine, Lancet, Chemical Reviews, Nature, Jama, ,Science, Chemical Society Reviews, Cell, Journal of Clinical Oncology BMJ, Advanced Materials, Circulation. פרסום בכתבי העת הללו – ובעיקר ב־ Science או  Nature, שהפכו למיתוס אקדמי כמעט דתי – הוא משאת נפשו של כל מדען. כאשר מאמר מתפרסם באחד מהם, לא רק המחברים חוגגים אלא גם המוסד שבו הם עובדים.

חזונו של גארפילד היה צנוע. הוא סבר שהמדד יסייע לספריות לתעדף רכישה של כתבי עת, ויעזור למדענים לבחור את המאמרים המתאימים להם ביותר לצורך מחקר וכתיבה. בפועל השימוש במדד נעשה נרחב ומשמעותי יותר, והפך בימינו לכלי החשוב ביותר בעולם האקדמי למדידת ביצועים, הישגים ויוקרה מדעית. אין היום כמעט פורום או ועדה מדעית שאינם משתמשים במדד הזה – החל בוועדות למינוי וקידום במוסדות להשכלה גבוהה ומכוני מחקר, דרך קרנות מחקר וגופי מימון ועד לחברות שמדרגות מוסדות ומדינות.

ביקורות על מדד האזכורים ועל אופן השימוש בו הופיעו כבר סמוך לפרסומו, והתעצמו עם השנים. ב־1997 פרסם פרופ' פר או סגלן מהמכון לחקר ההשכלה הגבוהה באוסלו [NIFU – Nordic Institute for Studies in Innovation, Research and Education] מאמר תחת הכותרת הישירה: ״מדוע לא צריך להשתמש במדד ההשפעה של כתבי עת להערכת מחקרים״. המאמר סקר באופן שיטתי את ליקויי ה־IF, וזכה ליותר מ־1,700 אזכורים. שנה לאחר מכן פרסם סגלן סדרת מאמרים שתקפו מכיוונים נוספים את האובייקטיביות של המדד. המתקפה הזו התניעה גל של מחקרים ומאמרי ביקורת נוספים, שקראו תיגר לא רק על המתודה אלא גם על הרציונל עליו מושתת המדד, והצביעו על הנזק שהשימוש בו מסב למדע ולמדענים. נתמצת את נימוקיהם העיקריים של המבקרים:

בודקים בקנקנים. האומנם אפשר לתת למדען ציון איכות על בסיס אזכורי מאמריו? עקרונית כן. אבל אז צריך היה לעשות אחד מהשניים: א. למדוד את סך האזכורים שמאמריו קיבלו. ב. לבדוק אם יש באמתחתו מאמר אחד ואולי יותר שזכו למספר בולט של אזכורים (מובן שנדרש להגדיר מה נחשב לבולטות). הבעיה היא שאיכות המאמרים נקבעת בפועל על בסיס יוקרת הבמה שבה פורסמו, קרי: ה־ IF שלה. כלומר, יש כאן דירוג עקיף, המבוסס על אזכורי כתב העת שבו פורסם המאמר ולא על אזכורי המאמר עצמו.

מדוע זה קרה? מדוע העטיפה נעשתה כה חשובה בתרבות האקדמית? התשובה לכך היא סוציולוגית ולא סטטיסטית. תרבות הדירוג המדעית עוצבה ברוח התרבות האנגלית והאמריקאית, שבה תיוגו החברתי של אדם (מה שמכונה ביידיש ״ייחעס״) מבוסס קודם כל ולפני הכל על המסגרות השיוכיות שלו. לדוגמה, חשוב יותר באיזה מוסד למדת מאשר מה למדת – והרבה הרבה יותר מאשר מה אתה יודע (זו גם הסיבה לטירוף האמריקאי סביב הקבלה ללימודים במוסדות היוקרה האקדמיים).

אבל היתה עוד סיבה לאופן הדירוג הזה: כיוון שבאופן עקרוני קשה לבדל איכות של מאמרים (וגם של מדענים), וכיוון שרוב המאמרים תורמים מעט לים הכללי ולא פורצים דרך חדשה (לכן גם מאוזכרים פחות או יותר באותה מידה) – הושם הדגש על האכסניה, קרי: דירוג כתב העת. אפשר לכאורה לטעון שכמו שהרווארד סלקטיבית בקבלת סטודנטים כך Nature סלקטיבי בקבלת כתבי־יד. לכן עצם הפרסום בבמה הסלקטיבית מעיד על איכות. אבל כידוע, סלקציה מחמירה (קל וחומר כזו המבוססת על הליך סינון בעייתי) אינה מבטיחה איכות. יתר על כן, צמצום קריטריון האיכות לבמה בלבד מפספס מאמרים איכותיים ולכן גם מקפח מדענים. ומה שיותר חמור, הוא מחזק את הנורמה העקומה של הסתכלות בקנקן ולא במה שיש בו. אם לחזור להשוואה הקודמת: מדענים רבים שלא למדו במוסדות יוקרה הפכו לימים למדענים מובילים.

ציפייה שמגשימה את עצמה… א. בפועל השימוש העיקרי במדד ה־IF הוא לצורך תיוג מאמרים ומדענים. ב. כתבי העת שנמצאים במקום טוב בטבלה מהווים יעד נחשק לפרסום עבור מדענים, מוסדות ומממנים. לכן, נוצרת כאן ציפייה שמגשימה את עצמה: כתבי העת עם ה־ IF הגבוה זוכים ליותר הגשות, ולכן יכולים לברור מבין אפשרויות רבות יותר. כמו כן, מחקרים בעלי פוטנציאל אזכור גבוה נשלחים בעדיפות ראשונה לכתבי העת הללו…

אזכור אינו בהכרח תו איכות. ההנחה שאזכור מאמר מהווה סימן לחשיבותו לא הוכחה. איש אינו שולל את הטענה שקיים קשר סיבתי בין אזכור לאיכות, ואין ספק שמאמרים חשובים יותר זוכים לאזכורים רבים יותר, אבל זו רק אינדיקציה אחת לאיכות. מאמרים מאוזכרים ומצוטטים לאו דווקא בשל איכותם, אלא גם אם הם זמינים יותר ברשת או בספרייה – או אם אופנתי לאזכר אותם. במקרים רבים מאמר מאוזכר רק כדי להפנות לנושא או לרעיון כללי ולא בשל איכותו יוצאת הדופן.

רוב האזכורים מרוכזים בפרק ההקדמה (סקירת הספרות) של המאמר המדעי, שהוא במקרים רבים טכני ונועד לצאת ידי חובה. לא כל המדענים טורחים לבצע סקר ספרות מקיף, ובוודאי שאינם קוראים בעיון את כל המאמרים הרלוונטיים. רבים פשוט עושים רה־אזכור למה שקודמיהם אזכרו. התופעה שבה כולם מאזכרים את אותו מקור ישן מתוך הרגל זכתה בז'רגון של חוקרי הטכניון בחיפה לכינוי ההיתולי ״ניוטונים״: איש מהמדענים בימינו לא קרא את ניוטון במקור, וכולם מצטטים את מי שציטט אותו לראשונה (ולא בהכרח במדויק). הדבר החריף בעידן מנועי החיפוש האינטרנטיים. הם מציעים תחילה את המאמרים הכי פופולריים, שהופכים כך לעוד יותר פופולריים, והדינמיקה שבה מאמר שכבר צבר רייטינג ממשיך לצבור רייטינג נוסף מתחזקת.

לא נדיר שמחברים מעדיפים לאזכר את המאמרים העדכניים ביותר ולא בהכרח את הכי חשובים. קיימת גם נטייה לתת עדיפות באזכורים למאמרים שהופיעו בכתבי עת מובילים, מתוך הנחה שאלה גם החשובים ביותר (זו אחת הסיבות להגמוניה היציבה של כתבי העת המובילים). זאת ועוד: שכיח מאוד שאזכורים מוכנסים למאמרים – בעיקר במדעי החברה – מסיבות ״פוליטיות״, כלומר כדי לרצות שופט או עורך. מנגד, לעיתים יש למדען עניין (מודע ולא מודע) להעלים או להצניע מחקרים קודמים, כדי להיחשב לחדשן או כדי לא להתמודד עם מחקרים של יריבים.

רבים אולי מניחים שמאמר זוכה לאזכורים רבים כאשר מדובר בפריצת דרך מדעית או בתיאוריה חדשנית. בפועל מסתבר שהמאוזכרים ביותר הם דווקא מאמרים טכניים, שמספקים למדענים הוראות הפעלה. באוקטובר 2014 פרסם Nature את רשימת 100 המאמרים המאוזכרים ביותר בכל הזמנים (על פי (Science Citation Index. כדי להיכלל ברשימה המכובדת נדרשו לפחות 12,119 אזכורים, אבל הסתבר שרק חלק (קטן למדי) מבין 100 המאמרים הפופולריים חשפו תגליות משמעותיות על סודות הקיום. עשרות מאמרים פורצי דרך, שזיכו את מחבריהם בפרס נובל, לא נכללו ברשימה. רוב המאמרים בה היו כאלה שסקרו שיטות מחקר או תוכנות מחשב. לדוגמה, מחבריו של המאמר שהגיע למקום ה־29 היו סטטיסטיקאים בריטים שסקרו טכניקת הדמיה ויזואלית של מדידה מסוימת. הרעיון לא היה אפילו מקורי, והוצג 14 שנים קודם לכן, אבל השיטה שלהם היתה ידידותית יותר.

אגב, המאמר המאוזכר ביותר בהיסטוריית המדע (יותר מ־305 אלף אזכורים עד 2014) פורסם ב־1951 ועסק בחישוב כמות החלבון בתמיסה. המחבר הבכיר שלו, הביוכימאי אוליבר לאורי, הביע בעצמו פליאה מחויכת על התהילה המוגזמת לה זכה מאמרו. ״אף כי ברור לי שזה לא מאמר כה חשוב״, הוא אמר ב־1977, ״אני טופח לעצמי על השכם בסתר בזכות הרייטינג הגבוה״. מדענים נוספים מעידים כי כמות האזכורים של מאמריהם אינה משקפת בהכרח את איכותם. כך למשל, בסקר שנערך בקרב המדענים המאוזכרים ביותר בתחום המחקר הביו־רפואי (בשנים 1996-2011), ציינו 16% מהמשיבים כי המאמר הטוב ביותר שפרסמו אינו נמנה בין עשרת המאמרים המאוזכרים ביותר שלהם.

הטיות טכניות ופסיכולוגיות. מדד ה־IF היה אמור להיות מושפע אך ורק מאיכות תוכנם של המאמרים, אבל מסתבר שגם לצדדים הטכניים של הפרסום יש השפעה על גובה המדד. מאמרים שמפשטים תובנות מורכבות בשפה קלה מאוזכרים יותר, גם אם אינם מחדשים הרבה; סקירות שמסכמות נושאים מאוזכרות יותר ממאמרים מחקריים, משום שהן מכרה זהב לביבליוגרפיה; מאמרים קצרים מאוזכרים יותר ממאמרים ארוכים (יש כתבי עת שמטילים הגבלות חמורות על אורכם של המאמרים, או מחייבים בתשלום עבור כל עמוד שחורג מהמתווה); אפילו אורך שמו של המאמר משפיע על מספר האזכורים (מחקר מצא שככל שהכותרת קצרה כך גדל הסיכוי לאזכור); כתב עת מוכר פחות זוכה לכמות קטנה יותר של אזכורים, ללא קשר לאיכות המאמרים שמתפרסמים בו. מדרך הטבע, גם מאמרים המתפרסמים בכתבי עת בגישה פתוחה מאוזכרים.

 כתבי העת עם if הגבוה ביותר אינם בהכרח אלה שבהם פורסמו המאמרים החשובים ביותר. … דוח מחקר שפורסם ב־2016 על ידי עורכי הוצאת Frontiers (אחת מפלטפורמת הפרסום המרכזיות בגישה פתוחה) מצא כי אין מתאם בין שיעורי הקבלה של מאמרים על ידי כתב עת לבין ערך הIF שלו (הבדיקה נעשתה על 570 כתבי עת). כלומר, יש כתבי עת בעלי IF נמוך ושיעורי דחייה גבוהים, ויש גם כתבי עת עם IF גבוה ושיעורי דחייה נמוכים… לא מעט (ויש הגורסים אפילו רוב) העבודות החדשניות במדע מתפרסמות בכתבי עת מתמחים, שה־IF שלהם לרוב בינוני ומטה. למעשה, עדיף למדענים פורצי הדרך להפנות את כתבי־היד שלהם לבמות זוהרות פחות, משום שהסיכויים להידחות שם נמוכים יותר ומשום שהן פחות שמרניות. יתרה מזאת, גאונים רבים פונים מראש דווקא לכתבי עת מהמעגל השני מפני שאינם זקוקים לסמל הסטטוס החיצוני. הם יודעים היטב מה יש להם ביד.

תהליך לא שקוף. ביקורת נוספת שהוטחה ב־IF היא שאופן החישוב שלו אינו שקוף. חברת האנליטיקה ״קלריוואט״, כמו ״תומסון רויטרס״ לפניה, שומרת את הקלפים קרוב לחזה, אינה פותחת את כל הנתונים ואינה חושפת את השיקולים להכללתו של כתב עת ברשימה האקסקלוסיבית – או לאי־הכללתו… יקום שלם של פרסומים בעלי ערך מדעי גבוה – רובם לא בשפה האנגלית (בסינית, בצרפתית, בגרמנית, בספרדית, ברוסית ועוד) – מתקיים מתחת לרדאר של ה־IF, בכתבי עת שאינם מאונדקסים במאגרי המידע המרכזיים. ההתעלמות מהם וההתנשאות הלשונית־תרבותית שהיא משקפת, מקפחות כתבי עת חשובים, מדענים חשובים, מאמרים חשובים ובעיקר ממצאים חשובים.

טווח המדידה קצר מדי. חלון הזמן (שנתיים) שבו נמנים האזכורים צר מדי, במיוחד כשמדובר במחקרים חלוציים, שחשיבותם עשויה להתחוור רק אחרי שנים. בדומה לחידושים טכנולוגיים ולרעיונות מהפכניים, גם מאמרים מדעיים פורצי דרך לא תמיד זוכים לתשומת הלב הראויה בעת הופעתם, משום שהם מקדימים את זמנם. מנגד, מחקרים כבר הוכיחו שרייטינג גבוה קצר מועד לא מנבא השפעה ארוכת טווח, ויצירות רבות (במדע כמו באמנות) שזכו לרגע של תהילה דעכו ונמוגו ככוכבי שביט.

יתרון הדיסציפלינה. מדד ה־IF מעניק יתרונות סטטיסטיים לכתבי עת בתחומי מדע מסוימים. ככל שכתב העת נישתי יותר פוטנציאל האזכורים שלו קטן יותר, ואילו המדד של כתבי העת הרב־תחומיים גבוה במיוחד. בתחומים דינמיים, כמו מדעי המחשב, כלכלה, ביוכימיה וגנטיקה, הדורות המדעיים קצרים במיוחד, וכל דור מצטט את זה שקדם לו בשנה-שנתיים – מה שמקנה להם יתרון סטטיסטי. גם כתבי העת הרפואיים נהנים מערכי IF גבוהים, מפני שתוחלת החיים של רוב המאמרים בתחום הזה קצרה, והם מאוזכרים כמעט רק סמוך למועד פרסומם. לעומת זאת, בתחומים כמו מתמטיקה, פיזיקה, סוציולוגיה, היסטוריה ופילוסופיה נהוג לאזכר מאמרי יסוד ותיאוריות שפורסמו בעבר הרחוק יותר, והציטוטים הרבים האלה אינם באים לידי ביטוי במדד.

 מצג השווא של הממוצע. כדי שמדד ה־IF של כתב עת ייצג נאמנה את השפעת המאמרים שפורסמו בו, צריכה להיות שונות קטנה בין מספר האזכורים שקיבלו המאמרים השונים. מחקרים הראו כי ברוב כתבי העת לא רק שהשונות גדולה, אלא שההתפלגות של אזכורי המאמרים אינה עקומה נורמלית, והממוצע מושפע ממאמרים חריגים. זה שומט לחלוטין את הקרקע מהלגיטימציה הסטטיסטית של השלכת האימפקט של כתב העת על המאמרים שהתפרסמו בו. למען הדיוק, קיים מתאם נמוך בין ה־ IF של כתב העת לבין האימפקט (מספר האזכורים) של המאמרים שפורסמו בו.

מאמר מפורסם בשם ״a short history of shelx " ממחיש את ההשפעה המטה של מאמרים חריגים על ה־ IF של כתבי העת. המחבר, פרופ' ג'ורג שלדריק, שיבץ במאמר המלצה להשתמש בו כרפרנס כאשר קובעים מבנה גבישי בעזרת תוכנות SHELX. בעקבות ההמלצה הזו גרף המאמר יותר מ־6,600 אזכורים, שהקפיצו את ה־ IF של כתב העת Acta Crystallographica מ־2 ב־2008 ל־49.9 ב־2009 – הרבה מעל 31.4 Nature באותה שנה ו־28.1 Science. המאמר השני הכי מאוזכר באותה שנה מבין המאמרים של Acta Crystallographica זכה ל־28 אזכורים בלבד.

השונות הגדולה במספר האזכורים מאפיינת אפילו את כתבי העת היוקרתיים ביותר. כך למשל, אחד המחקרים מצא כי 90% מה־IF של Nature נשען על אזכורים של 25% בלבד מהמאמרים שפורסמו בו.

הדירוג חסר ערך עבור רוב כתבי העת בעולם. מי שלא מכיר את עולם הפרסום המדעי עשוי להניח שהמדענים החליטו למדוד את איכות פרסומיהם על פי כמות האזכורים כיוון שכל פרסום זוכה לעשרות ואולי מאות אזכורים. אבל כפי שכבר ציינו בפרק שעסק באינפלציית הפרסומים – רוב המאמרים המדעיים מאוזכרים מעט מאוד אם בכלל. ומה שיותר מביך היא העובדה שגם המאמרים שמופיעים בכתבי העת המדורגים (אלה שרשומים במאגר SCI) זוכים למספר זעום של אזכורים. הנה כי כן, מתוך הרשימה שפורסמה ב־2017, וכללה 12,298 כתבי עת רק 239 מהם (1.9%) היו בעלי אימפקט פקטור גדול מ־10. ה־5% המובילים ברשימה זכו ל־6-50 אזכורים בממוצע בלבד. למעשה, האימפקט פקטור של כשליש מהרשימה היה נמוך מ־1! המשמעות היא שהמאמרים שפורסמו בהם זכו לפחות מאזכור אחד בממוצע.

אגב, כאשר מודדים אזכורים של מאמרים בודדים מתברר שמתוך כ־60 מיליון מאמרים שהופיעו במאגר WoS-SCI ב־2014 (ב־2018 המספר כבר צמח ל־74 מיליון), רק כ־5,000 מאמרים זכו למספר אזכורים מרשים (מעל אלף). כל השאר אפילו לא דגדגו את הכמות הזו. חציון מספר האזכורים למאמרים שקוטלגו IFWoS עומד על 1 בלבד.

כאמור, תופעת האימפקט פקטור הנמוך עד אפסי שכיחה בעיקר בכתבי העת במדעים הרכים. רובם אינם מגיעים לאימפקט פקטור 3, ורבים מדשדשים מתחת לרף ה־1. במחקר שפורסם ב־2014 נמצא כי 82% מהמאמרים במדעי הרוח לא אוזכרו כלל, וכך גם 32% מהמאמרים במדעי החברה, 27% במדעי הטבע ו״רק״ 12% ברפואה. לא פלא שמרצה שציפה לקידום תהה באחד הפורומים של The Chronicle of Higher Education מה נחשב ל־ IF טוב במדעי הרוח, והתשובה המשעשעת (אבל נכונה) שקיבל היתה: "0 ציטוטים נחשב טוב. ציטוט אחד נחשב מעולה״. הבדיחה המרה היא שמוסדות רבים מתעקשים לדרוש מחברי הסגל במדעים האלה לציין בCV את ה־IF של כתב העת בצמוד לכל פרסום שלהם.

כיוון שה־IF אינו רלוונטי לרוב כתבי העת במדעים ההומניים, מדינות ומוסדות (ישראל היא אחת מהן) מנפיקים רשימה של כתבי עת מקומיים שמוכרים כאיכותיים, כלומר כאלה שראוי להכלילם בקורות חיים של המדענים, וכן לצורך התקצוב הממשלתי הדיפרנציאלי של המוסדות. לעיתים הרשימות הללו כוללות מדרגות איכות (מעגל ראשון, שני וכו'). הקריטריונים במקרה הזה אינם סטטיסטיים, ומבוססים על שיקול דעתם של חברי ועדות שמתמנות לצורך יצירת הסולם. אבל, כמובן, ברגע שהדירוג הוא אינטואיטיבי נכנסים לתמונה אינספור רעשים, כגון התדמית הסובייקטיבית של כתבי העת או ההיכרות והניסיון האישי של המדרגים. כלומר, גם כאן המוטו הוא שהעטיפה חשובה יותר מתוכן המאמר.

הפרשנות הסובייקטיבית של משמעות המספרים. רוב ואולי כל אלה שבדקו את מדדי הדירוג, ובראשם ה־IF, דנו בנוסחאות הסטטיסטיות ובשאלות המתודולוגיות. אבל משום מה טרם נבדק כיצד עושים במדדים שימוש בפועל (בוועדות הקידום והתקצוב) – שאלה שהתשובה שלה תצפיתית (סוציולוגית).

אנשים מניחים שחברי הוועדות מבינים את הרציונל המתודולוגי והסטטיסטי של המדדים. בפועל, לרבים, ואולי אפילו לרובם, אין מושג מה ההבדלים בין המדדים ומה המגבלות וההטיות של כל אחד מהם (ממדגם לא מייצג שאספנו – של חברי סגל, כולל דיקנים, שנכחו בדיונים סביב מועמדות למשרה, קידום בדרגה או קבלת גרנט – עלה שרובם מגלים בקיאות נמוכה להדהים במדדים השונים).

אבל מה שחמור יותר הוא שגם כאשר חבר ועדה מקבל מידע על הדירוג של כל אחד מהמאמרים המופיעים בCV של המועמד, אין לו הכלים להעריך את משמעות המספר ביחס למאמרים אחרים, כתבי עת אחרים ומדענים אחרים. יתרה מזו, גם אם נניח לרגע ש־ IF הוא מדד אמין ומדויק, שמדרג באופן סטטיסטי איכות של מאמר מסוים, חבר הוועדה עדיין נדרש לשקלל את האימפקט הכולל של סך המאמרים בתיק. אבל לכך אין כלים וגם לא סטנדרטים רשמיים. למעשה גם כאשר בכל זאת משקללים את המספרים עדיין לא ברור מה הם אומרים על מדען ספציפי ביחס לאחרים. האם המשמעות היא שהאחד מצוין והשני רק טוב? האם זה אומר שההוא ראוי לקבל דרגה וההיא לא? ואם כן, מדוע? הרי בסופו של דבר כולם כותבים מאמרים שעוברים שיפוט מדעי. באופן אבסורדי, מרוב דירוגים והשוואות בסופו של דבר ההערכה בפועל נותרת אינטואיטיבית וסובייקטיבית, כלומר על בסיס התרשמות כללית…

באופן פרדוקסלי, אם מקבלים את המשוואה אזכורים = איכות, שעליה מסתמך האימפקט פקטור, המסקנה הנוראה היא שרוב המאמרים המדעיים שפורסמו עד היום (וזכו למעט מאוד אזכורים, אם בכלל) חסרי ערך ומגלמים בזבוז אחד גדול. למעשה, במציאות העקומה הזאת, רוב המדענים ורוב כתבי העת הם לא יותר מניצבים בהצגת תיאטרון, שתפקידם מתמצה בעיקר בהבלטת הנוכחות של מספר קטן של כוכבים.

בהינתן שדירוג ה־IF רלוונטי (אם בכלל) לשיעור אפסי וזניח מכלל כתבי העת המדעיים, קצת מוזר שהמדע ממשיך לסגוד לו. גם אם מסתפקים במטרות שהציב גארפילד למדד שיצר – קרי סיוע לחוקרים ולספריות לברור מתוך הים הכללי את כתבי העת והמאמרים את המתאימים להם – גם אז המדד הזה חסר ערך בימינו. כידוע, מנועי החיפוש עושים את העבודה במהירות וביעילות בכל חתך אפשרי.

המשחק המלוכלך סביב הדירוגים

מדידת הישגים חשובה להתקדמות, אולם כאשר המדדים הכמותיים הופכים למטרה – התוצאה עלולה להיות הרסנית. רבות הדוגמאות לארגונים שהסגידה למולך הסטטיסטי לא שיפרה את ביצועיהם ואף הרעה אותם. זה קרה למשל למשטרת ישראל, שחייבה בזמנו את שוטריה במכסת דוחות ואף תגמלה את ״המצטיינים״. ההנחה היתה שהמדידה תעודד תחרות בין היחידות ותשפר את ביצועיהן. התוצאה היתה הפוכה: עלייה בדוחות שווא והפניית משאבים ליעדים מניבי מספרים במקום למקומות חשובים באמת. אחרי שהתקבלו תלונות רבות של ועל שוטרים ומפקדים – המדידה בוטלה.

אבל מסתבר שהמדע לא לומד מניסיונם של אחרים – ובעצם גם לא מהמחקרים שלו־עצמו. שוק הפרסום המדעי הפך עם השנים לג'ונגל פראי, שבו דירוג גבוה מקדש כמעט כל אמצעי, כולל מניפולציות ובמקרי קיצון אפילו רמאויות. בפרק קודם סקרנו את המשחק המלוכלך של המדענים, וכאן נסקור את זה של כתבי העת (ולעיתים גם של המו״לים שמפיקים אותם).

לכל אחד מכתבי העת יש אינטרס לשפר את מיקומו בדירוג ה־IF, לא רק כדי להשיג יוקרה (שמשמעותה גם כסף), אלא במקרים רבים פשוט כדי לשרוד, שכן דירוג נמוך עלול להיות גזר דין מוות. להלן כמה מהמניפולציות הבולטות שעושים כתבי העת ב־IF, כפי שדיווחו מחקרים שונים:

מתן הקלות בתנאי הקבלה למניבי רייטינג. המוטיבציה של העורכים לפרסם מאמרים שיגרפו אזכורים רבים גורמת לחלקם להיות פזיזים בפרסום מחקרים סנסציוניים, גם בטרם עברו בדיקת אמינות מעמיקה, ו״לרוץ לספר לחבר'ה״ דרך העיתונות הכללית. כיוון שגם שמות ״מוכרים״, ניתנת עדיפות בפרסום לחוקרים בעלי שם (באמצעות שיפוט זריז ואוהד).

מאמרי סקירה (שידועים כמניבי אזכורים) מקבלים אף הם עדיפות מלאכותית, ומשולבים לא פעם בגיליונות של כתבי עת ללא סיבה מקצועית מוצדקת – רק כדי להעלות את פוטנציאל האזכורים. לשם המחשה, כתב העת הנחשב Clinical Patholog פרסם 230 מאמרי מחקר וחמישה מאמרי סקירה בלבד ב־1989. עשרים שנה מאוחר יותר התפרסמו שם רק 184 מאמרי מחקר – ו־38 מאמרי סקירה (כמעט פי שמונה).

חברת ״תומסון רויטרס״ עלתה על הטריק, והחלה לכלול במדידת האזכורים רק מאמרים מחקריים. אבל משחקי החתול והעכבר נמשכים: כשם שמנהלי בתי ספר שולחים את התלמידים החלשים הביתה כאשר נערכות בחינות משוות, כך עורכי כתבי עת מסבים מאמרים בעלי פוטנציאל אזכור נמוך לקטגוריה בלתי נספרת (כדי שלא יפגעו בממוצע). למשל, באמצעות השמטת התקציר או הרשימה הביבליוגרפית, שהופכות מאמר מדעי (״בר אזכור״) למאמר עיוני (בלתי ספיר).

הקדמת פרסומים מבטיחים לתחילת השנה. מאחר שמדד ההשפעה מחושב בסוף כל שנה קלנדרית, למאמרים שרואים אור בתחילתה יש יותר זמן לאסוף אזכורים.

אזכור עצמי. בעבר נהגו עורכים לנצל את מאמר הפתיחה של כתב העת (״דבר המערכת״) או את מדור המכתבים למערכת כדי לשתול בהם אזכורים למאמרים שפורסמו אצלם. מקרה קיצון, המעיד על המגמה הכללית הוא כתב העת IJNSNS [International Journal of Nonlinear Sciences and Numerical Simulation], שבו העורך ועוד שני חברי מערכת תרמו קרוב ל־30% מסך האזכורים של מאמרים שפורסמו בכתב העת הזה בשנים מסוימות. התרגיל הזה מיקם את IJNSNS בראש קטגוריית כתבי העת שעוסקים במתמטיקה שימושית.

התופעה של אזכור עצמי נעשתה כה שכיחה (ואפילו קיבלה כבר ערך בוויקיפדיה), שעלה צורך לפתח תוכנות לזיהוי אזכורים מלאכותיים. ״תומסון רויטרס״ עשתה שימוש בתוכנה כזו, והחלה לפרסם IF מתוקנן, מנוקה מאזכורים עצמיים. למרבה המבוכה וגם הגיחוך, הדירוג הנקי אכן שינה את מיקומם בטבלה של כמה וכמה כתבי עת ידועים.

אזכור כפוי״. מדובר במניפולציה שבה עורכים רומזים למחברים לאזכר מאמרים שפורסמו בכתב העת בשנתיים האחרונות, או שופטים שממליצים לאזכר מאמרים שלהם. ברוב המקרים זאת לכאורה המלצה תמימה, אבל מי שהמאמרים שלהם נמצאים בתהליך שיפוט מבינים היטב את הרמז. בסקר שפורסם ב־2012 דיווחו 20% מהמדענים שקיבלו המלצות כאלה. 80% מהם סברו שההמלצה אינה אתית, אבל בכל זאת רובם נענו לה, כדי לשפר את סיכויי הפרסום של מאמריהם. בסקר מקוון שנערך ב־2019 בקרב 4,300 קוראי Nature דיווחו כשני שלישים מהם כי חשו לחץ מצד השופטים לאזכר מאמרים שלהם, למרות שהאזכור המבוקש לא היה נחוץ לשיפור כתב־היד (השיעור הזה היה גבוה מזה שנמצא בסקרים בשנים קודמות). זו המחשה נוספת להשחתה המוסרית שמביאה איתה תרבות המדידה.

קרטלי אזכורים. אם בהשחתה עסקינן, אפשר לציין מנהג נוסף שנועד להעלות את רמת הIF. בדומה ל״שפוט לי ואשפוט לך״, ול״פרסם לי ואפרסם לך״, מקובל היום גם (בין עורכים) ״אזכר לי ואאזכר לך״. כלומר, עורכים מפרסמים מאמרי סקירה עם אזכורים רבים למאמרים שראו אור בכתב עת מסוים, ועורך כתב העת הנ״ל גומל להם באותו מטבע. כמה כתבי עת שנתפסו בהתנהגות קרטליסטית כבר נופו מהספירה, ונשללה מהם הזכות להיכלל בדירוגי ה־IF

מחאות והסתייגויות מהפה לחוץ

ב־2006 פרסמו שלושה מדענים מסינגפור מאמר שכותרתו ״מדד ההשפעה של כתבי העת: יותר מדי השפעה?״. הכותבים סקרו את הספרות המחקרית שהתפרסמה עד אז בנושא, והגיעו למסקנה שהשימוש ב־ IF צריך להיות זהיר ומוגבל יותר. המאמר אמנם לא פורסם באחד מכתבי העת המובילים, אך היווה תמריץ חשוב להתפתחותו של שיח ביקורתי על התפשטות השימוש במדד הבעייתי הזה. מקצת המבקרים השתמשו בביטויים חריפים, כגון ״האימפקט פקטור הוא חסר ערך ובזבוז זמן, אנרגיה וכסף. צריך לחסל אותו ומוטב מוקדם מאשר מאוחר״. עם הזמן הצטרפו לקולות הביקורת גם מדענים מובילים ועורכים בכירים. כך למשל, ב־2008 פרסם עורך Nature (לא בכתב העת שלו כמובן) מאמר שכותרתו: ״להימלט מהאימפקט פקטור״. המלצתו היתה לפתח מדד חליפי.

כעבור שנתיים יזם Nature סדרת סקרים וראיונות, שנועדה לבחון את מידת השימוש במדדים סטטיסטיים בתרבות המדעית. הממצאים הראו פער מעניין אך לא מפתיע בין אנשי ההנהלה והמנהלה הבכירים במוסדות להשכלה גבוהה לבין חברי הסגל האקדמי. בעוד שרוב חברי הסגל הביעו מורת רוח מכך שהמערכת האקדמית מרבה להשתמש במדדים סטטיסטיים לצורך קבלת החלטות בענייני כוח אדם (גיוס, מתן קביעות וקידום), רוב המנהלים טענו שהמדדים הללו משחקים תפקיד שולי בהחלטותיהם, והביעו שביעות רצון מאופן קבלת ההחלטות במוסד שלהם.

אבל אם חשבתם שההסתייגות מהשימוש המוגזם במדדים הכמותיים תגרום לעדר האקדמי לפקוח עיניים ולדרוש את הפסקת השימוש ב־ IF לאלתר – טעיתם כמובן. כאשר חברי הסגל התבקשו בסקר להציע קריטריון מהימן להערכת איכותו של המדע (מתוך רשימת קריטריונים שהוצעו להם), הם הציבו את ה״פרסומים בכתבי עת עם אימפקט גבוה״ במקום הראשון. אפילו עורכי המחקר הודו שקיים פער מוזר בין הביקורת של חברי הסגל לבין המסקנה האופרטיבית שלהם. המרואיינים עצמם לא ראו את הסתירה, והסתפקו בהמלצה להשתמש במדדים הסטטיסטיים ביתר בהירות, עקביות ושקיפות.

עם הזמן עברו הביקורת והמחאה נגד ה־IF לפסים מעשיים יותר לכאורה. יותר ויותר מוסדות וארגונים אקדמיים (כולל מובילים ומשפיעים) פרסמו אזהרות משימוש במדד לצורך הערכת מאמרים ומדענים. נמנו עימם בין השאר המועצות למימון ההשכלה הגבוהה בבריטניה (REF) ובאוסטרליה (ERA), האיגוד האירופי של העורכים המדעיים (EASE), הקרן הלאומית למדע בארה״ב (NSF) והקרן הגרמנית למחקר (.(DFG בלטה במיוחד ״הצהרת דורה״ (2013) [DORA – Declaration On Research Assessment], עליה חתמו עשרות עורכים, אלפי מדענים ומאות מוסדות אקדמיים, אגודות מדעיות וכתבי עת ברחבי העולם. בהצהרה נמנו כמה מהחסרונות העיקריים של ה־IF, וניתנו מספר המלצות. המרכזית שבהן הציעה להימנע משימוש במדד בעת קבלת החלטות בנושאי מימון מחקר, מינוי מדענים והעלאות בדרגה. הודגש גם הצורך למדוד את האיכות של כל מחקר לגופו – על פי תוכנו ולא בהתאם לבמה שבה התפרסם.

2016 תיזכר אולי כשנה שבה עלתה הביקורת נגד השימוש המופרז ב־ IF מדרגה נוספת. באותה שנה פרסם Nature שורת כתבות ביקורת על ה־IF. אחת מהן, שכותרתה היתה ״הגיע הזמן לשפץ את מדד ההשפעה של כתבי העת״, טענה כי ההסתמכות על מדדים בכלל, ועל ה־ IF בפרט, לשם מדידת ביצועים של מדענים, הנה מטעה ומסוכנת. הצורך הנואש לפרסם בכתב עת בעל IF גבוה יוצר לחצים ואכזבות מיותרים, וחותר בפועל תחת המדע.

באותה שנה יזמו 11 עורכים של כתבי עת מובילים (בתוכם Science, Nature ו־PLOS) בדיקה שמצאה כי 75% מהמאמרים שפורסמו בכתבי העת שלהם זכו לפחות אזכורים מהממוצע של כתב העת – אותו ממוצע שמגדיר את גובה ה־ IF שלהם. המסקנה היתה ברורה: המדד לא מדרג כלל מאמרים. אמנם לא היה בכך חדש (כפי שכבר הסברנו), אבל העובדה שהביקורת הגיעה הפעם מצד אישים כה בכירים בענף המו״לות, והיתה למעשה התבוננות שלהם במראה, היתה בבחינת ציון דרך חשוב. ״תומסון רויטרס״, מפיקת המדד באותה עת, נאלצה להודות שהמבקרים צודקים ואכן אין לשפוט מאמרים, לא כל שכן מדענים, באמצעות המדד הזה, אבל סירבה כמובן להודות שאין למעשה כל ערך למדד שהיא מפיקה.

גיון בוהאנון, מעיתונאי המדע הבולטים ביותר, הדהד את משמעויות הממצאים הללו במאמר שפרסם ב־ Science תחת כותרת שלא משתמעת לשתי פנים: ״שונא את האימפקט פקטור? מחקר חדש נותן לך עוד סיבה״. בעיתונות הכללית, בבלוגים וברשתות החברתיות הופיעו מאמרים עם כותרות נחרצות ובוטות לא פחות, כגון ״האסון של מדד ההשפעה״, או ״לך לעזאזל אימפקט פקטור״. אפילו מרד צנוע (ומאוד חריג) הנץ לרגע: מאמר מערכת שהופיע בעת ובעונה אחת בשמונה מכתבי העת של האגודה האמריקאית למיקרוביולוגיה הכריז על הסרת ציון ה־ if מכתבי העת ומאתר האגודה, ועל הפסקת השימוש בו לצורך פרסום ושיווק.

אבל כרגיל בתרבות המדעית, הכלבים מרימים את הקול והשיירה מגבירה מהירות. הביקורת תמיד נעצרת ברמת ההסתייגויות, והמוסכמה המעוותת ממשיכה לשלוט בכיפה. הנה כי כן, ב־2019 פורסם מאמר שבדק את היקף השימוש ב־ IF בארה״ב וקנדה לצורך קבלת קביעות, קידום וכדו’. הוא מצא שקרוב ל־40% מאוניברסיטאות המחקר עדיין עושות שימוש במדד ורואות בו כלי מהימן לקביעת איכות ומוניטין מדעיים (אפשר להניח שרוב אלה שאינן משתמשות ב־ IF עושות שימוש במדדים סטטיסטיים אחרים). ולמרות כל האזהרות, רק 13% מהמשתמשים במדד חשבו שיש לנקוט משנה זהירות בשימוש בו.

טירוף סטטיסטי מסוג נוסף

…כל הנרמולים, התקנונים והשיפורים למיניהם לא פתרו את בעיות היסוד של ה־ IF ולרוב הצמיחו מגבלות ובעיות חדשות… בשלב מסוים נפל האסימון לחובבי המספרים והכמויות, והם הגיעו למסקנה שעדיף לדרג מדען באופן ישיר יותר. וכיוון שמדידת איכותו המקצועית של החוקר צריכה להתבסס על בחינה כוללת של תיק הפרסומים שלו, חשוב לייצר מדד שמשקלל את מכלול הפרסומים ולא כל פריט בנפרד… מה שנראה במבט ראשון כמדד הוגן ואלגנטי יותר הסתבר כבעייתי לא פחות מקודמו. הביקורות באו מכמה זוויות:

המדד לא מבחין בין מדענים טובים לבין פורצי דרך. מיהו המדען החשוב יותר? זה ששומר בעקביות על מצוינות, ומפרסם שוב ושוב מאמרים טובים, שזוכים לכמות נכבדה של אזכורים, או מדען שפרסם מחקר פורץ דרך, אבל זו היתה הבלחה חד־פעמית שאחריה שקע בבינוניות. התשובה לשאלה הזו היא טריקית: אין ספק שמדד H מצביע על הראשון, בעוד שוועדת נובל בוחרת בשני…

דוגמה ספציפית היא פרופ' הארי קרוטו, חתן פרס נובל בכימיה ל־1996, שדורג ב־2011 במקום ה־264 במדד H של הכימאים. הדירוג הנמוך יחסית נבע מכך שזכייתו בנובל התבססה על מאמר פורץ דרך מ־1985, והמאמרים שהוא פרסם מאז לא עוררו גלים. דוגמה בולטת עוד יותר, שממחישה את הדילמה (מה חשוב יותר: עקביות או פריצת דרך), היא פיוטר חומצ'ינסקי, ממציא טכניקת מיצוי  RNA (מולקולה בעלת תפקיד חיוני בתרגום המידע הגנטי) מדגימות ביולוגיות. המאמר שפרסם את הטכניקה הזו (ב־1987), שלא ניתן לדמיין היום עבודה עם RNA בלעדיה, זכה ליותר מ־65 אלף אזכורים (מספר עצום), ובכל זאת מדד הIF של חומצ'ינסקי הגיע רק ל־23 (צנוע למדי). זה קרה משום שלמעלה מ־90% מסך כל האזכורים למאמריו היו של המאמר שזיכה אותו בפרס היוקרתי. כלומר, מצד אחד הוא פיתח טכניקה ששינתה את עולם המחקר, ומצד שני זו היתה הברקה חד־פעמית. אז איך ועל סמך מה נקטלג אותו כמדען? שוב, הכל כמובן עניין של הגדרה. מה שברור הוא שמדד H גורם למדענים מסוגם של קרוטו וחומציינסקי עוול.

…אזכור מלאכותי ומניפולטיבי. כמו ב־IF, גם במדד H המניפולציות והתרמיות לא בוששו להגיע, ובראשם הטריקים השכיחים של אזכור הדדי ואזכור עצמי. לאחרונה פותחו תוכנות שמאפשרות לחשב H מנוקה מאזכורים עצמיים. אבל גם כאן קיימת בעיה, כי במקרים רבים האזכור העצמי אינו מניפולטיבי אלא הכרחי. למשל, במקרה שבו כותב המאמר מתייחס למחקר קודם שלו, שהיה בבחינת קומה ראשונה למחקר הנוכחי. הנתונים מראים שכ־20% מהאזכורים שמופיעים במאמרים הם של מאמרים קודמים של המחברים.

אזכור שלילי מוסיף רייטינג. הן מדד ה־IF והן מדד H מבוססים על מספר האזכורים, ועיוורים לחלוטין לסיבת האזכור ולהקשרו. באופן פרדוקסלי, לא מעט מאמרים צברו סטטיסטיקה מרשימה של אזכורים בשל הביקורת השלילית שהוטחה בהם. כלומר, הם זכו לרייטינג גבוה בשל הפגמים והחולשות שלהם ולא בשל מעלותיהם, בדומה לפושעים שהפכו בשנים האחרונות ליקירי כלי התקשורת ולסלבריטיז בזכות מעלליהם הנתעבים.

השפעה בחזית צרה. ביקורת נוספת שתופסת לגבי מדד ה־IF, לגבי מדד H ולגבי שאר הווריאציות שלהם נוגעת בהיבט מהותי יותר, שעליו לא מרבים לדון במדע: מעגל התהודה וההשפעה. ההתנשאות והבועתיות של האקדמיה גורמת לה להתבסס בעיקר על אזכורים בתוך גדרי המילייה המקצועי, תוך התעלמות מהדהודים בבמות אחרות (למשל רשתות חברתיות), שהן לפעמים לא פחות חשובות. במדעים הרכים חשיבות הבמות החוץ־מדעיות גדולה במיוחד, שהרי מה הטעם בממצא היסטורי, למשל, אם הוא לא משפיע על הזיכרון הקולקטיבי של החברה. מה הטעם במחקר חינוכי, אם מורים מהשטח אינם חשופים אליו ולומדים ממנו. מה הטעם בממצא על אפליה או דיכוי, אם הוא לא מצית שיח פוליטי שעשוי להוביל לשינוי.

ב־2013 התפרסם ב  The Chronicle of Higher Educationמאמר שכותרתו: "להשפיע בעולם האמיתי במקום להשפיע על מדד ההשפעה"… יש אלפי דוגמאות לחוקרים שספריהם ומאמריהם עוררו שיח ציבורי ער וצוטטו שוב ושוב בבמות התקשורת המקומיות, לעיתים גם בבמות הבינלאומיות, ומספר האזכורים שלהם בבועה המדעית היה מצומצם ולעיתים זניח. קיימים כבר כלים שמאתרים אזכורים באתרי חדשות, רשתות חברתיות ובלוגים אבל האקדמיה מתעלמת מהם ,(ImpactStory, Altmetric, Plum Analytics) .כשמדובר בדירוג החוקרים ומה שלא פחות מביש: כאשר האזכורים הופכים לחזות הכל במדע (כמו הלייקים בפייסבוק) החוקרים נעשים מכווני סטטיסטיקות, ומימון המדע משתעבד למטרות צרות ואנכיות….

בשלהי 2012 החליט כתב העת Chemistry World, שיוצא לאור על ידי החברה המלכותית הבריטית לכימיה, להפסיק לפרסם את רשימת 500 הכימאים היצרניים ביותר (בעלי מדד H מעל 55). ההסבר הרשמי היה קשיים טכניים, אבל ההחלטה נבעה ללא ספק מהביקורת על כך שדירוג המדענים נעשה על פי מדד כמותני ולכן חד־ממדי. אבל שוב, זו היתה עוד יללה באפלה, שלא שינתה במאום את דפוסי השימוש הנפוצים במדד H באקדמיה.

יתר על כן, טירוף המדידה לא מסתיים במדדי ה־ if ־H. מגפת המדדת, הציינת, הספררת, האיקסול והדרגת ממשיכה להתפשט ולהטביע את המדע במספרים, כמו בסיפור הקלאסי של גתה על שוליית הקוסם שכישף את המטאטא, כדי שיסחב במקומו מים לאמבט, ושכח את מילות הקסם שיגרמו לו לחדול. עוד ועוד מדדים ודירוגים מפציעים חדשות לבקרים, על פי אינספור פילוחים, פילוחי־פילוחים, דקויות ודקי־דקויות. גם ספרים, כנסים ותוצרי מדע אחרים מסודרים בסולמות איכות, ואפילו קרנות המחקר הגדולות התמכרו למדדים משלהן, שמשווים ומדרגים את זוכי הגרנטים (iCite, Relative Citation Ratio ועוד).

איזו אוניברסיטה הכי טובה?

…ב־1983 פרסמה חברת התקשורת U.S. News and World Report את המדריך השנתי לקולגיים האמריקאיים הטובים ביותר. הוא הצטיין במידע מקיף ובשפה בהירה, והפך מאז לתנ״ך של בוגרי התיכונים. ההצלחה הולידה מדריכים רבים נוספים לבחירת מוסד לימודים – תחילה בפורמט מודפס ואחר כך בפורמט דיגיטלי… ב־2016 דורגו בארה״ב יותר מאלפיים מוסדות, באמצעות 136 אלף סקרים. המדרגים למיניהם, על שלל מניעיהם, השתמשו ב־62 קריטריונים, שכיסו שלל נושאים.

בראשית שנות השמונים של המאה ה־20 החל חיידק דירוג המוסדות להתפשט גם מחוץ לארה״ב, וסימן את האצת הגלובליזציה של האקדמיה. עד 2003 כבר פורסמו דירוגים של מוסדות להשכלה גבוהה ב־24 מדינות… זה היה הפרומו לצונאמי הדירוג הבינלאומי… הדירוג מבוסס (נכון ל־2019) על שישה מדדים, שהוגדרו כקריטוריוני איכות:

• מספר הבוגרים שזכו בפרס נובל או במדליית פילדס (10%) ומספר חברי הסגל שזכו בפרס נובל או במדליית פילדס (20%) – סך הכל 30%.
• מספר המאמרים של חברי הסגל שפורסמו באותה שנה בכתבי העת המובילים .20% – Science! Nature

• מספר חברי הסגל שמחקריהם זכו באותה שנה לאזכורים רבים במיוחד ב־21 תחומים – 20%.
• סך הפרסומים של חברי הסגל שאונדקסו באותה שנה ^SCI המורחב ^Social 20% – Sciences Citation Index.
• ביצועים פר חבר סגל (מספר הפרסומים ביחס למספר חברי הסגל במשרה מלאה במוסד) – 10%.

…מראשית דרכם הוטחו בדירוגים הבינלאומיים של המוסדות להשכלה גבוהה ביקורות קשות. ב־2009, לדוגמה, פורסם מאמר שכותרתו: ״האם יש לסמוך על מדד שנגחאי?״. השאלה היתה רטורית. המאמר בחן את המתודולוגיה עליה מושתת המדד, ומצא שהיא לוקה בבעיות קשות. מאמר ברוח דומה, נגד מדד QS, הופיע ב־2012 תחת הכותרת: ״לפתוח את הקופסה השחורה של דירוג QS״. מסקנותיו היו זהות. ככל שהתרחבה והתעמקה הבדיקה כך נחשפו יותר ויותר בעיות של מהימנות ותוקף בדירוגים הבינלאומיים. בה בעת עלתה גם הביקורת על הדירוגים של המוסדות האמריקאיים. הכשלים העיקריים של דירוגי המוסדות (בעיקר הבינלאומיים) שהמבקרים מנו (ושלהם הוספנו כמה משלנו) הם:

מספר מצומצם מדי של קריטריוני איכות… שרירותיות קביעת המדדים ומשקלם… רבים מניחים שהבחירה במדדים מסוימים ולא באחרים נעשתה על בסיס שיקולים מקצועיים נטו. אין ספק שהיה כאן גם היגיון כזה, אבל לצידם פעלו באופן מודע ובלתי מודע גם הטיות תרבותיות, כלכליות ופוליטיות, שמקצתן ביזאריות… הדירוג הוא בסופו של דבר תלוי טעם וסדר עדיפות של הגוף המדרג.

שיקולים זרים של חברות הדירוג… המשקלות והמדדים השונים נעוצים גם בשיקולים מסחריים, סמויים מעין הציבור. ב־2018 רשם הטכניון בחיפה עלייה של 16 מקומות בדירוג שנגחאי, אל המקום ה־77 המכובד. בשלהי אותה שנה רואיין פרופ' פרץ לביא, אז נשיא הטכניון, ובין השאר נשאל על תרבות הדירוגים באקדמיה. ״הדירוג הזה מצחיק, הוא פשוט מגוחך… שני הדירוגים הבריטיים המובילים – QS והדירוג של היטיימס׳ הלונדוני – לוקחים בחשבון כמה סטודנטים זרים וחברי סגל זרים יש באוניברסיטה, ואת היחס הכמותי בין חברי הסגל לבין הסטודנטים. אתה יודע למה? כי הם מתפרנסים מייעוץ לאוניברסיטאות איך לגייס סטודנטים וחברי סגל…

הטיית השופטים. ביקורת קטלנית במיוחד נמתחה על השימוש שעושות חברות הדירוג הבריטיות במומחים חיצוניים. הטיעון המרכזי היה שלא סופק מידע על האופן שבו נבחרים אותם מומחים מרחבי העולם ולכן גם לא ברורה התאמתם וכשירותם. אבל מה שיותר חמור זו היומרה שמדען, ותיק ומנוסה ככל שיהיה, יחווה דעה על מוסד אחר, שבו לא למד ולא עבד – קל וחומר על תחומי מדע שאינו מומחה בהם… יתר על כן, דירוג המתבסס על דעות אישיות משקף בהכרח תדמיות, מוסכמות, שמועות והעדפות, ומושפע מאפקט ההילה (Halo effect)…

משחק מלוכלך. כידוע, במקום שבו יש דירוגים ובעיקר כאשר המיקום הופך לחשוב מדי – מתחילה תרבות של עיגול פינות ומניפולציות. ואכן, בשנים האחרונות רבו הדיווחים בתקשורת האמריקאית על ניפוח מלאכותי של נתונים כדי להשיג דירוג גבוה יותר…

כאשר המטרה לעלות בסולם בדירוג הופכת לחזות הכל, צומחות גם שיטות שנועדו לעקוף מתחרים ולקצר תהליכים. דוגמה משעשעת או עצובה היא של שתי אוניברסיטאות סעודיות – אוניברסיטת המלך סעוד ואוניברסיטת המלך עבד אל־עזיז, שזינקו תוך זמן קצר מתחתית דירוג שנגחאי אל תוך רשימת מאתיים האוניברסיטאות הטובות בעולם. למרבה המבוכה הסתבר שהסעודים פשוט קנו את השדרוג: הם הציעו למדענים במערב משרות עתירות שכר תמורת הוספת המוסד הסיעודי לשיוך (affiliation) של מאמריהם. כל מה שנדרש מהמדענים המחוזרים היה לשהות בערב הסעודית כמה שבועות במהלך סמסטר הקיץ, ובשאר הזמן להדריך מרחוק תלמידי מחקר במקביל למשרתם הוותיקה.

היומרה חסרת הכיסוי לדרג – וגם לדייק. העובדה שהדירוגים הבינלאומיים מתפרסמים מדי שנה עשויה ליצור את הרושם שעלייה או ירידה בסולם משקפות שיפור או הידרדרות באיכות המוסד. בפועל אלה הן בדרך כלל תנודות אקראיות…

ובכל מקרה, הדירוג אינו באמת דירוג, כי כפי שכתבנו רק מאה המוסדות הראשונים בדירוג שנגחאי מסודרים בזה אחר זה. כל האחרים מקובצים בקבוצות של חמישים או מאה, בסדר אלפביתי שמעקם את הסולם. מכון ויצמן, לדוגמה, מוצב בשולי המקבץ רק מפני ששמו מתחיל באות W, שעה שמיקומו האמיתי בדירוג גבוה בהרבה.

• שימוש במדדים ביבליומטריים פגומים…
• מין שאינו במינו. עצם הרעיון של בחינת מוסדות אקדמיים ממדינות שונות ומיבשות שונות על אותה סקאלה שגוי מיסודו, משום שאינו לוקח בחשבון את הסביבה שבה פועל כל מוסד…
• חסרון הקוטן. פערי הגודל בין המוסדות אינם נלקחים בחשבון בהליך הדירוג…
• דירוג עולמי שמתעלם מרוב העולם. הדירוגים הבינלאומיים כוללים פחות מעשרה אחוזים מכלל המוסדות להשכלה גבוהה בעולם…
• הדירוגים מקבעים את המבנה האקדמי העולמי הלא שוויוני גם משום שהם מחזקים את המצב שבו הדרך להצלחה עוברת כמעט אך ורק דרך הכסף…
• תפיסה צרה וחד־ממדית של תוצרי האקדמיה. חברות הדירוגים, וכך גם המוסדות שמשתתפים במשחק, ארגוני המדע הבינלאומיים והממשלות, מצדיקים את השימוש הנרחב בדירוגים בנימוק שהם מעודדים תחרות גלובלית בריאה ומקדמים שקיפות, שמאפשרת בקרה ציבורית. בפועל לא רק שהמטרות הללו לא הושגו, אלא שבמקרים רבים מושגת תוצאה הפוכה… מדדי הדירוג הבינלאומיים אינם מתחשבים בסדרי העדיפויות המקומיים, ולא זו בלבד שהם כופים על המוסדות האקדמיים להעדיף את ההצטיינות במדדים שהגדירו האדונים המדרגים על פני הצטיינות במדדים שיתרמו למדינתם, הם גם מענישים את מי שעניי עירו קודמים בעיניו בתווית של מוסד לא מספיק מוצלח.

…הגישה החד־ממדית הזו מטפחת הומוגניות ופועלת נגד חדשנות ומהפכנות. כאשר כולם שואפים להיות אותו סוג של מוסד אקדמי, זה חונק התפתחות של אלטרנטיבות מרעננות למודל הוותיק. אין היום למעשה תמריץ למוסדות לסלול לעצמם נתיב ייחודי, כיוון שהם עלולים להתדרדר בדירוג רחמנא ליצלן…

משפרי טעם למזון מקולקל

הביקורת הקטלנית על הדירוגים לא יכלה לעבור לגמרי בשתיקה…   גם ארגון OECD והבנק העולמי עסקו בנושאים הללו, ואילצו את חברות הדירוג להגיב. כצפוי, תגובתן כללה בעיקר התחמקויות צדקניות:

• הן הודו בחצי פה שהדירוג לא לגמרי אובייקטיבי ושהן לא מתיימרות לספק ״דירוג מושלם״.
• הן טענו שרוב המדענים וראשי המוסדות תומכים בדירוגים הללו, מה שלמרבה הצער נכון.
• הן המליצו להשתמש בדירוגים בזהירות (שזו דרך אלגנטית להמליץ על ״ללכת עם ולהרגיש בלי״), וגם שכל מוסד ומדינה יעשו בדירוגים את השימושים שמתאימים להם (שזו דרך אלגנטית להגיד ״עזבו אותנו באמישלכם״).
• הן תירצו את ההטיות בחוסרים שאינם תלויים בהן. מעצבי דירוג שנגחאי, לדוגמה, טענו שמדעי הרוח והאמנות אינם נכללים בדירוג בשל בעיות טכניות במציאת מידע בינלאומי אובייקטיבי ואמין ובשל אופיים הבינתחומי.

…התוצאה ברורה: חרף הביקורות, המחאות, האזהרות, ההנחיות לשימוש זהיר והקריאה לייצר אלטרנטיבה – למעט מכללות בודדות בארה״ב ובקנדה, שהעזו להכריז על החרמת הדירוגים, רוב המוסדות ממשיכים ליישר קו ולציית ל״חוקי הטבע״ החדשים.

פרט לשמרנות של הממסד האקדמי ולנטייה של התקשורת הפופולרית לספק נתונים ללא בדיקה מעמיקה מה עומד מאחוריהם, היתה עוד סיבה משמעותית להתמכרות לדירוגים: הקשר הגורדי בינם לבין מימון המוסדות. רוב הממשלות בעולם מממנות את המוסדות להשכלה גבוהה בשלושה ערוצים – הראשון, קרנות מחקר לאומיות, שמחלקות תקציבים למחקרים ספציפיים. השני, תקציב שנתי לכל מוסד, על פי מספר הסטודנטים, מספר חברי הסגל, תחומי ההתמחות, המיקום וכוי; והשלישי, תקצוב על בסיס ביצועים, כלומר ״תפוקות״ מדידות בלבד…

מודל התקצוב הופך את המוסדות להשכלה גבוהה לשבויים בידי מספר קטן של פקידי אקדמיה בכירים – לרוב פרופסורים בפנסיה או לקראת פנסיה שמכהנים כחברים במועצות המדעיות הלאומיות. ברוב המדינות לא שותפו המוסדות וחברי הסגל בתהליך קביעת הקריטריונים לאיכות. ברוב המדינות גם לא סופקו נימוקים לקביעת המדדים והמשקלות. במקרים רבים הנוסחאות עמומות, ומובנות בקושי למתמטיקאים, סטטיסטיקאים וכלכלנים. אחד מבכירי האקדמיה הישראלית, שהיה חבר בכיר בוועדה שעיצבה את מודל התקצוב הישראלי, הודה בפנינו שהוא עצמו אינו בקיא בשיטת החישוב …

מודל התקצוב הוא אחד הגורמים העיקריים, אם לא העיקרי, לפגיעה באיכות המחקר המדעי, משום שהוא קושר באופן וולגרי בין כסף לפרסום ובעצם משעבד את המוסדות ואת חברי הסגל למדדים כלכליים. ב־2013 הכריז רנדי שקמן, חתן פרס נובל לרפואה באותה שנה, שהמעבדה שלו לא תוסיף לשלוח מאמרי מחקר בNature, Science ־Cell, כדי לאותת לקהילה המדעית שהלחץ לפרסם בכתבי עת יוקרתיים (במטרה לקבל בתמורה תקציב גבוה יותר מהמדינה) מעודד חוקרים לעגל פינות ולקדם תחומי מדע טרנדיים במקום לעסוק במחקר משמעותי. לטענתו, המוניטין המתלווים לפרסום בכתבי העת האלה ממסחר ומזנה את עולם המדע…

הביקורת על כך שמודל התקצוב מעצים את הרעות החולות של תרבות המדידה באקדמיה מתחזקת בשנים האחרונות…

השעבוד לדירוגים, שמודל התקצוב מעצים, כולא את המדענים עמוק יותר בבועה האקדמית ומונע מהם להיות מעורבים בשטח.

… עצם הרעיון שתקצוב החוקרים והמוסדות נקבע שלא על בסיס צרכים חברתיים משוקללים – שאותם צריכים לקבוע לא רק מדענים – אינו הולם את רוח הזמן, ומפקיד בידי ברוני האקדמיה ופקידי האוצר זכויות וסמכויות שאינן מגיעות להם.

…קורות החיים של מדענים בימינו. לא זו בלבד שהם כוללים אינספור שורות על כל בדל הישג ומיני תפוקה (שכולם כמובן חייבים להיות משוקללים והשד יודע איך בדיוק), אלא שלכל פריט מוצמדת שורה של מדדים, שהיא לפעמים ארוכה ומעורפלת יותר מכותרת הפרסום. וכשיש כל כך הרבה כלים וסרגלים, קשה לגבש שורה תחתונה: איזה כתב עת משפיע יותר, מי המדען המוכשר יותר ומי המוסד האיכותי יותר…

אופיום הסטטיסטיקה מאשרר ומשעתק את שליטתם הבלתי מעורערת של ברוני המדע, קרי: ההוצאות לאור הגדולות, כתבי העת והאוניברסיטאות היוקרתיות. כולם משתחווים בפני השיטה שמיטיבה עם הפריווילגים, משום שהם עיוורים לעיוותים, משום שאין להם רצון או יכולת למרוד ומשום שהם מסתפקים בפירורי דירוגים שמספקים להם תגים מדומים של כבוד והצלחה.

…בספרו המצוין ״עריצות המדדים״ מתאר גירי מולר את המיתוסים המושרשים שנקשרו במדידות ובדירוגים, בעיקר בתרבות האמריקאית. כיוון שהאמונה במספרים הפכה למעין דת, אנשים מתעלמים מעדויות שמוכיחות שהשיטה אינה תמיד אפקטיבית…

במקרים רבים המדידה יוצרת אשליה של התקדמות ופתרון בעיות, והמספרים הם לא יותר מהונאה עצמית. אליבא דה מולר ״קיבעון המדדים״ גורם נזק רב: הוא מצמצם את מרחב היעדים, מודד רק את מה שניתן לספור ולאו דווקא את מה שחשוב, מביא להתמקדות במטרות קצרות טווח, מכביד על הארגון, משעבד אותו לכסף ומזמין תחמונים ורמאויות שמזהמים את סביבת העבודה.

אבל מעל לכל, כאשר עובדים משועבדים לטבלאות ומתוגמלים רק על בסיס הישגים סטטיסטיים, נוצר פשיזם כלכלי – ״עריצות של קבצי אקסל״. באקולוגיית מחיה כגון זו האנשים הופכים למכונות והקהילה מאבדת את נשמתה…

…הביוכימאית פרופ' עדה יונת, זוכת פרס נובל לשנת 2009, כתבה: ״איני מבינה מדוע אנו, כחוקרים, מסכימים להיות חלק מהמשחק הזה. הרי האינפורמציה על המדדים זמינה לכולם. בקרוב (ואולי כבר עתה) לא יהיה צורך בוועדות מקצועיות. פקידים מיומנים יכינו עבורנו טבלאות, יצרפו את המספרים הרלוונטיים ויחליטו. כימות מספרי גורם להערכה מספרית גרידא, ללא התייחסות למורכבות המחקר, למקוריות ולאומץ המדעי – גורמים שלעיתים קרובות מאוד מאיטים את אפשרות הפרסום. על כן עלינו להתעשת, להתנער מההגזמה בכימותים, וליצור שיטה ערכית בהקדם האפשרי. ולסיום, מידע חסוי: אם היו ׳מכמתים׳ אותי בזמנו (וגם עתה), לא הייתי עוברת אף ועדה״.