נושאים באתר

צוות האתר

צוות האתר

מקוריות ויצירתיות באקדמיה – לא מה שחשבתם

באקדמיה מעודדים מקוריות ויצירתיות כידוע, יש לתכונות האלו שימושים רבים, אבל אחד השימושים העיקריים הוא: כשמגיע איזה ממצא מפחיד שסותר את יסודות האמונה המטריאליסטית, בו ברגע מתחילה לוליינות מפותלת ומפולפלת שלא היתה מביישת דרשנים ומגידים.

הנושא הפעם, דילוגים בתורה, בלי קשר לשאלה נכון או לא נכון, היה או לא היה, הנושא שלנו הוא: מה עושה איש מדע כשמובאים לפניו נתונים המוכיחים על דילוגים שאין להם הסבר סטטיסטי? ניסה לפרוך אותם בדרך הרגילה, ולא הצליח, האם יתייאש? לא ולא, המקוריות והיצירתיות לעזרתינו!

להלן מתוך ספרם של דורון ויצטום  והמתמטיקאי פרופ’ אליה ריפס: ‘צופן בראשית’, פרק שלשה עשר, שם הפרק “מי מפחד מראנדומיזציה”? (הספר מאריך ומפרט על פרטים מקצועיים, כאן העתקתי רק את הקטעים המתארים את הדינמיקה בין החוקרים לבין המפרסמים, במקום דילוג באו שלש נקודות).

פרופסור ישראל אומן, מתמטיקאי דגול שתרם רבות לתחומי התיאוריה של המשחקים והכלכלה המתימטית, חבר האקדמיה הלאומית למדעים של ארצות הברית וחבר האקדמיה הלאומית הישראלית למדעים (וחתן פרס ישראל לכלכלה לשנת התשנ״ד), נחשף לעובדת קיומו של צופן של מד״שים (הערת המעתיק: מד”ש – מופע דילוגים שוה) בתורה באביב התשמ״ה (85׳). דוגמאות של עבודתו המוקדמת של אליהו ריפס, אשר הוצגו במסגרת קולוקוויום של החברה הישראלית למתמטיקה, הן שעוררו את התעניינותו בצופן.

למעשה, לא ידעתי דבר על התעניינותו של פרופסור אומן בנושא המחקר שלנו, עד אשר נפגשנו כשלוש שנים מאוחר יותר ביוזמת אליהו ריפס. בפגישה המשולשת נידונה אפשרות שליחת מאמרנו לפרסום בכתב העת המדעי של האקדמיה הלאומית למדעים של ארצות הברית: Proceedings of the (National Academy of Sciences (USA, או בקיצור: PNAS. אומן הציע את עזרתו בהגשת המאמר לפרסום ב־pnas. עמדתו היתה כי קודם כל יש להעמיד את המאמר במבחן ביקורת מקצועית קפדנית. למורת רוחנו, הוא בחר להתייעץ דווקא עם דיאקוניס בנוגע לפרסום המאמר בPNAS~.

לצורך הגשת המאמר לPNAS-‘, היה עלינו להכין גירסה מקוצרת: לפי כללי העיתון, המאמר אמור להכיל 5,000 מלים לכל היותר. נאלצנו לקצץ הרבה מן החומר, ובפרט את הטבלאות המפורטות של השמות והכינויים של אישי המדגמים. הדבר פגם בבהירות הצגתו של הנושא, ומנע מהקורא את האפשרות לעקוב אחר כל השלבים בהכנת הנתונים.

להערכתי, פנה אומן לדיאקוניס באביב התשמ״ח (88׳). לאחר מכן, הם נפגשו בקיץ באוניברסיטת סטנפורד, וניהלו שיחות על משלוח המאמר ל־pnas.

דיאקוניס נתן לו העתק מן המכתב ששלח אלינו ביום 3 באוגוסט 88 כפי שהזכרתי בסוף הפרק הקודם, מלבד פסיקתו של דיאקוניס נגד פרסום מאמרנו, הוא הציע במכתבו לערוך מבחן סטטיסטי חדש למדידת המובהקות של המדגם השני. כזכור, הוא היה משוכנע כי עריכת המבחן החדש תוכיח את עמדתו, כי התוצאה שלנו נבעה אך ורק מהנחות שגויות וכי למעשה אין כאן שום תופעה. המבחן החדש מבוסס על השוואת התוצאות של המדגם השני עם תוצאות מדגמים משובשים. המדגמים המשובשים הם מדגמים הנוצרים מן המדגם המקורי כתוצאה מצימודים ״שגויים״ בין שמות האישים לתאריכים שלהם (דוגמא לכך ראינו במדגם ״המרת״ בפרק אחד עשר). זה העיקרון המונח ביסוד ההצעה הראשונית.

דיאקוניס צירף פתק למכתב, ובו הודיע לאומן כי המכתב יכול לשמש כדו״ח שיפוט רשמי עבורו, לגבי אפשרות פירסום המאמר ב~pnas. משמעות הדבר היתה — פסילת הפרסום של המאמר. יחד עם ואת, הוסיף דיאקוניס וכתב1:

אני מסכים, שאם מספר סביר של צימודים יעבור מבחן סטנדרטי באופן חזק (בדרך שתיקבע מראש), אזי ראוי המאמר לפרסום. 1

התנאי המעורפל שהציב דיאקוניס חייב הבהרות. היה צורך בניסוח מדוייק של המבחן הסופי כך שלא יאפשר לאחד הצדדים להתחמק. למעשה, הפגישות בין השניים בקיץ התשמ״ח היוו פתיחה למשא ומתן שארך למעלה משנתיים, ואשר במהלכו הלכו והתגבשו הפרטים המדויקים של המבחן הסופי. על משא ומתן זה הכבידה העובדה שחלפו פסקי זמן ארוכים בין שלב לשלב. דיאקוניס נטה לשכוח פרטים. כבר במכתבו מ־3 באוגוסט בלטה העובדה, שהוא לא זכר את הפרטים שבמכתבו הקודם (הדבר אינו מפליא, משום שחלפו כמעט שנתיים מאז שלח את מכתבו הקודם, מה גם שהנושא הנידון לא עמד בראש מעייניו). אך בסבלנות ובעקביות דאג אומן להעמיד את הפרטים על דיוקם ולהבהיר את התמונה כל אימת שערפל איים לטשטש את אשר הושג כבר.

בהסכם שבין אומן לדיאקוניס נקבעו הפרטים הטכניים של הניסוי המתואר לעיל. עם קבלת הפרטים הנדרשים, ניגשנו לשלב הבא. מאמרנו המדעי נכתב מחדש, כאשר בצד תיאורה של התופעה הנידונה, ניתן פירוט של שני המדגמים הגדולים, וכן תיאור מפורט של מבחן הראנדומיזציה. מבחן זה תואר לפרטיו בדיוק כפי שסוכם עם דיאקוניס. המאמר היה דומה עתה למאמר סופי, חוץ מהבדל מהותי ועיקרי: במקום המיועד לתוצאות, נכתבו סימני שאלה (שהרי המבחן טרם נערך).

פרופסור אומן שלח את המאמר לדיאקוניס ולעוד ארבעה סטטיסטיקאים נודעים (עד כמה שידוע לי, כולם היו חברי האקדמיה האמריקנית למדעים. אחד מהם היה חתן פרס נובל). במהלך שנת התשנ״א (91׳) הגיעו תשובותיהם לשאלותיו של אומן. חמשת הסטטיסטיקאים אשרו את הניסוי המתואר — כולם סברו כי הניסוי המוצע הוא תקין ונכון. לפי בקשת אומן, נקב כל אחד מהם   בערך הסף של המובהקות — סף, שתפקידו להכריע בין הצלחה בניסוי לבין כשלון. היה מי שהציע ערך סף של 1/20 (אחד לעשרים), כמקובל. לעומת זאת, לפי דיאקוניס, כדי להצליח במבחן היתה המובהקות צריכה להיות טובה מ־ 1/1000 (אחד לאלף).

למרות ההבדלים ביניהם באשר לגובה הנאות, בו צריך להציב בפנינו את ״הרף״, תחזית אחידה היתה בפיהם: חמשת הסטטיסטיקאים הנודעים היו מאוחדים בהערכה כי לא נעבור את ״הרף״!

שעת ההכרעה משמשה ובאה. לאחר התייעצויות נוספות עם עמיתיו הסטטיסטיקאים, ולאחר שדיאקוניס וסטטיסטיקאי מאוניברסיטת ברקלי נבחרו לשופטים רשמיים, זימן אותנו פרופסור אומן למשרדו ביום כ״ז חשוון התשנ״ב (4 בנובמבר 91׳ למניינם). הוא ביקש כי נאשרר כמה תנאים לעריכת הניסוי. התנאי הראשון והעיקרי היה, כי נגיש את תוצאות הניסוי לפרסום בכל מקרה — גם אם ניכשל בניסיון לעבור את ״הרף״ שיוצב בפנינו. בהתייחסותו של אומן לאפשרות וו, ניכר היה כי הושפע מאמונתם המוצקה של עמיתיו הסטטיסטיקאים, כי ניכשל בניסוי. נדמה לי, כי כוונתו בתנאי זה היתה לעורר אותנו למחשבה שניה על סיכויינו להצליח, ולאפשר לנו נסיגה בטרם קרב. אולם, אנחנו הסכמנו לתנאי זה.

לימים, נשאלתי מדוע באמת לא חששתי שמא ניכשל בניסוי, כפי שאכן ניבאה קבוצת הסטטיסטיקאים המפורסמים, סוף סוף, הרי מדובר בהערכתם של מיטב אנשי המדע בתחום זה, אנשים מיומנים ומשופשפים, שראו גם ראו תוצאות סטטיסטיות רבות, שעל פניהן נראו מרשימות — אבל קרסו במבחנים מחמירים כמבחן הראנדומיזציה.

התשובה היא, כי ידעתי שאנשי מדע אלה מעולם לא חקרו את התופעה הנידונה לעומקה בחקירה חסרת פניות. הערכתי, כי לפי השקפת עולמם לא היה לסטטיסטיקאים אלה אף צלו של ספק באמונתם, שאין שום מידע מוצפן בספר בראשית. לכן היו בטוחים כי התוצאה הפנטסטית שהתקבלה בניסוי המקורי, אינה אלא השתקפות של תלות כזו או אחרת בין התוצאות עבור זוגות המדגם. לדעתם, מבחן הראנדומיזציה היה המבחן הנכון למקרה כזה, מבחן המסוגל להוכיח זאת ולהראות כי התוצאה הנכונה היא חוסר מובהקות של המדגם המקורי, כלומר — אפס גמור. לא היו לי אשליות: כאשר הנושא הוא ״הטיה בשיפוט עקב דעות קדומות״ — גם לאנשי מדע מפורסמים אין שום יתרון ביחס לכל אדם אחר. בניגוד להם, ממחקרי בספר בראשית היה לי ביטחון מלא, כי התופעה אמיתית, ולכן, התוצאה הכוללת שנתקבלה בניסוי המקורי נובעת מן העובדה, כי תאריכי הלידה והפטירה של האישים הנתונים אכן הוצפנו בכוונה תחילה בספר כראשית. דווקא האפשרות שהתוצאה בניסוי המקורי היא תולדה של תלות מסתורית — נראתה בעיני כבלתי סבירה במידה קיצונית.

בצד התחייבותנו להגיש את תוצאות הניסוי לפרסום בכל מקרה, התחייב אומן לשלוח את התוצאות ל־pnas במקרה של הצלחה. אולם, הוא הודיע לנו, כי עדיין לא החליט מהו הסף להצלחה (אומנם הוא עתיד לקבוע ואת בהמשך היום), וכי על פי עצת אחד השופטים, הוא יודיע מהו הסף רק לאחר סיום הניסוי.

פרופסור אומן גם השאיר בידיו את ״המפתח״ ״להתנעת״ הניסוי. הכוונה – למספר שיש להזין לתוכנית המחשב, כדי שתבחר סדרה מסוימת של 999,999 צימודים פסודו־רנדומליים לצורך הניסוי (פרטים נוספים בנספח 9). מספר זה, הנקרא ״זרע סטטיסטי״, היה מספר בן 32 ספרות בינאריות (כלומר, מספר שלם בעל 32 ספרות, כאשר הוא נכתב לפי בסיס 2). הוא נקבע יום קודם לכן, באמצעות כמה שיחות טרנס־אטלנטיות, באופן הבא. אומן התקשר לשלושה מחמשת הסטטיסטיקאים, וביקש מכל אחד מהם לספק מספר כזה. דיאקוניס יצר מספר כזה על ידי” 32 הטלות מטבע, ואילו השניים האחרים השתמשו בזוגיות הספרות בפיתוח העשרוני של המספר %, בשני אזורים רחוקים זה מזה. שלושת המספרים חוברו על ידי אומן1, אשר מסר לנו — את ״הזרע״[1] [2]

11 00111 00101 11100 10011 10000 01001 (בהצגתו הרגילה, העשרונית, המספר הוא 1,277,674,143).

אומן איחל לנו הצלחה, ובזה התחיל הניסוי, מבחינתו.

מבחינתי, החל הניסוי זמן מה אחר כך, עם השלמת כמה הכנות טכניות, הניסוי. שהחל כמעט שש שנים לאחר התחלת הניסוי הגדול על המדגם הראשון, היה שונה ממנו מבחינות רבות.

מצד אחד, היקף החישובים ומורכבות הפעולות היו גדולים בהרבה: במסגרת מחקרנו, מעולם לא ביצענו עבודה בסדר גודל כזה. מצד שני, האמצעים שעמדו לרשותנו היו משוכללים בהרבה. מחשב ה־386 בעל 20 מגה־הרץ בצירוף התוכנה המשופרת שהכין יואב, אפשרו מהירות ביצוע ״דמיונית״[3] — כך שכל נפח החישובים העצום הצריך פחות זמן מן הניסוי המקורי, בשלב הראשון, הכינה התוכנה של יואב את המאגר הגדול של הנתונים: תוצאות המפגשים של הכינויים במדגם עם כל התאריכים במדגם. בשלב השני, הרצתי תוכנה אחרת, אשר הוכנה על ידי יעקב רוזנברג, אשר הגרילה את 999,999 הצימודים האקראיים (כמבואר בנספח 9), ״שלפה״ את הנתונים המתאימים להם ממאגר הנתונים וערכה תחרות בין מידות ״הנטייה הכוללת לקירבה״ של 999,999 המדגמים המשובשים, שנוצרו בדרך זו, לבין המדגם המקורי. יעקב, שהוא מתכנת מעולה (הוא אינו קרוב משפחה של יואב), השקיע מאמצים ניכרים וכשרון רב כדי ליצור תוכנית יעילה ומהירה שאפשרה את ביצוע הניסוי בזמן סביר.

הבדל נוסף בין הניסויים, פעוט לכאורה — לא הייתי צריך לכתת עוד את רגלי מביתי אל מסוף המחשב. הפעם ניצב המחשב על שולחן בפינת חדר השינה שלי (כדי שאחד הילדים לא יכבה אותו בטעות) ועיבד את הנתונים ברציפות ובהתמדה יומם ולילה, יום אחר יום, בתקווה שעבודתו העצומה תסתיים בטרם תקרה תקלה או הפסקת חשמל.

אכל ההבדל העיקרי בין שני הניסויים היה במתח שליווה את הניסוי. הניסויים על המדגם הראשון והשני היד מלווים במתיחות רבה, ובחשש מפני הבלתי ידוע. אבל, בניסוי החדש כמעט לא חשתי כמתח: בטוח הייתי מראש כי נצליח במבחן. להערכתי, גם חמשת הסטטיסטיקאים שליוו את הניסוי לא היו שרויים במתח: לעומתי, הם היו בטוחים כי ניכשל במבחן, ייתכן מאד, שהאדם היחיד שדאג וציפה במתיחות לתוצאה, היה איש הביניים — פרופסור אומן.

אבל, משהסתיים הניסוי, התברר כי התוצאות הפתיעו את כולם: היה בהן משום הפתעה עבורי, הפתעה גדולה עבור פרופסור אומן והפתעה מרעישה עבור חמשת הסטטיסטיקאים.

■ ■ ■

במהלך הניסוי ערכנו ארבע תחרויות במתכונת מבחן הראנדומיזציה (שהוסבר בפרק הקודם), עבור ארבע מידות של ״הנטייה הכוללת לקירבה״ שנקבעו מראש (ראה בנספח 5). בכל תחרות השתתפו אותם 999,999 מדגמים משובשים. הדירוגים של ארבע המידות מובאים בנספח 10 (בתוספת פרטים והסברים). אחת המידות, זכתה במקום הרביעי בדירוג מתוך 1,000,000 מתחרים. כלומר, היו רק 3 מדגמים מתוך 999,999 המדגמים המשובשים, שערך מידת ״הנטייה הכוללת לקירבה״ שלהם היה קטן מזה של המדגם המקורי.

ההסתברות שהדירוג הוא כה טוב – כלומר: ההסתברות, שערכה של מידת ״הנטייה הכוללת לקירבה״ של המדגם המקורי כה נמוך — הוא: 0.000004 = p (אחד למאתיים וחמישים אלף).

כדי לקבל את המובהקות הסטטיסטית של תוצאות הניסוי, יש לחשב את ההסתברות הכוללת לתוצאה כזו. בחישוב כזה מתחשבים בעובדה שנערכו בסך הכל ארבעה מירוצים עבור ארבע מידות. פרופסור אומן ערך את החישוב בדרך שנקבעה מראש[4], וקיבל כי

המובהקות הסטטיסטית של תוצאות הניסוי היא 0.000016 = ?/, מובהקות כזו (הטובה מאחד לששים אלף) נחשבת למובהקות פנטסטית בהשוואה לנדרש בניסויים מדעיים. רק בשלב זה גילה לנו אומן, כי הוא הציב את ״רף״ המובהקות על הערך החריג של 0.0033 = ?; (אחד לשלוש מאות). אכן, ״ניתרנו״ הרבה למעלה מן ״הרף״, אשר נותר אי שם מתחתנו.

כאשר התעשת פרופסור אומן מן ההפתעה, הוא ביקש לבדוק את תקינות הניסוי באמצעות הרצת הניסוי על טקסט אחר לביקורת. חזרנו על הניסוי עם ״טקסט R״ שהתקבל מספר בראשית אחרי שערבבנו את אותיותיו (ראה נספח 9). התוצאות היו בלתי מובהקות לחלוטין (פירוט התוצאות בנספח 10).

שוב ניהל פרופסור אומן שיחות טרנס־אטלנטיות עם עמיתיו הסטטיסטיקאים. הפעם דיווח להם על התוצאות. התדהמה מעבר לקו היתה מושלמת. אחד מהם, איש מדע מפורסם וחתן פרס נובל, מלמל דבר מה על ״מלחמה״ ועל ״שלום״. תחילה, אומן לא הבין: איוו מלחמה? מלחמת המפרץ? — זו הרי נסתיימה כבר כמה חודשים קודם לכן! אך עד מהרה הוברר לו, שעמיתו מבקש לערוך בדיקה נוספת: לחזור להריץ את הניסוי — הפעם על טקסט נוסף — על הספר ״מלחמה ושלום״ של טולסטוי…

״מדוע?״ — תמהתי, ״האומנם איש המדע הנכבד אינו מאמין בחוקי הסטטיסטיקה ?״

לא ציפיתי לתשובה. השגתי את ספרו של טולסטוי, ״מלחמה ושלום״, מתורגם לעברית בידי לאה גולדברג. היה צורך להקליד ולהגיה את חלקו הראשון של ״מלחמה ושלום״, קטע בן 78,064 אותיות (בדיוק כאורך ספר בראשית). אחר כך היה עלי להריץ את כל הניסוי מחדש עם ״טקסט T״(כך כינינו אותו). כל העניין היה מיותר, חשתי כי אני טוחן מים במחשב משוכלל. בעיקר היה חבל על הזמן: עם כל מאמצי להחיש את הדברים, הכנת הטקסט והרצת המחשב גזלו כחודש ימים. רק ב־7 בינואר 92׳ היו בידי התוצאות. כצפוי, התוצאות היו בלתי מובהקות לחלוטין. פירוט התוצאות בניסוי ניתן בנספח 10, כאן אציג רק היסטוגרמה של תוצאות המדגם המקורי ב״מלחמה ושלום״.

בעצם, מבחן הראנדומיזציה על ״מלחמה ושלום״ רק אישר את ההתרשמות המיידית מאיור זה: תוצאות מפגשי זוגות המלים מתפלגות באופן אקראי.

תוצאות מבחן הראנדומיזציה על ספר בראשית היוו הפתעה לא רק לפרופסור אומן ולשופטים; אף אני הופתעתי — אך דווקא מן הסיבה ההפוכה, אכן, ציפיתי לתוצאה טובה יותר. כדי למנוע אי־הבנה אבהיר: המובהקות שהושגה בניסוי היתה יוצאת מן הכלל — פנטסטית לפי אמות מידה מדעיות מקובלות, ומספיקה בהחלט לפרסום הניסוי. לא היתה לי שום סיבה להתלונן. אלא שנתגלע פער ניכר בינה לבין ההערכה המקורית של הצלחת המדגם השני באמצעות מידות ״הנטייה הכוללת לקירבה״, כך שהיה עלי לדעת מה מקורו של פער זה.

אומנם, אז לא ידעתי כי הפער קטן מכפי שהוא נראה. רק כעבור זמן, כאשר גם חוקרים וגם מתנגדים ברחבי העולם הריצו מחדש את הניסוי, ואף ניסו זאת בהשוואה לקבוצה גדולה יותר של מדגמים משובשים, התברר כי התוצאה טובה יותר. כעבור שנים, אף אני הרצתי את הניסוי מחדש, כאשר מידת ״הנטייה הכוללת לקירבה״ של המדגם המקורי מתחרה ב־199,999,999 מדגמים משובשים. התוצאה עבור המידה ״המוצלחת״ השתפרה מ־0.000004 = p ל״0.00000066 — tp כך שהמובהקות הכוללת המדויקת יותר עבור הניסוי היא: 0.00000264=p (בערך אחד לארבע מאות אלף).

למרות זאת, עדיין נותר פער ניכר בין התוצאה בניסוי לבין הערכתנו המקורית. נראה ׳הדבר, כי שגיאה בהערכתנו המקורית גרמה לפער זה. כבר הזכרתי בפרק העשירי, כי דיאקוניס טען שעשינו שימוש בשתי הנחות בלתי מוצדקות[5]. מן הניסוי התברר, כי הוא צדק בטענה זו. אבל, עוד התברר מן הניסוי, כי לשגיאה זו היתה השפעה מוגבלת בלבד על התוצאה המקורית, ובזה אכן טעה דיאקוניס[6] בגדול: התוצאה המקורית לא היתה תולדה של שגיאה זו, ותו לא.

מבחן הראנדומיזציה הוכיח, כי התוצאה המקורית היתה תולדה של הצלחת המפגשים של כינויי האישים ותאריכיהם, וכי אכן קיימת כאן מובהקות סטטיסטית מדהימה. אלא, שההערכה המקורית של גודל ההצלחה לא היתה מדוייקת — בגלל השגיאה הנ״ל.

הגיע הזמן להתקדם. שיבצנו במאמרנו את התוצאות (במקום סימני השאלה שהיו כנוסח הטיוטה). פרופסור אומן ביקש מכל אחד משני השופטים להכין ולשלוח אליו דו״ח שיפוט. הוא התכוון לצרף דו״חות אלה למאמרנו ולמכתב הפניה שלו ל־pnas. היה ברור, כי הגענו לסוף התהליך — אנו עומדים על סף פרסום המחקר בכתב עת מכובד זה.

הדו״חות הצליחו להדהים אפילו אדם שקול ומנוסה כפרופסור אומן. איש מן השופטים לא המליץ על פרסום המאמר ב־PNAS. איש מהשופטים לא טען כי לא עמדנו בסיכומים, או העלה טענה שהניסוי לא תקף. הם פשוט התחמקו, איש איש בסגנונו, ונמוגו בערפל של ניסוח זה או אחר.

את שמו של הסטטיסטיקאי מאוניברסיטת ברקלי איני יודע. את הדו״ח שכתב — לא ראיתי מעולם. כל מה שידוע לי הוא, כי שופט זה המליץ על פרסום המאמר הסטטיסטי שלנו ב…עיתון לתנ״ך!

מסקרן במידה רבה יותר היה הדו״ח של פרופסור דיאקוניס. לא זו בלבד שהוא אשרר את הניסוי מראש, אלא שהניסוי עצמו תוכנן בשיתוף מלא אתו, ועל סמך הרעיונות והדרישות שלו, בזמנו, נמנע ממני לראות את הדו״ח ואת הנימוקים הנלווים. כל שידעתי היה שדיאקוניס לא המליץ על פרסום המאמר ב PNAST. לאחרונה, בעקבות דיווחים כוזבים על מהלך האירועים האמיתי, ביקשתי לחשוף בפני את המסמכים המקוריים. אני סבור שזכות הציבור לדעת את האמת בפרשה זו, ועל כן קיבצתי את המסמכים בנספח מיוחד לתיעוד המשא ומתן בעניין פרסום מאמרנו(נספח 16). את דו״ח השיפוט הרשמי של דיאקוניס איני רשאי לצלם, אך אתאר אותו להלן. דו״ח זה ומכתב נלווה ששלח לפרופסור אומן — המוארים בזרקור תגובתו של האחרון — מספקים הזדמנות מיוחדת לתצפית כיצד עמדות ״פסיכולוגיות״ עלולות לחסום התפתחות מדעית.

דו״ח השיפוט של פרופסור פרסי דיאקוניס עבור ~pnas הוא מיום 18 במארס 92׳.

הדו״ח הרשמי הוא טופס סטנדרטי בו מוצגות חמש שאלות הנוגעות למאמר הנידון, עליהן צריך השופט להשיב. השתים הראשונות הודפסו באות מודגשת — כיוון שהן השאלות העיקריות.

השאלה הראשונה היא: ״האם יש בחומר עניין כללי למדי, כדי להצדיק את פרסומו ב־pnas יותר מאשר בכתב עת המתמחה בנושא?״

על השופט לסמן אחת משלוש תשובות מוכנות: ״כן״, ״לא״ או ״איני יודע״. פרופסור דיאקוניס סימן ״לא״.

השאלה השניה היא[7] [8]: ״האם האיכות הכוללת של המאמר מתאימה לכתב עת זה?״

הפעם, דיאקוניס לא סימן אחת מן התשובות המזומנות לו. תחת זאת הוא כתב:

״Not clear״ (״לא ברור״).

השאלה השלישית היא[9]: ״האם הראיות מצדיקות את המסקנות?״

גם הפעם כתב דיאקוניס ״לא ברור.״

על שתי השאלות האחרונות, בהן נשאל, האם המאמר כתוב בבהירות עבור קהל מגוון של אנשי מדע, והאם הפרוצדורות מתוארות היטב כדי לאפשר חזרה על הניסוי — ענה דיאקוניס ״כן.״

מן המכתבים להלן, מתברר כי התקיימה שיחה בעל פה בין דיאקוניס לאומן.

אך את תוכנה אפשר רק לנחש מבין השיטין במכתבים.

והרי המכתב של השופט פרופסור פרסי דיאקוניס לפרופסור אומן מיום 19 במרס 92׳, מתורגם מן המקור האנגלי:

׳בוב היקר

הנה הדו״ח על הגירסה האחרונה של מאמרם של ויצטום, ריפס ורוזנברג.

במאמר בוצע מבחן פשוט ובהיר של הטענה, שבספר בראשית ישנן תבניות בצורה של סדרות אריתמטיות. עד כמה שאני יכול להבחין, המבחן בוצע בצורה נכונה ובהתאמה להסכם שקדם לו (לא בדקתי את המספרים שלהם).

אני מוצא את התוצאה כמפתיעה.

לאחר הרהור בדבר, אינני מוצא שמבחן זה לבדו מפתיע דיו, כדי להצדיק את פרסום מאמרם 2־pnas. התוצאות נראות כשייכות יותר מדי לתחום התמחות צר, מכדי שיהיה בהן עניין כללי. הטענות הסובבות את התוצאה רחוקות יותר מדי מן התוצאה הממשית, מכדי להפוך את התוצאה להוכחה מחייבת שהמבנים הנטענים אכן נמצאים בספר בראשית.

בשיחתנו הבנת, כי היתה התחייבות מרומזת (implied understanding) שאם הם יעברו מבחן זה, אזי יתקבל המאמר. לא כך נראה לי הדבר. היתה אינטראקציה ביני לבין מחברים אלה עם הגרסאות השונות של המאמר קרוב לארבע שנים. היו אי הבנות וטענות רבות אשר התבררו באמצעות הדיונים. עבורי[10], המבחן הנוכחי מראה, קודם כל, כי יש משהו מוזר שיש לחשוב עליו. שנית, המחברים מצאו דרך לבצע חישובים על הסקלה הנדרשת, כדי לבחון ברצינות את טענותיהם. שלישית, יש להם עכשיו שיטה ברורה להעמיד במבחן מגוון גרסאות של הטענה. זה נראה כהתקדמות.

אשמח לקחת חלק בתכנון הרחבה כזאת. כמובן, הממצא הנוכחי ״עומד״, אבל בסך הכל המאמר שלהם לא יעמוד בבדיקה ברוב כתבי העת לפאראפסיכולוגיה; זו אנומליה הראויה לחקירה נוספת. היא אינה מרשימה אותי כ״מספיק משכנעת״ כפי שהיא עומדת.

אני מתנצל לפניך ולפני המחברים על העיכובים מצדי. אני מצדיע למאמציך שהעניינים יתקדמו. אנא הודיעני אם אוכל להיות לעזר נוסף.

תשובתו של פרופסור אומן היא מיום 25 במאי 92′, ומובאת כאן בתרגומה מן המקור האנגלי:

פרסי היקר,

תודה לך על דו״ח השיפוט ועל המכתב מן ה־18 וה19 למרס 92׳. אני אסיר תודה לך על כל הזמן שהשקעת עד כה כדי לעזור לי בעניין זה.

אתה כותב: ״אנא הודיעני אם אוכל להיות לעזר נוסף״. אכן, אתה יכול. אבקש את עזרתך בהבהרת כמה נקודות.

ו. האם ישנה בכלל איזו שהיא הוכחה שתביא אותך להמליץ על פרסום חומר זה ב־pnas? אם כן, מה היא?

על השאלה בדו״ח השיפוט ״האם הראיות מצדיקות את המסקנות?״ ענית ״לא ברור.״ מדוע אין זה ברור?

2. מסקנות ממשיות מופיעות בדיוק פעמיים במאמר. בתקציר נאמר ״מידע נסתר שזור בטקסט של בראשית בצורה של סדרות אותיות שוות מרחק״. במבוא נאמר, כי ״אנו מסיקים שלא מסתבר שהדבר (הקירבה הנצפית של מד״שים הקשורים מושגית) נובע ממקרה; כלומר, הדבר מובהק מבחינה סטטיסטית״. האם אין דברים אלה מתארים במדויק את הממצאים? האם אתה יכול להציע ניסוחים מתאימים יותר? אחרי הכל, הסכמנו על מבחן; מה חשבת שהועמד במבחן? מה הדבר שהועמד במבחן לפי מה שחשבת?

3. אתה כותב: ״הטענות הסובבות את התוצאה יותר מדי רחוקות מן התוצאה הממשית מכדי להפוך את התוצאה להוכחה מחייבת שהמבנים הנטענים אכן נמצאים בספר בראשית.״ אילו טענות? באיזה אופן הן רחוקות מן התוצאה?

׳4. אתה כותב: ״בשיחתנו הבנת, כי היתה התחייבות מרומזת (implied understanding) שאם הם יעברו מבחן זה, אזי יתקבל המאמר. לא כך נראה לי הדבר.״

הרשה לי לרענן את זכרונך. מצורפת בזה חליפת המכתבים הקודמת בינינו. עניין הפרסום pnasti מודגש פעם אחר פעם; ראה מכתבי אליך מיום 5 ו בנובמבר 89׳ ומיום 7 בספטמבר 90׳,

גם ממכתביך ברור כי לאורך כל הדרך דנו בפרסום המאמר. ביום 3 באוגוסט 88׳ כתבת: ״אני מסכים, שאם מספר סביר של צימודים יעבור מבחן סטנדרטי באופן חזק (בדרך שתיקבע מראש), אזי המאמר ראוי לפרסום.״ ב־5 בספטמבר 90׳, במכתב המפרט את פרטי המבחן, התייחסת ל״פרוצדורת המבחן המתאימה עבור PAPERS״ (ההדגשה של אומן). באותו מכתב כתבת: ״אני מקווה, שהמחברים מסכימים לפרסם את ממצאיהם, תהיינה התוצאות אשר תהיינה״. (אני העליתי עניין זה לפניהם לפני ביצוע המבחן, והם אכן הסכימו.) ב־7 במאי כתבת כי ״לצורך פרסום טענה כה פנטסטית אני סבור שצריך לדרוש רמת מובהקות של 1/1000 או טוב מזה.״

4. לסיום, האם אתה מציע ברצינות, כי מטרת ההסכם הכתוב והמפורט שלנו, עם הכלל למקרה של תיקו וכו’, היתה רק כדי לאפשר לך להחליט — האם ״יש משהו מוזר לחשוב עליו״?

5. אתה כותב כי המאמר ״לא יעמוד בבדיקה ברוב כתבי העת לפאראפסיכולוגיה.״ זו הקביעה המפתיעה ביותר במכתב מלא ההפתעות. כתבי עת מדעיים רגילים לא דורשים משהו כה מרחיק לכת כמו רמה של 998%. האם הסטנדרטים של פאראפסיכולוגים מחמירים עד כדי כך? אם באמת כתבי העת שלהם מפרסמים רק תוצאות כה מובהקות, האם אין הן צריכות להילקח יותר ברצינות? למה התכוונת?

פרסי, אני מוכרח לספר לך, שאני מוצא את תשובתך מביכה ביותר (deeply disturbing). טיעוניך הקודמים היו מוצקים ומשכנעים; הבנתי כי אתה פועל ללא פניות — שכל רצונך היה שהעניין ייעשה נכון. אבל מכתבך מחודש מארס שונה מאד — הוא מלא טענות בלתי ברורות, בלתי מבוססות, בלתי משכנעות — אין חומר ממשי, אין טיעון מנומק. כאשר דברנו בטלפון במרס, אמרת כי אתה מוכרח לאמץ את נקודת המבט של איש מדע, לא ׳רק׳ של סטטיסטיקאי. האם זה מדע — להחליט על ניסוי, ולאחר מכך אם התוצאה אינה לרוחו של מישהו, להתכחש לה ולנסות פעם נוספת?

במשך שנים טענת כי אין שום דבר בזה, שאתה ראית הרבה מקרים דומים, שהתוצאה תתנדף ברגע שתבוצע אנליזה נכונה. ובכן, היא לא התנדפה. המחברים ביצעו במדויק מה שביקשנו מהם לעשות; אם עדיין לא די בכך, מוטב שנאמר במדויק מדוע, או שנאבד את האמינות שלנו (our credibility). (ההדגשות במקור).

הפרטים במסמכים אלה לא היו ידועים לנו אז, כאשר ישבנו — אליהו ואני — במשרדו של אומן, ושמענו מפיו את החדשות הרעות על עמדתם של השופטים. בשיחתנו עם פרופסור אומן הוא לא הסתיר את מבוכתו. אך נדמה היה לי — למרות שניכר היה בפניו כי חש עצמו פגוע — כי היה בכל זאת מסוגל לשמוח, אילו הושיט לו מישהו עלה תאנה גדול דיו לכסות את ערוותו של המדע.

השאלה היתה האם לצאת למאבק נגד החלטת השופטים, להתעקש ולנסות לפרסם את המאמר דווקא ^pnas. ההערכה היתה, כי עם תנאי פתיחה כה גרועים – המבצע בלתי אפשרי; עם דו״חות שיפוט צורמים כאלה — מה הסיכוי, שעורכי העיתון לא יצטרפו לאותה תזמורת? במיוחד, כאשר דיאקוניס כבר קבע (בתשובתו הראשונה בדו״ח) כי אין ענין כללי במאמר שלנו. אומנם, זו קביעה שאינה בעלת אופי מדעי, אלא תלויה בדעותיו הפרטיות של השופט. אך מה ימנע את העורכים לאמץ קביעה זו?

אומנם, זו קביעה מטופשת. דיאקוניס עצמו עתיד היה להתנער ממנה כעבור חמישה חודשים בלבד בחותמו ב־28 באוגוסט 92׳ על ידי קביעה הפוכה11:

אנו מסכימים שמחקר זה, אם יאומת, יש בו עניין מדעי נרחב, ויש לו השלכות חשובות על הדרך בה אנו חושבים על עולמנו הפיסיקלי. הוא אינו עניין של לימודי התנ״ך בלבד. (ההדגשה במקור).

אומנם, עתיד היה להתברר באופן מדעי־אמפירי, כי יש עניין כללי עצום בתופעה המדוברת, עד כי הנושא הפך להיות רב מכר כמעט ללא תקדים.

אבל די היה באמתלה זו לדחות את המאמר. לכן, לא המשיך אומן בהליך הפרסום.

היה עלינו להחליט לאן פנינו מועדות.

ואז הועלה הרעיון לפנות לכתב העת ״סטטיסטיקל סאיינס״ (Statistical Science}. כתב עת זה — רבעון היוצא לאור על ידי המכון לסטטיסטיקה מתימטית — זכה ליוקרה רכה ולתפוצה ניכרת בשבע שנות קיומו. היה מי שטען כי נראה לו, שעיתון זה יגלה מידה מסוימת של פתיחות. האומנם? האם איננו עומדים שוב לבזבז מאמצים וזמן רב לשווא? [11]

לאחר התלבטות מסוימת, החלטנו לשלוח את המאמר לכתב העת ״סטטיסטיקל סאיינס״. מקץ חודשים אחדים קיבלנו תשובה. במכתב מיום 31 ביולי 92׳, בישר העורך, רוברט קאס (Robert E. Kass), ששימש כפרופסור במחלקה לסטטיסטיקה באוניברסיטת קרנגי מלון (Carnegie Mellon) בפיטסברג, כי בתנאים מסוימים ישמח מאד לפרסם את המאמר[12].

אכן, היתה זו תשובה מעודדת — ממש קרן אור באפילה. התרשמנו כי תשובה זו מצביעה על פתיחות מחשבתית ואומץ אינטלקטואלי. לפי מכתבו של קאס, הוא התכוון לפרסם את המאמר, בד בבד עם דיון מוזמן בנושא המאמר, כשבצידו תינתן לנו זכות תשובה למתדיינים, העורך צירף הערות והמלצות לביצוע שינויים מסוימים במאמר. הדרישות הללו הועלו בחלקן ביזמתו, וחלקן ביזמתו של שופט מטעם כתב העת. בין השאר, העלה השופט השערה, שמא מחולל הצימודים האקראיים הוא האחראי לתוצאה המפתיעה שקיבלנו במבחן הראנדומיזציה, וכי תקלה טכנית פשוטה אשמה בכל הסיפור. הוא ביקש לערוך את הראנדומיזציה בדרך אחרת, בטוחה יותר. השערתו דווקא היטיבה עמנו, כי כשהרצנו את הניסוי מחדש לפי דרישתו — התוצאה השתפרה (ראה נספח 9, סוף סעיף ב׳).

השתדלנו לעמוד גם ביתר הדרישות. בצד העבודה החישובית תבע הדבר גם שיפורי ניסוח בגוף המאמר. כאשר סיימנו, שלחנו ארבעה עותקים מן הגירסה הסופית — כפי שהורה לנו העורך במכתבו. עברו שבועות וחלפו חודשים,  ובהיותנו סמוכים ובטוחים כי הגענו סמוך מאד לסוף הדרך, הגיע אלינו מכתב מן העורך. המכתב נשלח לכתובת הדואר האלקטרוני של אליהו ביום 19 ביולי 93׳ — כשנה לאחר תאריך המכתב הראשון. כבר מפתיחת המכתב ניכר, כי העורך, רוברט קאס, קיבל ״רגליים קרות״ ממש ברגע האחרון.

בגלל האופי המיוחד של התוצאות שלכם, ביקשתי משופט נוסף לבחון את המאמר[13],

הוא כתב. היה זה מוזר באמת. למיטב ידיעתנו, קאס עודכן לפרטים על המסלול שעברנו עד שפנינו לכתב העת שלו. בלי ספק ידע, כי הכל נבדק מראש על ידי כמה סטטיסטיקאים דגולים, וכי הניסוי הושתת על רעיונותיו של פרסי דיאקוניס וסוכם עמו לפרטיו. הוא אף התייעץ עם דיאקוניס, בטרם שיגר לנו את מכתבו החיובי, והוסיף להתייעץ עם שופט נוסף — הפעם מטעמו — אשר את הערותיו והמלצותיו צירף למכתבו הנזכר. והנה — החליט למנות שופט חדש! וזאת, כאשר ברור שהשופט החדש אינו חבר ״ליגה״ גבוהה יותר – כי השופטים הקודמים היו ממיטב הסטטיסטיקאים ב״ליגה״ העליונה. ״במצב עניינים זה, מה מעלה ומה מוריד עוד שופט?״ — תמהתי. בהמשך מכתבו של קאס נאמר:

השופט החדש הציע עבודה מסוימת נוספת אשר עשויה לאשש את התוצאות כמשכנעות יותר. ברצוני שתקבלו על עצמכם עבודה זו. אני מצטער שלא קבלתי את חוות דעתו מוקדם יותר. בכל מקרה, אני מקווה שאין זה תובעני מדי.

אחר כך הוא מצטט את דרישותיו של השופט החדש, וחותם בהסבר מתנצל:

אני מקווה כי בקשתי, לקבל על עצמכם עבודה נוספת זו, נראית הגיונית.

אנא, הבינו, כי אנו חשים אחריות להבטיח כי התוצאות המסתוריות הללו לא יידחו בנקל כשגויות[14],

נקל להבין ללבו של העורך: אין ספק כי הוא חשש מפני הסתבכות בשערוריה. אבל, השתוממתי ביותר למקרא טענת השופט החדש, זו שהכניסה מורך בלבו של פרופסור רוברט קאס, שופט זה טען, כי אין שום דבר מפתיע בעובדה, ששני הטקסטים לביקורת בהם השתמשנו (ספר בראשית מעורבב לאותיותיו וספר ״מלחמה ושלום״) לא הפגינו את התופעה הנחקרת: הוא היה מצפה לכך מראש, ולכן השוואה זו אינה משכנעת אותו. לעומת זאת, הבדיקה שיכולה לשכנע אותו צריכה להיעשות על ״טקסטים עבריים עתיקים שנכתבו באותו סגנון״[15]. טענה זו מדהימה: הרי מדובר במלים ובביטויים בדילוגים שהם בדרך כלל בני עשרות, מאות או אלפי אותיות. מדוע ציפה להשפעה כה מכרעת של סוג הטקסט ? יתרה מזאת, האומנם הבין לאשורו מהו הניסוי? — הרי מדובר במפגשים של המד״שים המינימליים של שמות אישים וכינוייהם עם אלה של תאריכי הלידה והפטירה שלהם! האומנם יש מן הרצינות בסברה, כי מפגשים אלה, הנוגעים לפרטים הביוגראפיים של אישים שחיו אלפי שנים לאחר זמן כתיבת הטקסט, אינם אלא תכונה נורמלית של ״טקסטים עבריים עתיקים שנכתבו באותו סגנון״??

לא יאומן כי יסופר, אך שופט זה היה משוכנע בכך. בטחונו (בטחון שהצליח לערער את ההערכה שגיבש עד כה רוברט קאס) גרם לו להציע — נוסף להשוואה ל״טקסטים עבריים עתיקים שנכתבו באותו סגנון״ — ניסוי על טקסטים חדשים מסוימים ואף לנבא את תוצאותיו מראש. הוא הציע לערבב את ספר בראשית ברמה של מלים (ולא של אותיות), וניבא כי אם אכן יבוצע מבחן הראנדומיזציה על טקסט זה — תתקבל מובהקות של 0.025 = ?/ (אחד לארבעים). ועוד הציע, לערבב את המלים בכל אחד מפסוקי ספר בראשית, כל פסוק כשלעצמו(כלומר, כל פסוק יכיל אותן המלים שבפסוק המקורי, אלא שהן יופיעו בסדר אקראי). הוא ניבא במקרה זה — בו ספר בראשית ״פחות מעורבב״ — כי המובהקות תהיה חזקה יותר מ־0.001 = </(אחד לאלף)!

חזרתי וקראתי את דבריו — שמא לא הבנתי אותם לאשורם. אבל הדברים אכן נראו כלקוחים ממחוזות הדמיון: הן התיזה שהתופעה נובעת מתכונה טבעית של ״טקסטים עבריים עתיקים״, והן המספרים בהם נקב.

״מאיזו אצבע בדיוק מצוצים מספרים אלה?״ — שאלתי את אליהו שהמתין לתגובתי. אבל קאס לא צירף תצלומים.

השופט החדש היה, מן הסתם, איש מדע שקול — כנראה פרופסור נכבד לסטטיסטיקה. סביר מאד להניח, כי הצליח להגיע למעמדו דווקא משום שבמשך הקריירה המדעית שלו לא העלה השערות קיצוניות מעין זו שהגיש לעורך. מה גרם לו לצאת מגדרו ולנופף בתיזה כה אבסורדית? — כנראה, מעבר לכוח הסבל שלו היה להודות, או אף להניח, כי קיימת האפשרות, שמידע עתידי מוצפן בספר בראשית. אפשרות זו עמדה, מן הסתם, בסתירה לדעותיו הקבועות, עד כי העדיף אפשרות פנטסטית פי כמה — שמידע כזה קיים בכל טקסט עברי עתיק בעל אותו סגנון!

אין זו אלא דוגמא אחת מתוך שרשרת ארוכה של השערות משונות שהעלו אנשים (ביצירתיות רבה), ובלבד להתחמק מן המסקנות הברורות של מחקרנו. תחילתה — בחשדות המכוערים שהעלה דיאקוניס במכתבו הראשון (ראה בפרק העשירי), המשכה — בהשערה שהתוצאה היא תולדה של תלות מסתורית בין מידות הקירבה, השתלשלותה — בהשערה שמא מחולל הצימודים האקראיים אחראי לכל העניין, וכן בהשערה כי יתכן שזו תכונה של ״טקסטים עבריים עתיקים״, וכפי הנראה שרשרת זו לא הגיעה לסיומה עד היום הזה (הדיון בכך — בספרי ״הקרב על הצופן״).

לא היה זמן לא להתרגז ולא לצחוק. כיון שהיה ברצוננו למנוע כל עיכוב לפרסום המאמר — חייבים היינו לעמוד בזריזות במשימות החדשות, קודם כל, נדרש. ״טקסט עברי עתיק״ בסגנון תנ״כי, שאורכו בערך כספר בראשית. כאן בא לעזרתי המתמטיקאי, פרופסור דניאל מיכלסון, אשר עקב מקרוב אחר התפתחות מחקרנו. הוא השיג עבורי את ספר ישעיהו כקובץ מחשב.

המשך העלילות ניתן לקריאה בספר…

הערות:

[1]    מודולו 232.

[2]    לא לפני שהועמד בפנינו תנאי נוסף: אם נצליח בניסוי ונתבקש לערוך אותו מחדש באופן אחר (ראה נספח 9) — עלינו להסכים לכך.

[3]    בזמן כתיבת שורות אלו יש שימוש נרחב במחשבים אישיים המהירים פי 100.

[4]    הוא השתמש באי השוויון של בונפרוני(Bonferroni). אומנם, השימוש בו במקרה זה מחמיר מדי (ראה נספח 10).

[5]    כפי שמבואר בנספח 5, הנחנו לצורך חישוב התוצאה הכוללת, שערכי ״מידת הקירבה המכוילת״ הם בלתי תלויים ומתפלגים בצורה אחידה (אוניפורמית).

[6]    דיאקוניס טעה גם בהשערתו על הסיבות שגרמו לתלות בין ערכי ״מידת הקירבה המכויילת״. סיבות אלו נחקרו בשנים שלאחר מכן, ונמצא שהתלות נובעת מתופעה, שכיניתי אותה ״כריזמטיות״. הדיון בה יערך במקום אחר.

[7]    במקור:

“Is this contribution of sufficient general interest to justify publication in the Proceedings rather than a specialty journal?”

[8]    במקור:

“Is the overall quality of this paper suitable for this journal?”

[9]    במקור:

[10]  במקור:

“For me, the present test shows that, first, there is something strange to think about.”

[11]  במקור!

“We agree that this research, if bom out, is of broad scientific interest, and has important implications for how we think about our physical world. It is NOT only a matter of Biblical Studies.”

[12]  בלשונו:

“I have received favorable replies from several readers and am happy to say that, following suitable revision, we would like very much to publish your paper.”

[13]  במקור:

“Because of the special nature of your results, I asked an additional referee to look at the paper.”

[14]  במקור:

“f do hope my request for you to undertake this additional work will seem reasonable. Please understand that we feel a responsibility to make sure these mysterious results can not be easily dismissed as erroneous.”

[15]  דבריו המצוטטים על ידי העורך (הסוגריים במקור):

“The two alternative texts [the authors] considered strike [me] as straw men; I would have expected their results. I would be much more convinced if the examples had been some early Hebrew texts written in a similar style.”

שתף מאמר זה

שיתוף ב facebook
שיתוף ב google
שיתוף ב twitter
שיתוף ב linkedin
שיתוף ב pinterest
שיתוף ב print
שיתוף ב email

תגובות ישירות

2
Leave a Reply

avatar
 
smilegrinwinkmrgreenneutraltwistedarrowshockunamusedcooleviloopsrazzrollcryeeklolmadsadexclamationquestionideahmmbegwhewchucklesillyenvyshutmouth
1 Comment threads
1 Thread replies
0 Followers
 
Most reacted comment
Hottest comment thread
2 Comment authors
צוות האתראורי Recent comment authors
  Subscribe  
Notify of
אורי
Guest
Member
אורי

זה כל כך בולשיט כי זה ברור שהתורה שניתנה במדבר לא נשארה אות באות אותו דבר.
זה דבר שמוסכם אפ’ על חז”ל (כתיב חסר איננו בקיאים קידושין ל”א)