בניתוח מספרי קל מאוד למצוא משהו שנראה מרשים — במיוחד אם מנסים מספיק נוסחים, פעולות, יעדים ושילובים. לכן השאלה החשובה איננה רק “האם נמצאה סגירה?”, אלא גם “כמה חופש היה בדרך למציאתה, וכמה קל היה למצוא מבנה דומה במקרה חלופי?”
כשל הצלף, קטיף תוצאות וריבוי השוואות אינם “טיעונים נגד RTM”. הם בעיות אמיתיות שכל שיטה שמחפשת דפוסים חייבת להתמודד איתן. RTM נועד להפוך את השאלות האלה לחלק מפורש מהניתוח.
יורים הרבה יריות לקיר, ואז מציירים את המטרה סביב המקום שבו במקרה הצטברו הפגיעות. בניתוח מספרי זה קורה כאשר מוצאים מספר ורק אחר כך מחליטים שהוא “היעד החשוב”.
בקרת RTMנבדק האם היעד היה חיצוני וקיים לפני החיפוש — למשל שעה אמיתית, תאריך, מספר קבלה, שם או טקסט מקור. יעד שנבחר רק לאחר החיפוש מקבל משקל שונה.
מציגים את הסגירות שהצליחו ומתעלמים מעשרות או מאות ניסיונות שלא הצליחו. כך ממצא יכול להיראות נדיר יותר ממה שהוא באמת.
בקרת RTMבמודל Null תקין גם העולם החלופי מקבל את חופש החיפוש המלא ומותר לו למצוא את התוצאה הטובה ביותר שלו. ההשוואה היא בין best network ל־best network, לא בין הממצא האמיתי לניסיון אקראי בודד.
ככל שמנסים יותר שילובים, כך גדל הסיכוי שמשהו יתאים במקרה. אסור לחשב נדירות כאילו נוסתה רק המשוואה שבסוף הצליחה.
בקרת RTMהסימולציה צריכה לשחזר את מרחב החיפוש המותר ולמדוד את התוצאה המקסימלית בכל עולם. זהו עקרון ה־max-over-search.
אפשר לשנות כתיב, לבחור תאריך חלופי, לצרף או להסיר עוגן, להשתמש בפעולה אחרת או לשנות יעד. כל בחירה כזאת מגדילה את מרחב החיפוש.
בקרת RTMמגדירים Search Contract: אילו מקורות, טרנספורמציות, פעולות, אורכי מסלול ויעדים מותרים. אותם כללים חלים על הממצא האמיתי ועל עולמות ה־Null.
אם בוחרים בדיעבד בין כמה ניסוחים של אותו משפט, קל יותר להגיע לערך שמתאים ליעד.
בקרת RTMנשמרת הבחנה בין נוסח מקור, נוסח שהיה ידוע מראש ונוסח שנוצר במהלך החיפוש. בחירה לשונית פוסט־הוק אינה מקבלת אותו מעמד כמו נתון מקורי מתועד.
מערכת יכולה “ללמוד” אירוע יחיד בצורה מושלמת אם נותנים לה מספיק חופש. התוצאה נראית חזקה אך אינה כללית.
בקרת RTMמפרידים בין Discovery לבין Evaluation: קודם מגדירים את חתימת הרשת והחוקים, ורק אחר כך מריצים Null או בדיקת שכיחות תחת אותם חוקים.
עשר משוואות יכולות להיראות כמו עשר ראיות למרות שבפועל כולן נובעות מאותו מספר או מאותה זהות אלגברית.
בקרת RTMסגירות תלויות מאוגדות ל־dependency clusters. הרשת נמדדת לפי יחידות ראיה עצמאיות יותר, משפחות מבניות וכיסוי עוגנים — ולא רק לפי מספר המשוואות הגולמי.
זו טענה רצינית: במרחב חיפוש גדול מאוד, התאמה כלשהי כמעט תמיד תימצא.
בקרת RTMבמקום להתווכח עם הטענה, RTM מנסה למדוד אותה: נותנים גם לעולמות החלופיים לחפש באותו מרחב ושואלים באיזו תדירות הם מגיעים לרשת חזקה לפחות כמו זו שנצפתה.
אם בממצא האמיתי מותר להשתמש בשמות, תאריך, שעה, טקסט, מספרים וטרנספורמציות מסוימות, אי אפשר להשוות אותו לעולם אקראי שקיבל פחות אפשרויות. זו תהיה השוואה לא הוגנת.
לכן מבחן RTM תקין מנסה לתת לעולם החלופי אותו מרחב חיפוש, להריץ בו Discovery מחדש, ולשמור בכל עולם את הרשת הטובה ביותר שנמצאה.
המטרה היא לא “לנצח ויכוח”, אלא לתרגם ביקורת למשהו שניתן למדוד.
| הטענה | מה היא בעצם שואלת? | איך RTM מנסה לבדוק זאת? |
|---|---|---|
| “בחרתם רק את מה שהתאים” | כמה חיפוש וכמה ניסיונות היו לפני הממצא? | מודל Null מקבל את אותו חופש חיפוש ומחזיר את התוצאה הטובה ביותר שלו. |
| “היעד נבחר אחרי החיפוש” | האם המטרה קדמה לחיפוש? | מבדילים בין יעד חיצוני/מתועד לבין יעד שנוצר בדיעבד. |
| “יש יותר מדי משוואות” | האם אלה באמת ראיות עצמאיות? | מאחדים תלות אלגברית ומבנית ל־dependency clusters. |
| “עם מספיק אפשרויות תמיד מוצאים משהו” | מה גודל מרחב החיפוש האפקטיבי? | מכניסים את החופש הזה לתוך הסימולציה במקום להתעלם ממנו. |
| “p קטן כי בדקתם רק משוואה אחת” | האם ה־p משקף את כל תהליך החיפוש? | מעדיפים מבחן רשת / max-over-search במקום p מקומי למשוואה בודדת. |
| “הסימולציה לא דומה לעולם האמיתי” | האם מודל ה־Null שומר על מאפייני הנתונים הרלוונטיים? | מתעדים את מודל ה־Null, מקור הקורפוס, אילו משתנים מוקפאים ואילו משתנים משתנים. |
כאשר מתקבל אומדן מתוך סימולציות, הוא מתייחס למודל שהוגדר. הוא אינו הופך את הפרשנות של האירוע לעובדה.
באיזו תדירות עולמות חלופיים, שנבנו לפי כללי Null מסוימים וקיבלו אותו חופש חיפוש, יצרו רשת חזקה לפחות כמו זו שנצפתה.
הוא אינו מוכיח סיבתיות, כוונה, משמעות מטאפיזית או מנגנון פיזיקלי. הוא גם אינו תקף מעבר להנחות של מודל ה־Null שעליו הוא מבוסס.
לא. שום שיטה אינה יכולה למחוק בדיעבד מידע שלא תועד. RTM יכול להפחית את הבעיה כאשר חוקי החיפוש, מקורות הנתונים וה־Null מתועדים, ולהציג במפורש כאשר הם אינם ידועים מספיק.
כי אם המשוואה נבחרה מתוך אלפי אפשרויות, הנדירות המקומית שלה אינה מייצגת את תהליך החיפוש כולו. לכן נדרש מבחן שמכניס את מרחב החיפוש להשוואה.
התאמה היא קשר נקודתי. רשת כוללת כמה עוגנים, מסלולים, חזרות, יעדים וקשרים ביניהם. RTM מנסה להעריך את המבנה השלם ולא רק את מספר השוויונות.
לא מציגים אומדן מספרי כאילו הוא סופי. אפשר לתאר את המבנה ולהסביר מה חסר כדי לבצע בדיקה סטטיסטית תקפה יותר.
