בממצאי RTM מופיעות רשתות שבהן אנשים, זמנים, תאריכים, מקומות, טקסטים ומקורות חיצוניים מתחברים זה לזה במסלולים מספריים. השאלה הסטטיסטית אינה רק „האם נמצא מספר מתאים?”, אלא: אם נבנה שוב ושוב מקרים חלופיים ונאפשר להם אותו סוג של חיפוש — האם הם מצליחים לשחזר גם את המבנה כולו?
המסמך מתחיל בשאלה פשוטה: האם המקריות, כשהיא מקבלת את אותן אפשרויות חיפוש, יכולה להגיע לתוצאה דומה? זו שאלה אחרת מהשאלה האם החיבור והחיסור נכונים.
נניח שמטבע הוגן נופל מאה פעמים ברציפות על עץ. אם קבענו מראש שזה הרצף שנבדוק, מדובר בתוצאה חריגה מאוד. אבל אם הסתכלנו על אלפי רצפים שונים ובחרנו לאחר מכן את המרשים ביותר, צריך לספור גם את ההזדמנויות האחרות. אותו עיקרון חל על גילוי סגירות מספריות.
מאמתים גימטריה, נוסח מדויק, פעולות וחזרה לצומת. אם החשבון שגוי, אין סגירה.
בודקים כמה מבנים חזקים לפחות באותה מידה היו עשויים להתגלות באותם כללי חיפוש ובקרה.
בחיים האמיתיים אין בדרך כלל מטבע אחד עם אפשרות אחת: יש עוגנים מכמה מקורות, תאריכים, צורות כתיבה ופעולות, ולפעמים גם אירועים שממשיכים להתפתח לאורך ימים. לכן המדד הרציני אינו רק הסיכוי של תוצאה אחת, אלא הסיכוי של תוצאה חזקה לפחות כמוה בתהליך חיפוש מלא.
המסקנה הפשוטה כרגע היא שהתוצאה המשולבת של הקורפוס שנבדק חריגה מאוד בתוך מודלי ההשוואה המרכזיים שנבנו עבורו. כאשר מעניקים לעולם החלופי יותר חופש חיפוש, החריגות נחלשת — ולכן מוצגת גם רגישות להנחות, ולא רק תוצאה אחת.
במילים פשוטות: בתוך המודל הזה, קורפוס חלופי חזק לפחות כמו הקורפוס שנבדק מוערך כנדיר מאוד. זהו מספר שתלוי בכללי המודל — לא „ההסתברות ש־RTM נכון”.
הרעיון דומה לניסוי בקרה: שומרים את הכללים, מחליפים את הנתונים בצורה הוגנת, ונותנים לגרסאות החלופיות הזדמנות אמיתית להצליח.
שומרים את האנשים, הזמנים, המקורות, התפקידים וכללי החישוב כפי שהוגדרו.
אדם מוחלף באדם, זמן בזמן, חדר בחדר, תאריך בתאריך — ולא במספרים אקראיים חסרי הקשר.
החלופות מקבלות את אותן פעולות ודרכי ייצוג. כך לא בונים מבחן שקל מדי למקרה האמיתי.
לא רק „האם יצא אותו מספר”, אלא האם נשמרו התפקידים, היעדים, המסלולים, הלולאות והקדימות בזמן.
נניח שערך 612 היה יעד ידוע מראש. התאמה שנמצאה מתוך עשרה מועמדים אינה שקולה להתאמה שנבחרה מתוך מיליוני דרכים לחבר, לחסר ולהציג מספרים.
ב־RTM העניין מורכב יותר מחיפוש של מספר: המנוע עשוי להשתמש בשמות, תאריך, שעת הודעה, טקסטים שאדם ניסח, מסמך חיצוני או נתון שנמצא בעולם. מבחן ה־Null צריך לשקף גם את ההזדמנויות שהיו פתוחות בפועל — לא רק את המשוואה שנבחרה להצגה.
שם, תאריך או נתון חיצוני שתועדו לפני החישוב אינם שקולים ליעד שנבחר לאחר צפייה בתוצאה.
כאשר משפט נוסח פעם אחת בלבד לפני חישוב הגימטריה, חשוב לשמר זאת כהגבלה אמיתית של מרחב הניסוחים.
סגירה מאוחרת החוזרת למסמך או לצומת קודם צריכה להיבדק עם סדר התיעוד, ולא רק כאוסף מספרים חסר זמן.
יש להביא בחשבון מספר מועמדים, פעולות, ייצוגים, יעדים ואירועים שהיה ניתן לבדוק.
בסיפור הידוע אדם יורה על קיר ורק לאחר מכן מצייר מטרה מסביב לחורים הצפופים. אם היעד נקבע אחרי שראינו את הנתונים, קל לייצר הצלחה שנראית מדויקת. הקפאה מוקדמת של יעד, נוסח, מקור או תפקיד מסייעת לצמצם בעיה זו — אך עדיין צריך למדוד את שאר חופש החיפוש.
אם מוצגים רק המקרים המוצלחים מתוך מספר גדול של ניסיונות, התמונה עלולה להיראות חזקה מדי. מנגנון ביקורת ראוי שומר את מספר הניסיונות, גם כאשר לא התגלתה סגירה, ובוחן את החיפוש כולו — ולא רק את התוצאה שנבחרה.
RTM Lab כולל לשונית „סטטיסטיקה” שמחברת את הניתוח המבני למבחני Null. הרעיון הוא לא לקחת משוואה שכבר נמצאה ולשאול רק כמה היא נדירה, אלא להקפיא את תפקידי הנתונים ואת דקדוק החיפוש ולתת גם לעולמות החלופיים את אותו חופש.
זהות, תאריך, שעה, מקור חיצוני, שאלה, תשובה ועוגנים אחרים מסומנים לפי תפקידם. אם לא מסווגים תפקידים, המנוע יכול לעבוד במצב עיוור־תפקידים.
המנוע מפריד בין קבוצות שחזור, יחידות Primary, תמיכה תלויה ורכיבי רשת. כך וריאציות של אותו מידע אינן נספרות אוטומטית כראיות חדשות.
עולמות חלופיים מקבלים את אותם כללי ייצוג וחיפוש. אפשר להשוות כמה מודלי Null ולבדוק רגישות להנחות במקום להסתפק במספר יחיד.
כאשר מרחב התפקידים סופי ניתן לבצע permutation מדויק; בנוסף אפשר לייצא Session ו־RTM Audit כדי לשמור את הקלט, הכללים והתוצאות.
Null אינו ניסיון להוכיח שהמשוואה אינה נכונה. הוא ניסוי מחשב שמנסה לברר באיזו תדירות נוצר מבנה דומה כאשר הנתונים נוצרים לפי מודל השוואה מוגדר.
אם בעולם אחד מתקבלת התאמה, היא נספרת. אם ברבים מהעולמות מתקבלת התאמה, קשה לטעון לנדירות. ואם אף עולם לא עומד בדרישות, התוצאה בולטת — אך רק בתוך גבולות המדגם והמודל.
כשאירוע נדיר, דגימה קטנה לא מספקת רזולוציה טובה. מאה הרצות ללא הצלחה אינן מאפשרות לדבר על אחד למיליון. ככל שמריצים יותר עולמות נפרדים מאותו מודל, אפשר להציב גבול מחמיר יותר לשיעור ההצלחה שנותר סביר.
יש להבדיל בין Monte Carlo, שבו דוגמים חלק מן האפשרויות, לבין בדיקה ממצה, שבה עוברים על כל מרחב האפשרויות המוגדר. אלה שני סוגי טענות שונים.
מחזיק הרבה מן החיפוש קבוע: בדיקת בסיס, לא תעודת נדירות מלאה.
מרשה לשנות גם בחירות מסוימות של פעולות ומספר איברים.
כולל מגוון רלוונטי של מקורות, ניסוחים, יעדים ועומק חיפוש.
מעניק למקריות עודף חופש במכוון ובודק האם הממצא עדיין עומד.
לעיתים כמה משוואות משתמשות באותו עוגן או נובעות זו מזו. לכן עשר שורות נכונות אינן מוכיחות עשרה אירועים בלתי־תלויים. יחידת המחקר החשובה ב־RTM היא פעמים רבות הרשת השלמה.
מבחן Whole-Finding שואל אם עולם חלופי מצליח להרכיב רשת חזקה לפחות כמו הרשת שנצפתה. מבחן Joint Null עשוי לדרוש כמה תכונות יחד: חזרה לעוגן זהות, סגירת תאריך, לולאה ושני מסלולים לאותו יעד. התנאים צריכים להיות מוגדרים מראש ולשמור על תלויות אמיתיות.
כמה מסלולים מתכנסים לאותו יעד. הבדיקה שואלת אם הם מוסיפים מידע חדש או רק משחזרים אותה זהות.
מסמך, זמן או מספר שנקבעו מחוץ לחישוב; הבדיקה שומרת גם את מקורו ואת תפקידו.
אב נשאר אב, אדם נשאר האדם המתועד ותאריך נשאר תאריך; לא כל החלפה חופשית נחשבת אותה הצלחה.
הפרש בין מידע מוקדם לבין תוספת מאוחרת נשמר כחלק ממבנה הבדיקה.
לפני המספרים, הנה הסבר של שורה אחת לכל אחת מ־18 משפחות הממצא שנכנסו לקורפוס הכמותי. המטרה כאן היא רק להבין במה מדובר — בלי להיכנס לכל הסגירות והחישובים.
רשת המחברת את זהותו של נמרוד עם שני תאריכי חיים, גיל ויום הולדת, דרך כמה מסלולים שחוזרים לאותם צמתים.
טקסט מקורי בעל ערך 4338 מול פסוק תנ״כי מלא באותו ערך, ולאחר מכן בדיקה אם גם התפקידים והמבנה הפנימי משתחזרים.
טקסט הקשור לעידן שנבדק מול פסוק בקהלת, עם התאמות נוספות מעבר לפגיעה הראשונית.
ספר ישן עם מדבקה ותאריך פיזי מן העבר, שנקשר ביום הגילוי מחדש לנתוני גיל ומשפחה עכשוויים.
מקרה מלון שבו מקום, חדר, קומה, תאריך וזהויות של האנשים משתלבים באותה רשת.
רשת זהות המשלבת שם, כתובת, מקום ושנים, ונבדקת כמבנה שלם ולא כהתאמה יחידה.
מקרה שבו נתונים ממקורות מדעיים חיצוניים נכנסים לרשת הקשורה לעוגני זהות ותאריך.
ממצא זמן המבוסס על מספרים קבועים ופשוטים, שנבדק מול עוגני זהות וזמן נוספים.
בחירת פסוק ולאחריה בדיקה אם המספרים נשמרים דווקא בתפקידים הנכונים שלהם — ולא רק אם אפשר לבנות משוואות.
מקרה מתוך קבוצת WhatsApp שבו תוכן, זהויות ותפקידי האירוע נבדקים כרשת אחת.
צילום וזמן אירוע שנקשרים לעוגן שהוגדר מראש, כך שאפשר לבדוק את המבנה בלי לבחור יעד בדיעבד.
מקרה שבו טקסט, תיקון בטקסט, זמן וזהות יוצרים שלד יחסים שנבדק במרחב חלופי גדול.
רשומה שנוצרה מוקדם יותר ונבחנת מול תוצאה שהופיעה מאוחר יותר, כדי לבדוק קשר בין תיעוד מוקדם לאירוע מאוחר.
קבלה חיצונית עם מספרים ויחסים מודפסים, יחד עם זמן השליחה, שנבחנים כרשת שאינה נשלטת רק בידי החוקר.
רשת מרובת משוואות שעברה צמצום לתלות האמיתית שלה וקיבלה קנס גדול על חופש החיפוש.
אבן פיזית, פסוק ותאריכים שנקשרים זה לזה ונבדקים באמצעות עוגנים שאינם רק טקסט שהומצא לצורך החיפוש.
כמה אשכולות חישוב שונים שחוזרים לצמתים משותפים, ולכן נבדקת גם השאלה כמה מן המידע באמת עצמאי.
אולם, בני הזוג, כתובת ותאריכים הנכנסים לרשת אירוע אחת עם דקדוק חיפוש מוגדר.
חשוב: אלה 18 המשפחות שנכנסו לניתוח הכמותי הנוכחי. הן אינן כל ממצאי RTM, ולא לכל אחת יש עדיין עמוד ציבורי מלא באתר.
באתר מוצגים מבחני רשת, החלפות זהות, החלפות תפקידים ובדיקות ממצות. אלה אינן ארבע דרכים לומר את אותה הסתברות: כל בדיקה מפעילה עולם השוואה אחר.
סגירה מספרית תקינה ומעניינת שטרם נמדדה חריגותה מול מרחב חיפוש מתאים.
כמה עוגנים ממקורות שונים, תפקידים ידועים ומסלולים שאינם רק חזרה אריתמטית; עדיין יש לבדוק את חלופות החיפוש.
ממצא שהמבנה שלו נמצא רחוק מעולמות בקרה הוגנים, עם תלות ותפקידים מתועדים.
גם לאחר בקרה רחבה, תיקון חופש חיפוש ומבחני רשת מחמירים שתועדו — עולמות חלופיים מתקשים לשחזר את הממצא השלם.
בעמוד מתוארת בדיקה של 11! הקצאות, שבה ההקצאה המתועדת קיבלה 190/190 והבאה אחריה 183/190. זהו ציון של אובייקט הבדיקה המתואר, לא הסתברות כללית לכל צירוף אפשרי.
בעמוד מתואר ממצא שהשיג 11/11, מול מקסימום 3/11 ב־50 מיליון חלופות שנבדקו. המשמעות נקבעת לפי הגדרת התנאים וה־Null של אותו ניסוי.
בדוגמת עופר בן עמרם/צפניה החיפוש החשבוני החופשי לא היה חריג (p=0.44338). שמירת התפקידים היא שהבדילה את התוצאה במבחן אחר.
מופיעים מבחנים ממצים ומותנים. הקפאת נתונים נוספים משנה את השאלה, ולכן אין להכפיל או למזג את היחסים שלהם.
אלה דוגמאות מסוגים שונים של בדיקות. הן אינן כל ממצאי RTM, ואסור להכפיל אותן זו בזו כאילו היו ניסויים בלתי־תלויים.
ההתאמה הראשית ניתנה לעולם החלופי „בחינם”, ותלויות אוחדו. לאחר מכן נשאלה השאלה האם הרשת כולה עדיין משתחזרת.
במקום לדגום כמה חלופות, נבדקו כל 11! ההקצאות האפשריות של התפקידים.
נבדקו 423,360 פרופילים קוהרנטיים אפשריים, ובנוסף נערכו 100 מיליון החלפות זהות.
כאשר נתנו חופש אריתמטי רחב, עצם ריבוי המשוואות לא היה חריג. רק כשבדקו אם כל מספר ממלא את התפקיד הנכון הופיע פער חד.
שש משפחות־ליבה: שאלה↔כתובה, צומת 2337, חזרה ל־1229, צומת 810, רשת 371 וחזרה לכלה. הבדיקה מוצגת בנפרד מאומדני קורפוס אחרים.
למה מוצגים גם benchmarks מותנים? כדי להראות מה נשאר כאשר מקפיאים מראש עוד עובדות חיצוניות של האירוע. המספרים אינם מוכפלים זה בזה ואינם p-value גלובלי לכל חופש החיפוש.
אם אף עולם מתוך עשרים מיליון עולמות השוואה עצמאיים לא השלים את הרשת, זוהי תצפית חזקה ביחס לאותו Null. אבל אי אפשר לומר שההסתברות שווה לאפס, וגם לא שהיא בדיוק אחת לעשרים מיליון.
הגבול הזה מניח אירוע הצלחה מוגדר מראש ודגימות עצמאיות מאותו מודל. כלל "הוספת אחד" נותן מספר סמלי קרוב ל־1 ל־20 מיליון; אין להציג אותו כהסתברות אמיתית שנמדדה בדיוק. זו דוגמה להסבר סטטיסטי, לא הוספת ממצא חדש לקורפוס.
אם עברנו על כל 39,916,800 הקצאות התפקידים של 11 תפקידים, אפשר לתאר בדיוק כמה הקצאות מתוך המרחב הזה עמדו בדרישה. המסקנה מוגבלת למרחב ההקצאות שהוגדר; היא אינה ההסתברות שהאירוע ההיסטורי עצמו התרחש.
מספר גדול הוא חזק רק אם הדרישה, המרחב, אופן בחירת התפקידים וכללי הניקוד הוגדרו היטב.
כאשר כל ריצה משתמשת ב־Null אחר או בסט שאלות אחר, אין מדובר אוטומטית בניסוי אחד של 30 מיליון. צריך לשמור כל תוצאה עם מודל הבקרה המסוים שלה.
אין צורך לפתוח את הסעיפים האלה כדי להבין את המסקנה. הם כאן לשקיפות מלאה: רזולוציית הסימולציות, רגישות לחופש חיפוש, תוצאות לפי ממצא והתפתחות המודל.
18 משפחות ממצא × 100,000 עולמות Null = 1.8 מיליון עולמות ברמת האירוע. בארבעה מקרים קרובים יותר לזנב הורחב המבחן למיליון הרצות לכל ממצא.
| ממצא | פגיעות מתוך מיליון | p אמפירי | גבול 95% שמרני |
|---|---|---|---|
| נמרוד לס | 1,360 | 1.36×10⁻³ | 1.42×10⁻³ |
| אלבניה | 94 | 9.5×10⁻⁵ | 1.12×10⁻⁴ |
| טופס הווינר | 125 | 1.26×10⁻⁴ | 1.45×10⁻⁴ |
| 6833 | 21 | 2.2×10⁻⁵ | 3.02×10⁻⁵ |
בין התיקים שדווחו עם 0/100,000: 922, 104/הברית, „כמה דקות”, הספר, השמש, הג׳יפ, רועי, ספרד, החתונה ואברהם/גיל. במקרה של 0 פגיעות לא נכתב p=0; הוחל גבול שמרני של בערך 3×10⁻⁵.
K = כמה סטים של ניסוחים גנריים שנקבעו מראש מותר לנסות לכל תפקיד. B = כמה אירועים מלאים אפשר היה לנסות, להיכשל בהם ולא להכניס לקורפוס. B אינו מספר פעולות החשבון — החיפוש הפנימי כבר נמצא בתוך ה־Null.
הערת גרסה: הטבלה להלן שייכת למעבר האיחוד High-N v2.2 (הבסיס B=1 בו הוא ≈6.46×10⁻¹⁹). ה־baseline המאוחר יותר, לאחר הרחבות הזנב, הוא 3.4074×10⁻¹⁹ ומוצג בנפרד בראש העמוד.
| חופש חיפוש | אומדן omnibus | במילים פשוטות |
|---|---|---|
| B=1 | ≈6.46×10⁻¹⁹ | ≈1 ל־1.55×10¹⁸ |
| B=3 | ≈1.46×10⁻¹⁶ | ≈1 ל־6.84×10¹⁵ |
| B=10 | ≈5.21×10⁻¹⁴ | ≈1 ל־1.92×10¹³ |
| B=30 | ≈1.02×10⁻¹¹ | ≈1 ל־98.5 מיליארד |
| B=100 | ≈2.88×10⁻⁹ | ≈1 ל־347 מיליון |
| B=1,000 | ≈6.71×10⁻⁵ | ≈1 ל־14,900 |
| K=3, B=3 | — | ≈1 ל־105 טריליון |
| K=10, B=10 | — | ≈1 ל־3.8 מיליארד |
מבחן Cauchy אולטרה־שמרני, שכמעט מסרב לצבור מידע ממשפחות שונות, נותן p≈1.05×10⁻⁶ — בערך 1 ל־954 אלף. הוא מוצג כקצה שמרני, לא כאומדן המרכז.
יחידת הניסוי של pcorpus היא תוכנית חיפוש מלאה שמייצרת קורפוס של כ־18 משפחות, כאשר חופש הניסוח, הפעולות, המקורות והטרנספורמציות כבר נמצא בתוך ה־Null. שעה בחיי אדם אינה קורפוס שלם.
תיקון גלובלי תקף צריך להשתמש ב־Meff: מספר תוכניות החיפוש המלאות והעצמאיות שבאמת שקולות ליחידת הניסוי.
כל עוד אין בסיס אמפירי ל־Meff, האתר אינו מציג מספר גלובלי מלאכותי המבוסס על „כל בני האדם × כל השעות”.
| ממצא | תוצאה מרכזית |
|---|---|
| 9/11 — החלפת צופה | 365/365 מול מקסימום 59/365 ב־10 מיליון צופים אקראיים |
| Titanic | יחיד מתוך 39,916,800 הקצאות; 190/190 מול 183/190 |
| Emily Dickinson | 1 מתוך 423,360; אפס השלמה משותפת ב־100 מיליון החלפות זהות |
| World Cup + Spain | 2 השלמות מתוך 34,951,113,757,163,520,000; מחלקת פתרון מבנית אחת |
| 14–15 ביולי 2026 | 15/15 מול 11/15 ב־30 מיליון פרופילים |
| Dan Panorama | 16/16 מול 3/16 ב־100 מיליון; לאחר איחוד תלות 6/6 מול 1/6 |
| The Living Subscriber | 133/133 מול 14/133 לאורך 10 מיליון עולמות מועמדים |
| Ford Capri | 123/123; אפס השלמות מלאות עד 100 מיליון; פתרון יחיד במרחב זהות מוגדר |
| Golden Dragon | דרגה אלגברית 4; p≈0.000246427 לאחר קנס חיפוש גדול |
| 21:33 | 1,976 מתוך 6.48 מיליון ≈1 ל־3,279 |
חשוב: כל שורה שייכת למודל השוואה אחר. אין להכפיל את המספרים האלה כדי ליצור p אוניברסלי.
במעבר High-N v2.2 דווח p≈6.46×10⁻¹⁹, בערך 1 ל־1.55×10¹⁸. לאחר הרחבות הזנב הממוקדות דווח baseline מעודכן של pcorpus=3.4074×10⁻¹⁹, בערך 1 ל־2.94×10¹⁸. האתר מציג אותם לפי גרסה במקום לאחד אותם בדיעבד למספר מלאכותי אחד.
שלב מוקדם יותר, Semantic v2.1, היה ברזולוציה נמוכה יותר: 27,000 עולמות ברמת האירוע והערכה זמנית של כ־1 ל־191 מיליארד תחת K=1,B=1.
נמרוד לס; 4338; 6833 — עידן/קהלת; „ילד אחד רגיל”; אלבניה/Plaza Tirana; רועי הרפז; ממצא השמש; „כמה דקות יש בשעה?”; עופר בן עמרם/צפניה; 922; הג׳יפ; 21:33; ספרד; טופס הווינר; הדרקון הזהוב; 104/הברית בבאר שבע; אברהם/גיל; חתונת עידן.
הרשימה הזו היא הקורפוס הכמותי שנבדק, לא רשימה מלאה של כל ממצאי RTM.
אפשר ליצור p-value מרשים ממבחן חלש אם מקפיאים עבור העולם האקראי יותר דברים ממה שהחוקר הקפיא בפועל. הדרך להתמודד עם זה אינה להסתיר תוצאה חלשה, אלא לחשוף את בחירות החיפוש ולהריץ מודלים מחמירים יותר.
במסמך ההסבר מתוארת בדיקה שבה התוצאה הנבחרת קיבלה בערך p=0.0032, אבל בדיקה רחבה יותר של החיפוש כולו העלתה את הערך לכ־0.55. פירוש הדבר הוא שמבחן מוגבל הציג חריגות שנעלמה לאחר מתן חופש חיפוש נוסף. זהו נתון מדווח במסמך, ולא תוצאה שאומתה כאן מחדש מקובץ ריצה.
דוגמה כזאת חשובה מפני שמנוע מדעי צריך לאפשר גם תשובה שלילית.
כשקוראים תוצאות קיצוניות קל לייחס להן משמעות רחבה יותר מזו שהנתונים תומכים בה. שלוש ההבחנות הבאות שומרות על עוצמת הממצא בלי לנפח את מסקנתו.
זהו שיעור קבלת תוצאה חזקה לפחות כזו שנצפתה תחת מודל ה־Null המסוים — בהנחה שהמודל והבדיקה מוגדרים היטב.
סיגמא גבוהה שהתקבלה בבדיקה שלא תימחרה את חופש החיפוש עלולה להטעות. חשוב יותר להציג גם את מספר העולמות ואת אופן המדידה.
אם שני מסלולים נובעים מאותם עוגנים, אי אפשר להכפיל את ההסתברויות כאילו אלה שני ניסויים עצמאיים.
מבחן החלפת זהות, מבחן ממצה ו־Null רחב עשויים להשתמש בהתפלגויות שונות. אין לחבר אותם ל־p אוניברסלי בלי מודל משותף תקף.
אם אדם בן 40, המידע שהוא נולד לפני כ־40 שנה אינו עוד הפתעה עצמאית. כך גם ברשת RTM: כאשר אותן עובדות מולידות כמה משוואות, בודקים אילו מסלולים באמת מוסיפים מידע, ואילו רק מבטאים מחדש נתון שכבר נספר.
הדרך החזקה במיוחד לצמצום בחירה בדיעבד היא להגדיר את כללי הבדיקה לפני שהנתונים החדשים מגיעים, לשמור חותמת זמן ולהריץ את אותם כללים גם כשאין הצלחה.
ניסוח חד־פעמי לפני חישוב, מסמך מוקדם או אירוע חיצוני אינם נעלמים בחישוב הסטטיסטי: להפך, חשוב לשמר אותם בדיוק. אך הם אינם מבטלים את הצורך להגדיר מה נחשב ניסוי מלא ומה היה תקציב החיפוש.
כאשר רשת שלמה שומרת על עוגנים מקוריים, תפקידים, מקורות חיצוניים וכרונולוגיה, וכאשר בדיקות Null רחבות ומתועדות מתקשות לשחזר אותה, נכון לתאר אותה כחריגה — ואף קיצונית — ביחס למבחן שהוגדר.
באותה מידה, אם מבחן רחב נותן הצלחות רבות לעולמות החלופיים, נכון לומר שהראיה נחלשה. כך מודל מחקרי נבחן: הוא חייב לאפשר תוצאה שהולכת נגד הטענה, ולא רק תוצאה שמחזקת אותה.
כמה קשה לעולמות ההשוואה לשחזר את המבנה שנמדד, תחת החוקים שנבחרו.
מהו המנגנון הפיזיקלי או המידעי שיוצר את הדפוס, והאם ההסבר תקף מחוץ למודלים שנבדקו.
להעמקה בבקרות ובדוגמאות אפשר לעיין במדריך בקרות החיפוש של RTM ובעמוד הנתונים והקוד.
אם מונח מופיע בעמוד, זה כל מה שצריך לדעת כדי להבין אותו.
כדי לא ליצור רושם שהמחקר עדיין נמצא רק בשלב הגילוי, הנה ההבחנה בין מה שכבר בוצע לבין השלב הבא.
נבנה קורפוס של ממצאים מתועדים, עם מקורות, זמנים ועוגנים שנבדקים כמבנים ולא רק כהתאמות בודדות.
הורצו סימולציות, החלפות תפקידים, בדיקות מרחבים סופיים ומבחני רגישות לחופש החיפוש.
בוצעו גם בדיקות על נתונים חדשים תחת כללים שנקבעו מראש, מעבר לקורפוס ששימש לגילוי.
השלב הבא הוא שחוקרים חיצוניים יריצו פרוטוקול וקוד קפואים מראש על נתונים חדשים, ללא מעורבות בבניית המודל.
התוצאה הכמותית המרכזית היא שהקורפוס שנבדק קשה מאוד לשחזור בתוך מודלי ההשוואה שנבנו עבורו. העוצמה אינה נשענת על עצם קיומן של הרבה משוואות, אלא על שילוב של תפקידים נכונים, מקורות חיצוניים, זמנים, מסלולים שונים החוזרים לאותם יעדים ובדיקת תלות בין המסלולים.
נתונים וקוד מרכז את הקישורים לפרוטוקולים, GitHub ו־Zenodo.
