חוזה חיפוש
Search Contract
רשימת הכללים שלפיהם מחפשים קשרים: אילו נתונים מותר להכניס, אילו פעולות מותר לבצע, כיצד קוראים מספרים וכמה צעדים מותר לעשות. הכללים נועדו למנוע מצב שבו משנים את שיטת הבדיקה בכל פעם שלא מתקבלת תוצאה.
◦ דוגמה להמחשה+
מחליטים מראש שמותר לחבר ולחסר עד שלושה צעדים ולהשתמש בשתי צורות מוגדרות של כתיבת מספרים.
מרחב חיפוש
Search Space
כל האפשרויות שהבדיקה מאפשרת לבחון. ככל שיש יותר שמות, ניסוחים, מספרים, פעולות ומסלולים אפשריים, כך עולה הסיכוי למצוא התאמה כלשהי במקרה. לכן צריך להביא בחשבון לא רק מה נמצא, אלא גם מה היה אפשר לחפש.
◦ דוגמה להמחשה+
חיפוש בין עשרה שמות אינו זהה לחיפוש בין עשרת אלפים שמות, גם אם בסוף מוצאים בשניהם התאמה אחת.
שימור תפקידים
Role Preservation
שמירה על התפקיד של כל נתון גם בניסוי ההשוואה. שם של שולח נשאר בתפקיד שולח, תאריך נשאר תאריך וסכום נשאר סכום. כך משווים בין אירועים בעלי מבנה דומה, ולא מערבבים נתונים שלא שייכים לאותה קטגוריה.
◦ דוגמה להמחשה+
כשמחליפים שמות בעולם השוואה, מחליפים שם של אדם בשם אחר — לא במספר של חשבונית.
מודל השוואה
Null Model
שיטה ליצירת מקרים חלופיים שבהם אין מניחים את הקשר המיוחד שמנסים לבדוק. המקרים החלופיים שומרים על כללים חשובים של האירוע, ומאפשרים לשאול אם קשרים דומים היו מופיעים גם בלעדיו.
◦ דוגמה להמחשה+
במקום השמות המקוריים יוצרים שמות חלופיים, שומרים על תפקידי האנשים ומריצים שוב את אותם חישובים.
עולם השוואה
Null World
מקרה חלופי אחד שנוצר באמצעות מודל ההשוואה. כאשר יוצרים אלפים או מיליונים של עולמות כאלה, אפשר לספור בכמה מהם מתקבלת רשת דומה לרשת המקורית. התוצאה תלויה באיכות הכללים שבהם נבנו העולמות.
◦ דוגמה להמחשה+
עולם אחד כולל שמות ותאריכים חלופיים לפי הכללים; עולם שני כולל שילוב חלופי אחר.
מבחן הממצא השלם
Whole-Finding Test
בדיקה שאינה מסתפקת בסגירה אחת. בכל עולם השוואה מפעילים את אותו תהליך חיפוש, ואז בודקים כמה סגירות, התכנסויות ומבנים קשורים הופיעו בו לעומת הממצא המקורי.
◦ דוגמה להמחשה+
אם בממצא היו כמה מסלולים שהגיעו לאותו יעד, מחפשים גם בעולמות ההשוואה מבנה דומה — לא רק שוויון מספרי בודד.
דחיסת תלות
Dependency Compression
שיטה שמאחדת קשרים שחוזרים על אותו רעיון מתמטי. מטרתה לא לנפח את מספר הראיות על ידי ספירה חוזרת של אותו קשר בתחפושות שונות. אחרי הדחיסה אפשר לראות טוב יותר כמה מידע חדש באמת מוסיפה כל סגירה.
◦ דוגמה להמחשה+
320 + 292 = 612 ו־612 − 320 = 292 נשמרות כחישובים תקינים, אך אינן נספרות כשתי ראיות עצמאיות.
החלפת צופה
Observer Replacement
בדיקה שבה מחליפים את זהות האדם המרכזי בזהויות אחרות, ומשאירים ככל האפשר את שאר מבנה האירוע קבוע. כך בוחנים אם הקשרים תלויים דווקא בשם או בזהות המקורית, או שהם מופיעים גם אצל אנשים חלופיים.
◦ דוגמה להמחשה+
מחליפים בניסוי את שמו של האדם שאליו נשלחה ההודעה בשמות אחרים ובודקים כמה מהרשת נשארת.
הסרה מבוקרת
Knockout / Ablation
בדיקה שבה מוציאים בכוונה נתון או קשר אחד מן הרשת ורואים מה קורה. כך אפשר להבין אם הממצא נשען בעיקר על עוגן יחיד או נשאר עשיר בקשרים גם כשחלק ממנו מוסר.
◦ דוגמה להמחשה+
מסירים את שעת ההודעה ובודקים כמה מסלולים עדיין מחברים בין השם לתאריך.
בדיקת עמידות
Robustness Test
בדיקה שבוחנת אם הממצא ממשיך לבלוט גם כאשר משנים מעט את תנאי הבדיקה, בלי לשנות את הנתונים המקוריים. ממצא שמחזיק מעמד בכמה בדיקות סבירות משכנע יותר מממצא שנראה חריג רק בהגדרה צרה מאוד.
◦ דוגמה להמחשה+
בודקים את אותה רשת בכמה מודלי השוואה סבירים ובוחנים אם תוצאת החריגות נשארת דומה.
ריבוי ניסיונות
Multiple Testing
כאשר מחפשים הרבה התאמות, גם התאמות שנראות נדירות בפני עצמן עשויות להופיע במקרה. לכן בהערכת הנדירות יש להביא בחשבון את היקף החיפוש והבחירות שנעשו בדרך, ולא רק את הסיכוי למשוואה אחת.
◦ דוגמה להמחשה+
אדם שבדק אלפי צירופי מילים צריך להעריך את התוצאה אחרת ממי שבדק משפט אחד שהוגדר מראש.
ערך p ואומדן נדירות
p-value / Rarity Estimate
מספר שמתאר עד כמה נדירה הייתה תוצאה כמו זו שנמצאה, או חריגה ממנה, לפי מודל השוואה מסוים. ערך קטן יותר מצביע על תוצאה נדירה יותר במסגרת אותה בדיקה. הוא אינו אומר מה ההסתברות שההסבר של RTM נכון.
◦ דוגמה להמחשה+
אם ב־10,000 עולמות השוואה נמצאו 5 רשתות חזקות לפחות כמו המקורית, השכיחות שנצפתה היא 5 מתוך 10,000 — בכפוף לכללי ההשוואה ולאי־ודאות המדידה.
בדיקה שנקבעה מראש
Prospective Test
ניסוי שבו קובעים ומתעדים מראש מה עומדים לבדוק, ורק אחר כך מתקבלים הנתונים. הוא עוזר להבחין בין חיזוי או בדיקה מתוכננת מראש לבין מציאת קשרים אחרי שכבר יודעים את התוצאה.
◦ דוגמה להמחשה+
רושמים מראש את נוסח השאלה ואת דרך החישוב, ורק לאחר מכן מקבלים את המידע שייבדק.
Joint Null · מבחן משותף
Joint Null
מודל השוואה שבו כל עולם חלופי צריך לעמוד בכמה דרישות מבניות יחד, כמו סגירת תאריך, חזרה לעוגן זהות והתכנסות מסלולים. יש להגדיר את הדרישות ולשמור את התלות ביניהן לפני שמחשבים נדירות.
◦ דוגמה להמחשה+
אם ברשת המקורית קיימות גם לולאה וגם שתי חזרות לעוגן מסוים, בודקים כמה עולמות חלופיים משחזרים את התנאים יחד.
סימולציית מונטה קרלו
Monte Carlo Simulation
שיטת חישוב שבה יוצרים מספר רב של עולמות חלופיים לפי כללי מודל ה־Null וסופרים כמה מהם מגיעים לתוצאה חזקה לפחות כמו זו שנצפתה. מספר הרצות גדול משפר את יכולת האמידה, אך אינו מתקן מודל השוואה שאינו הוגן.
◦ דוגמה להמחשה+
אם מריצים מיליון עולמות ורק עשרה עומדים בתנאי ההצלחה, השכיחות המדגמית היא 10 למיליון באותו מודל.
בדיקה ממצה
Exhaustive Test
בדיקה של כל המצבים האפשריים במרחב סופי ומוגדר, במקום לדגום רק חלק מהם באקראי. התדירות שמתקבלת מדויקת ביחס למרחב שנבדק, אך אינה מייצגת אוטומטית את כל התרחישים האפשריים מחוץ לו.
◦ דוגמה להמחשה+
אם יש 120 הקצאות אפשריות לתפקידים, אפשר לבדוק את כולן ולספור בכמה הקצאות נשמר המבנה.
סיגמא
Sigma / Statistical Significance
דרך מקובלת לבטא תוצאה חריגה ביחס להתפלגות ייחוס, לעיתים באמצעות המרה של ערך p לציון שקול בהתפלגות נורמלית. הערך תלוי בהנחות ובהגדרת מבחן חד־צדדי או דו־צדדי, ולכן אינו תחליף לפירוט המבחן.
◦ דוגמה להמחשה+
דיווח על חמש סיגמא מחייב לדעת מאיזו התפלגות וערך p התקבל המספר, ואילו בחירות חיפוש נלקחו בחשבון.
תקציב חיפוש
Search Budget
מספר ההזדמנויות שהחוקר או מנוע החיפוש קיבלו לנסות מקורות, ניסוחים, פעולות, עומקים ויעדי סגירה. כאשר בודקים חריגות, מודל ההשוואה צריך לשקף את התקציב הזה ולא רק את המשוואה שנבחרה בסוף.
◦ דוגמה להמחשה+
בחירה בין שני ניסוחים ופעולה אחת אינה שקולה לחיפוש במאות ניסוחים ובעשרות אלפי מסלולים.