סט מבחן שהופרד מהנתונים עונה על שאלה אחת: האם המודל מסתדר עם עוד דוגמה ממה שהוא אומן עליו. הכללה מחוץ להתפלגות היא שאלה אחרת: האם הוא מסתדר עם מקרה שלא דומה לנתוני האימון. רוב מספרי האימות עונים על הראשונה ונקראים כאילו ענו על השנייה.
נתקלתי בזה במחקר על מודלי סורוגייט, שתיארתי ברשימה על מודל שקיבל ציון מושלם. הנה אותו כשל, קטן מספיק כדי לחשב אותו ביד.
הסולם: R², שבו אפס פירושו ניחוש
R² משווה את השגיאות בריבוע של המודל לאלה של קו בסיס שמתעלם מהקלט ותמיד עונה עם הממוצע של הערכים האמיתיים. R² = 1 פירושו מושלם. R² = 0 פירושו שהמודל הצליח בדיוק כמו קו הבסיס. מתחת לאפס פירושו שהוא הצליח פחות, כלומר המודל מוסיף שגיאה במקום להוריד אותה.
לאמן קו ישר על עקומה
הקשר האמיתי הוא y = x². נתוני האימון מכסים רק את x בין 0 ל־1: הנקודות (0, 0), (0.5, 0.25) ו־(1, 1). מתאימים קו ישר בשיטת הריבועים הפחותים ומקבלים y = x − 1/12, בערך x − 0.083.
קו ישר הוא המודל הלא נכון, אבל בין 0 ל־1 העקומה מתונה והקו עוקב אחריה מקרוב.
בתוך טווח האימון
בודקים על נקודות חדשות שהמודל לא ראה, עדיין בין 0 ל־1: x = 0.25 ו־x = 0.75. הערכים האמיתיים הם 0.0625 ו־0.5625. הקו חוזה 0.1667 ו־0.6667, ומפספס בבערך 0.10 בכל פעם.
R² על הנקודות האלה הוא 0.83. על חמש נקודות חדשות בין 0.1 ל־0.9 הוא 0.86. לפי מבחן הנתונים המופרדים הרגיל, זה מודל טוב.
מחוץ לו
עכשיו בודקים ב־x = 2 וב־x = 3. הערכים האמיתיים הם 4 ו־9. הקו חוזה 1.92 ו־2.92, ומפספס ב־2.1 וב־6.1.
R² על הנקודות האלה הוא −2.31. אותו מודל, עם אותם מקדמים, גרוע עכשיו בהרבה מהתעלמות מהקלט וניחוש הממוצע. שום דבר בו לא השתנה. רק הנתונים שנשאל עליהם.
למה הבעיה האמיתית קשה יותר
הצעצוע נכשל כי הקלטים החדשים גדולים מכל מה שהוא ראה. שינוי כזה קל לזהות: בודקים את טווח הקלט ומסרבים לענות מחוצה לו. הכשל שמדדתי היה עדין יותר, וההבדל הוא החלק ששווה להכיר.
אימנתי מודלים לחזות את הקשיחות של לוחות מתכת עם תבניות של חורים, מתוך תמונה של התבנית. הקשיחות תלויה בעיקר בכמה מתכת נשארה, ולכן קודם הכנסתי כל משפחה של תבניות לאותו טווח צפיפות, 59 עד 65 אחוז חומר. לפי המדד הכי ברור, הקלטים היו אז באותו טווח. רק הצורה השתנתה: חורים עגולים, ריבועים, אליפסות, צלבים, חלות דבש, סריגים אקראיים.
באימון על משפחה אחת ובדיקה על אחרת, 20 מתוך 30 הצירופים קיבלו ציון מתחת לאפס. יער אקראי, סוג אחר לגמרי של מודל, הראה את אותו דפוס. המודלים למדו משפחה של דברים בצורת חור, לא איך קשיחות עובדת, ושום בדיקת טווח לא הייתה תופסת את זה.
במחקר המשך עם 22 משפחות, הבחירה אילו משפחות לאמן עליהן הזיזה את תוצאת המקרה הגרוע בפקטור של בערך 390, ואף אחד מתשעת הכללים הזולים שבדקתי לא הצליח לחזות איזו בחירה תהיה טובה. זה ברשימה נפרדת.
מה עושים עם זה
בונים לפחות סט מבחן אחד מתהליך שונה מזה של סט האימון, ולא רק שורות שהופרדו מאותו תהליך. קודם מנטרלים את המשתנים המבלבלים הברורים, כדי שכשל יהיה פירושו מה שאתם חושבים. ומדווחים על המקרה הגרוע בתנאים חדשים, לא רק על הממוצע בתנאים מוכרים.
הנתונים, הסימולטור והרשת שנכתבה מאפס שעומדים מאחורי תוצאות הקשיחות פתוחים ב־doi.org/10.6084/m9.figshare.32993597.