כל מדד שגיאה הופך רשימה של פספוסים למספר אחד, וכל אחד עושה את זה בכך שהוא מחליט כמה פספוס גדול שווה לעומת פספוס קטן. MAE סופר כל יחידת שגיאה באותה מידה. MSE ו־RMSE נותנים לפספוסים גדולים משקל רב יותר. הבחירה הזו היא רוב מה שמבדיל ביניהם.
הדוגמה כאן היא תחזית ביקוש, כי שם קל להרגיש את ההבדל. כשמוכרים סחורה מתכלה, לטעות ביחידה אחת כל יום ולטעות בחמש יחידות פעם אחת הן שתי בעיות שונות מאוד.
שלוש הנוסחאות
לכל מקרה, השגיאה היא התחזית פחות הערך האמיתי, e = ŷ − y. על פני n מקרים:
MAE, שגיאה מוחלטת ממוצעת: הגודל הממוצע של הפספוס, MAE = Σ|e| / n.
MSE, שגיאה ריבועית ממוצעת: הממוצע של הפספוסים בריבוע, MSE = Σe² / n. העלאה בריבוע הופכת כל שגיאה לחיובית ונותנת לשגיאות גדולות משקל הרבה יותר גבוה. היחידות שלו בריבוע, כאן יחידות ביקוש בריבוע, ולכן קשה לקרוא אותו.
RMSE, שורש השגיאה הריבועית הממוצעת: השורש של MSE, RMSE = √MSE. זה מחזיר אותו ליחידות של הנתונים, ועדיין שומר על המשקל הנוסף לפספוסים גדולים.
חמישה ימים, שתי תחזיות
הביקוש האמיתי בחמישה ימים היה 12, 9, 15, 10, 14. תחזית A חזתה 13, 8, 16, 9, 15. תחזית B חזתה 12, 9, 15, 10, 9.
| מדד | תחזית A | תחזית B |
|---|---|---|
| שגיאות | +1, −1, +1, −1, +1 | 0, 0, 0, 0, −5 |
| MAE | 1.00 | 1.00 |
| MSE | 1.00 | 5.00 |
| RMSE | 1.00 | 2.24 |
| R² | 0.81 | 0.04 |
לפי MAE שתי התחזיות זהות: שתיהן מפספסות ביחידה אחת ליום בממוצע. A מפספסת באחת כל יום. B מושלמת ארבעה ימים ואז מפספסת בחמש.
RMSE מפריד ביניהן. השגיאות בריבוע של A כולן 1, אז ה־MSE שלה הוא 1 וה־RMSE הוא 1. השגיאות בריבוע של B הן ארבעה אפסים ו־25, אז ה־MSE שלה הוא 25 / 5 = 5 וה־RMSE הוא √5 = 2.24. יום רע אחד יותר מהכפיל אותו.
מה R² מוסיף
R² משווה את ה־MSE של המודל לשונות של הערכים האמיתיים, שהיא ה־MSE של תחזית שתמיד אומרת את הממוצע. כאן הביקוש הממוצע הוא 12 והשונות היא 5.2, ולכן R² = 1 − MSE / 5.2.
זה נותן 0.81 ל־A ו־0.04 ל־B. תחזית B בקושי טובה יותר מלחזות 12 כל יום, כי הפספוס האחד שלה בחמש עולה כמעט כמו כל הפיזור של הביקוש עצמו. R² בנוי על שגיאה ריבועית, ולכן הוא יורש את היחס של RMSE לפספוסים גדולים. השתמשתי בו לאורך הרשימה על כשל מחוץ להתפלגות, שם הוא יורד מתחת לאפס.
באיזה להשתמש
משתמשים ב־MAE כשכל יחידת שגיאה עולה בערך אותו דבר, וכשרוצים מספר שאנשים יכולים לקרוא ישירות: טעות של יחידה אחת ליום. הוא גם מושפע פחות מכמה מקרים חריגים, וזה טוב כשהם נתונים פגומים ורע כשהם בדיוק המקרים שחשובים.
משתמשים ב־RMSE כשפספוס גדול יקר באופן לא פרופורציונלי. מלאי שנגמר ביום העמוס ביותר, או חיזוי קשיחות שטועה בגדול לתכנון אחד, הם שגיאות מהסוג הזה. RMSE הוא גם מה ששיטת הריבועים הפחותים ממזערת, ולכן הוא הציון הטבעי למודל שאומן כך.
כשאפשר, מדווחים על שניהם. RMSE תמיד גדול או שווה ל־MAE, והם שווים רק כשלכל השגיאות אותו גודל, כמו בתחזית A. פער גדול ביניהם אומר שהשגיאה מרוכזת בכמה מקרים, ואלה המקרים שצריך לבדוק.
מה ששני המדדים מפספסים
אף אחד מהם לא מראה כיוון. השגיאות של תחזית A מסתכמות בממוצע ל־+0.2, קרוב לאיזון. של תחזית B ל־−1: כל פספוס שלה הוא תחזית חסר. בסחורה מתכלה, תחזית שתמיד חסרה פירושה מדפים ריקים בימים שבהם הביקוש הכי גבוה, ואז היסטוריית המכירות מסתירה את הביקוש הזה, כמו שמחושב ברשימה על ביקוש מצונזר.
לכן מוסיפים את השגיאה הממוצעת, ההטיה, לצד MAE או RMSE. הגודל אומר כמה התחזית טועה. ההטיה אומרת לאיזה כיוון, ולעתים קרובות זה החלק שמחליט מה לעשות.
כשהשניים חלוקים על נתונים אמיתיים
בבדיקת חיזוי אמיתית בקמעונאות, שני המדדים בחרו מנצחים שונים. השוויתי מודל gradient boosting לממוצע נע של 28 יום על 823 פריטים מנתוני M5 הציבוריים, בעשר נקודות חיזוי שהחלונות שלהן לא חופפים. לפי MAE המודל היה גרוע ב־3.9 אחוזים. לפי RMSE הוא היה מעט טוב יותר, 3.44 מול 3.51. המקרה המלא נמצא ברשימה על ערך מוסף של חיזוי לפי סוג ביקוש.
הסיבה הייתה ריכוז. עשירית מהפריטים החזיקה 74 אחוזים מהשגיאה הריבועית של המודל, כך ש־RMSE מדד בעיקר את הפריטים האלה בזמן ש־MAE מדד את כל החנות. מבחן Diebold-Mariano על פני עשר הנקודות נתן p = 0.20 להפרש ב־RMSE, כך שגם הניצחון הזה לא הוכח. כש־MAE ו־RMSE חלוקים, בודקים אילו פריטים נושאים את השגיאה לפני שבוחרים מודל.
forelint, ספריית הקוד הפתוח שכתבתי לבדיקת תחזיות לאחור, מחשבת MAE, RMSE, הטיה, שגיאה מנורמלת (MASE ו־RMSSE) וריכוז שגיאה לכל פריט בקריאה אחת.
מקורות
- Willmott, C. J. and Matsuura, K. Advantages of the mean absolute error (MAE) over the root mean square error (RMSE) in assessing average model performance. Climate Research 30, 2005.
- Chai, T. and Draxler, R. R. Root mean square error (RMSE) or mean absolute error (MAE)? Geoscientific Model Development 7, 2014.
- Hyndman, R. J. and Koehler, A. B. Another look at measures of forecast accuracy. International Journal of Forecasting 22(4), 2006.