MAPE, השגיאה המוחלטת הממוצעת באחוזים, הוא מדד השגיאה שאנשים מחוץ לצוות הנתונים מבינים. "התחזית טועה ב-8 אחוז" לא צריך הסבר. לקריאות הזו יש מחיר, והוא נראה על אותם חמישה ימים מהרשימה על RMSE מול MAE.
הביקוש האמיתי היה 12, 9, 15, 10, 14. תחזית A החטיאה ביחידה אחת בכל יום. תחזית B הייתה מדויקת בארבעה ימים והחטיאה ב-5 ביום האחרון.
הנוסחה
לכל יום, לוקחים את גודל ההחטאה כחלק ממה שקרה בפועל, ואז ממצעים:
MAPE = (100% / n) × Σ |ŷ − y| / |y|
כאן y הוא הערך האמיתי ו-ŷ התחזית. בתחזית A חמשת החלקים הם 1/12, 1/9, 1/15, 1/10 ו-1/14, והממוצע שלהם הוא 8.65 אחוז. בתחזית B רק היום האחרון נספר: 5/14 = 35.7 אחוז, מחולק על חמישה ימים, 7.14 אחוז.
MAPE מעדיף את התחזית ש-RMSE קורא לה גרועה יותר
| מדד | תחזית A | תחזית B |
|---|---|---|
| שגיאות | +1, −1, +1, −1, +1 | 0, 0, 0, 0, −5 |
| MAE | 1.00 | 1.00 |
| RMSE | 1.00 | 2.24 |
| MAPE | 8.65% | 7.14% |
| MAPE משוקלל | 8.33% | 8.33% |
לפי MAE השתיים שוות. לפי RMSE, B גרועה פי יותר משניים, כי החטאה גדולה אחת שולטת בשגיאה הריבועית שלה. לפי MAPE, B טובה יותר. הסיבה היא המכנה. שגיאה באחוזים שוקלת החטאה לפי גודל היום שבו היא קרתה. B עשתה את ההחטאה היחידה שלה ביום של 14. A פיזרה את ההחטאות שלה על כל הימים, כולל יום של 9, שבו יחידה אחת היא 11.1 אחוז.
לכן MAPE לא מודד יחידות מלאי. הוא מודד החטאות ביחס ליום, וימים שקטים שוקלים יותר. בפריטים עם פער גדול בין ימים איטיים לעמוסים, זה משנה איזו תחזית מנצחת.
מחשבון MAPE
הדביקו ערכים אמיתיים ותחזיות משלכם. המחשבון נותן MAPE ו-MAPE משוקלל לצד MAE ו-RMSE, כך שאי ההסכמה נראית על הנתונים שלכם. הוא נפתח על תחזית B.
מחשבון RMSE, MAE, MSE ו-MAPE
הכול מחושב בדפדפן. ברירת המחדל היא תחזית B מהמאמר.
איפה MAPE נשבר
יום עם ביקוש אפס מחלק באפס, ולכן MAPE לא מוגדר לכל פריט שאי פעם לא נמכר, ובקמעונאות זה רוב הפריטים. ליד אפס הוא לא נכשל, הוא מתפוצץ: תחזית של 3 ביום שבו נמכרה יחידה אחת היא שגיאה של 200 אחוז, ויום אחד כזה יכול להכריע חודש של ימים טובים.
הוא גם לא סימטרי. חוזים 15 כשנמכרו 10, והשגיאה היא 50 אחוז. חוזים 10 כשנמכרו 15, אותה החטאה של 5 יחידות בכיוון השני, והיא 33.3 אחוז. תחזית נמוכה מדי לעולם לא מחטיאה ביותר מ-100 אחוז; לתחזית גבוהה מדי אין גבול. תחזית שכוילה למזער MAPE נדחפת למטה, ובמלאי זה אומר להיגמר.
מה לדווח במקום
MAPE משוקלל מחלק את סך ההחטאה בסך הביקוש: Σ |ŷ − y| / Σ |y|. זה ה-MAE כחלק מהביקוש הממוצע, 1 / 12 = 8.33 אחוז לשתי התחזיות. הוא נשבר רק אם סך הביקוש הוא אפס, והוא שוקל פריטים לפי הנפח שלהם, וזה בדרך כלל מה שעסק מתכוון אליו כשהוא שואל "בכמה אנחנו טועים".
sMAPE מחלק כל החטאה בממוצע של התחזית והערך האמיתי. ההחטאה של 10 מול 15 מקבלת 40 אחוז בשני הכיוונים, והציון חסום ב-200 אחוז. כאן הוא נותן 8.73 ו-8.70 אחוז: כמעט תיקו. הוא עדיין מתנהג רע כששני הערכים קרובים לאפס.
MASE, השגיאה המוחלטת הממוצעת המנורמלת, מחלק את ה-MAE ב-MAE של התחזית הנאיבית שחוזרת על אתמול, כפי שנמדדה על ההיסטוריה. השינויים מיום ליום כאן הם בממוצע 4.5 יחידות, ולכן שתי התחזיות מקבלות 1.00 / 4.5 = 0.22. מתחת ל-1 פירושו טוב יותר מלחזור על אתמול. אין בו חלוקה בערך אמיתי, כך שאפסים לא מפריעים, והוא משווה בהגינות בין פריטים בגדלים שונים, ולכן Hyndman ו-Koehler ממליצים עליו.
אף אחד מהמספרים לא מראה כיוון. תחזית שגבוהה מדי בעקביות ותחזית שמחטיאה לשני הכיוונים יכולות לקבל אותו ציון, ולשם כך יש את הטיית התחזית.
MAPE, wMAPE, sMAPE ו-MASE ב-Python
import numpy as np
actual = np.array([12, 9, 15, 10, 14])
forecast_a = np.array([13, 8, 16, 9, 15])
forecast_b = np.array([12, 9, 15, 10, 9])
def scores(f, y):
e = f - y
mape = np.mean(np.abs(e) / np.abs(y)) # undefined if any actual is 0
wmape = np.sum(np.abs(e)) / np.sum(np.abs(y))
smape = np.mean(2 * np.abs(e) / (np.abs(y) + np.abs(f)))
mase = np.mean(np.abs(e)) / np.mean(np.abs(np.diff(y))) # scaled by the naive forecast
return mape, wmape, smape, mase
for name, f in [("A", forecast_a), ("B", forecast_b)]:
mape, wmape, smape, mase = scores(f, actual)
print(name, f"MAPE {mape:.2%} wMAPE {wmape:.2%} sMAPE {smape:.2%} MASE {mase:.2f}")
# A MAPE 8.65% wMAPE 8.33% sMAPE 8.73% MASE 0.22
# B MAPE 7.14% wMAPE 8.33% sMAPE 8.70% MASE 0.22
מקורות
- Hyndman, R. J. and Koehler, A. B. Another look at measures of forecast accuracy. International Journal of Forecasting 22(4), 2006.
- Hyndman, R. J. and Athanasopoulos, G. Forecasting: Principles and Practice, 3rd edition, OTexts, 2021, section 5.8, Evaluating point forecast accuracy.