דוד משיח

רשימה · למידת מכונה · שרשרת אספקה

MAPE בחר בתחזית ש-RMSE קרא לה גרועה יותר

MAPE הופך שגיאות תחזית לאחוזים, ולכן מנהלים אוהבים אותו. על אותם חמישה ימים של ביקוש הוא מדרג שתי תחזיות הפוך מ-RMSE, וביום עם ביקוש אפס אין לו תשובה בכלל. הנוסחה, מחושבת, ומה לדווח במקומה.

MAPE, השגיאה המוחלטת הממוצעת באחוזים, הוא מדד השגיאה שאנשים מחוץ לצוות הנתונים מבינים. "התחזית טועה ב-8 אחוז" לא צריך הסבר. לקריאות הזו יש מחיר, והוא נראה על אותם חמישה ימים מהרשימה על RMSE מול MAE.

הביקוש האמיתי היה 12, 9, 15, 10, 14. תחזית A החטיאה ביחידה אחת בכל יום. תחזית B הייתה מדויקת בארבעה ימים והחטיאה ב-5 ביום האחרון.

הנוסחה

לכל יום, לוקחים את גודל ההחטאה כחלק ממה שקרה בפועל, ואז ממצעים:

MAPE = (100% / n) × Σ |ŷ − y| / |y|

כאן y הוא הערך האמיתי ו-ŷ התחזית. בתחזית A חמשת החלקים הם 1/12,‏ 1/9,‏ 1/15,‏ 1/10 ו-1/14, והממוצע שלהם הוא 8.65 אחוז. בתחזית B רק היום האחרון נספר: 5/14 = 35.7 אחוז, מחולק על חמישה ימים, 7.14 אחוז.

MAPE מעדיף את התחזית ש-RMSE קורא לה גרועה יותר

מדדתחזית Aתחזית B
שגיאות+1, −1, +1, −1, +10, 0, 0, 0, −5
MAE1.001.00
RMSE1.002.24
MAPE8.65%7.14%
MAPE משוקלל8.33%8.33%

לפי MAE השתיים שוות. לפי RMSE, B גרועה פי יותר משניים, כי החטאה גדולה אחת שולטת בשגיאה הריבועית שלה. לפי MAPE, B טובה יותר. הסיבה היא המכנה. שגיאה באחוזים שוקלת החטאה לפי גודל היום שבו היא קרתה. B עשתה את ההחטאה היחידה שלה ביום של 14. A פיזרה את ההחטאות שלה על כל הימים, כולל יום של 9, שבו יחידה אחת היא 11.1 אחוז.

לכן MAPE לא מודד יחידות מלאי. הוא מודד החטאות ביחס ליום, וימים שקטים שוקלים יותר. בפריטים עם פער גדול בין ימים איטיים לעמוסים, זה משנה איזו תחזית מנצחת.

מחשבון MAPE

הדביקו ערכים אמיתיים ותחזיות משלכם. המחשבון נותן MAPE ו-MAPE משוקלל לצד MAE ו-RMSE, כך שאי ההסכמה נראית על הנתונים שלכם. הוא נפתח על תחזית B.

מחשבון RMSE,‏ MAE,‏ MSE ו-MAPE

הכול מחושב בדפדפן. ברירת המחדל היא תחזית B מהמאמר.

איפה MAPE נשבר

יום עם ביקוש אפס מחלק באפס, ולכן MAPE לא מוגדר לכל פריט שאי פעם לא נמכר, ובקמעונאות זה רוב הפריטים. ליד אפס הוא לא נכשל, הוא מתפוצץ: תחזית של 3 ביום שבו נמכרה יחידה אחת היא שגיאה של 200 אחוז, ויום אחד כזה יכול להכריע חודש של ימים טובים.

הוא גם לא סימטרי. חוזים 15 כשנמכרו 10, והשגיאה היא 50 אחוז. חוזים 10 כשנמכרו 15, אותה החטאה של 5 יחידות בכיוון השני, והיא 33.3 אחוז. תחזית נמוכה מדי לעולם לא מחטיאה ביותר מ-100 אחוז; לתחזית גבוהה מדי אין גבול. תחזית שכוילה למזער MAPE נדחפת למטה, ובמלאי זה אומר להיגמר.

מה לדווח במקום

MAPE משוקלל מחלק את סך ההחטאה בסך הביקוש: Σ |ŷ − y| / Σ |y|. זה ה-MAE כחלק מהביקוש הממוצע, 1 / 12 = 8.33 אחוז לשתי התחזיות. הוא נשבר רק אם סך הביקוש הוא אפס, והוא שוקל פריטים לפי הנפח שלהם, וזה בדרך כלל מה שעסק מתכוון אליו כשהוא שואל "בכמה אנחנו טועים".

sMAPE מחלק כל החטאה בממוצע של התחזית והערך האמיתי. ההחטאה של 10 מול 15 מקבלת 40 אחוז בשני הכיוונים, והציון חסום ב-200 אחוז. כאן הוא נותן 8.73 ו-8.70 אחוז: כמעט תיקו. הוא עדיין מתנהג רע כששני הערכים קרובים לאפס.

MASE, השגיאה המוחלטת הממוצעת המנורמלת, מחלק את ה-MAE ב-MAE של התחזית הנאיבית שחוזרת על אתמול, כפי שנמדדה על ההיסטוריה. השינויים מיום ליום כאן הם בממוצע 4.5 יחידות, ולכן שתי התחזיות מקבלות 1.00 / 4.5 = 0.22. מתחת ל-1 פירושו טוב יותר מלחזור על אתמול. אין בו חלוקה בערך אמיתי, כך שאפסים לא מפריעים, והוא משווה בהגינות בין פריטים בגדלים שונים, ולכן Hyndman ו-Koehler ממליצים עליו.

אף אחד מהמספרים לא מראה כיוון. תחזית שגבוהה מדי בעקביות ותחזית שמחטיאה לשני הכיוונים יכולות לקבל אותו ציון, ולשם כך יש את הטיית התחזית.

MAPE,‏ wMAPE,‏ sMAPE ו-MASE ב-Python

import numpy as np

actual = np.array([12, 9, 15, 10, 14])
forecast_a = np.array([13, 8, 16, 9, 15])
forecast_b = np.array([12, 9, 15, 10, 9])


def scores(f, y):
    e = f - y
    mape = np.mean(np.abs(e) / np.abs(y))  # undefined if any actual is 0
    wmape = np.sum(np.abs(e)) / np.sum(np.abs(y))
    smape = np.mean(2 * np.abs(e) / (np.abs(y) + np.abs(f)))
    mase = np.mean(np.abs(e)) / np.mean(np.abs(np.diff(y)))  # scaled by the naive forecast
    return mape, wmape, smape, mase


for name, f in [("A", forecast_a), ("B", forecast_b)]:
    mape, wmape, smape, mase = scores(f, actual)
    print(name, f"MAPE {mape:.2%}  wMAPE {wmape:.2%}  sMAPE {smape:.2%}  MASE {mase:.2f}")

# A MAPE 8.65%  wMAPE 8.33%  sMAPE 8.73%  MASE 0.22
# B MAPE 7.14%  wMAPE 8.33%  sMAPE 8.70%  MASE 0.22

מקורות

  1. Hyndman, R. J. and Koehler, A. B. Another look at measures of forecast accuracy. International Journal of Forecasting 22(4), 2006.
  2. Hyndman, R. J. and Athanasopoulos, G. Forecasting: Principles and Practice, 3rd edition, OTexts, 2021, section 5.8, Evaluating point forecast accuracy.