Was ist Forecast Accuracy?
Forecast Accuracy ist ein Sammelbegriff für Kennzahlen, die Prognose und Ist vergleichen. Eine einzelne Prozentzahl ohne Formel ist mehrdeutig: Manche Teams nennen 100 % minus MAPE „Accuracy“, andere berichten WAPE, Trefferkorridore oder den Anteil korrekt klassifizierter Deals. Eine belastbare Auswertung nennt deshalb das konkrete Fehlermaß.
Der Vergleich ist immer rückblickend. Er sagt, wie ein Forecast unter den damaligen Informationen abgeschnitten hat; er beweist nicht, dass dieselbe Methode künftig gleich genau bleibt. Für operative Entscheidungen sind außerdem Fehlerkosten wichtig: Eine Überschätzung kann zu zu hoher Kapazität führen, eine Unterschätzung zu Engpässen. Gleiche absolute Fehler können daher unterschiedliche Folgen haben.
Snapshot, Horizont und Kohorte einfrieren
Eine faire Messung beginnt vor dem Ist-Ergebnis. Für jeden Forecast wird ein unveränderlicher Datensatz gespeichert. Spätere Pipeline- oder Budgetänderungen dürfen diese Version nicht überschreiben. Andernfalls entsteht Look-ahead Bias.
Wann wurde prognostiziert?
Zeitstempel, Modellversion und verfügbare Quelldaten werden gespeichert. Ein später aktualisierter Forecast ist eine neue Beobachtung.
Wie weit lag das Ziel entfernt?
Forecasts 30, 60 und 90 Tage vor Periodenende werden getrennt bewertet. Kürzerer Horizont enthält mehr Information.
Was wird verglichen?
Region, Segment, Produkt und Zielperiode bleiben identisch. Nur abgeschlossene Zielperioden fließen in retrospektive Accuracy ein.
Welches Ergebnis gilt?
Gebuchter Umsatz, ARR, MRR, Bookings oder Einheiten werden nicht vermischt. Währung, Stornos und Nachbuchungen sind dokumentiert.
Signed Error und Forecast Bias
Signed Error behält die Richtung einer Abweichung. Auf dieser Seite gilt Forecast minus Ist: Ein positiver Wert bedeutet Überschätzung, ein negativer Wert Unterschätzung. Andere Systeme verwenden die umgekehrte Konvention; das Vorzeichen muss deshalb neben der Kennzahl definiert werden.
Der durchschnittliche signed Error zeigt systematischen Bias in Originaleinheiten. Eine prozentuale Variante kann jeden signed Error durch den Ist-Wert teilen, übernimmt dann aber dieselben Null- und Kleinstwertprobleme wie MAPE. Außerdem können sich Über- und Unterschätzungen aufheben. Ein Mean Error nahe null bedeutet daher nicht automatisch kleine Fehler.
MAE, MAPE und WAPE im Vergleich
| Maß | Formel | Stärke | Grenze |
|---|---|---|---|
| MAE | Σ |F − A| ÷ n | Leicht interpretierbar in € oder Einheiten | Nicht zwischen unterschiedlich großen Reihen vergleichbar |
| MAPE | (100 ÷ n) × Σ |F − A| ÷ |A| | Prozentual und pro Beobachtung gemittelt | Bei A = 0 undefiniert; kleine A dominieren |
| WAPE | 100 × Σ |F − A| ÷ Σ |A| | Volumengewichteter Gesamtfehler | Kleine Segmente können im Aggregat verschwinden |
| Mean Error | Σ (F − A) ÷ n | Zeigt Richtung und systematischen Bias | Gegenläufige Fehler heben sich auf |
MAE behält die Originaleinheit und eignet sich für Kapazitäts- oder Liquiditätsfolgen. MAPE gewichtet jede Beobachtung gleich, unabhängig vom Volumen. WAPE aggregiert erst und gewichtet dadurch große Ist-Werte stärker. Welches Maß passt, hängt von der Entscheidungsfrage ab; häufig werden MAE oder WAPE zusammen mit einem Bias-Maß berichtet.
Nullwerte und negative Ist-Werte
- Ist = 0: Der MAPE-Term ist nicht definiert. Nicht als 0 % einsetzen und nicht still löschen; Zahl und Behandlung der Fälle separat ausweisen.
- Ist nahe 0: Ein kleiner absoluter Fehler kann einen extremen prozentualen Wert erzeugen. MAE oder eine fachlich begründete Aggregation kann robuster sein.
- Summe der Ist-Werte = 0: WAPE ist nicht definiert. Das kann bei vollständig leeren Perioden oder sich saldierenden signed Werten auftreten.
- Negative Werte: Retouren, Gutschriften oder Nettobewegungen brauchen eine explizite Regel. Der Betrag im Nenner verhindert zwar ein Vorzeichenproblem, löst aber nicht die fachliche Interpretation.
Rechenbeispiel mit drei Segmenten
Ein 60-Tage-Forecast wurde zum selben Snapshot für drei Segmente eingefroren. Prognose und Ist verwenden dieselbe Umsatzdefinition und Währung.
| Segment | Forecast F | Ist A | F − A | |F − A| ÷ |A| |
|---|---|---|---|---|
| Enterprise | 120 | 100 | +20 | 20 % |
| Mid-Market | 70 | 80 | −10 | 12,5 % |
| SMB | 40 | 50 | −10 | 20 % |
Mean Error ist null, obwohl jedes Segment danebenliegt: positive und negative Fehler heben sich auf. MAE zeigt die typische absolute Größenordnung. MAPE und WAPE liegen hier ähnlich, müssen aber bei stärker unterschiedlichen Segmentvolumina nicht übereinstimmen. Aus diesem Beispiel folgt kein allgemeiner Qualitätsbenchmark.
Aggregation und Forecast-Horizont
Ein Gesamtforecast kann genau wirken, obwohl Segmente große gegenläufige Fehler haben. Berichten Sie daher Gesamtwert und entscheidungsrelevante Teilgruppen. Dieselbe Regel gilt für Zeit: Monatswerte dürfen nicht ungeprüft mit Quartalswerten verglichen werden, weil Aggregation Fehler ausgleichen kann.
Accuracy sollte als Kurve nach Forecast-Horizont betrachtet werden: etwa dieselbe Zielperiode aus den 90-, 60- und 30-Tage-Snapshots. Dadurch wird sichtbar, wann neue Information die Prognose verbessert und wo der Prozess zu spät reagiert. Ein Vergleich verschiedener Horizonte ist kein fairer Methodenvergleich.
Vom Fehler zur Entscheidung
- Messvertrag prüfen: Stellen Sie zuerst sicher, dass Snapshot, Zielperiode, Horizont, Kohorte und Ist-Definition konstant sind.
- Richtung und Größe trennen: Lesen Sie Mean Error oder Bias gemeinsam mit MAE, MAPE oder WAPE.
- Fehler lokalisieren: Segmentieren Sie nach Produkt, Region, Pipeline-Typ oder Forecast-Owner, aber zeigen Sie Fallzahl und Volumen.
- Ursache testen: Prüfen Sie beispielsweise Stage-Konversion, Deal-Slippage, Expansion, Churn oder Preis-/Mix-Effekte, ohne Korrelation als Ursache auszugeben.
- Änderung validieren: Vergleichen Sie neue Forecasts auf späteren, noch nicht zur Kalibrierung verwendeten Zielperioden.
Die absolute Abweichung einer einzelnen Periode lässt sich mit dem Forecast-Variance-Rechner prüfen. Für die Diagnose eines wiederkehrenden Richtungsmusters bietet der Leitfaden Forecast Bias erkennen und beheben den nächsten Schritt.
Häufige Fragen
Was ist Forecast Accuracy?
Forecast Accuracy beschreibt, wie stark eine vorab gespeicherte Prognose vom später beobachteten Ist-Wert abweicht. Sie ist keine einzelne universelle Kennzahl: absolute Fehlermaße wie MAE, MAPE oder WAPE messen die Größenordnung; signed Error oder Bias messen die systematische Richtung.
Wie unterscheiden sich Forecast Error und Forecast Bias?
Signed Error behält das Vorzeichen und zeigt, ob der Forecast über oder unter dem Ist liegt. Absolute Fehler entfernen das Vorzeichen und messen die Abweichungsgröße. Der durchschnittliche signed Error über vergleichbare Beobachtungen zeigt Bias, kann aber große Fehler verdecken, wenn positive und negative Werte sich aufheben.
Wann ist MAPE nicht definiert?
MAPE teilt jeden absoluten Fehler durch den jeweiligen Ist-Wert. Bei einem Ist-Wert von null ist der Term nicht definiert; bei sehr kleinen Ist-Werten kann er extrem groß werden. Solche Beobachtungen dürfen nicht stillschweigend als null Prozent behandelt werden.
Was unterscheidet MAPE und WAPE?
MAPE mittelt die pro Beobachtung berechneten absoluten prozentualen Fehler und gewichtet kleine und große Ist-Werte gleich. WAPE teilt die Summe aller absoluten Fehler durch die Summe aller absoluten Ist-Werte; größere Volumina erhalten dadurch mehr Gewicht.
Warum muss der Forecast-Snapshot eingefroren werden?
Ohne festen Snapshot könnte ein Forecast nach Bekanntwerden neuer Informationen überschrieben werden. Gemessen würde dann nicht die damalige Prognosequalität, sondern eine spätere Version. Snapshot-Zeit, Zielperiode, Horizont und Datenstand gehören deshalb zu jeder Auswertung.
Was ist ein guter Wert für Forecast Accuracy?
Es gibt keinen universellen Schwellenwert. Ein interner Zielkorridor muss zu Kennzahl, Forecast-Horizont, Aggregation, Umsatzmix, Volatilität und wirtschaftlichen Folgen des Fehlers passen. Vergleiche sind nur bei identischer Definition und gleichem Horizont aussagekräftig.