Warum dein Backtest fast immer lügt – und wie du ihn ehrlich machst

Dreitausenddreihundertdreiundsechzig Prozent. So viel Gewinn zeigte der Backtest, den mir vor Kurzem ein Mitglied meiner Community geschickt hat. Seit Januar 2018, gut fünfzig Prozent pro Jahr, sechshundertneunundsechzig Trades. Der Vergleichsindex schaffte im selben Zeitraum nicht einmal dreihundert Prozent.

Sechs Wochen nach dem Start mit echtem Geld stand das Depot deutlich im Minus.

Das ist keine Geschichte über einen schlechten Trader. Es ist eine Geschichte über ein Werkzeug, das fast jeder falsch benutzt, und über einen Denkfehler, den ich selbst jahrelang gemacht habe. Der Backtest war sauber programmiert, mit einem ordentlichen Tool, mit echten Kursdaten. Geschummelt hat hier niemand. Getäuscht hat sich jemand trotzdem – und die Software hat kräftig dabei geholfen.

In diesem Artikel zerlege ich den Fall. Du siehst, welche neun Konstruktionsfehler in dieser Kurve steckten, und du bekommst acht Schritte an die Hand, mit denen du deinen eigenen Backtest so aufbaust, dass er tatsächlich etwas beweist. Der Fall ist anonymisiert – Namen, Depotgröße und Broker bleiben draußen, die Zahlen und die Fehler sind der Lehrstoff.

Der Fall: ein System, das im Backtest alles richtig macht

Das System ist schnell erklärt. Jedes Quartal werden die tausend größten US-Aktien nach einem gewichteten technischen Score sortiert. Die besten zehn kommen ins Depot, alle gleich gewichtet. Fällt eine Aktie im Score zurück, fliegt sie raus, was in der Praxis bedeutet: Fast das gesamte Depot wird alle drei Monate ausgetauscht. Stopps auf einzelne Positionen gibt es nicht.

Darüber liegt ein selbst gebauter Makro-Schalter. Zeigt die Volatilität bestimmte Signale und liegt der Nasdaq 100 gleichzeitig unter seiner 50-Tage-Linie, geht alles in Cash. Der Wiedereinstieg läuft in drei Stufen.

Das klingt durchdacht, und das ist es auch. Da stecken Wochen Arbeit drin. Der maximale Rückgang von 53,4 Prozent wird offen ausgewiesen – wer schönen will, versteckt so einen Wert normalerweise. Genau deshalb ist der Fall so lehrreich: Er sieht von außen aus wie sorgfältige Arbeit, und er ist trotzdem vom ersten Tag an zum Scheitern verurteilt.

Warum ein Backtest das Ergebnis deiner Suche ist

Im Gespräch habe ich es so formuliert: Stell dir vor, jemand sagt dir, das Ergebnis sei fünfzehn, und du sollst die passende Rechnung dazu finden. Sieben plus acht. Dreißig durch zwei. Fünf mal drei. Du findest immer eine. Und wenn du sie dann vorzeigst, hast du nichts bewiesen – du hast gefunden, wonach du gesucht hast.

Genau das passiert beim Optimieren von Parametern. Die Einstellungen wurden hier iterativ auf den Zeitraum 2018 bis 2026 gedreht, so lange, bis das Ergebnis stimmte. Bewertet wurde dann an genau demselben Zeitraum. Das ist eine Klausur, bei der man die Musterlösung vorher gesehen hat. Die Eins beweist nichts.

Das ehrlichste Bild dafür sind tausend Münzwerfer. Lass tausend Leute je zehnmal werfen, und einer wird zehnmal Kopf haben. Das ist keine Begabung, das ist Statistik. Wenn du diesen einen hinterher anschaust, siehst du ein Talent – dabei siehst du nur den, der übrig geblieben ist. Eine Optimierung probiert hunderte Einstellungen durch und zeigt dir am Ende die beste. Die anderen bekommst du nie zu sehen.

Daraus folgt der Satz, um den es in diesem ganzen Artikel geht: Ein Backtest ist das Ergebnis deiner Suche. Er ist nicht ihr Test. In jedem Kursverlauf steckt ein wenig echte Struktur und sehr viel Zufall. Beim Optimieren lassen sich die beiden nicht trennen – die Software nimmt, was passt, und fragt nicht, warum. Struktur wiederholt sich, Zufall nicht. Deshalb liegt die Live-Performance nicht manchmal unter dem Backtest, sondern systematisch.

Der Filter, der nie im Backtest auftauchte

Der Fehler, der mich am meisten überrascht hat, steckte nicht in den Parametern, sondern in einer Checkbox. Das Market Timing war im Tool schlicht deaktiviert. Die schöne Kurve zeigt also nur den Aktienteil – ohne den Makro-Filter, der im Livebetrieb über allem liegt und im Zweifel alles verkauft. Von dem System, das tatsächlich gehandelt wurde, existiert keine einzige Kurve.

Wie weit die beiden Welten auseinanderliegen, zeigt ein Widerspruch in den eigenen Unterlagen: Der Backtest nennt 53,4 Prozent maximalen Rückgang, die separate Risiko-Auswertung nennt 60. Zwei Zahlen für dasselbe System.

Der Schalter selbst wurde ebenfalls im Rückblick kalibriert, kannte die Krisen also, die er erkennen sollte. Selbst mit diesem Vorteil hat er zwei von sechs Einbrüchen verpasst, darunter einen mit minus sechzig Prozent, und einmal 62 Tage lang ohne Anlass in Cash gehalten.

Dazu kommt ein Konstruktionsfehler: Das Depot besteht aus mittelgroßen Werten, das Ausstiegssignal kommt von hundert Mega Caps. Du misst den Blutdruck des Nachbarn und nimmst selbst die Tablette. Und weil das System nur hundert Prozent investiert oder hundert Prozent Cash kennt, entsteht genau das Muster, das im Livebetrieb zu besichtigen war: raus am Tief, rein am Zwischenhoch. Ein Filter braucht einen Dimmer, keinen Lichtschalter – und er gehört in dieselbe Kurve wie die Strategie, nicht in eine zweite Auswertung.

Wenn zehn Trades das ganze Ergebnis tragen

Die Rohdaten der Umschichtungen habe ich mir einzeln angesehen: 516 Transaktionen, 253 abgeschlossene Trades. Auf den ersten Blick ein unaufgeregtes System – Trefferquote 55,7 Prozent, der Median-Trade bringt 4,3 Prozent.

Der zweite Blick verändert alles. Die zehn besten Trades machen 54 Prozent aller Gewinne aus. Zehn von 253. Der beste allein brachte über tausend Prozent, ein Meme-Squeeze Anfang 2021, der das Depot in einem einzigen Quartal fast verdoppelt hat. Ohne diesen einen Trade halbiert sich das Gesamtergebnis grob.

Die Frage ist nicht, ob das Glück war. Die Frage ist, ob so etwas planbar wiederkommt. Der Test dafür dauert zwei Minuten: Streich die drei besten Trades aus deiner Auswertung und schau, was übrig bleibt. Bleibt eine brauchbare Kurve, hast du ein System. Bleibt nichts, hattest du ein Los.

Was Steuern und Survivorship Bias vom Ergebnis übrig lassen

Der langweiligste Fehler ist der teuerste. Eingerechnet waren zwei Euro Gebühr pro Trade, sonst nichts – keine Spreads, keine Steuern. Bei einem System, das viermal im Jahr fast das komplette Depot umschlägt, ist das keine Kleinigkeit: Jede Umschichtung realisiert Gewinne, und realisierte Gewinne kosten rund 26,4 Prozent Abgeltungsteuer. Wer liegen lässt, zahlt einmal am Ende. Dieses System zahlt viermal im Jahr auf alles. Aus gut fünfzig Prozent brutto werden so etwa 37 Prozent netto – und die Spreads bei kleineren Werten fehlen in dieser Rechnung noch.

Zwei weitere Lücken arbeiten immer in dieselbe Richtung, nämlich zu deinen Gunsten. Die erste ist der Survivorship Bias: Besteht dein Universum aus den Aktien, die es heute noch gibt, fehlen sämtliche Pleiten der vergangenen Jahre. Achte dabei besonders auf die Option „nur Aktien mit vollständiger Kurshistorie“ – sie klingt nach Datenqualität und vergrößert das Problem, weil sie genau die Titel aussortiert, die unterwegs ausgeschieden sind.

Die zweite Lücke sind weiche Regeln. „Nachhaltig über der EMA 50″, „harte bärische Divergenz“, „Story noch intakt“: Das sind keine Regeln, das sind Stimmungen, und im Zweifel legst du sie hinterher so aus, wie es gerade passt. Was du nicht in eine Zeile Code schreiben kannst, ist keine Regel.

Bleibt der neunte Fehler, der am Ende das Geld kostet. Die Erwartung für den Livebetrieb lag bei 30 bis 40 Prozent pro Jahr – der geschönte Backtest, ein wenig nach unten gerundet. Sie fühlt sich vorsichtig an und ist es nicht, weil ihr Anker schon falsch war. Zur Einordnung: Die besten Fondsmanager der Geschichte liegen langfristig zwischen zwanzig und dreißig Prozent, über Jahrzehnte, mit Teams und Zugängen, die Privatanleger nicht haben. Ein Backtest jenseits der fünfzig Prozent ist kein Gütesiegel für die Strategie, sondern ein Warnsignal für die Methode.

Acht Schritte zu einem Backtest, der etwas beweist

Der Weg aus dieser Falle ist unspektakulär, und das ist Absicht.

Es beginnt mit der These vor den Parametern. Der Lackmustest dafür: Erklär, warum deine Regel funktioniert, ohne den Backtest zu erwähnen. Wer steht auf der anderen Seite des Trades, und warum macht er den Fehler immer wieder? Wer das nicht beantworten kann, hat keine These, sondern ein Muster gefunden. Im zweiten Schritt nimmst du deine Parameter aus Konvention und Literatur statt aus der Optimierung – 12-1-Momentum, die 200-Tage-Linie. Diese Werte sind bewusst nicht auf deine Daten gefittet und halten deshalb mehr aus. Der dritte Schritt ist die Datenbasis: delistete Titel hinein, Point-in-time-Daten, Kosten, Steuern und Spreads.

Der vierte Schritt entscheidet über alles. Trenne den Zeitraum, auf dem du baust, strikt von dem, auf dem du misst – und benutze den Prüfzeitraum genau einmal. Nach dem ersten Blick ist er verbrannt; wer zurückgeht und nachbessert, hat ihn zu Trainingsmaterial gemacht.

Nachschub findest du in alten Daten aus den Jahren davor, in anderen Märkten wie dem EuroStoxx oder dem Nikkei, im Walk-Forward, bei dem du rollierend optimierst und das Folgejahr eingefroren handelst – und in der Zukunft, dem einzigen Prüfzeitraum, der von allein nachwächst. Der Walk-Forward hat einen nützlichen Nebeneffekt: Kommen über die Jahre 27, 25 und 30 heraus, hast du einen Effekt gefunden. Kommen 27, 8 und 61 heraus, war es Rauschen.

Die letzten vier Schritte machen aus der Analyse Praxis. Such kein Optimum, sondern ein Plateau – die Nachbarwerte müssen mitfunktionieren, sonst hast du eine Zufallsspitze erwischt. Rechne das Gesamtsystem als eine einzige Kurve, mit Filter gegen ohne Filter im selben Chart. Schreib vor dem Start ein Erwartungsdokument mit drei Zahlen: Was erwarte ich, was ist noch normal, ab wann höre ich auf.

Und dann geh klein live, friere das System ein und tracke es gegen diese Erwartung statt gegen dein Gefühl. Änderungen nur als Experiment, mit Datum, Begründung und Sperrfrist. Denn ein System, das nach jedem Verlust umgebaut wird, ist nur Willkür mit Verzögerung.

Zu den Werkzeugen noch ein Satz, weil die Frage sonst gleich kommt: Für reine Indexfilter reichen Portfolio Visualizer oder testfol.io kostenlos aus. Wer Ranking-Systeme mit Einzelaktien bauen will, kommt an Portfolio123 kaum vorbei – ab etwa 25 Dollar im Monat, mit Point-in-time-Daten inklusive delisteter Titel und 21 Tagen Testphase. AmiBroker mit Norgate-Daten ist die Ausbaustufe für alle, die bis 1990 zurückrechnen wollen.

Yahoo Finance ist für Aktien-Momentum ungeeignet, weil genau der Survivorship Bias drinsteckt, und TradingViews Strategie-Tester kann nur ein einzelnes Symbol – ein rotierendes Zehn-Aktien-Depot bildest du damit nicht ab.

Fazit

Drei Dinge nimmst du aus diesem Fall mit. Erstens: Eine Optimierung produziert immer ein gutes Ergebnis, das ist ihre Aufgabe – der Beweis liegt woanders, nämlich in Daten, die deine Suche nie gesehen hat. Zweitens: Ein Risikofilter gehört in dieselbe Kurve wie die Strategie, sonst weißt du nicht, was du eigentlich handelst. Drittens: Kosten, Steuern und eine Handvoll Ausreißer entscheiden über mehr als jede Feinjustierung am Parameter.

Bleibt der Satz, der am besten hängen bleibt: Ein Backtest beweist nicht, dass eine Strategie funktioniert. Er beweist nur, dass sich eine Einstellung finden ließ, die in der Vergangenheit funktioniert hätte. Das gelingt immer. Ehrlich wird er erst durch Daten, die deine Suche nie gesehen hat.

Wenn du regelmäßig Einordnung dieser Art willst – zu Marktphasen, Risiko und den Werkzeugen, mit denen Privatanleger tatsächlich arbeiten können: Der Makro-Kompass kommt jede Woche per Mail und nimmt sich für genau solche Fragen Zeit. [Hier kannst du ihn abonnieren.]

Das hier ist keine Anlageberatung, sondern meine Sicht auf ein Handwerk. Jede Anlageentscheidung triffst du selbst.