Ein zweites Abo ist kein Fallback

Ein Werkzeug, das den ganzen Tag Code schreibt, ist irgendwann Infrastruktur. Und bei Infrastruktur stellt sich eine Frage, die man besser vor dem Ernstfall beantwortet: Was passiert, wenn sie ausfällt?

Der Ausfall muss dabei nicht dramatisch sein. Es reicht eine Störung beim Anbieter, ein Limit, das früher greift als gedacht, oder eine geänderte Nutzungsbedingung. Anthropic hat zum 4. April 2026 klargestellt, dass die Abos Pro, Max und Team keine Nutzung über fremde Werkzeuge mehr abdecken. OpenCode hatte schon im März die eingebaute Anmeldung an Anthropic entfernt. Wer also glaubt, er könne sein bestehendes Abo im Notfall einfach in einem anderen Werkzeug weiterbenutzen, stellt das im schlechtesten Moment fest.

Wir haben uns deshalb ein zweites Gespann eingerichtet und dabei zwei Dinge getrennt betrachtet, die gern in einen Topf geworfen werden: das Werkzeug und das Modell.

Der Harness ist die halbe Miete

Zwischen dem Sprachmodell und der Aufgabe liegt eine Schicht, für die sich der Begriff Harness eingebürgert hat: Wie der Prompt aufgebaut wird, welche Werkzeuge das Modell bekommt, wie der Kontext verwaltet wird, was bei einem Fehlschlag passiert. Diese Schicht ist kein Beiwerk. In einer Auswertung schwankte dasselbe Modell je nach Harness zwischen 42 und 78 Prozent Lösungsquote.

Red Hat hat für das Projekt coding_agent_bench beides sauber getrennt und dieselben Modelle durch verschiedene Werkzeuge geschickt. Das Ergebnis ist unbequem für jeden, der eine einfache Rangliste möchte:

Beim zweiten Aufgabensatz dreht sich das Verhältnis um. Dasselbe Modell, ein anderes Werkzeug, 8,3 Punkte Unterschied in die andere Richtung, und das bei niedrigeren Kosten. Wer nur Modelle vergleicht, sieht diesen Effekt nie.

Warum die Zahlen gerade wenig taugen

Dazu kommt, dass die üblichen Ranglisten momentan auf wackligem Grund stehen. Drei Punkte, die man kennen sollte, bevor man eine Prozentzahl in eine Entscheidung übersetzt.

Die bekannteste Suite ist verunreinigt. OpenAI hat im Februar 2026 angekündigt, für SWE-bench Verified keine Werte mehr zu berichten, nachdem sich bei allen Spitzenmodellen Trainingsdaten in den Aufgaben fanden.

Die Nachfolgesuite ist teilweise kaputt. Ein Audit vom Juli 2026 schätzt, dass rund 30 Prozent der öffentlichen Aufgaben von SWE-bench Pro fehlerhaft sind.

Hersteller und neutrale Messung liegen 20 Punkte auseinander. Auf einem standardisierten Board, das für alle Modelle denselben Harness verwendet, liegen die Spitzenwerte bei etwa 61 Prozent. Die Herstellerangaben derselben Modelle summieren sich auf 80.

Und die Versionen sind nicht vergleichbar: Ein Wert von 55,8 Prozent auf Terminal-Bench 4.0 und einer von 89,1 Prozent auf Terminal-Bench 2.1 widersprechen sich nicht, es sind zwei verschiedene Prüfungen. Wer beide in eine Tabelle schreibt, produziert Unsinn.

Zwei Arten von Reserve

Beim Einrichten wurde schnell klar, dass „Fallback" zwei verschiedene Dinge bedeuten kann, und dass die Unterscheidung die ganze Auswahl bestimmt.

Die eine Art zielt auf Gleichwertigkeit: Wenn das gewohnte Werkzeug klemmt, soll das Ersatzgespann möglichst dasselbe leisten. Dann nimmt man das stärkste verfügbare Modell und akzeptiert, dass es teurer wird.

Die andere zielt auf Ausfallsicherheit: Wenn ein Anbieter ausfällt, muss der Ersatz woanders herkommen. Und hier hilft es kein Stück, dieselben Modelle über einen anderen Zugang zu fahren. Fällt der Anbieter aus, fallen alle seine Wege gleichzeitig aus.

Diese zweite Art war unser Ziel. Also: anderes Werkzeug, anderer Modellanbieter, anderes Rechenzentrum.

Was wir eingerichtet haben

Die Reserve läuft mit OpenCode, einem quelloffenen Kommandozeilen-Agenten unter MIT-Lizenz, aktuell in Version 1.18.29. Das Modell kommt über TensorX, einen Anbieter mit Sitz in Irland und Rechenzentren in Dublin, Helsinki und Paris, der ohne Speicherung der Anfragen arbeitet und eine OpenAI-kompatible Schnittstelle bietet. Als Modell läuft dort GLM-5.2 von Z.ai, ein Open-Weight-Modell.

Der angenehmste Teil war der, den wir gar nicht bauen mussten. Unsere Arbeitsanweisungen liegen seit Monaten als Skills vor, jeweils ein Ordner mit einer SKILL.md darin. Dieses Format ist inzwischen werkzeugübergreifend, und OpenCode durchsucht die vorhandenen Skill-Verzeichnisse von Haus aus mit. Das Wissen über unsere Projekte war im Ersatzwerkzeug also sofort da, ohne einen einzigen Handgriff. Wie diese Skills entstanden sind, haben wir hier beschrieben.

Zwei Details, die dabei auffielen: OpenCode wertet nur fünf Angaben im Kopf einer Skill-Datei aus, alles andere wird stillschweigend ignoriert. Und die Prüfkommandos gehören in den Text des Skills, nicht in die Werkzeugkonfiguration. Dann läuft die Rückkopplung nach jeder Änderung überall gleich, unabhängig davon, welches Werkzeug gerade dran ist.

Die Modellauswahl

Für die Frage, welches Modell im Ersatzgespann laufen soll, ist der Intelligence Index von Artificial Analysis der brauchbarste Anhaltspunkt, weil er 192 Modelle mit demselben Verfahren misst. Stand 4. September 2026, Auszug:

Das beste offene Modell liegt 6,2 Punkte hinter der Spitze und damit vor Modellen, die vor wenigen Monaten das Maß aller Dinge waren. Die kleine Variante erreicht 87 Prozent des Spitzenwerts zu einem Bruchteil des Preises und lässt sich notfalls selbst betreiben.

Ehrlich bleiben muss man bei der Lücke, die real ist: Der große Vorsprung der Spitzenmodelle liegt bei sehr langen, mehrstufigen Läufen. Genau dafür gibt es für die offenen Modelle bislang keine veröffentlichten Vergleichswerte auf den neueren Prüfungen. Bei alltäglicher Arbeit liegen sie nah beieinander, bei einem stundenlangen autonomen Lauf über ein großes Repository weiß es derzeit niemand belastbar.

Für eine Reserve ist das die richtige Sorte Kompromiss. Sie muss nicht das Beste sein, was der Markt hergibt. Sie muss laufen, wenn das Erste steht.

Drei Stolpersteine

Kostenlose Modelle bezahlen sich mit Daten. Mehrere Anbieter erlauben sich in ihren Gratisphasen ausdrücklich, Anfragen und Antworten zum Training zu verwenden. Für Kundencode ist das keine Option, und die Bedingung steht selten dort, wo man sie erwartet.

Offen heißt nicht frei. Die Lizenzdatei entscheidet, nicht die Modellkarte. GLM-5.3 verlangt von großen Hostern ein Sicherheitsreview, Kimi K3 hat eine Umsatzschwelle für Anbieter, die es als Dienst weiterverkaufen. Für den eigenen Einsatz ist beides unkritisch, für ein Produkt darauf nicht unbedingt.

Europäisch klingen und europäisch verarbeiten ist zweierlei. Die offiziellen Schnittstellen der chinesischen Anbieter verarbeiten in China. Weil die Gewichte offen sind, lässt sich das lösen, indem das Modell zu den Daten kommt statt umgekehrt. Bei Gateways lohnt der Blick, welches Modell tatsächlich über welches Backend läuft. Die Antwort ist pro Modell verschieden.

Was das kostet und was es bringt

Der Aufwand war überschaubar: Werkzeug installieren, einen Anbieter anbinden, ein Modell auswählen, einmal an einer echten Aufgabe gegenprüfen. Die Skills waren schon da. Das ist ein Nachmittag.

Dagegen steht die Alternative, dieselbe Recherche unter Zeitdruck zu machen, während gerade nichts geht. Dann wird aus einer nüchternen Abwägung eine Notlösung, und Notlösungen bleiben erfahrungsgemäß lange.

Bleibt der Hinweis, den fast jede Quelle in dieser Recherche an irgendeiner Stelle macht und den wir uns selbst ins Aufgabenbuch geschrieben haben: Die aussagekräftigste Messung ist die auf der eigenen Codebasis. Zwei Wochen Vergleichsarbeit stehen gegen vierstellige Jahreskosten pro Person. Das rechnet sich schneller, als es klingt. Nur ersetzt es nicht die Frage, wer weiterarbeiten kann, wenn ein Anbieter einen schlechten Tag hat. Die Verantwortung bleibt ohnehin bei uns, unabhängig davon, welches Werkzeug gerade tippt.