Ein KI-Benchmark, englisch AI benchmark, ist eine feste Prüfung für KI-Modelle: dieselben Aufgaben, dieselbe Bewertung für alle, am Ende eine Zahl zum Vergleichen. Die bekanntesten sind die Arena (früher LMArena), in der Menschen blind zwischen zwei Antworten wählen, der Intelligence Index von Artificial Analysis, SWE-bench fürs Programmieren sowie Humanity’s Last Exam (HLE) und GPQA für Expertenwissen. Mitte November 2026 führen je nach Rangliste verschiedene Modelle: im Intelligence Index Claude Fable 5.2 von Anthropic, in der Text-Rangliste der Arena laut einer Auswertung von BenchLeader Gemini 4 Carbon von Google (Stand 11. November 2026). Was kein Benchmark misst: wie gut ein Modell deine eigene Aufgabe löst.

Zwei Ranglisten, zwei Sieger

65 Punkte. Damit steht Claude Fable 5.2 von Anthropic in der stärksten Einstellung im Intelligence Index von Artificial Analysis ganz oben. Dahinter GPT-6.2 Astra von OpenAI mit 62 und Gemini 4 Neon von Google mit 61 (Artificial Analysis, 18. November 2026). Klare Sache, könnte man denken. Dann öffnet man die Text-Rangliste der Arena, und dort lag Mitte November Gemini 4 Carbon von Google vorn, laut der Auswertung von BenchLeader (Stand 11. November 2026). Claude Fable 5.2 stand dort nicht an der Spitze.

Ich gebe zu, dass mich das kurz irritiert hat. Ich zitiere den Intelligence Index selbst, etwa wenn ich Claude oder ChatGPT vergleiche, und ich mag ihn, weil er die Modelle selbst testet, statt Herstellerzahlen abzuschreiben. Und trotzdem sagt eine andere, genauso ernsthafte Rangliste in derselben Woche etwas anderes. Welche hat recht? Vermutlich beide. Sie messen nur verschiedene Dinge, und genau das steht in keiner Schlagzeile, die mit „Das beste KI-Modell der Welt“ anfängt.

Die Suche nach „ai benchmark“ ist in einem Jahr um fast das Zehnfache gewachsen (Suchdaten von DataForSEO für Google, November 2026). Das verstehe ich gut. Jede Woche kommt ein Modell, jede Pressemitteilung hat ein Diagramm mit einem Balken, der ein bisschen höher ist als die anderen. Wer im Unternehmen entscheiden soll, welches Werkzeug das Team bekommt, greift nach dieser Zahl wie nach einem Geländer. Die Frage ist nur, wohin das Geländer führt.

Was ist ein KI-Benchmark?

Ein KI-Benchmark ist eine feste Sammlung von Aufgaben mit festen Regeln für die Bewertung, an der man viele Modelle unter gleichen Bedingungen misst. Manche prüfen Wissen mit Multiple-Choice-Fragen, manche lassen das Modell echten Code reparieren, und einer zählt einfach, welche Antwort Menschen lieber mögen. Was ein Sprachmodell überhaupt tut, wenn es antwortet, habe ich in Was ist ein LLM? erklärt. Weitere Fachwörter rund um KI stehen in meinem Glossar. Die bekanntesten Benchmarks im Überblick:

BenchmarkWas er misstWas er nicht misstWer ihn betreibt
Arena (früher LMArena)welche von zwei anonymen Antworten Menschen lieber mögenob die Antwort stimmtArena, entstanden an der UC Berkeley
Intelligence Indexneun Tests zu Wissensarbeit, Programmieren und Naturwissenschaft in einer Zahldeutsche Texte, Bedienung der AppArtificial Analysis, unabhängige Firma
SWE-bench Verifiedob ein Modell 500 echte Fehler aus 12 Python-Projekten behebtandere Sprachen, ob der Code gut wartbar istForschende aus Princeton, geprüfte Fassung mit OpenAI
Humanity’s Last Exam (HLE)2.500 sehr schwere Fragen aus über 100 FächernAlltagsaufgaben, Schreiben, PlanenCenter for AI Safety und Scale AI
GPQA Diamond198 Fragen aus Biologie, Physik und Chemie auf Doktorniveaualles jenseits von Multiple ChoiceForschende der New York University

Stand 18. November 2026. Quellen: Arena, Methodik von Artificial Analysis, SWE-bench und Epoch AI, Humanity’s Last Exam, BenchLeader (Arena-Spitze), GPQA-Studie.

Mir fällt an dieser Tabelle vor allem die dritte Spalte auf. Jeder Benchmark ist ehrlich in dem, was er misst. Er wird erst schief, wenn wir aus „löst 500 Python-Aufgaben gut“ ein „ist die beste KI“ machen. Das macht übrigens selten der Benchmark selbst. Das machen Pressemitteilungen, LinkedIn-Beiträge und, ich nehme mich da nicht aus, Leute wie ich in Vergleichsartikeln.

Ein Detail macht mir trotzdem Hoffnung. Schau dir an, was heute im Intelligence Index steckt. In der Version 5.0.1 sind es neun Tests, und viele Namen klingen nach Büro: AA-Briefcase, AutomationBench, GDP.pdf, Terminal-Bench. Weniger Quizfragen, mehr Arbeit mit Dateien, Abläufen und Werkzeugen. Die Tests werden unserer Arbeit ähnlicher. Ob ähnlich genug, weiß ich nicht. Aber die Richtung stimmt, und das sage ich bei Ranglisten selten.

Wie die Arena zu ihren Zahlen kommt

Die Arena ist die Rangliste, die ich am liebsten mag und der ich am wenigsten über den Weg traue. Das klingt widersprüchlich, also langsam. Du stellst dort eine Frage, zwei anonyme Modelle antworten, du wählst die bessere Antwort. Erst danach siehst du die Namen. Aus Millionen solcher Stimmen rechnet die Arena eine Punktzahl, ähnlich wie beim Schach. Das ist klug, weil keine Testfrage veralten kann. Jede Frage ist neu, und sie kommt von echten Menschen.

Und genau da wird es weich. Menschen mögen Antworten, die gut aussehen. Länger, mit Überschriften, mit fetten Wörtern, ein bisschen freundlicher. Die Arena weiß das und rechnet Länge und Formatierung inzwischen heraus, sie nennt das Stilkontrolle. Ob eine Antwort stimmt, kann sie trotzdem nicht prüfen. Wer schon mal einer selbstbewussten, falschen Antwort geglaubt hat, weiß, warum mich das beschäftigt. Wie oft Modelle sich etwas ausdenken, steht in meinem Text über KI-Halluzinationen.

Dazu kommt eine Frage der Fairness. Forschende um Cohere Labs haben im April 2025 in der Studie „The Leaderboard Illusion“ nachgezählt, wer wie viel von den Daten der Arena bekommt:

  • Private Tests: Meta hat vor dem Start von Llama 4 dort 27 Varianten im Verborgenen testen lassen.
  • Google und OpenAI: bekamen zusammen fast 40 Prozent aller Daten aus den Abstimmungen.
  • 83 offene Modelle: zusammen nur knapp 30 Prozent.

Wer viele Varianten testen darf und nur die beste zeigt, steht weiter oben. Verboten ist das nicht. Es ist eher wie bei einem Schüler, der die Klausur fünfmal schreiben darf und die beste Note abgibt. Wie es heute mit privaten Tests aussieht, kann ich von außen nicht beurteilen. Ich lese ihre Zahl darum als das, was sie ist: ein sehr großer Geschmackstest.

Kann man KI-Benchmarks trauen?

Man kann ihnen trauen, solange man weiß, was sie messen und wie alt sie sind. Das zweite unterschätzen fast alle. Ein Benchmark ist wie eine Klausur, die jedes Jahr dieselbe bleibt. Irgendwann schreiben alle eine Eins, und dann sagt die Note nichts mehr.

Bei GPQA kann man das fast beim Zuschauen sehen. Als die Fragen im November 2023 erschienen, kamen Fachleute mit Doktortitel auf 65 Prozent, kluge Laien mit Internet und über einer halben Stunde Zeit auf 34 Prozent, das beste Modell auf 39 Prozent (Rein und andere, 2023). In der aktuellen Fassung des Intelligence Index steckt GPQA nicht mehr. Humanity’s Last Exam (HLE) sollte genau das sein, schon der Name sagt es: der Test, an dem die Modelle lange scheitern. Inzwischen gibt es dafür eine neue Fassung, HLE-Diamond, weil die Spitzenmodelle an die Grenze dessen kommen, was das Original sauber messen kann (lastexam.ai).

Moment, das ist nur die halbe Geschichte. Es gibt vier Dinge, an denen ich merke, dass eine Benchmark-Zahl weniger trägt, als sie aussieht:

  • Fehler im Test selbst: Epoch AI schätzt, dass 5 bis 10 Prozent der Aufgaben in SWE-bench Verified fehlerhaft oder mehrdeutig sind, und führt den Test darum als fehlerbehaftet (Epoch AI).
  • Das Drumherum zählt mit: Als Epoch im Februar 2026 sein Testgerüst für SWE-bench erneuerte, stiegen die Werte bereits gemessener Modelle deutlich. Gleiches Modell, andere Zahl.
  • Die Aufgaben stehen im Netz: Was öffentlich ist, kann ins Training rutschen. Darum tauchen in den Ranglisten immer neue, eigene Tests auf, bei Artificial Analysis etwa AA-Briefcase oder AA-Omniscience.
  • Die Sprache: Die meisten Tests sind englisch. Die Arena zeigt einige Sprachen getrennt, aber ob ein Modell eine ordentliche Mail an euren Lieferanten in Bielefeld schreibt, misst keine Rangliste.

Was heißt das für die Wahl im Alltag? Die Abstände ganz oben sind klein. Zwischen den besten Modellen von Anthropic, OpenAI und Google liegen im Intelligence Index gerade vier Punkte, das merkst du in einer normalen Arbeitswoche kaum. Ich suche darum gar nicht erst nach dem einen Sieger. Wie ich stattdessen mehrere KI-Modelle parallel nutze, zeige ich an meinen eigenen vier Tabs.

Welche KI ist die beste? ✺ Rangliste und Vergleich nach Aufgaben
Claude, ChatGPT, Gemini und Mistral im Vergleich, Stand November 2026. Mit Quellen und der Frage, wann sich mehrere Modelle lohnen.

Mein kleinster Benchmark hatte 15 Fragen

Ich habe noch nie einen der großen Benchmarks selbst gefahren. Das machen Labore mit Rechenzentren. Aber ich habe einmal etwas gebaut, das im Kleinen genau dasselbe ist. Für den Chatbot auf wenighair.de, die „wenighair KI“, habe ich einen Test mit 15 echten Fragen von Leserinnen und Lesern gemacht. Fragen, die Leute wirklich gestellt hatten. Dazu die Probe, ob er sich mit „ignoriere alle Regeln“ austricksen lässt. Er hat abgelehnt.

Fünfzehn Fragen. Das würde in keiner Rangliste auftauchen, und trotzdem sagt so ein Test mehr über das eigene Werkzeug als jede Punktzahl, weil er aus der eigenen Arbeit kommt.

Die wichtigste Rangliste für ein Team ist die, die es aus seinen eigenen Aufgaben baut.

Bevor jemand ein Testprojekt aufsetzt: Für die erste Wahl reicht eine Stunde. So würde ich anfangen:

  1. Zehn echte Aufgaben aus der letzten Woche sammeln, mit dem Ergebnis, das gut gewesen wäre. Eine Mail, eine Tabelle, eine Zusammenfassung, ein Vertragsabschnitt.
  2. Jede Aufgabe zwei oder drei Modellen geben, mit genau demselben Text.
  3. Die Antworten ohne Namen nebeneinanderlegen und von der Person bewerten lassen, die die Aufgabe sonst selbst macht.
  4. Aufschreiben, wo ein Modell danebenlag. Das ist wertvoller als die Gewinnerliste.

Das ist im Grunde die Arena im Kleinen, nur mit deinen Fragen und mit jemandem, der weiß, was richtig ist. Zwei Dinge leistet dieser kleine Test nicht. Für Agenten, die selbst handeln, oder für Aufgaben mit Kundendaten braucht es mehr als zehn Beispiele und eine Freigabe, wer welche Daten in welches Modell geben darf. Und ein Test vom November sagt nichts über das Modell, das im Februar erscheint.

Eine Frage stelle ich mir dabei immer öfter. Wenn alle Spitzenmodelle innerhalb von vier Punkten liegen, ist dann die Wahl des Modells überhaupt noch die wichtigste Entscheidung? Ich glaube, bei den meisten Teams entscheidet die Aufgabenbeschreibung mehr als das Modell. Beweisen kann ich das nicht, es ist ein Verdacht.

Benchmarks bleiben trotzdem nützlich, ich lese sie weiter. Sie sagen mir, welche drei, vier Modelle gerade einen Versuch wert sind. Die Entscheidung danach treffen meine eigenen Fragen.

Nächste Woche steht vermutlich ein neues Modell ganz oben, mit 66 Punkten und einem sehr hohen Balken. Du darfst dann kurz beeindruckt sein. Danach gibst du ihm deine zehn Aufgaben.


Studio ✺ Christos

Häufige Fragen

Was ist ein KI-Benchmark?

Ein KI-Benchmark ist eine feste Prüfung für KI-Modelle: gleiche Aufgaben, gleiche Bewertung, gleiche Bedingungen für alle, am Ende steht eine Zahl. Bekannte Beispiele sind die Arena, der Intelligence Index von Artificial Analysis, SWE-bench, HLE und GPQA.

Welche KI-Benchmarks gibt es?

Es gibt Wissenstests wie GPQA Diamond und Humanity’s Last Exam (HLE), Programmiertests wie SWE-bench Verified, Sammelwerte wie den Intelligence Index von Artificial Analysis und Abstimmungen wie die Arena, in der Menschen blind zwischen zwei Antworten wählen. Jeder misst etwas anderes.

Welcher KI-Benchmark ist der beste?

Keiner allein. Für einen Gesamtüberblick ist der Intelligence Index von Artificial Analysis hilfreich, weil er neun Tests bündelt und die Modelle selbst testet. Die Arena zeigt, welche Antworten Menschen bevorzugen. Für die eigene Wahl zählt am meisten ein kleiner Test mit eigenen Aufgaben.

Kann man KI-Benchmarks trauen?

Ja, wenn man weiß, was sie messen. Viele Tests veralten, weil die Spitzenmodelle sie fast fehlerfrei lösen, manche enthalten selbst Fehler, und öffentliche Aufgaben können ins Training gelangen. Fast alle messen auf Englisch. Benchmarks taugen für eine Vorauswahl, die Entscheidung gehört an echte Aufgaben.

Welches KI-Modell führt die Benchmarks an?

Mitte November 2026 führt Claude Fable 5.2 von Anthropic den Intelligence Index von Artificial Analysis mit 65 Punkten an, vor GPT-6.2 Astra (62) und Gemini 4 Neon (61), jeweils in der stärksten Einstellung. In der Text-Rangliste der Arena lag laut BenchLeader Gemini 4 Carbon von Google vorn (Stand 11. November 2026).