RAG steht für Retrieval Augmented Generation: Eine KI sucht vor dem Antworten in deinen Dokumenten nach passenden Stellen und schreibt ihre Antwort auf dieser Grundlage. So antwortet ein Sprachmodell wie ChatGPT oder Claude mit Firmenwissen, das es im Training nie gesehen hat, und kann die Quelle nennen. Das Verfahren stammt aus einem Forschungspapier von 2020. In einer Umfrage von Menlo Ventures unter 600 IT-Entscheidern in US-Unternehmen war RAG 2024 mit 51 Prozent die verbreitetste Bauweise, feinjustiert waren nur 9 Prozent der eingesetzten Modelle.

Was ist RAG? Eine Prüfung mit offenem Buch

RAG ist eine KI, die nachschlägt, bevor sie antwortet. Das ist die kurze Antwort, und sie stimmt. Mir fällt nur auf, dass fast jede Erklärung von RAG danach sofort bei der Technik landet: welche Datenbank, welches Modell, welcher Anbieter. Über den Ordner, aus dem die Antworten kommen sollen, liest man kaum etwas. Dabei entscheidet genau dieser Ordner, ob die Antworten taugen.

Aber der Reihe nach. Ein Sprachmodell weiß nur, was in seinen Trainingsdaten stand. Deine Reisekostenrichtlinie, das Handbuch zu eurer Software oder die Antworten aus deinem Kundenservice kennt es nicht. Fragst du trotzdem, rät es. Und es rät mit derselben Selbstsicherheit, mit der es Fakten nennt. Das finde ich bis heute die unheimlichste Eigenschaft dieser Modelle.

RAG ändert die Prüfungsbedingungen. Ohne RAG schreibt die KI die Klausur aus dem Gedächtnis. Mit RAG legt ihr jemand vorher die passenden Seiten aus deinem Ordner auf den Tisch, und sie darf nachschlagen. OpenAI nutzt in seinem Leitfaden für genauere Antworten fast dasselbe Bild: Mit RAG hat das Modell in der Prüfung das Lehrbuch dabei.

Der Name beschreibt den Ablauf. Retrieval heißt Abrufen, Augmented heißt erweitert, Generation heißt Erzeugen. Also: Text erzeugen, erweitert um abgerufenes Wissen. Geprägt haben den Begriff Forschende von Facebook AI Research (heute Meta), University College London und New York University. Der Hauptautor Patrick Lewis sagte später laut NVIDIA, sie hätten sich mehr Gedanken über den Namen gemacht, wenn sie geahnt hätten, wie verbreitet er wird. Rag heißt auf Englisch nämlich auch Lumpen. Ich mag Forschende, die das zugeben.

Wie funktioniert RAG? Fünf Schritte

Ein RAG-System arbeitet in zwei Phasen. Einmal vorab bereitet es dein Wissen auf. Bei jeder Frage sucht es darin und antwortet. Zusammen sind das fünf Schritte:

  1. Zerlegen. Die Dokumente werden in kurze Abschnitte geteilt, oft nur ein paar Absätze lang. Fachleute nennen sie Chunks.
  2. Verzeichnis anlegen. Ein eigenes Modell übersetzt jeden Abschnitt in eine lange Zahlenreihe, die seine Bedeutung abbildet, das Embedding. Die Zahlenreihen landen in einer Datenbank, oft zusammen mit einem klassischen Stichwortverzeichnis.
  3. Suchen. Deine Frage wird genauso übersetzt. Das System holt die Abschnitte, deren Bedeutung am nächsten liegt. So findet es „Dienstreise nach Paris“ auch dann, wenn im Dokument „Auslandsreise“ steht.
  4. Ergänzen. Die gefundenen Abschnitte kommen zusammen mit deiner Frage in den Prompt, dazu die Anweisung, sich auf diese Texte zu stützen.
  5. Antworten. Das Sprachmodell formuliert die Antwort und nennt im besten Fall, aus welchem Dokument sie stammt.

Klingt nach einem gelösten Problem. Warum antwortet so ein System dann trotzdem manchmal falsch?

Meine ehrliche Antwort: wegen Schritt 3. Der heikle Teil ist die Suche. Findet sie die falsche Stelle, antwortet auch das beste Modell falsch, und zwar mit Quellenangabe, was es eher schlimmer macht. Anthropic zeigt das an einem Beispiel: Ein Abschnitt lautet „Der Umsatz stieg im Vergleich zum Vorquartal um 3 Prozent.“ Welche Firma, welches Quartal? Das stand drei Absätze weiter oben, und die sind beim Zerlegen verloren gegangen. Anthropics Lösung: Jeder Abschnitt bekommt vor dem Speichern einen kurzen Satz Kontext vorangestellt.

Mit Kontext und Nachsortieren greift die Suche zwei Drittel seltener daneben

VerfahrenFehlgriffe in %
Klassisches RAG5,7
Mit Kontext3,7
Plus Stichwortsuche2,9
Plus Nachsortieren1,9
Anteil der gesuchten Stellen, die nicht unter den 20 gefundenen Abschnitten waren, gemittelt über Anthropics Testdaten aus Programmcode, Romanen und Fachartikeln. Quelle: Anthropic, Contextual Retrieval, 19. September 2024.

Nachsortieren heißt: Ein zweites Modell liest die gefundenen Abschnitte noch einmal und stellt die passendsten nach vorn. Für dich heißt das: Bei RAG entscheidet die Suche über die Qualität. Das Sprachmodell kann nur mit dem arbeiten, was man ihm hinlegt. Ich glaube, dieser eine Satz erklärt mehr Fehler als jede Diskussion darüber, welches Modell gerade vorne liegt.

Wofür nutzen Unternehmen RAG?

Überall dort, wo Menschen heute in Ordnern, Wikis und Postfächern suchen, bevor sie antworten. Typische Einsätze:

  • Kundenservice: Antworten aus Handbüchern, Produktdaten und früheren Fällen, mit Link auf die Quelle.
  • Interner Helpdesk: Fragen zu IT, Urlaub, Reisekosten oder Richtlinien, beantwortet aus den gültigen Dokumenten.
  • Vertrieb: technische Daten, Preislisten und Referenzen griffbereit, ohne drei Kollegen zu fragen.
  • Recht und Einkauf: Klauseln in vielen Verträgen finden und vergleichen.
  • Einarbeitung: Neue Leute fragen das Wissen der Abteilung, statt sich durch Ordner zu klicken.

Vieles davon steckt längst in Werkzeugen, die du kennst. Microsoft 365 Copilot antwortet laut Microsoft aus Mails, Chats und Dokumenten, auf die du Zugriff hast. In Claude schaltet sich RAG in Projekten von selbst ein, sobald das Projektwissen an die Grenze des Kontextfensters kommt. Das erweitert die Kapazität laut Hilfe-Center von Claude um bis zu das Zehnfache, in den bezahlten Tarifen.

Mein eigener Beleg heißt Hairy. Seit 2023 beantwortet dieser RAG-Chatbot für wenighair Fragen zu Haarausfall. Seine Wissensbasis sind Transkripte aus über 500 Videos und mehr als 100 Blogartikel, die ich seit 2019 geschrieben habe. Über ihn laufen mehr als 200 Anfragen im Monat.

Den größten Nutzen hatte ich ehrlich gesagt nicht erwartet. Vorher habe ich lange an Antworten gefeilt, auf Fragen, die keiner gestellt hat. Erst Hairys Anfragen haben mir gezeigt, was die Leute wirklich wissen wollen: Die richtige Glatzenrasur kam über 300 Mal in Variationen vor, das Thema meines ersten Kurses, die innere Haltung, dagegen selten. Den zweiten Kurs habe ich aus diesen Fragen entwickelt, in der halben Zeit (Produktentwicklung aus Chatbot-Fragen). Wie dieser Rückkanal läuft, beschreibe ich im Artikel über meinen KI-Chatbot als Feedback-System.

Im Unternehmen ist das vermutlich der unterschätzte Teil von RAG. Das System zeigt dir, welche Fragen deine Dokumente nicht beantworten. Wer diese Liste liest, findet die nächsten Anwendungsfälle in der echten Arbeit und muss sie nicht in einem Workshop erfinden.

Wo RAG danebengreift

RAG macht eine KI nicht klüger als die Dokumente, die du ihr gibst. Und eine Frage, die in keinem Dokument beantwortet ist, löst es auch nicht. Dann sagt ein gutes System „Dazu finde ich nichts“, ein schlechtes erfindet etwas. Vier Grenzen begegnen mir dabei immer wieder.

Schlechte Daten

Doppelte Dateien, eingescannte PDFs ohne erkannten Text, Tabellen, die beim Zerlegen auseinanderfallen: Alles landet in der Suche. Wie trügerisch Daten sein können, habe ich beim Umzug von wenighair gesehen. Der Export aus dem alten System enthielt beim meistbesuchten Artikel nur einen von mehreren Produktlinks. Auf den ersten Blick wirkte alles vollständig. Das ist das Gemeine an solchen Lücken. Darum habe ich die Live-Seite einlesen und mit dem Export abgleichen lassen.

Im Unternehmen heißt dieselbe Lehre: Bevor ein Export aus Wiki oder Laufwerk in die Wissensbasis geht, vergleicht ein Mensch Stichproben mit dem Original. Das ist langweilig. Es ist auch die billigste Qualitätssicherung, die du bei RAG bekommst.

Veraltete Dokumente

Liegen die Reisekostenrichtlinie von 2023 und die von 2026 im selben Ordner, findet die Suche womöglich die alte. Die KI antwortet dann überzeugt und falsch. Und falls bei euch neben „Reisekosten_final.docx“ noch „Reisekosten_final_NEU(2).docx“ liegt: Ihr seid in bester Gesellschaft. Für Menschen ist das ein Schmunzeln, für die Suche ein Münzwurf.

RAG kennt kein Gültig-bis, außer du gibst es ihm mit: ein Datum im Dokument, eine Regel zum Aussortieren und jemanden, der sie anwendet.

Rechte und Datenschutz

Microsoft schreibt zu Copilot, dass er nur Daten zeigt, die die jeweilige Person mindestens lesen darf, und rät, die Berechtigungen etwa in SharePoint sauber zu setzen. Die Kehrseite: Wer heute aus Versehen den Ordner mit Personalakten öffnen darf, bekommt dessen Inhalt per KI in Sekunden zusammengefasst. Vorher war so ein Fehler in den Berechtigungen gut versteckt, weil niemand den Ordner gefunden hat. Mit KI kann er in der nächsten harmlosen Antwort auftauchen. Und personenbezogene Daten bleiben auch in einer Wissensbasis personenbezogene Daten, für die die DSGVO gilt.

Halluzinationen bleiben

RAG senkt das Risiko erfundener Antworten, es beseitigt es nicht. Anbieter juristischer Recherche-Werkzeuge warben damit, RAG vermeide Halluzinationen. Eine Studie aus Stanford und Yale hat nachgeprüft: Die Werkzeuge von LexisNexis und Thomson Reuters erfanden in 17 bis 33 Prozent der Fälle etwas, seltener als GPT-4 ohne Nachschlagen, aber weit entfernt von null. Darum gehört zu jeder Antwort die Quelle, und zu wichtigen Antworten ein Mensch, der sie öffnet.

Bei Protago AI, meiner Web-App zu Berufen und KI, habe ich deshalb eine Rückfallebene eingebaut: kuratierte Berufsprofile, auf die die App zurückgreift, wenn die KI unsicher wird. Im Unternehmen wäre das die Handvoll geprüfter Antworten auf die wichtigsten Fragen, die das System nimmt, bevor es anfängt zu raten.

RAG, Fine-Tuning, langes Kontextfenster oder MCP?

Die vier Begriffe fallen oft im selben Atemzug. Sie lösen unterschiedliche Aufgaben:

AnsatzWas es machtPasst fürGrenze
RAGSucht bei jeder Frage passende Stellen und gibt sie dem Modell mitviel Wissen, das sich ändert, mit QuellenangabeQualität hängt an Suche und Daten
Fine-TuningTrainiert ein Modell mit Beispielen nachfesten Ton, festes Format, gleiches Verhaltenschlecht für Fakten, die sich ändern
Langes KontextfensterLegt alle Dokumente direkt in den Promptkleine Wissensbestände bis etwa 500 Seitenteurer und ungenauer, je mehr drinsteht
MCPOffener Standard, über den KI an Werkzeuge und Datenquellen kommtLive-Daten und Aktionen in anderen Systemenregelt den Zugang, die Antwortqualität bleibt offen

OpenAI trennt die ersten beiden sauber: RAG hilft, wenn dem Modell Wissen fehlt. Fine-Tuning hilft, wenn es zwar alles weiß, aber uneinheitlich antwortet, etwa im falschen Format. Beides lässt sich kombinieren. Im Alltag ist Fine-Tuning selten. Laut Menlo Ventures war 2025 gutes Prompten die häufigste Methode, danach kam RAG, Fine-Tuning nutzen vor allem Spezialteams.

Jetzt kommt der Absatz, der vermutlich am meisten Geld spart. Für kleine Wissensbestände brauchst du oft gar kein RAG. Anthropic rät: Ist die Wissensbasis kleiner als 200.000 Token, rund 500 Seiten, kann sie komplett in den Prompt. Aktuelle Claude-Modelle fassen sogar bis zu 1 Million Token (Anthropic, Stand November 2026). Ein Team mit einem Handbuch und zwanzig Richtlinien kommt damit oft weit, ohne eine einzige Datenbank.

Mehr ist trotzdem nicht automatisch besser. Mit wachsender Textmenge sinkt die Genauigkeit, Anthropic nennt das Context Rot. Und ohne Zwischenspeicher bezahlst du bei jeder Frage den ganzen Stapel mit. Wo genau die Grenze liegt, ab der sich RAG lohnt? Das hängt an deinen Dokumenten und deinen Fragen. Eine feste Seitenzahl dafür kenne ich nicht, und ich traue niemandem, der eine nennt.

MCP ist ein offener Standard, den Anthropic im November 2024 vorgestellt hat. Er regelt, wie eine KI-Anwendung an Werkzeuge und Datenquellen kommt, etwa an Google Drive oder eine Datenbank. RAG und MCP schließen sich nicht aus: Die Suche in deiner Wissensbasis kann selbst ein Werkzeug sein, das per MCP angebunden ist. KI-Agenten holen sich Wissen inzwischen oft genau so, in dem Moment, in dem sie es brauchen, statt alles vorab zu laden (Anthropic).

Und Memory? Das Gedächtnis von Claude oder ChatGPT merkt sich, was du in früheren Chats erzählt hast. Memory ist Wissen über dich, RAG ist Wissen aus Dokumenten. Warum ich beim Gedächtnis von Claude Memory genau hinschaue, habe ich aufgeschrieben.

Wie startest du mit RAG im Unternehmen?

Wenn ich morgen in einem Team mit RAG anfangen müsste, würde ich in dieser Reihenfolge vorgehen:

  1. Echte Fragen sammeln. Nimm die Fragen, die heute per Mail, Ticket oder Telefon kommen. Sie zeigen, welches Wissen gebraucht wird, und werden später deine Testfragen.
  2. Klein anfangen. Ein Bereich, eine gepflegte Quelle, eine Gruppe von Nutzern. Das Handbuch des Kundenservice ist ein besserer Start als das ganze Laufwerk.
  3. Erst ohne eigene Technik testen. Lade die Dokumente in ein Projekt in Claude oder ChatGPT und stell deine gesammelten Fragen. Reicht das, sparst du dir den Bau vorerst.
  4. Dokumente aufräumen. Eine gültige Fassung je Thema, klare Titel, Datum im Dokument. Am saubersten liest eine KI einfachen Text, darum gebe ich Claude meine Dateien als Markdown, das beste Dateiformat für KI.
  5. Messen. Leg für jede Testfrage die richtige Antwort und die richtige Quelle fest. Prüfe nach jeder Änderung, wie viele Antworten stimmen.
  6. Pflege regeln. Eine Person ist dafür verantwortlich, dass Neues hineinkommt und Altes herausfliegt. Ohne sie veraltet jedes RAG-System.

Schritt 3 würde man am liebsten überspringen, weil er so unspektakulär klingt. Ich würde ihn trotzdem nie weglassen. Und Schritt 6 ist der, der nach drei Monaten still verschwindet, wenn niemand ihn im Kalender hat. Ich weiß nicht, ob es dafür eine elegante Lösung gibt. Ich würde auf einen Namen und einen festen Termin setzen. Klingt altmodisch. Eine Software erinnert zwar auch, aber sie fühlt sich nicht verantwortlich.

Checkliste: Ist dein Wissen bereit für RAG?

Je mehr Punkte du abhaken kannst, desto besser stehen die Chancen auf gute Antworten:

  • Wir kennen die häufigsten Fragen und haben sie aufgeschrieben.
  • Für jedes Thema gibt es genau eine gültige Fassung.
  • Jedes Dokument hat ein Datum und eine verantwortliche Person.
  • Die Dokumente liegen als Text vor, Scans sind lesbar gemacht.
  • Die Zugriffsrechte stimmen, bevor die KI sie nutzt.
  • Personenbezogene Daten sind geprüft oder herausgenommen.
  • Es gibt Testfragen mit richtiger Antwort und Quelle.
  • Die KI zeigt zu jeder Antwort die Quelle an.
  • Jemand pflegt das Wissen auch nach dem Start.
  • Wir haben geprüft, ob die Dokumente komplett ins Kontextfenster passen.

Fast kein Punkt davon hat mit dem Modell zu tun. Das Modell ist bei RAG der einfachste Teil. RAG ist eine alte Idee mit neuer Technik: Bevor jemand antwortet, schaut er nach. Ob das bei euch trägt, hängt an aufgeräumten Dokumenten, sauberen Rechten und Menschen, die beides pflegen.

Bleibt eine Frage, die ich dir nicht beantworten kann: Welche der beiden Reisekostenrichtlinien in eurem Laufwerk gilt eigentlich? Wenn du es nicht weißt, weiß es die KI auch nicht. Sie sagt es dir nur selbstbewusster.


Studio ✺ Christos

Häufige Fragen

Was ist die RAG-Technologie?

RAG steht für Retrieval Augmented Generation. Eine KI sucht vor dem Antworten in einer festgelegten Wissensbasis nach passenden Textstellen und formuliert ihre Antwort daraus. So nutzt sie Firmenwissen, das nicht in ihren Trainingsdaten stand, und kann die Quelle nennen.

Ist ChatGPT ein RAG?

ChatGPT ist ein Chat mit einem Sprachmodell, RAG ist ein Verfahren, das solche Anwendungen nutzen können. Sucht ChatGPT im Netz oder in hochgeladenen Dateien und antwortet daraus, arbeitet es nach dem RAG-Prinzip. Ohne Suche antwortet es nur aus dem, was es im Training gelernt hat.

Wie kann man RAG aufbauen?

Am einfachsten mit fertigen Werkzeugen wie Projekten in Claude oder ChatGPT oder Microsoft 365 Copilot. Wer selbst baut, braucht Dokumente in Abschnitten, ein Embedding-Modell, eine Vektordatenbank und ein Sprachmodell. Wichtiger als die Technik sind gepflegte Dokumente und Testfragen mit richtiger Antwort.

Was ist der Unterschied zwischen RAG und Fine-Tuning?

RAG gibt dem Modell bei jeder Frage passendes Wissen aus Dokumenten mit, das Modell selbst bleibt unverändert. Fine-Tuning trainiert das Modell mit Beispielen nach, damit es Ton, Format oder Verhalten verlässlich trifft. Für Wissen, das sich ändert, ist RAG meist die bessere Wahl.

Wem gehört RAG?

Niemandem. RAG ist ein Verfahren, das Forschende von Facebook AI Research, University College London und New York University 2020 in einem Fachartikel beschrieben haben. Heute bieten es Anthropic, OpenAI, Microsoft und viele andere in ihren Produkten an.