Retrieval Augmented Generation, kurz RAG, bezeichnet ein Verfahren, bei dem ein Sprachmodell vor dem Antworten passende Textstellen aus einer externen Wissensquelle abruft und seine Antwort auf diese Stellen stützt. Der Begriff stammt aus einem Paper von Patrick Lewis und weiteren Autoren, eingereicht im Mai 2020 und auf der Konferenz NeurIPS 2020 angenommen. Dort wird Wissen, das in den Gewichten des Modells steckt, mit einem durchsuchbaren Index kombiniert.

Wo begegnet der Begriff Unternehmen?

Vor allem bei KI-Antworten, die Quellen nennen, und bei Chatbots, die aus eigenen Dokumenten eines Unternehmens antworten sollen. Google Cloud beschreibt dafür das verwandte Konzept Grounding: Modellausgaben werden mit überprüfbaren Informationsquellen verbunden, etwa mit Ergebnissen der Google-Suche oder mit eigenen Website-Daten und Dokumenten. Die Links zu diesen Quellen nennt Google ausdrücklich als Mittel zur Nachprüfbarkeit.

Wie funktioniert RAG?

Das Verfahren hat zwei Teile. Ein Abrufteil, der Retriever, sucht zur Frage passende Passagen. Im Originalpaper ist das ein neuronaler Retriever über einen dichten Vektorindex der Wikipedia. Danach erzeugt ein Generator, dort ein vortrainiertes Sequence-to-Sequence-Modell, die Antwort und bezieht die gefundenen Passagen ein. Die Autoren unterscheiden zwei Varianten: Entweder stützt sich die ganze Antwort auf dieselben Passagen, oder jedes erzeugte Token darf andere Passagen nutzen. Laut Paper erzeugte RAG laut Abstract spezifischere, vielfältigere und faktenbasiertere Sprache als ein Vergleichsmodell ohne Abruf. Als offene Probleme reiner Sprachmodelle nennen die Autoren, Herkunftsnachweise zu liefern und Wissen zu aktualisieren.

Abgrenzung zu ähnlichen Begriffen

Grounding: der Oberbegriff bei Google Cloud für die Verbindung von Ausgaben mit Quellen. RAG erscheint dort als Technik hinter mehreren Grounding-Optionen.
Trainingswissen: Was ein Modell beim Training gelernt hat, bleibt auf dem Stand des Trainings. Abgerufene Inhalte können sich ändern, ohne dass das Modell neu trainiert wird.
Feinjustierung: Im Paper werden die Modelle feinjustiert. Im heutigen Sprachgebrauch heißt RAG meist jede Kombination aus Abruf und Generierung, auch ohne eigenes Training. Das ist verbreitete Praxis, keine Definition aus dem Paper.

Beispiel

Ein ausgedachtes Beispiel: Jemand fragt eine KI-Suche nach einem Malerbetrieb, der Fassaden dämmt. Arbeitet das System mit Abruf, ruft es zuerst Webseiten zu dieser Frage ab und formuliert dann eine Antwort aus dem, was es gefunden hat. Steht auf der Website eines Betriebs nirgends klar, dass er Fassaden dämmt, fehlt diese Aussage im abgerufenen Material, auch wenn der Betrieb die Leistung anbietet.

Häufige Fehlinterpretation

„Mit RAG halluziniert die KI nicht mehr.“ Google schreibt, Grounding verringere Halluzinationen, also Inhalte, die nicht den Tatsachen entsprechen. Verringern heißt nicht ausschließen. Auch eine abgerufene Quelle kann falsch, veraltet oder unvollständig zusammengefasst sein. Der Quellenlink macht eine Antwort prüfbar, nicht automatisch richtig.

Praktische Konsequenz

Eine Schlussfolgerung, nicht aus den Quellen belegt: Was in einer KI-Antwort über sie steht, hängt auch davon ab, welche Inhalte das System zum Zeitpunkt der Frage findet. Eindeutige, abrufbare Aussagen zu Leistungen, Ort und Angebot sind damit Material, aus dem eine Antwort entstehen kann. Eine Garantie, genannt zu werden, folgt daraus nicht.

Weiterlesen

Wie Inhalte gebaut sein müssen, damit sie in solchen Antworten auftauchen können, zeigt In KI-Antworten zitiert werden. Was Googles KI-Antworten in der Suche für Unternehmen bedeuten, beschreibt Google AI Overviews.

Quellen

Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, arXiv 2005.11401; Google Cloud: Grounding overview, abgerufen am 06.11.2026.

Retrieval Augmented Generation (RAG)