Einfach erklärt · Frei lesbar · 4 Min. Lesezeit

RAG einfach erklärt: Wie KI mit deinen eigenen Dokumenten antwortet

RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa „Antworten mit vorherigem Nachschlagen“. Die KI sucht vor jeder Antwort in einer festgelegten Sammlung, etwa deinen PDFs oder dem Handbuch einer Firma, die passenden Stellen heraus und formuliert ihre Antwort auf dieser Grundlage. So kann sie Fragen zu Wissen beantworten, das sie im Training nie gesehen hat, ohne dass das Modell neu trainiert werden muss. Du nutzt RAG zum Beispiel in Gemini Notebook (früher NotebookLM), in ChatGPT-Projekten mit hochgeladenen Dateien und in vielen Firmen-Chatbots. Fehler verschwinden dadurch nicht ganz, deshalb lohnt der Blick in die angezeigten Quellen (Stand Oktober 2026).

Veröffentlicht am 11. Oktober 2026

Kurz gesagt

RAG (Retrieval-Augmented Generation): RAG ist ein Verfahren, bei dem eine KI vor dem Antworten in einer festgelegten Sammlung von Dokumenten nachschlägt und ihre Antwort auf die gefundenen Stellen stützt, ohne dass das Sprachmodell dafür neu trainiert wird.^1,5,6; Beispiel: Du lädst die Anleitung deines Heizungsthermostats in Gemini Notebook hoch und fragst, wie du die Nachtabsenkung einstellst. Die KI sucht die passende Seite heraus, erklärt die Schritte und zeigt dir, wo in der Anleitung das steht.; Auch genannt: Retrieval-Augmented Generation · KI mit eigenen Dokumenten · abrufgestützte Generierung · Chat mit PDF

Was RAG bedeutet

Die Abkürzung setzt sich aus drei englischen Wörtern zusammen: Retrieval (Abrufen), Augmented (angereichert) und Generation (Erzeugen). Gemeint ist: Bevor die KI antwortet, ruft sie passende Informationen aus einer externen Wissenssammlung ab und legt sie ihrer Antwort zugrunde.

OpenAI erklärt den Unterschied mit einer Prüfung. Entweder hast du den Stoff monatelang im Unterricht gelernt, oder du darfst das Lehrbuch mitbringen und nachschlagen. RAG ist das offene Lehrbuch: Das Modell muss das Wissen nicht im Kopf haben, es bekommt die richtigen Seiten im Moment der Frage vorgelegt.

Der Begriff stammt aus einem Fachartikel von Patrick Lewis und Kollegen, der im Mai 2020 erschien und auf der Konferenz NeurIPS 2020 angenommen wurde. Damals diente Wikipedia als Nachschlagewerk. Heute beschreiben Cloud-Anbieter wie AWS und Google RAG als Weg, Sprachmodelle mit firmeneigenem oder aktuellem Wissen zu verbinden.

So funktioniert es in drei Schritten

Erstens: Du stellst eine Frage, zum Beispiel „Wie lange gilt die Garantie für mein Gerät?“. Zweitens: Ein Suchprogramm durchsucht die hinterlegten Dokumente und holt die Abschnitte heraus, die am besten zur Frage passen. Drittens: Diese Abschnitte werden zusammen mit deiner Frage an das Sprachmodell gegeben, das daraus eine Antwort in ganzen Sätzen formuliert, oft mit Verweis auf die Fundstelle.

Der große Vorteil laut AWS: Das Sprachmodell selbst muss nicht neu trainiert werden. Ändert sich das Wissen, tauscht man einfach die Dokumente aus. Das ist günstiger und schneller als ein Nachtraining, das Fachleute Fine-Tuning nennen. Den Unterschied zwischen beiden Wegen erklären wir in einem eigenen Glossarbeitrag.

Wichtig zu wissen: RAG ist kein eigenes Programm, sondern ein Bauprinzip. Es steckt in vielen Diensten, ohne dass das Wort dort auftaucht.

Wo du RAG im Alltag schon nutzt

Gemini Notebook: Googles Recherchewerkzeug hieß bis Juli 2026 NotebookLM und ist laut Google dasselbe Produkt unter neuem Namen. Du lädst eigene Quellen hoch, etwa PDFs, Texte oder Links, und Gemini Notebook beantwortet Fragen anhand dieser Quellen. Steht die Antwort nicht darin, kann es die Frage laut Google nicht beantworten. Kostenlos sind 100 Notebooks mit je bis zu 50 Quellen und 50 Chatanfragen pro Tag möglich; eine Quelle darf bis zu 500.000 Wörter enthalten, und eine hochgeladene Datei darf zusätzlich höchstens 200 MB groß sein. Mit Google AI Plus sind es 100 Quellen pro Notebook, mit AI Pro 300, mit AI Ultra bis zu 600. Nutzbar ist es laut Google überall, wo die Gemini-App angeboten wird, also auch in Deutschland. Voraussetzung ist das Mindestalter für ein Google-Konto, mit eigenem Konto in Deutschland also 16 Jahre; für Konten von Schule oder Arbeit gelten eigene Regeln.

ChatGPT-Projekte: In einem Projekt kannst du PDFs, Tabellen, Dokumente oder Bilder hinterlegen, die ChatGPT für seine Antworten nutzt. Laut OpenAI sind es im kostenlosen Tarif 5 Dateien pro Projekt, mit Go und Plus 25, mit Pro, Business, Edu und Enterprise 40.

Firmen-Chatbots: Wenn der Chat auf der Website deiner Versicherung oder das Hilfe-Tool im Intranet deines Arbeitgebers aus den internen Handbüchern zitiert, steckt meist dieses Prinzip dahinter. AWS beschreibt genau das als Einsatzzweck: Sprachmodelle mit der internen Wissensbasis eines Unternehmens zu verbinden, ohne sie neu zu trainieren.

Grenzen: Was RAG nicht löst

RAG senkt das Risiko erfundener Antworten, beseitigt es aber nicht. OpenAI beschreibt zwei typische Fehlerquellen: Die Suche liefert die falschen Abschnitte oder so viel Unpassendes, dass die eigentliche Information untergeht. Oder das Modell bekommt die richtigen Abschnitte und macht trotzdem etwas Falsches daraus. Prüfe deshalb bei wichtigen Fragen die angezeigte Fundstelle. Gemini Notebook zeigt laut Google Quellenangaben an, bei sehr kurzen Quellen allerdings nur den Verweis auf das ganze Dokument.

Auch die Dokumente selbst können ein Einfallstor sein. Das Sicherheitsprojekt OWASP beschreibt den Fall, dass jemand ein Dokument in der Wissenssammlung manipuliert und darin versteckte Anweisungen an die KI unterbringt. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat 2026 eigens eine Publikation zum Basisschutz gegen solche Angriffe auf dokumentbasierte KI-Chats veröffentlicht. Mehr dazu steht in unserem Glossarbeitrag zu Prompt Injection.

Und: Alles, was du hochlädst, landet beim Anbieter. Für private Konten sagt Google, dass Inhalte aus Gemini Notebook nicht zum Training verwendet werden, außer du gibst Feedback zu einer Antwort. Vertrauliche Unterlagen anderer Menschen gehören trotzdem nicht in einen Cloud-Dienst.

Quellen

KI-gestützt erstellt und vor der Veröffentlichung redaktionell freigegeben.