Was ein RAG-System nicht wissen kann

„Wie groß darf die Datei maximal sein?“ Wer Projektstammdaten importieren möchte, braucht dafür eine belastbare Angabe. Unsere fiktive Anleitung IMP-01 nennt jedoch keine maximale Dateigröße. Eine flüssig formulierte Antwort mit einer plausiblen Zahl würde diese Lücke verdecken. Auch „unbegrenzt“ lässt sich daraus nicht ableiten.

Mit „nicht wissen können“ sind hier die Grenzen belegbarer Auskunft gemeint. Ein Sprachmodell kann allgemeines Wissen außerhalb der bereitgestellten Dokumente besitzen. Das ersetzt aber keinen Nachweis für eine bestimmte Unternehmensregel. Bei Retrieval-Augmented Generation, kurz RAG, werden Quellenstellen gesucht und einem Sprachmodell für die Antwort bereitgestellt. Welche Auskunft sich darauf stützen lässt, hängt von verfügbaren, geeigneten und berechtigt zugänglichen Quellen ab.

Als Beispiel dient IMP-01, Stand 1.0, die vollständig erfundene Arbeitsanweisung „Projektstammdaten importieren“. Den vollständigen Text finden Sie im Dokumentkasten in Teil 1. Die Anleitung ist kein KGM-Handbuch oder tatsächlich eingelesener Korpus. Die folgenden Einordnungen entstehen durch Lektüre ihres Textes, nicht durch einen ausgeführten Modelltest.

Für Fach- und Projektverantwortliche in technischen Büros sowie kleinen IT- und Support-Teams ist die Unterscheidung praktisch: Je nachdem, warum eine Antwortgrundlage fehlt, braucht es eine ergänzende Quelle, eine bessere Suche oder eine fachliche Klärung.

Eine fehlende Größenangabe bleibt offen

Zur maximalen Dateigröße steht in der vollständigen Anleitung kein Wert; Abschnitt 5 benennt diese Grenze ausdrücklich. Aus den Anforderungen an Pflichtspalten oder eindeutige Projekt-IDs folgt ebenfalls keine Größenbegrenzung.

Damit lässt sich für diese geprüfte Anleitung feststellen: Sie beantwortet die Frage nach der maximalen Dateigröße nicht. Der nächste Schritt wäre, mit der fachlich zuständigen Person die maßgebliche ergänzende Quelle zu bestimmen, etwa eine für die eingesetzte Fachanwendung geltende technische Dokumentation. Ob diese eine passende Angabe enthält, müsste anschließend geprüft werden.

Anders liegt der Fall, wenn ein Assistent nur einzelne Suchtreffer gesehen hat. Eine fehlende Angabe im ausgewählten Kontext beweist nicht, dass sie im gesamten Dokumentbestand fehlt. „Nicht gefunden“ bedeutet nicht „nicht vorhanden“. Die Aussage über IMP-01 ist hier möglich, weil der vollständige, begrenzte Dokumenttext vorliegt.

Eine Anleitung kennt keinen aktuellen Projektbestand

Eine zweite Frage lautet: „Existiert Projekt P-104 bereits im Zielsystem?“ P-104 ist ausschließlich eine erfundene Kennung in dieser Frage. Sie belegt kein vorhandenes Projekt.

Abschnitt 2 von IMP-01 fordert eindeutige Projekt-IDs innerhalb der Datei. Eine Datei ohne doppelte IDs kann trotzdem eine Kennung enthalten, die bereits im Zielsystem vorkommt. Die Dateiprüfung und die Bestandsauskunft betreffen verschiedene Dinge. Weder aus dieser Regel noch aus der Anleitung insgesamt lässt sich für P-104 ein Ja oder Nein ableiten.

Benötigt würde eine geeignete aktuelle Quelle aus dem Fachsystem mit zulässigem Zugriff. Bei eindeutig abfragbaren Datensätzen kann eine gezielte Datenbank- oder Schnittstellenabfrage geeigneter sein als die Suche in Anleitungstexten. Ein RAG-System kann grundsätzlich um solche Zugänge ergänzt werden; im fiktiven Beispiel gibt es diese Anbindung nicht. Daraus entsteht auch keine Zusage einer fertigen KGM-Standardintegration.

Die Aufgabengrenze bleibt ebenfalls bestehen: Nach Abschnitt 1 erläutert der Assistent die Anleitung. Er führt weder Prüf- noch Importläufe aus. Eine Frage beantworten zu können und eine Handlung ausführen zu dürfen sind getrennte Voraussetzungen.

Fünf Ursachen verlangen unterschiedliche nächste Schritte

Die folgenden Musterantworten sind redaktionell formuliert. Sie sind keine tatsächlich erzeugten oder geprüften Ausgaben eines KGM-RAG-Systems.

Die Angabe fehlt in der geprüften Quelle

Im Beispiel ist die fehlende Größenangabe ausdrücklich in Abschnitt 5 dokumentiert. Eine bloß erfolglose Suche würde diese Feststellung über die Anleitung nicht erlauben.

Musterantwort: „IMP-01, Stand 1.0, nennt laut Abschnitt 5 keine maximale Dateigröße. Eine zulässige Obergrenze kann ich daraus nicht bestimmen. Dafür ist eine ergänzende technische Angabe zur eingesetzten Fachanwendung erforderlich.“

Dokumentstand oder Geltungsbereich passen nicht

Ein Dokument kann eine klare Regel enthalten, die für einen anderen Anwendungsfall oder einen früheren Stand gilt. Angenommen, die Zuordnung zum benötigten Anwendungsfall ist unklar: Dann muss zunächst der Bedarf geklärt und anschließend die passende Quelle geprüft werden. Bei widersprüchlichen Angaben reicht es nicht, die bequemere auszuwählen.

Musterantwort: „Ob die vorliegende Anleitung für Ihren Anwendungsfall gilt, ist anhand der verfügbaren Angaben nicht eindeutig. Für welche Anwendung und welchen Versionsstand benötigen Sie die Auskunft? Anschließend muss die dazu passende Anleitung geprüft werden.“

Eine Stelle wurde nicht gefunden oder nicht bereitgestellt

Angenommen, die bereitgestellten Auszüge reichen für die gesuchte Angabe nicht aus. Dann sind Suchweg und Kontextauswahl zu prüfen: War der richtige Bestand berücksichtigt, und wurde die benötigte Passage dem Antwortmodell tatsächlich bereitgestellt?

Musterantwort: „Die mir bereitgestellten Textstellen enthalten keinen Beleg für die gesuchte Angabe. Daraus lässt sich nicht schließen, dass sie im gesamten Dokumentbestand fehlt. Vor einer belastbaren Antwort müssen weitere passende Quellenstellen geprüft werden.“

Der berechtigte Zugriff fehlt

Diese Musterantwort setzt eine tatsächlich bekannte Zugriffsbeschränkung auf eine bereits bekannte benötigte Quelle voraus. Aus fehlenden Treffern lässt sich weder auf fehlende Rechte noch auf die Existenz verborgener Dokumente schließen. Eine Zugriffsbeschränkung ist kein Anlass, sie zu umgehen.

Musterantwort: „Die benötigte Quelle ist über den vorgesehenen Zugriff derzeit nicht verfügbar. Deshalb kann ich ihren Inhalt nicht für die Antwort prüfen. Bitte lassen Sie den zulässigen Zugangsweg durch die zuständige Stelle klären.“

Der aktuelle Zustand eines Vorgangs wird gebraucht

Die fiktive Bestandsfrage zu Projekt P-104 betrifft einen aktuellen Zustand. Ebenso wenig belegt eine allgemeine Freigaberegel, dass ein bestimmter Import bereits freigegeben ist.

Musterantwort: „Ob Projekt P-104 bereits im Zielsystem existiert, kann ich anhand von IMP-01 nicht feststellen. Die Anleitung beschreibt die Prüfung innerhalb der Importdatei, enthält aber keine aktuellen Projektbestände. Dafür ist eine aktuelle Auskunft aus dem Zielsystem erforderlich.“

Rückfragen, Teilantworten und bewusst offene Aussagen

Aus diesen Unterschieden lässt sich ableiten, wie ein Assistent mit einer unzureichenden Grundlage umgehen sollte. Das ist gewünschtes Verhalten, keine Garantie, dass ein System jede Lücke zuverlässig erkennt.

Rückfrage: Ist unklar, welcher Vorgang, Dokumentstand oder Anwendungsfall gemeint ist, sollte die Zuordnung zuerst geklärt werden. Eine Auskunft des Nutzers kann dabei helfen; sie wird dadurch nicht automatisch zum geprüften Beleg für die gesuchte Regel.

Teilantwort: Eine zusammengesetzte Beispielfrage im fiktiven Szenario lautet: „Welche Vorgaben gelten für Projekt-IDs in der Datei, und existiert P-104 bereits im Zielsystem?“

Musterantwort: „Die Spalte Projekt-ID muss vorhanden und in jeder Zeile ausgefüllt sein; innerhalb der Datei dürfen IDs nicht doppelt vorkommen. Das verlangt IMP-01, Abschnitt 2. Ob P-104 bereits im Zielsystem existiert, bleibt ohne aktuelle Bestandsauskunft offen.“

Enthaltung bei der entscheidenden Aussage: Fehlt die Grundlage für den gefragten Wert oder Zustand, sollte keine konkrete Antwort erfunden werden. Die maximale Dateigröße bleibt unbestimmt; zur Bestandsfrage bleibt die Ja-/Nein-Aussage aus. Hilfreich ist dann der Hinweis auf die benötigte Quelle und Zuständigkeit.

Auch eine vorsichtig formulierte Antwort braucht fachliche Prüfung. Wie sich Fundstelle, konkrete Aussage und vollständige Voraussetzungen vergleichen lassen, erläutert Teil 3 zur Prüfung von Antworten mit Quellen. Hier kommt die vorgelagerte Frage hinzu: Reicht die verfügbare Grundlage überhaupt für die gewünschte Auskunft?

Dokumente können auch manipulative Anweisungen enthalten

Auch eine gefundene und zugängliche Quelle kann problematische Inhalte enthalten. Dazu gehören Anweisungen in externen Texten, die das Modell beeinflussen sollen. Solche indirekten Manipulationen beschreibt OWASP unter LLM01:2025 Prompt Injection. RAG allein beseitigt dieses Risiko nicht.

Ein Dokumentinhalt darf durch seine Aufnahme in die Suche nicht zur vertrauenswürdigen Systemanweisung werden. Fachliche Regeln, die erläutert werden sollen, sind von Anweisungen an das Modell zu unterscheiden. Dieser Hinweis beschreibt ein allgemeines Risiko, keine beobachtete Schwachstelle oder nachgewiesene Schutzfunktion eines KGM-Systems.

Die dokumentierte KGM-Arbeitsweise und ihre ausdrücklich benannten Grenzen finden Sie beim RAG-Referenzsystem. Unser fiktiver Importfall liefert dafür keinen zusätzlichen Qualitätsnachweis.

Für die eigene Arbeitsfrage die Grundlage bestimmen

Wählen Sie eine wiederkehrende Frage aus Ihrem Team. Halten Sie dazu vier Punkte fest:

1. Welche konkrete Information brauchen Sie für die nächste fachliche Entscheidung?
2. Welche geeignete Quelle kann diese Information belegen, und ist ihr Zugriff für den vorgesehenen Zweck zulässig?
3. Welcher Dokumentstand oder Zeitpunkt ist dafür maßgeblich?
4. Wer ist fachlich zuständig, die Quelle und verbleibende Lücken zu klären?

Damit wird aus einer unsicheren Antwort ein konkreter nächster Arbeitsschritt. Manchmal ist das eine ergänzende Dokumentation, manchmal die Prüfung der Suche und manchmal eine aktuelle Fachsystemauskunft. Weitere Einordnungen zu Software und Wissensarbeit bietet der Wissen-Bereich.

Teil 5 „Wie sich die Qualität eines Wissensassistenten bewerten lässt“ greift auf, wie sich solche Fragen und Grenzen systematisch beurteilen lassen.

Wenn Sie für Ihre Arbeitsfrage einen begrenzten Wissensassistenten erwägen, sehen Sie sich die Voraussetzungen und Leistungsgrenzen von KGM Knowledge RAG an.