Kategorie: RAG-Wissensassistent

Ein Referenzsystem macht nachvollziehbar, wie ein Wissensassistent Dokumente erschließt und Antworten mit Quellen verbindet. Für fachliche und technische Entscheider in technischen Büros oder kleinen IT- und Support-Teams beginnt damit eine eigene Frage: Was müsste geklärt sein, damit sich diese Arbeitsweise für die wiederkehrenden Fragen unseres Teams erproben lässt?

Ein Unternehmenspilot braucht einen begrenzten Auftrag: eigene freigegebene Quellen, überprüfbare Erwartungen, benannte Zuständigkeiten und eine begründete Entscheidung über die Fortführung. Ergebnisse aus einem Referenzbestand lassen sich nicht einfach auf andere Dokumente und Arbeitsabläufe übertragen.

Das RAG-Referenzsystem von KGM beschreibt die dokumentierte Arbeitsweise und ihre Grenzen an einem eigenen synthetischen Bestand. Es ist kein Nachweis für die Eignung Ihrer Unternehmensdaten. Ein Pilot untersucht diese Eignung unter eigens vereinbarten Bedingungen.

Ein fiktiver Pilotsteckbrief: Auskünfte zur Importanleitung

Der folgende ausgefüllte Steckbrief ist ein redaktionelles Lehrbeispiel. Er beschreibt einen möglichen begrenzten Auftrag, keine reale Kundensituation oder durchgeführte Erprobung. Ausgangspunkt ist ausschließlich die vollständig fiktive Arbeitsanweisung „Projektstammdaten importieren“, IMP-01, Stand 1.0. Der Link führt zum vollständigen Dokumentkasten in Teil 1. Noch zu klärende Voraussetzungen sind ausdrücklich benannt.

1. Arbeitsfragen und erhofften Nutzen festhalten

Arbeitsbereich und Nutzer: Beauftragte Mitarbeiter und Projektverantwortliche sollen die Voraussetzungen und Grenzen der Importanleitung besser nachvollziehen können. Der erhoffte Nutzen ist, zusammengehörige Bedingungen mit ihren Belegstellen verständlich zur Hand zu haben. Ob die Unterstützung im Arbeitsalltag brauchbar wäre, soll erst die Bewertung zeigen; eine Zeitersparnis wird nicht vorausgesetzt.

Für diesen Pilotfall werden sechs Arbeitsfragen aufgenommen:

• Welche Prüfungen muss ich vor dem Import erledigen? Die Antwort soll die Bedingungen zur Datei, zum Prüflauf und zur Freigabe zusammenführen.
• Darf ich importieren, wenn der Prüflauf keine Fehler meldet? Die zusätzlichen Freigabebedingungen müssen erhalten bleiben.
• Muss ich nach einer Dateikorrektur erneut prüfen? Der erforderliche neue Prüflauf darf nicht mit einer Freigabe verwechselt werden.
• Wie groß darf die Datei maximal sein? Die fehlende Angabe muss offenbleiben.
• Existiert Projekt P-104 bereits im Zielsystem? Die Anleitung belegt keinen aktuellen Projektbestand; P-104 ist nur eine erfundene Kennung in der Frage.
• Kann der Wissensassistent den Import jetzt starten? Die Antwort muss die Grenze zwischen Erläuterung und Ausführung erklären.

2. Dokumentstand und Quellenverantwortung klären

Startbestand: Nur die oben verlinkte Anleitung in Stand 1.0 gehört zum Beispiel. Weitere Anleitungen wären erst nach Auswahl, Prüfung und Freigabe zusätzliche Pilotquellen. Es wird kein bereits vorhandener ergänzender Bestand angenommen.

Vor dem Start zu benennen: Eine fachlich zuständige Person bestätigt, dass die Quelle für den vorgesehenen Arbeitsbereich gültig ist und zulässig verwendet werden darf. Im realen Vorhaben gehören dazu die konkrete Dokumentversion und die vorgesehene Nutzung. Unklare oder widersprüchliche Stände müssen vor ihrer Aufnahme geklärt werden.

Diese Quellenverantwortung im Pilot ist eine eigene Aufgabe. Der in der Anleitung genannte Projektverantwortliche hat dagegen die operative Importfreigabe zu erteilen. Aus dieser Rolle folgt nicht automatisch die Zuständigkeit für Auswahl und Freigabe der Pilotquellen.

3. Zulässige Auskünfte und Nicht-Ziele abgrenzen

Vorgesehene Unterstützung: Der Assistent erläutert die Anleitung und ordnet seine Aussagen den passenden Abschnitten zu. Zur Vorbereitung gehören nach §§2–4 die vorhandenen, je Zeile ausgefüllten Spalten Projekt-ID, Projektname und Projektverantwortlicher, eindeutige Projekt-IDs innerhalb der Datei sowie die Bedingungen für Prüflauf und Freigabe. Die vollständigen Erwartungen je Frage werden vorab festgehalten.

Ausgeschlossen: Der Pilot führt weder Prüf- noch Importläufe aus und erteilt keine automatische Freigabe. Er liefert keine unbelegte Auskunft über aktuelle Zielsystembestände. Angaben zu maximaler Dateigröße, Dauer oder einem konkreten Freigabestatus dürfen nicht erfunden werden; die Anleitung enthält sie nicht.

Das begrenzt auch spätere Erweiterungen: Eine aktuelle Bestandsauskunft würde eine geeignete aktuelle Fachsystemquelle und einen zulässigen Zugangsweg benötigen. Eine gezielte Datenabfrage kann dafür geeigneter sein als die Suche in Anleitungstexten. Eine solche Anbindung gehört nicht zu diesem Beispielumfang.

4. Technische Voraussetzungen vor dem Start vereinbaren

Noch zu prüfen und festzulegen: Welche Personen dürfen den Pilot nutzen, auf welche Quellen dürfen sie zugreifen und wo werden Dokumente, Suchdaten, Fragen und Antworten verarbeitet beziehungsweise gespeichert? Die tatsächlich vorgesehenen Datenwege müssen zur erlaubten Nutzung passen. Das gilt auch für beteiligte externe Dienste, falls solche vorgesehen werden.

Eine lokale Installation allein belegt weder passende Zugriffsrechte noch Datenschutzkonformität. Der Steckbrief setzt keine implementierte Benutzerverwaltung oder Verbindung zur Fachanwendung voraus. Zuständige Fach- und IT-Verantwortliche müssen vor Beginn klären, welche Umgebung und Zugriffsbegrenzung für diesen Umfang geeignet sind. Ohne geklärte Voraussetzungen lässt sich der Pilot noch nicht starten.

5. Bewertung und Entscheidungsmaßstab vorher bestimmen

Bewertungsauftrag: Eine vorab benannte fachlich prüfende Person beurteilt die Antworten zu den sechs Fragen anhand erwarteter Aussagen, Belegstellen und zulässiger Grenzen. Die Auskunft soll zur Frage passen, von den Quellen getragen sein und notwendige Bedingungen erhalten. Wo die Grundlage fehlt, soll die Antwort dies begründet erklären. Auch unnötige Nichtantworten auf belegbar beantwortbare Fragen sind Mängel.

Die Fälle und Entscheidungskriterien werden vor der Erprobung vereinbart. Kritische Fehlantworten, etwa eine unberechtigte Importerlaubnis, werden einzeln ausgewiesen. Sie dürfen nicht in einer zusammengefassten Bewertung untergehen. Eine allgemeine Prozentgrenze oder Mindestzahl von Testfragen ergibt sich aus diesem Beispiel nicht.

Teil 5 zur Bewertung eines Wissensassistenten erläutert, wie Sollpunkte, gefundene Quellen, tatsächlich bereitgestellter Kontext und beobachtete Antworten vergleichbar festgehalten werden. Hier dienen sie als vereinbarter Maßstab für die Pilotentscheidung; noch liegt kein Prüfungsergebnis vor.

6. Übergabe, Pflege und Betrieb zuordnen

Zu vereinbarende Übergabeinhalte: Dokumentstände, erlaubter Aufgaben- und Nutzerumfang, verwendeter Systemstand, Auswertung, bekannte Grenzen und offene Mängel. Dazu gehört, wer Aktualisierungen der Quellen verantwortet, wer die technische Umgebung betreut und wer über eine weitere Nutzung entscheidet. Diese Zuständigkeiten müssen für den konkreten Pilot benannt werden.

Ändern sich relevante Quellen oder Systembestandteile, muss der betroffene Umfang erneut geprüft werden. Eine frühere Bewertung gilt nicht automatisch für den neuen Stand. Weiterer Betrieb, zusätzliche Quellen oder weitere Nutzer benötigen eine eigene Vereinbarung mit passenden Verantwortlichkeiten und Prüfungen. Ebenso kann die Auswertung begründen, das Vorhaben zu beenden oder gezielt nachzubessern.

So könnte die Unterstützung aussehen

Die folgenden Antworten sind redaktionell formulierte Muster, keine Modellausgaben oder bestandenen Pilotprüfungen.

Eine belegbare Regel erklären

Frage: „Darf ich importieren, wenn der Prüflauf keine Fehler meldet?“

Musterantwort: „Nein, Fehlerfreiheit allein reicht nicht. Nach IMP-01, Stand 1.0, §§3–4 müssen alle Warnungen geprüft sein. Verbleibende Warnungen muss der Projektverantwortliche mit dokumentierter Begründung akzeptieren. Zusätzlich muss er den Import ausdrücklich freigeben. Ob diese Voraussetzungen für Ihren konkreten Import erfüllt sind, lässt sich aus der Anleitung nicht feststellen.“

Hier wird eine allgemeine Regel erläutert. Die Antwort ersetzt weder die operative Entscheidung noch eine Prüfung des tatsächlichen Vorgangs.

Eine Grenze begründet offenlassen

Frage: „Existiert Projekt P-104 bereits im Zielsystem?“

Musterantwort: „Das kann ich anhand von IMP-01, Stand 1.0, nicht feststellen. Abschnitt 2 verlangt eindeutige IDs innerhalb der Importdatei; Abschnitt 5 enthält ausdrücklich keine aktuellen Projektbestände. Dafür wäre eine aktuelle Auskunft aus dem Zielsystem mit zulässigem Zugriff erforderlich.“

Die Antwort erfindet weder ein Ja noch ein Nein. Sie benennt die fehlende Grundlage, ohne einen bestehenden Systemzugriff oder eine schon ausgeführte Abfrage zu behaupten.

Drei mögliche Entscheidungen über den Pilot

Die folgenden Situationen sind ebenfalls angenommen. Sie zeigen, wie ein nächster Schritt begründet werden könnte:

• Noch nicht starten: Es ist ungeklärt, ob die ausgewählte Anleitung gültig ist und für diesen Zweck genutzt werden darf. Zuerst klärt die zuständige Person Dokumentstand und Quellenfreigabe; die technische Erprobung wartet.
• Gezielt nachbessern: Eine beobachtete Antwort erwähnt die Warnungsprüfung, lässt aber die ausdrückliche Freigabe durch den Projektverantwortlichen aus. Der Mangel wird dokumentiert. Anhand von Such-, Kontext- und Antwortnachweisen wird untersucht, wo die Bedingung verloren geht; anschließend wird die Korrektur im betroffenen Umfang geprüft.
• Über einen begrenzten weiteren Umfang entscheiden: Die Auswertung belegt das Verhalten für die vereinbarten Fälle ausreichend, kritische Mängel sind geklärt und verbleibende Grenzen dokumentiert. Auf dieser Grundlage können die Verantwortlichen einen konkret abgegrenzten Ausbau prüfen und gesondert vereinbaren. Weitere Dokumente oder Nutzer sind dadurch noch nicht eingeschlossen.

Eine bestandene Pilotbewertung ist keine automatische Produktionsfreigabe. Jede Entscheidung muss zum tatsächlich geprüften Umfang und zu den vereinbarten Betriebsbedingungen passen.

Einen eigenen Pilotfall vorbereiten

Die sechs Kernbeiträge dieser Serie führen von vorhandenen Dokumenten über ihre Erschließung und prüfbare Quellen zu Grenzen, Bewertung und Pilotentscheidung. Für den nächsten praktischen Schritt genügt ein konkret vorbereiteter Fall: Benennen Sie eine wiederkehrende Frage aus Ihrem Team, einen dafür zulässig nutzbaren Dokumentausschnitt und eine fachlich zuständige Person. Halten Sie auch fest, welche Auskunft oder Handlung ausdrücklich außerhalb bleiben soll.

Der bestehende KI-Wissenscheck dient dazu, die fachliche und technische Eignung zu klären und einen möglichen Pilotumfang einzugrenzen. Den Leistungsumfang und die Voraussetzungen beschreibt KGM Knowledge RAG. Ein Pilot wird anschließend gesondert vereinbart.

Weitere fachliche Einordnungen zu Software und Wissensarbeit finden Sie im Wissen-Bereich.

Ein Wissensassistent beantwortet eine Frage verständlich und nennt eine passende Quelle. Das ist ein guter Anlass, genauer hinzusehen. Für die Entscheidung, ob er die wiederkehrenden Arbeitsfragen eines Teams brauchbar beantwortet, reicht diese Einzelantwort noch nicht. Fach- und Projektverantwortliche in technischen Büros oder kleinen IT- und Support-Teams brauchen einen Maßstab, der auch ausgelassene Bedingungen und unbeantwortbare Fragen sichtbar macht.

Der Ausgangspunkt sind vorab festgelegte Fragen, erwartete Aussagen, Belegstellen und Grenzen. Damit lässt sich jede Antwort begründet einordnen. Außerdem bleibt unterscheidbar, ob eine benötigte Stelle gefunden, tatsächlich bereitgestellt und in der Antwort angemessen berücksichtigt wurde.

1. Aufgabenbereich und Quellen abgrenzen

Beginnen Sie mit einem überschaubaren Arbeitsbereich: etwa Fragen zu einer bestimmten internen Anleitung. Halten Sie fest, wer den Assistenten nutzen soll, welche Fragen dabei auftreten und welche Quellen dafür zugelassen sind. Dokumentstand und Geltungsbereich gehören dazu. Die Auskunft über eine Regel und die Ausführung eines Arbeitsvorgangs sind verschiedene Aufgaben.

Unser Beispiel ist die vollständig fiktive Arbeitsanweisung „Projektstammdaten importieren“, IMP-01, Stand 1.0. Der Link führt zum vollständigen Dokumentkasten in Teil 1 mit den fünf Abschnitten zu Geltungsbereich, Dateivorbereitung, Prüflauf, Freigabe und dokumentierten Grenzen. Der Assistent erläutert diese Anleitung; er führt weder Prüf- noch Importläufe aus.

Alle folgenden Fragen, Musterantworten und Vergleiche sind redaktionelle Lehrbeispiele. Sie stammen aus keinem Modelllauf und sind weder bestandene Tests noch echte Kundenergebnisse. Die sechs Fragen veranschaulichen ein Vorgehen; sie bilden keinen universell repräsentativen Testbestand für Unternehmen.

2. Fragen und Erwartungen vor den Antworten festlegen

Wählen Sie Fragen, die im vorgesehenen Arbeitsbereich tatsächlich relevant wären: eine Übersicht, eine Entscheidung mit mehreren Bedingungen, eine Rückfrage nach einer Änderung und Fälle ohne ausreichende Antwortgrundlage. Schreiben Sie zuerst auf, welche Aussagen nötig sind und was eine Antwort nicht behaupten darf. So wird die erste überzeugend klingende Antwort nicht unbemerkt zum Bewertungsmaßstab.

Für die fiktive Anleitung ergeben sich diese sechs Fälle:

• Welche Prüfungen muss ich vor dem Import erledigen? Nach §§2–4 müssen die Spalten Projekt-ID, Projektname und Projektverantwortlicher vorhanden und in jeder Zeile ausgefüllt sein. Innerhalb der Datei dürfen Projekt-IDs nicht doppelt vorkommen. Erforderlich sind außerdem ein fehlerfreier Prüflauf, die Prüfung aller Warnungen und die Annahme verbleibender Warnungen durch den Projektverantwortlichen mit dokumentierter Begründung. Er muss den Import ausdrücklich freigeben. Die Antwort darf nicht behaupten, diese Voraussetzungen seien für einen konkreten Vorgang bereits erfüllt.
• Darf ich importieren, wenn der Prüflauf keine Fehler meldet? Nach §§3–4 reicht Fehlerfreiheit allein nicht. Warnungsprüfung, die begründet dokumentierte Annahme verbleibender Warnungen durch den Projektverantwortlichen und seine ausdrückliche Freigabe bleiben erforderlich.
• Muss ich nach einer Dateikorrektur erneut prüfen? §§3–4 verlangen einen erneuten Prüflauf. Daraus entsteht keine automatische Freigabe; die Freigabevoraussetzungen gelten weiterhin.
• Wie groß darf die Datei maximal sein? §5 nennt keine Obergrenze. Die Antwort darf weder eine Zahl noch „unbegrenzt“ ergänzen. Benötigt wird eine zuständige ergänzende technische Quelle.
• Existiert Projekt P-104 bereits im Zielsystem? Weder die Anleitung noch die Prüfung auf doppelte IDs innerhalb der Datei belegt den aktuellen Zielsystembestand (§§2 und 5). Dafür wäre eine aktuelle, zulässige Fachsystemauskunft nötig. P-104 ist hier nur eine erfundene Kennung; ein Ja oder Nein wäre unbelegt.
• Kann der Wissensassistent den Import jetzt starten? Nach §1 erläutert er die Anleitung und führt weder Prüf- noch Importläufe aus. Die Antwort soll diese Aufgabengrenze erklären, ohne einen tatsächlich versuchten Start vorzutäuschen.

Bewertet werden die für die jeweilige Frage nötigen Inhalte, nicht die wortgleiche Wiedergabe einer Musterantwort. Eine knappe Antwort kann vollständig sein. Eine lange Antwort kann die entscheidende Bedingung auslassen. Ebenso wenig genügt ein pauschales „Das kann ich nicht beantworten“, wenn die zugelassenen Quellen eine belastbare Auskunft ermöglichen.

Drei Antworten auf dieselbe Freigabefrage

Betrachten wir die Frage: „Darf ich importieren, wenn der Prüflauf keine Fehler meldet?“ Die folgenden Formulierungen zeigen, weshalb eine bloße Einteilung in plausibel oder unplausibel zu grob wäre.

Irreführende Musterantwort: „Ja, dann können Sie importieren.“ Aus einer notwendigen Bedingung wird hier eine ausreichende Erlaubnis. Die weiteren Pflichten aus §4 fehlen. Auch eine vorhandene Quellenangabe würde diesen Fehlschluss nicht beheben.

Richtige Richtung, aber unvollständig: „Nein, Sie müssen auch die Warnungen prüfen.“ Diese Antwort erkennt eine weitere Voraussetzung. Sie lässt jedoch offen, wer verbleibende Warnungen akzeptieren muss, dass die Begründung dokumentiert werden muss und dass zusätzlich eine ausdrückliche Freigabe erforderlich ist.

Für diese Frage fachlich passende Musterantwort: „Nein. Nach IMP-01, Stand 1.0, §§3–4 müssen alle Warnungen geprüft sein. Verbleibende Warnungen muss der Projektverantwortliche mit dokumentierter Begründung akzeptieren. Zusätzlich benötigt der Import seine ausdrückliche Freigabe. Ob diese für Ihren konkreten Import vorliegt, lässt sich aus der Anleitung nicht feststellen.“

Die dritte Antwort erhält die erforderlichen Bedingungen und grenzt die allgemeine Regel vom konkreten Freigabestatus ab. Der fehlerfreie Prüflauf ist bereits in der Frage vorausgesetzt. Deshalb passt diese Antwort zur gestellten Frage; sie ist keine vollständige Checkliste zur Vorbereitung jedes Imports. Die Dateianforderungen aus §2 gehören etwa zur weiter gefassten ersten Frage.

Auch eine begründete Nichtantwort kann passen

Zur Frage nach der maximalen Dateigröße wäre folgende Formulierung angemessen:

Musterantwort bei fehlender Angabe: „IMP-01 nennt keine maximale Dateigröße. Eine zulässige Obergrenze kann ich daraus nicht bestimmen. Dafür benötige ich eine ergänzende technische Angabe zur eingesetzten Fachanwendung.“

Diese Antwort ist für die Quellenlage passend: Die vollständig vorliegende Anleitung enthält den gesuchten Wert nicht und benennt diese Grenze in §5. Die Antwort erfindet keinen Wert und beschreibt, welche Grundlage fehlt. Eine geeignete Ersatzquelle ist damit noch nicht gefunden oder geprüft. Wie sich fehlende Angaben und ungeeignete Quellen unterscheiden, erläutert Teil 4 zu den Grenzen belegbarer Auskunft.

3. Suche, übergebenen Kontext und Antwort getrennt prüfen

Bei RAG sucht das System passende Textstellen und stellt ausgewählte Inhalte einem Sprachmodell für die Antwort bereit. Diese übergebenen Inhalte heißen hier Kontext. Suchtreffer und tatsächlich übergebener Kontext müssen nicht identisch sein: Auswahl oder Kürzung können dazwischenliegen.

Prüfen Sie deshalb drei Dinge nebeneinander: Welche benötigten Stellen wurden gefunden? Welche davon erhielt das Antwortmodell tatsächlich? Was macht die Antwort daraus? Teil 3 zur Prüfung von Antworten mit Quellen erklärt den Vergleich zwischen Aussage und Beleg. Für ein Bewertungsverfahren kommen die Nachweise aus Suche und Übergabe hinzu.

Die Microsoft-Dokumentation zur getrennten Bewertung von RAG-Suche und Antworten unterscheidet Suche, Bindung an den bereitgestellten Kontext, Relevanz für die Frage und Vollständigkeit gegenüber erwarteten Inhalten. Das sind verschiedene Prüfgrundlagen: Eine Antwort kann dem übergebenen Kontext entsprechen und dennoch eine fachlich erwartete Bedingung vermissen, die dort fehlt. Für unser Vorgehen nutzen wir diese Unterscheidung; dafür ist kein bestimmter Dienst erforderlich.

Zur irreführenden Importerlaubnis lassen sich drei bewusst angenommene Situationen unterscheiden:

• §4 ist im zugelassenen, aufbereiteten Bestand enthalten, fehlt aber in den gefundenen Stellen. Dann ist der Suchweg zu untersuchen. Der Antworttext allein hätte diese Zuordnung nicht erlaubt.
• §4 wurde gefunden, fehlt jedoch im tatsächlich übergebenen Kontext. Dann sind Auswahl, Kürzung oder Übergabe zu untersuchen. Der Mangel lässt sich nicht automatisch der Suche zuschreiben.
• §§3–4 wurden vollständig übergeben, die Antwort lässt die Freigabebedingungen trotzdem aus. Dann liegt der Mangel im Antwortschritt. Damit ist noch kein bestimmter Modell- oder Promptdefekt als Ursache bewiesen.

Ohne Such- und Kontextnachweise bleibt die Ursache offen. Unser erfundener Fehlerfall belegt nur einen fachlichen Antwortmangel. Auch bei unvollständigem Kontext wäre eine erfundene Importerlaubnis falsch: Eine Informationslücke und eine unbegründete Antwort können gemeinsam auftreten.

4. Mehrere Fälle unter nachvollziehbaren Bedingungen vergleichen

Eine Bewertung soll zeigen, ob das beobachtete Verhalten über mehrere relevante Fragen trägt. Verwenden Sie auch sinnvolle sprachliche Varianten, etwa „Reicht ein Prüflauf ohne Fehler für die Importfreigabe?“ für die bereits betrachtete Freigabefrage. Die erwarteten Bedingungen bleiben dabei gleich. Ändert eine Variante dagegen die fachliche Frage, müssen auch ihre Sollpunkte neu bestimmt werden.

Wiederholungen helfen, Schwankungen zu erkennen. Dafür gibt es hier weder eine erfundene Mindestanzahl noch eine allgemeine Erfolgsquote oder Freigabeschwelle. Halten Sie stattdessen die gewählten Fälle, Varianten und Wiederholungen nachvollziehbar fest, einschließlich abweichender Antworten.

Jedem beobachteten Fall müssen Dokumentbestand und Dokumentstand, Frage, Sollpunkte und Belegstellen, System- und Konfigurationsstand, gefundene Stellen, tatsächlich übergebener Kontext, Antwort und Bewertungsmaßstab zugeordnet werden können. Eine Zusammenfassung des Kontexts reicht nicht, wenn gerade eine ausgelassene Bedingung untersucht werden soll.

Wenn Sie zwei Stände vergleichen, benennen Sie die gezielte Änderung und die übrigen Bedingungen. Angenommen, nur die Kontextauswahl wird verändert: Dann lässt sich prüfen, ob §4 nun übergeben und in der Antwort berücksichtigt wird. Wechseln gleichzeitig Modelle, Quellen und Suchparameter, erlaubt eine bessere Antwort keine sichere Zuschreibung an eine einzelne Änderung.

5. Ergebnisse fachlich einordnen und begrenzt entscheiden

Automatische Prüfungen können bei Formaten, vorhandenen Quellenkennungen und der Bewertung unterstützen. Eine vorhandene Kennung beweist jedoch nicht, dass die Fundstelle die Aussage trägt. Eine fachlich zuständige Person muss Inhalte, fehlende Bedingungen und unbelegte Schlussfolgerungen beurteilen und die Abnahme begründen.

Halten Sie kritische Mängel einzeln sichtbar. Eine unberechtigte Importfreigabe darf nicht hinter einem guten Durchschnittswert anderer Antworten verschwinden. Ebenso gehören wiederkehrende unbegründete Nichtantworten auf beantwortbare Fragen in die Auswertung. Beides beeinflusst, ob die Unterstützung für den vorgesehenen Arbeitsbereich brauchbar ist.

Das Ergebnis kann eine begrenzte Freigabe, eine gezielte Nachbesserung mit anschließender Prüfung oder die Entscheidung gegen den vorgesehenen Einsatz sein. Die Begründung muss zu den geprüften Fragen, Quellen und Systemständen passen. Daraus folgt keine allgemeine Betriebs-, Sicherheits- oder Unternehmensreife. Dokumentierte KGM-Arbeitsweise und ihre Grenzen sind beim RAG-Referenzsystem eingeordnet; das fiktive Beispiel liefert keinen zusätzlichen Qualitätsnachweis dieses Systems.

Einen eigenen Bewertungsfall vorbereiten

Wählen Sie eine wiederkehrende Frage aus Ihrem Team und bereiten Sie sie gemeinsam mit einer fachlich zuständigen Person vor. Nutzen Sie dafür diese kleine Arbeitsvorlage. Die Erwartungen entstehen vor der Prüfung; Beobachtung und Urteil ergänzen Sie danach:

1. Frage: Welche konkrete Auskunft wird für welchen Arbeitszweck benötigt?
2. Erwartete Aussagen: Welche Inhalte und Bedingungen muss eine brauchbare Antwort erhalten?
3. Belegstellen und Stand: Welche zugelassenen Quellen tragen diese Aussagen, und welcher Stand gilt?
4. Unzulässige Schlussfolgerungen: Welche Werte, Zustände oder Erlaubnisse dürfen aus diesen Quellen nicht abgeleitet werden?
5. Beobachtete Antwort und bereitgestellter Kontext: Was wurde tatsächlich ausgegeben und vollständig übergeben? Ordnen Sie Suchnachweise und Systemstand zu.
6. Bewertung mit Begründung und offenen Punkten: Was passt, was fehlt, welche Folge hat der Mangel und was muss vor einer Entscheidung noch geklärt werden?

Mit diesem ersten Fall entsteht eine konkrete Grundlage für weitere Fragen und einen abgegrenzten Prüfbedarf. Für die Eignung und den Leistungsumfang eines solchen Vorhabens beschreibt KGM Knowledge RAG die Voraussetzungen. Weitere fachliche Einordnungen finden Sie im Wissen-Bereich.

Teil 6 „Vom Referenzsystem zum Unternehmenspilot“ verbindet diese Bewertung mit der Abgrenzung eines Piloten für eigene Quellen.

„Wie groß darf die Datei maximal sein?“ Wer Projektstammdaten importieren möchte, braucht dafür eine belastbare Angabe. Unsere fiktive Anleitung IMP-01 nennt jedoch keine maximale Dateigröße. Eine flüssig formulierte Antwort mit einer plausiblen Zahl würde diese Lücke verdecken. Auch „unbegrenzt“ lässt sich daraus nicht ableiten.

Mit „nicht wissen können“ sind hier die Grenzen belegbarer Auskunft gemeint. Ein Sprachmodell kann allgemeines Wissen außerhalb der bereitgestellten Dokumente besitzen. Das ersetzt aber keinen Nachweis für eine bestimmte Unternehmensregel. Bei Retrieval-Augmented Generation, kurz RAG, werden Quellenstellen gesucht und einem Sprachmodell für die Antwort bereitgestellt. Welche Auskunft sich darauf stützen lässt, hängt von verfügbaren, geeigneten und berechtigt zugänglichen Quellen ab.

Als Beispiel dient IMP-01, Stand 1.0, die vollständig erfundene Arbeitsanweisung „Projektstammdaten importieren“. Den vollständigen Text finden Sie im Dokumentkasten in Teil 1. Die Anleitung ist kein KGM-Handbuch oder tatsächlich eingelesener Korpus. Die folgenden Einordnungen entstehen durch Lektüre ihres Textes, nicht durch einen ausgeführten Modelltest.

Für Fach- und Projektverantwortliche in technischen Büros sowie kleinen IT- und Support-Teams ist die Unterscheidung praktisch: Je nachdem, warum eine Antwortgrundlage fehlt, braucht es eine ergänzende Quelle, eine bessere Suche oder eine fachliche Klärung.

Eine fehlende Größenangabe bleibt offen

Zur maximalen Dateigröße steht in der vollständigen Anleitung kein Wert; Abschnitt 5 benennt diese Grenze ausdrücklich. Aus den Anforderungen an Pflichtspalten oder eindeutige Projekt-IDs folgt ebenfalls keine Größenbegrenzung.

Damit lässt sich für diese geprüfte Anleitung feststellen: Sie beantwortet die Frage nach der maximalen Dateigröße nicht. Der nächste Schritt wäre, mit der fachlich zuständigen Person die maßgebliche ergänzende Quelle zu bestimmen, etwa eine für die eingesetzte Fachanwendung geltende technische Dokumentation. Ob diese eine passende Angabe enthält, müsste anschließend geprüft werden.

Anders liegt der Fall, wenn ein Assistent nur einzelne Suchtreffer gesehen hat. Eine fehlende Angabe im ausgewählten Kontext beweist nicht, dass sie im gesamten Dokumentbestand fehlt. „Nicht gefunden“ bedeutet nicht „nicht vorhanden“. Die Aussage über IMP-01 ist hier möglich, weil der vollständige, begrenzte Dokumenttext vorliegt.

Eine Anleitung kennt keinen aktuellen Projektbestand

Eine zweite Frage lautet: „Existiert Projekt P-104 bereits im Zielsystem?“ P-104 ist ausschließlich eine erfundene Kennung in dieser Frage. Sie belegt kein vorhandenes Projekt.

Abschnitt 2 von IMP-01 fordert eindeutige Projekt-IDs innerhalb der Datei. Eine Datei ohne doppelte IDs kann trotzdem eine Kennung enthalten, die bereits im Zielsystem vorkommt. Die Dateiprüfung und die Bestandsauskunft betreffen verschiedene Dinge. Weder aus dieser Regel noch aus der Anleitung insgesamt lässt sich für P-104 ein Ja oder Nein ableiten.

Benötigt würde eine geeignete aktuelle Quelle aus dem Fachsystem mit zulässigem Zugriff. Bei eindeutig abfragbaren Datensätzen kann eine gezielte Datenbank- oder Schnittstellenabfrage geeigneter sein als die Suche in Anleitungstexten. Ein RAG-System kann grundsätzlich um solche Zugänge ergänzt werden; im fiktiven Beispiel gibt es diese Anbindung nicht. Daraus entsteht auch keine Zusage einer fertigen KGM-Standardintegration.

Die Aufgabengrenze bleibt ebenfalls bestehen: Nach Abschnitt 1 erläutert der Assistent die Anleitung. Er führt weder Prüf- noch Importläufe aus. Eine Frage beantworten zu können und eine Handlung ausführen zu dürfen sind getrennte Voraussetzungen.

Fünf Ursachen verlangen unterschiedliche nächste Schritte

Die folgenden Musterantworten sind redaktionell formuliert. Sie sind keine tatsächlich erzeugten oder geprüften Ausgaben eines KGM-RAG-Systems.

Die Angabe fehlt in der geprüften Quelle

Im Beispiel ist die fehlende Größenangabe ausdrücklich in Abschnitt 5 dokumentiert. Eine bloß erfolglose Suche würde diese Feststellung über die Anleitung nicht erlauben.

Musterantwort: „IMP-01, Stand 1.0, nennt laut Abschnitt 5 keine maximale Dateigröße. Eine zulässige Obergrenze kann ich daraus nicht bestimmen. Dafür ist eine ergänzende technische Angabe zur eingesetzten Fachanwendung erforderlich.“

Dokumentstand oder Geltungsbereich passen nicht

Ein Dokument kann eine klare Regel enthalten, die für einen anderen Anwendungsfall oder einen früheren Stand gilt. Angenommen, die Zuordnung zum benötigten Anwendungsfall ist unklar: Dann muss zunächst der Bedarf geklärt und anschließend die passende Quelle geprüft werden. Bei widersprüchlichen Angaben reicht es nicht, die bequemere auszuwählen.

Musterantwort: „Ob die vorliegende Anleitung für Ihren Anwendungsfall gilt, ist anhand der verfügbaren Angaben nicht eindeutig. Für welche Anwendung und welchen Versionsstand benötigen Sie die Auskunft? Anschließend muss die dazu passende Anleitung geprüft werden.“

Eine Stelle wurde nicht gefunden oder nicht bereitgestellt

Angenommen, die bereitgestellten Auszüge reichen für die gesuchte Angabe nicht aus. Dann sind Suchweg und Kontextauswahl zu prüfen: War der richtige Bestand berücksichtigt, und wurde die benötigte Passage dem Antwortmodell tatsächlich bereitgestellt?

Musterantwort: „Die mir bereitgestellten Textstellen enthalten keinen Beleg für die gesuchte Angabe. Daraus lässt sich nicht schließen, dass sie im gesamten Dokumentbestand fehlt. Vor einer belastbaren Antwort müssen weitere passende Quellenstellen geprüft werden.“

Der berechtigte Zugriff fehlt

Diese Musterantwort setzt eine tatsächlich bekannte Zugriffsbeschränkung auf eine bereits bekannte benötigte Quelle voraus. Aus fehlenden Treffern lässt sich weder auf fehlende Rechte noch auf die Existenz verborgener Dokumente schließen. Eine Zugriffsbeschränkung ist kein Anlass, sie zu umgehen.

Musterantwort: „Die benötigte Quelle ist über den vorgesehenen Zugriff derzeit nicht verfügbar. Deshalb kann ich ihren Inhalt nicht für die Antwort prüfen. Bitte lassen Sie den zulässigen Zugangsweg durch die zuständige Stelle klären.“

Der aktuelle Zustand eines Vorgangs wird gebraucht

Die fiktive Bestandsfrage zu Projekt P-104 betrifft einen aktuellen Zustand. Ebenso wenig belegt eine allgemeine Freigaberegel, dass ein bestimmter Import bereits freigegeben ist.

Musterantwort: „Ob Projekt P-104 bereits im Zielsystem existiert, kann ich anhand von IMP-01 nicht feststellen. Die Anleitung beschreibt die Prüfung innerhalb der Importdatei, enthält aber keine aktuellen Projektbestände. Dafür ist eine aktuelle Auskunft aus dem Zielsystem erforderlich.“

Rückfragen, Teilantworten und bewusst offene Aussagen

Aus diesen Unterschieden lässt sich ableiten, wie ein Assistent mit einer unzureichenden Grundlage umgehen sollte. Das ist gewünschtes Verhalten, keine Garantie, dass ein System jede Lücke zuverlässig erkennt.

Rückfrage: Ist unklar, welcher Vorgang, Dokumentstand oder Anwendungsfall gemeint ist, sollte die Zuordnung zuerst geklärt werden. Eine Auskunft des Nutzers kann dabei helfen; sie wird dadurch nicht automatisch zum geprüften Beleg für die gesuchte Regel.

Teilantwort: Eine zusammengesetzte Beispielfrage im fiktiven Szenario lautet: „Welche Vorgaben gelten für Projekt-IDs in der Datei, und existiert P-104 bereits im Zielsystem?“

Musterantwort: „Die Spalte Projekt-ID muss vorhanden und in jeder Zeile ausgefüllt sein; innerhalb der Datei dürfen IDs nicht doppelt vorkommen. Das verlangt IMP-01, Abschnitt 2. Ob P-104 bereits im Zielsystem existiert, bleibt ohne aktuelle Bestandsauskunft offen.“

Enthaltung bei der entscheidenden Aussage: Fehlt die Grundlage für den gefragten Wert oder Zustand, sollte keine konkrete Antwort erfunden werden. Die maximale Dateigröße bleibt unbestimmt; zur Bestandsfrage bleibt die Ja-/Nein-Aussage aus. Hilfreich ist dann der Hinweis auf die benötigte Quelle und Zuständigkeit.

Auch eine vorsichtig formulierte Antwort braucht fachliche Prüfung. Wie sich Fundstelle, konkrete Aussage und vollständige Voraussetzungen vergleichen lassen, erläutert Teil 3 zur Prüfung von Antworten mit Quellen. Hier kommt die vorgelagerte Frage hinzu: Reicht die verfügbare Grundlage überhaupt für die gewünschte Auskunft?

Dokumente können auch manipulative Anweisungen enthalten

Auch eine gefundene und zugängliche Quelle kann problematische Inhalte enthalten. Dazu gehören Anweisungen in externen Texten, die das Modell beeinflussen sollen. Solche indirekten Manipulationen beschreibt OWASP unter LLM01:2025 Prompt Injection. RAG allein beseitigt dieses Risiko nicht.

Ein Dokumentinhalt darf durch seine Aufnahme in die Suche nicht zur vertrauenswürdigen Systemanweisung werden. Fachliche Regeln, die erläutert werden sollen, sind von Anweisungen an das Modell zu unterscheiden. Dieser Hinweis beschreibt ein allgemeines Risiko, keine beobachtete Schwachstelle oder nachgewiesene Schutzfunktion eines KGM-Systems.

Die dokumentierte KGM-Arbeitsweise und ihre ausdrücklich benannten Grenzen finden Sie beim RAG-Referenzsystem. Unser fiktiver Importfall liefert dafür keinen zusätzlichen Qualitätsnachweis.

Für die eigene Arbeitsfrage die Grundlage bestimmen

Wählen Sie eine wiederkehrende Frage aus Ihrem Team. Halten Sie dazu vier Punkte fest:

1. Welche konkrete Information brauchen Sie für die nächste fachliche Entscheidung?
2. Welche geeignete Quelle kann diese Information belegen, und ist ihr Zugriff für den vorgesehenen Zweck zulässig?
3. Welcher Dokumentstand oder Zeitpunkt ist dafür maßgeblich?
4. Wer ist fachlich zuständig, die Quelle und verbleibende Lücken zu klären?

Damit wird aus einer unsicheren Antwort ein konkreter nächster Arbeitsschritt. Manchmal ist das eine ergänzende Dokumentation, manchmal die Prüfung der Suche und manchmal eine aktuelle Fachsystemauskunft. Weitere Einordnungen zu Software und Wissensarbeit bietet der Wissen-Bereich.

Teil 5 „Wie sich die Qualität eines Wissensassistenten bewerten lässt“ greift auf, wie sich solche Fragen und Grenzen systematisch beurteilen lassen.

Wenn Sie für Ihre Arbeitsfrage einen begrenzten Wissensassistenten erwägen, sehen Sie sich die Voraussetzungen und Leistungsgrenzen von KGM Knowledge RAG an.

Eine Wissensantwort klingt schlüssig und nennt sogar einen Abschnitt der internen Anleitung. Reicht das, um nach ihr zu handeln? Für technische Büros, Projektverantwortliche und kleine IT- oder Support-Teams ist diese Frage entscheidend: Wer eine Antwort fachlich verwendet, muss prüfen können, worauf ihre Aussagen beruhen und welche Bedingungen dabei gelten.

Eine Quellenangabe macht eine Antwort überprüfbar. Sie beweist noch nicht, dass die Fundstelle die konkrete Aussage trägt oder dass die Antwort alle nötigen Voraussetzungen berücksichtigt. Diese drei Prüfungen lassen sich an einer einzigen Arbeitsfrage auseinanderhalten.

Eine Importfrage und ein erfundener Fehlerfall

Als Beispiel dient IMP-01, Stand 1.0, die vollständig fiktive interne Anleitung „Projektstammdaten importieren“. Sie beschreibt Vorbereitung und Freigabe eines Imports in einer erfundenen Fachanwendung. Sie ist kein KGM-Handbuch, kein Kundenfall, kein tatsächlich eingelesener Korpus und kein allgemeingültiges Importverfahren. Ein Wissensassistent erläutert hier nur die Anleitung; er bedient die Fachanwendung nicht.

Die Leserfrage F2 lautet: „Darf ich importieren, wenn der Prüflauf keine Fehler meldet?“ Dazu betrachten wir den redaktionell erfundenen Fehlerfall D1:

Erfundener Fehlerfall – inhaltlich unvollständig und irreführend, keine Ausgabe eines ausgeführten Modells:

„Wenn der Prüflauf keine Fehler meldet, können Sie importieren.“

Nehmen wir an, neben dieser Antwort stünde der Verweis „IMP-01, Stand 1.0, §3“. Der Verweis wäre im Beispiel auffindbar. Trotzdem wäre die Antwort irreführend. Um zu verstehen, warum, müssen wir Quelle, Aussage und Voraussetzungen getrennt prüfen.

1. Existiert die Quelle und ist die Fundstelle auffindbar?

Zuerst öffnen wir das bezeichnete Dokument und suchen den angegebenen Abschnitt. IMP-01 enthält im Stand 1.0 tatsächlich §3 – Prüflauf auswerten. Dort steht: „Bei mindestens einem Fehler darf nicht importiert werden.“ Nach einer Korrektur verlangt der Abschnitt einen erneuten Prüflauf; außerdem verweist er ausdrücklich auf die folgenden Freigabevoraussetzungen.

Damit ist die erste Frage beantwortet: Die Fundstelle existiert im fiktiven Dokument und ist auffindbar. Eine Dokumentkennung ohne zugänglichen Inhalt würde diese Prüfung noch nicht ermöglichen. Ebenso wenig genügt es, nur den Titel einer Anleitung zu kennen.

Dokumentkennung, Stand und Geltungsbereich helfen bei der Zuordnung: IMP-01 benennt das Dokument, 1.0 den hier verwendeten Stand und §3 den Abschnitt. Es gibt in diesem Beispiel nur diesen einen Dokumentstand. Nach §1 behandelt die Anleitung Vorbereitung und Freigabe des Imports; der Assistent darf ihre Regeln erläutern, aber weder Prüf- noch Importläufe ausführen.

Diese Orientierung verhindert noch keinen inhaltlichen Fehlschluss. Als Nächstes müssen wir den Satz der Antwort mit dem tatsächlichen Wortlaut vergleichen.

2. Trägt die Fundstelle die konkrete Aussage?

§3 verbietet den Import, sobald ein Fehler vorliegt. D1 macht daraus eine pauschale Erlaubnis bei Fehlerfreiheit. Diese Umkehrung ist nicht gerechtfertigt: Eine notwendige Bedingung ist noch keine hinreichende Freigabe. Dass eine Sperre nicht greift, bedeutet nicht, dass alle übrigen Voraussetzungen erfüllt sind.

Prüfen Sie deshalb nicht nur, ob Antwort und Fundstelle dasselbe Thema behandeln. Vergleichen Sie die konkrete Aussage: Beschreibt die Quelle ein Verbot, eine Voraussetzung, eine Möglichkeit oder eine bereits erteilte Erlaubnis? Bleiben Einschränkungen erhalten? Bei D1 verändert die Antwort die Bedeutung der angeführten Stelle. §3 trägt die behauptete Importerlaubnis nicht.

Ein korrekter Link auf §3 würde daran nichts ändern. Er erleichtert das Nachlesen, bestätigt aber nicht den Schluss, den die Antwort daraus zieht.

3. Sind alle nötigen Voraussetzungen berücksichtigt?

Nun folgen wir dem Verweis aus §3 auf §4 – Freigabe. Dieser Abschnitt verlangt für die Importfrage zusammen:

• einen fehlerfreien Prüflauf,
• die Prüfung aller Warnungen,
• die Annahme verbleibender Warnungen durch den Projektverantwortlichen mit dokumentierter Begründung,
• die ausdrückliche Freigabe durch den Projektverantwortlichen.

D1 nennt nur die Fehlerfreiheit. Die Warnungsprüfung, die begründete und dokumentierte Annahme verbleibender Warnungen sowie die ausdrückliche Freigabe fehlen. „Warnungen beachten“ wäre als Zusammenfassung zu ungenau: Wer verbleibende Warnungen akzeptieren muss und dass dafür eine dokumentierte Begründung nötig ist, gehört zur Regel.

Die Grafik zeigt zwei verschiedene Mängel derselben Antwort: Die angeführte Stelle trägt die pauschale Erlaubnis nicht; zusätzlich fehlen die Voraussetzungen aus §4. Die kurzen Grafiktexte ersetzen nicht die vollständigen Pflichten im Artikel. Ein weiterer Quellenverweis allein würde die Antwort ebenfalls nicht vervollständigen, solange die Bedingungen in ihrer Aussage fehlen.

Redaktionelle Einordnung zu F2

Aus der Anleitung hergeleitete Einordnung, keine gemessene oder korrigierte Modellausgabe: Nein, Fehlerfreiheit allein genügt nicht. Nach IMP-01, Stand 1.0, §§3–4 sind ein fehlerfreier Prüflauf und die Prüfung aller Warnungen erforderlich. Verbleibende Warnungen muss der Projektverantwortliche mit dokumentierter Begründung akzeptieren. Zusätzlich muss er den Import ausdrücklich freigeben.

Damit sind die dokumentierten Voraussetzungen benannt. Ob sie für einen bestimmten Import schon erfüllt sind, lässt sich daraus nicht ableiten. §5 enthält keinen aktuellen Freigabestatus eines konkreten Vorgangs. Dafür wäre eine zuständige aktuelle Quelle erforderlich; eine Anleitung über das Verfahren ersetzt diesen Nachweis nicht.

Die drei Prüfergebnisse bleiben getrennt: §3 ist auffindbar. Die pauschale Erlaubnis aus D1 wird davon nicht getragen. Für eine vollständige Einordnung der Frage werden außerdem die Voraussetzungen aus §4 benötigt. Sprachliche Sicherheit und eine passend aussehende Quellenkennung ändern diese Ergebnisse nicht.

Was die Quellenprüfung leisten kann

Ein Quellenbezug gibt Menschen einen Ansatzpunkt für die fachliche Prüfung. Sie müssen die Aussage mit der Fundstelle, ihrem Zusammenhang und den für die Frage erforderlichen Bedingungen vergleichen. Auch eine sorgfältig zugeordnete Antwort kann Angaben offenlassen, die in den verfügbaren Quellen gar nicht stehen.

IMP-01 dokumentiert weder maximale Dateigröße oder Zeilenzahl noch Importdauer, aktuellen Projektbestand oder eine konkrete Freigabe. Solche Lücken bleiben offen. Das Beispiel belegt keine gemessene Qualität eines KGM-Systems und keine erfolgreiche automatische Quellenprüfung. Auch lokaler Betrieb garantiert keine richtigen Antworten. Die dokumentierte Arbeitsweise und die Grenzen des eigenständigen KGM-Projekts sind beim RAG-Referenzsystem eingeordnet.

Eine eigene Wissensantwort prüfen

Nehmen Sie eine Antwort zu einer wiederkehrenden Frage aus Ihrem Team. Öffnen Sie die genannte Fundstelle und halten Sie drei Ergebnisse fest:

1. Ist die Quelle im maßgeblichen Stand zugänglich und die Stelle auffindbar?
2. Welche konkrete Aussage wird von ihr getragen, und wo geht die Antwort darüber hinaus?
3. Welche Voraussetzungen oder Angaben fehlen noch, und welche zuständige Quelle benötigen Sie dafür?

Notieren Sie verbleibende Lücken ausdrücklich, bevor Sie die Antwort für einen Arbeitsvorgang verwenden. Damit entsteht eine prüfbare Grundlage für die fachliche Entscheidung. Der nächste Teil „Was ein RAG-System nicht wissen kann“ greift diese Quellengrenzen auf. Die Serienübersicht führt zu den veröffentlichten Beiträgen; Teil 2 erklärt den Datenweg von Dokumenten zur Antwort.

Für eigene Wissensfragen beschreibt KGM Knowledge RAG die Voraussetzungen und Leistungsgrenzen eines abgegrenzten Anwendungsfalls. Weitere fachliche Einordnungen finden Sie im Wissen-Bereich.

„Welche Prüfungen muss ich vor dem Import erledigen?“ Die Frage führt zurück zu IMP-01, einer vollständig fiktiven internen Anleitung für den Import von Projektstammdaten. Ihr Dokumentstand 1.0 beschreibt Dateianforderungen, Prüflauf und Freigabe in einer erfundenen Fachanwendung. Sie ist kein KGM-Handbuch, kein Kundenfall und kein tatsächlich eingelesenes Dokument eines KGM-Systems.

Die vollständige fiktive Anleitung finden Sie im aufklappbaren Dokumentkasten in Teil 1 dieser Serie.

Um diese Arbeitsfrage zu beantworten, müssen mehrere Abschnitte zusammenkommen. Ein lokaler KI-Wissensassistent kann dabei mit Retrieval-Augmented Generation, kurz RAG, arbeiten: Er sucht passende Quellenstellen und stellt eine Auswahl davon einem Sprachmodell bereit, das daraus eine Antwort formulieren soll. Suche und Antwortmodell übernehmen verschiedene Aufgaben.

Für technische Büros, Projektverantwortliche und kleine IT- oder Support-Teams lohnt sich der Blick auf diesen Datenweg. Er macht verständlich, welche Dokumente überhaupt berücksichtigt werden können, wo eine Auswahl stattfindet und weshalb auch eine flüssige Antwort noch geprüft werden muss. Die folgende Erklärung zeigt ein vereinfachtes Funktionsprinzip, keine konkrete KGM-Ist-Architektur und keinen ausgeführten Modelltest.

Zuerst den Dokumentbestand festlegen

Am Anfang steht ein bewusst ausgewählter und für die Nutzung freigegebener Dokumentbestand. Welche Anleitungen gehören dazu? Für welchen Arbeitsbereich gelten sie? Welcher Stand ist maßgeblich, und wer darf auf welche Inhalte zugreifen? Diese Entscheidungen bestimmen den verfügbaren Wissensbereich.

Für das Beispiel betrachten wir IMP-01 im Stand 1.0. Die Anleitung regelt die Vorbereitung und Freigabe eines Imports. Sie enthält jedoch weder aktuelle Projektbestände noch den Freigabestatus eines konkreten Vorgangs. Diese Unterscheidung bleibt auch dann bestehen, wenn ihre Abschnitte gut durchsuchbar sind.

Bei der Aufbereitung wird der Dokumenttext in auffindbare Abschnitte gegliedert. Dabei müssen Überschriften, Bedingungen und wichtige Zusammenhänge sinnvoll erhalten bleiben. Eine isolierte Zeile kann ihren Geltungsbereich verlieren. Zu jeder Textstelle gehört deshalb eine nachvollziehbare Quellenzuordnung, im Beispiel etwa „IMP-01, Stand 1.0, §4 – Freigabe“.

Suchrepräsentation, Text und Quelle haben verschiedene Aufgaben

Eine mögliche Grundlage der Suche sind Embeddings: Zahlenfolgen, mit denen ein Modell Texte für Ähnlichkeitsvergleiche darstellt. Sie dienen als Suchrepräsentation. Inhaltlich verwandte Formulierungen können dadurch auch dann als Kandidaten gefunden werden, wenn sie nicht dieselben Wörter verwenden. Das Grundprinzip solcher Ähnlichkeitsvergleiche erläutert die Forschungsarbeit Sentence-BERT.

Drei Dinge sind auseinanderzuhalten: Der Suchindex organisiert die Suche über diese Repräsentationen. Die Textpassagen enthalten die tatsächlich lesbaren Regeln. Die Quellenzuordnung macht kenntlich, aus welchem Dokumentstand und Abschnitt sie stammen. Ein Ähnlichkeitswert ersetzt weder den Wortlaut noch einen fachlichen Beleg.

Diese Vorbereitung erfolgt bei der Aufnahme des Bestands und bei einer geeigneten Aktualisierung geänderter Dokumente. Für jede neue Frage werden nicht sämtliche Dokumente erneut aufbereitet. Die Fragebeantwortung greift auf den vorbereiteten Suchbestand zu.

Die Grafik trennt die Aufbereitung des Bestands von der Bearbeitung einer einzelnen Frage. Die Quellenkennung am Kontext illustriert die für unser Beispiel benötigten Abschnitte. Sie stellt weder einen gemessenen Treffer noch eine bereits geprüfte Antwort dar.

Von der Arbeitsfrage zur Auswahl passender Stellen

Nun kommt die Frage: „Welche Prüfungen muss ich vor dem Import erledigen?“ Bei einer Suche mit Embeddings wird auch die Frage in eine zur Dokumentseite passende Suchrepräsentation überführt. Damit lassen sich Kandidaten im vorbereiteten Bestand finden und für die weitere Verarbeitung auswählen.

Ähnlichkeit allein sagt jedoch nicht, ob die Auswahl fachlich vollständig ist. Eine Stelle zum Prüflauf kann zur Frage passen, obwohl zusätzlich Anforderungen an die Datei und die Freigabe benötigt werden. Fehlt einer dieser Bereiche, kann die Grundlage für eine vollständige Antwort zu schmal sein.

Für unsere Illustration leiten wir die erforderliche Auswahl deshalb direkt aus IMP-01 ab. Die folgenden Stellen müssten gemeinsam verfügbar sein; diese Auswahl ist redaktionell hergeleitet und kein Nachweis, dass ein System sie tatsächlich oder bei jeder Frage abruft:

• §2 – Datei vorbereiten: Die Spalten Projekt-ID, Projektname und Projektverantwortlicher müssen vorhanden sein; jede Zeile muss alle drei Angaben enthalten. Projekt-IDs dürfen innerhalb der Datei nicht doppelt vorkommen. Das sagt noch nichts darüber aus, ob eine ID bereits im Zielsystem existiert.
• §3 – Prüflauf auswerten: Vor jedem Import ist ein Prüflauf in der Fachanwendung erforderlich. Er übernimmt keine Daten. Sein Protokoll unterscheidet Fehler und Warnungen; bei einem Fehler darf nicht importiert werden. Nach einer Dateikorrektur ist ein neuer Prüflauf nötig.
• §4 – Freigabe: Erforderlich sind ein fehlerfreier Prüflauf und die Prüfung aller Warnungen. Verbleibende Warnungen muss der Projektverantwortliche mit dokumentierter Begründung akzeptieren. Außerdem muss er den Import ausdrücklich freigeben. Fehlerfreiheit allein genügt nicht.

Damit wird sichtbar, was die Suche liefern müsste, bevor eine Antwort alle Bedingungen zusammenführen kann. Keine dieser Regeln besagt, dass sie für einen konkreten Import bereits erfüllt oder dessen Freigabe erteilt ist.

Ausgewählter Quellenkontext als Grundlage der Antwort

Die ausgewählten Textstellen bilden zusammen mit ihren Quellenbezügen den Quellenkontext. Gemeint ist die begrenzte Zusammenstellung von Auszügen, die dem Antwortmodell für diese Frage bereitgestellt wird. Der Kontext ist weder der gesamte Dokumentbestand noch lediglich eine Liste von Dateinamen.

Das Antwortmodell erhält die Frage und diesen Kontext. Seine Aufgabe ist, eine darauf gestützte verständliche Antwort zu formulieren; die Suche hat zuvor die passenden Stellen ausgewählt. Die Verbindung von Abruf und Antworterzeugung beschreibt die ursprüngliche RAG-Forschungsarbeit. Unser Beispiel legt dabei keine bestimmte Modell- oder Suchimplementierung fest.

Für die Importfrage müsste eine tragfähige Antwort die Dateianforderungen aus §2, den Prüflauf samt Wiederholung nach Korrekturen aus §3 und sämtliche Warnungs- und Freigabebedingungen aus §4 erhalten. Die Zuordnung zu IMP-01, Stand 1.0, ermöglicht das Nachlesen. Eine Antwort kann dennoch eine Bedingung auslassen oder den Sinn einer Stelle verändern. Hier wird deshalb keine künstliche Modellantwort als erfolgreicher Lauf vorgeführt.

Nicht vorhandene Angaben werden durch die Formulierung nicht zu Wissen: Maximale Dateigröße, Zeilenzahl, Laufzeit, aktueller Projektbestand und konkrete Freigabe stehen nicht in IMP-01. Dafür wären andere zuständige Quellen oder aktuelle Fachsystemdaten erforderlich. Nach §1 erläutert der Assistent die Anleitung; er bedient die Fachanwendung nicht und führt weder Prüf- noch Importläufe aus.

Was lokale Verarbeitung bedeutet

„Lokal“ beschreibt eine Entscheidung über Datenweg und Betrieb: Wo werden Dokumente aufbereitet, wo liegen Suchbestand und Textstellen, und wo wird die Antwort erzeugt? Für einen konkreten Einsatz muss geklärt sein, welche Komponenten innerhalb der vorgesehenen Umgebung arbeiten und welche Daten sie verarbeiten dürfen.

Der Begriff allein gewährleistet weder richtige Antworten noch vollständige Belege, geeignete Zugriffsrechte oder Datenschutz- und Sicherheitskonformität. Auch ein lokal betriebenes System benötigt einen passenden Quellenbestand und eine fachliche Prüfung seiner Antworten. Die dokumentierte KGM-Arbeitsweise mit ihren eigenen Grenzen ist beim RAG-Referenzsystem eingeordnet; sie ist vom fiktiven IMP-01-Beispiel zu unterscheiden.

Die eigene Arbeitsfrage durch den Datenweg verfolgen

Wählen Sie eine wiederkehrende Frage aus Ihrem Team. Notieren Sie den zulässigen Dokumentbestand, die benötigten Abschnitte mit ihrem Stand und alle Angaben, die dort fehlen. Prüfen Sie anschließend, welche Bedingungen eine Antwort unbedingt erhalten müsste und welche Auskunft eine aktuelle Fachsystemquelle benötigt. So entsteht eine konkrete Grundlage, um Dokumentpflege, Suche und Antwortunterstützung zu beurteilen.

Der nächste Teil „Antworten mit Quellen: Warum Nachvollziehbarkeit wichtiger ist als Sprachgewandtheit“ vertieft, ob eine konkrete Aussage tatsächlich von ihren Quellen getragen wird. Die Serienübersicht führt zu den jeweils veröffentlichten Beiträgen; Teil 1 ordnet das ursprüngliche Suchproblem ein.

Für einen begrenzten Anwendungsfall erläutert KGM Knowledge RAG die Voraussetzungen und Leistungsgrenzen. Weitere fachliche Einordnungen finden Sie im Wissen-Bereich.

Stellen Sie sich vor: Sie sollen eine Liste von Projekten aus einer CSV-Datei in Ihre Fachanwendung übernehmen. Bevor Sie starten, möchten Sie klären: „Welche Prüfungen muss ich vor dem Import erledigen?“ Dafür gibt es eine interne Arbeitsanweisung. Sie öffnen das Dokument und finden Abschnitte zur Vorbereitung der Datei, zum Prüflauf und zur Freigabe. Die Informationen sind vorhanden – die Antwort auf Ihre konkrete Frage müssen Sie daraus erst zusammensetzen.

Für diese Artikelserie machen wir eine solche Anleitung sichtbar: „Projektstammdaten importieren“, Dokumentkennung IMP-01, Stand 1.0. Sie und die beschriebene Fachanwendung sind vollständig erfunden. Das Beispiel zeigt, wie eine Arbeitsfrage mehrere Stellen einer Dokumentation verbindet; es beschreibt keinen Kundenfall und keinen durchgeführten KI-Test.

Für technische Büros, Projektverantwortliche und kleine IT- oder Support-Teams ist diese Unterscheidung hilfreich: Fehlt Wissen tatsächlich, oder ist seine Verbindung zur aktuellen Arbeitsfrage schwer erkennbar? Davon hängt ab, ob eine bessere Gliederung, ein Querverweis, eine geeignete Suche oder zusätzliche Unterstützung sinnvoll ist.

An dieser Anleitung lässt sich nachvollziehen, welche Stellen für unsere Importfrage zusammengehören.

Eine Arbeitsfrage braucht drei Abschnitte

Die folgenden Anforderungen sind ein Abgleich mit ihrem Text, keine Antwort aus einem getesteten KI-System und keine Meldung über einen tatsächlich vorbereiteten Import.

Datei vorbereiten: Pflichtangaben und eindeutige IDs

Abschnitt 2 von IMP-01 verlangt die Spalten Projekt-ID, Projektname und Projektverantwortlicher. Jede Zeile muss alle drei Angaben enthalten. Außerdem dürfen Projekt-IDs innerhalb der Datei nicht doppelt vorkommen.

Damit sind sowohl die vorhandenen Spalten als auch die ausgefüllten Werte zu prüfen. Die Eindeutigkeit bezieht sich ausdrücklich auf die Datei. Ob eine Projekt-ID im Zielsystem bereits existiert, lässt sich daraus nicht ableiten; dafür wären aktuelle Informationen aus dem Fachsystem nötig.

Prüflauf auswerten: Fehler verhindern den Import

Abschnitt 3 verlangt vor jedem Import einen Prüflauf in der Fachanwendung. Dieser übernimmt keine Daten. Sein Protokoll unterscheidet Fehler und Warnungen. Bei mindestens einem Fehler darf nicht importiert werden; nach einer Korrektur ist ein erneuter Prüflauf erforderlich.

Wer nur diesen Abschnitt betrachtet, kennt damit eine wichtige Sperrbedingung. Aus einem fehlerfreien Prüflauf folgt jedoch noch keine Freigabe. Abschnitt 3 verweist deshalb zusätzlich auf die Voraussetzungen im folgenden Abschnitt.

Freigabe: Warnungen prüfen und Verantwortung klären

Nach Abschnitt 4 muss der Projektverantwortliche den Import ausdrücklich freigeben. Voraussetzung sind ein fehlerfreier Prüflauf und die Prüfung aller Warnungen. Verbleibende Warnungen müssen durch den Projektverantwortlichen mit dokumentierter Begründung akzeptiert sein.

Für die Ausgangsfrage gehören somit alle Bedingungen zusammen: Pflichtspalten und ausgefüllte Werte, eindeutige IDs innerhalb der Datei, ein Prüflauf ohne Fehler, die Prüfung sämtlicher Warnungen, die begründet dokumentierte Annahme verbleibender Warnungen durch den Projektverantwortlichen und seine ausdrückliche Freigabe. Keine dieser Anforderungen sagt aus, dass sie für einen bestimmten Import bereits erfüllt ist.

Die Grafik ordnet die zusammengehörigen Quellenbereiche zu. Ihre kurzen Beschriftungen ersetzen nicht die vollständigen Regeln im Text. Die Verbindungen zeigen weder einen ausgeführten Suchlauf noch eine zwingende zeitliche Kette.

Arbeitsbegriffe und Dokumentüberschriften unterscheiden sich

„Vor dem Import“ beschreibt eine Situation. „Datei vorbereiten“, „Prüflauf auswerten“ und „Freigabe“ benennen dagegen Teilaufgaben der Dokumentation. Wer mit der Arbeitsfrage beginnt, muss diese Begriffe und die zugehörigen Abschnitte erst zusammenbringen.

Eine Volltextsuche kann beim Auffinden bekannter Begriffe helfen. Eine klare Gliederung und Querverweise erleichtern es, von einer gefundenen Stelle zu den weiteren Bedingungen zu gelangen. IMP-01 zeigt das bereits durch den Verweis von Abschnitt 3 auf die Freigabevoraussetzungen. Gute Dokumentation und Suche sind deshalb wertvolle Hilfen.

Ein passender Einzeltreffer beantwortet aber nicht automatisch die gesamte Frage. Die Stelle zum Prüflauf wäre für sich genommen zu eng: Sie enthält weder sämtliche Dateianforderungen noch die vollständige Regel zur Annahme verbleibender Warnungen. Dieser Befund folgt hier aus dem sichtbaren Vergleich der Abschnitte, nicht aus beobachteten Suchtreffern oder einem gemessenen Zeitverlust.

Struktur, Zuständigkeit und Aktualität gehören zur Antwort

Struktur macht sichtbar, wo eine Regel gilt und welche Ergänzungen dazugehören. Aussagekräftige Überschriften, eindeutige Dokumentkennungen und Verweise helfen, den Zusammenhang beim Lesen zu erhalten. Eine knappe Zusammenfassung ist nur dann nützlich, wenn sie notwendige Bedingungen mitnimmt.

Zuständigkeit beantwortet eine andere Frage: Wer darf entscheiden? In IMP-01 benennt Abschnitt 4 den Projektverantwortlichen. Ein Mitarbeiter, der den Prüflauf auswertet, erhält dadurch nicht automatisch die Befugnis zur Freigabe. Auch ein Assistent kann die dokumentierte Verantwortung nicht übernehmen.

Aktualität betrifft sowohl die verwendete Regel als auch den Zustand des konkreten Vorgangs. Die Kennung IMP-01 und der fiktive Stand 1.0 machen die Quelle dieses Beispiels eindeutig. Abschnitt 5 nennt jedoch keinen aktuellen Freigabestatus. Eine Anleitung beschreibt Voraussetzungen; ob sie heute für einen bestimmten Vorgang erfüllt sind, benötigt einen eigenen Nachweis. Ein Suchwerkzeug kann eine solche fehlende Angabe nicht aus dem Regeltext gewinnen.

Wo ein Wissensassistent unterstützen kann

Ein Ansatz für solche Fragen ist Retrieval-Augmented Generation, kurz RAG: Für eine Frage werden passende Quellenstellen gesucht und einer darauf gestützten Antworterzeugung bereitgestellt. Das kann dabei unterstützen, verstreute Bedingungen im Zusammenhang zu erläutern und ihre Herkunft zum Nachlesen anzugeben.

Ob diese Unterstützung im konkreten Fall geeignet ist, muss geprüft werden. Auch ein RAG-System kann eine wichtige Stelle übersehen oder eine Bedingung in der Antwort auslassen. Fehlende Regeln, ungeklärte Zuständigkeiten und veraltete Quellen werden durch eine flüssige Formulierung nicht behoben. Bei einem überschaubaren Dokument kann bereits ein guter Querverweis das Suchproblem lösen.

Im fiktiven Beispiel bleibt der Assistent auf Auskunft begrenzt. Er bedient die Fachanwendung nicht und führt weder Prüf- noch Importläufe aus. Die IMP-01-Betrachtung belegt außerdem keine Antwortqualität eines KGM-Systems. Wer die dokumentierte KGM-Arbeitsweise und ihre Grenzen vertiefen möchte, findet sie beim RAG-Referenzsystem.

Die eigene Frage gegen die Quellen prüfen

Wählen Sie eine wiederkehrende Frage aus Ihrem Team und markieren Sie alle Dokumentstellen, die für eine vollständige Antwort benötigt werden. Halten Sie fest, welche Bedingungen leicht übersehen werden, wer entscheidet und welche aktuellen Angaben außerhalb der Anleitung liegen. So wird erkennbar, ob Ihr nächster Schritt die Dokumentpflege, eine bessere Suche oder die Prüfung eines begrenzten Wissensassistenten ist.

Das Folgethema „Wie ein lokaler KI-Wissensassistent arbeitet“ erklärt den Weg von Dokumentstellen zur Antwort. Die Beiträge erscheinen schrittweise; die Serienübersicht dient als Einstieg zu den jeweils veröffentlichten Teilen.

Prüfen Sie für Ihre eigene Frage die Voraussetzungen und Leistungsgrenzen von KGM Knowledge RAG. Weitere fachliche Einordnungen bietet der Wissen-Bereich.