Wie sich die Qualität eines Wissensassistenten bewerten lässt

Ein Wissensassistent beantwortet eine Frage verständlich und nennt eine passende Quelle. Das ist ein guter Anlass, genauer hinzusehen. Für die Entscheidung, ob er die wiederkehrenden Arbeitsfragen eines Teams brauchbar beantwortet, reicht diese Einzelantwort noch nicht. Fach- und Projektverantwortliche in technischen Büros oder kleinen IT- und Support-Teams brauchen einen Maßstab, der auch ausgelassene Bedingungen und unbeantwortbare Fragen sichtbar macht.

Der Ausgangspunkt sind vorab festgelegte Fragen, erwartete Aussagen, Belegstellen und Grenzen. Damit lässt sich jede Antwort begründet einordnen. Außerdem bleibt unterscheidbar, ob eine benötigte Stelle gefunden, tatsächlich bereitgestellt und in der Antwort angemessen berücksichtigt wurde.

1. Aufgabenbereich und Quellen abgrenzen

Beginnen Sie mit einem überschaubaren Arbeitsbereich: etwa Fragen zu einer bestimmten internen Anleitung. Halten Sie fest, wer den Assistenten nutzen soll, welche Fragen dabei auftreten und welche Quellen dafür zugelassen sind. Dokumentstand und Geltungsbereich gehören dazu. Die Auskunft über eine Regel und die Ausführung eines Arbeitsvorgangs sind verschiedene Aufgaben.

Unser Beispiel ist die vollständig fiktive Arbeitsanweisung „Projektstammdaten importieren“, IMP-01, Stand 1.0. Der Link führt zum vollständigen Dokumentkasten in Teil 1 mit den fünf Abschnitten zu Geltungsbereich, Dateivorbereitung, Prüflauf, Freigabe und dokumentierten Grenzen. Der Assistent erläutert diese Anleitung; er führt weder Prüf- noch Importläufe aus.

Alle folgenden Fragen, Musterantworten und Vergleiche sind redaktionelle Lehrbeispiele. Sie stammen aus keinem Modelllauf und sind weder bestandene Tests noch echte Kundenergebnisse. Die sechs Fragen veranschaulichen ein Vorgehen; sie bilden keinen universell repräsentativen Testbestand für Unternehmen.

2. Fragen und Erwartungen vor den Antworten festlegen

Wählen Sie Fragen, die im vorgesehenen Arbeitsbereich tatsächlich relevant wären: eine Übersicht, eine Entscheidung mit mehreren Bedingungen, eine Rückfrage nach einer Änderung und Fälle ohne ausreichende Antwortgrundlage. Schreiben Sie zuerst auf, welche Aussagen nötig sind und was eine Antwort nicht behaupten darf. So wird die erste überzeugend klingende Antwort nicht unbemerkt zum Bewertungsmaßstab.

Für die fiktive Anleitung ergeben sich diese sechs Fälle:

• Welche Prüfungen muss ich vor dem Import erledigen? Nach §§2–4 müssen die Spalten Projekt-ID, Projektname und Projektverantwortlicher vorhanden und in jeder Zeile ausgefüllt sein. Innerhalb der Datei dürfen Projekt-IDs nicht doppelt vorkommen. Erforderlich sind außerdem ein fehlerfreier Prüflauf, die Prüfung aller Warnungen und die Annahme verbleibender Warnungen durch den Projektverantwortlichen mit dokumentierter Begründung. Er muss den Import ausdrücklich freigeben. Die Antwort darf nicht behaupten, diese Voraussetzungen seien für einen konkreten Vorgang bereits erfüllt.
• Darf ich importieren, wenn der Prüflauf keine Fehler meldet? Nach §§3–4 reicht Fehlerfreiheit allein nicht. Warnungsprüfung, die begründet dokumentierte Annahme verbleibender Warnungen durch den Projektverantwortlichen und seine ausdrückliche Freigabe bleiben erforderlich.
• Muss ich nach einer Dateikorrektur erneut prüfen? §§3–4 verlangen einen erneuten Prüflauf. Daraus entsteht keine automatische Freigabe; die Freigabevoraussetzungen gelten weiterhin.
• Wie groß darf die Datei maximal sein? §5 nennt keine Obergrenze. Die Antwort darf weder eine Zahl noch „unbegrenzt“ ergänzen. Benötigt wird eine zuständige ergänzende technische Quelle.
• Existiert Projekt P-104 bereits im Zielsystem? Weder die Anleitung noch die Prüfung auf doppelte IDs innerhalb der Datei belegt den aktuellen Zielsystembestand (§§2 und 5). Dafür wäre eine aktuelle, zulässige Fachsystemauskunft nötig. P-104 ist hier nur eine erfundene Kennung; ein Ja oder Nein wäre unbelegt.
• Kann der Wissensassistent den Import jetzt starten? Nach §1 erläutert er die Anleitung und führt weder Prüf- noch Importläufe aus. Die Antwort soll diese Aufgabengrenze erklären, ohne einen tatsächlich versuchten Start vorzutäuschen.

Bewertet werden die für die jeweilige Frage nötigen Inhalte, nicht die wortgleiche Wiedergabe einer Musterantwort. Eine knappe Antwort kann vollständig sein. Eine lange Antwort kann die entscheidende Bedingung auslassen. Ebenso wenig genügt ein pauschales „Das kann ich nicht beantworten“, wenn die zugelassenen Quellen eine belastbare Auskunft ermöglichen.

Drei Antworten auf dieselbe Freigabefrage

Betrachten wir die Frage: „Darf ich importieren, wenn der Prüflauf keine Fehler meldet?“ Die folgenden Formulierungen zeigen, weshalb eine bloße Einteilung in plausibel oder unplausibel zu grob wäre.

Irreführende Musterantwort: „Ja, dann können Sie importieren.“ Aus einer notwendigen Bedingung wird hier eine ausreichende Erlaubnis. Die weiteren Pflichten aus §4 fehlen. Auch eine vorhandene Quellenangabe würde diesen Fehlschluss nicht beheben.

Richtige Richtung, aber unvollständig: „Nein, Sie müssen auch die Warnungen prüfen.“ Diese Antwort erkennt eine weitere Voraussetzung. Sie lässt jedoch offen, wer verbleibende Warnungen akzeptieren muss, dass die Begründung dokumentiert werden muss und dass zusätzlich eine ausdrückliche Freigabe erforderlich ist.

Für diese Frage fachlich passende Musterantwort: „Nein. Nach IMP-01, Stand 1.0, §§3–4 müssen alle Warnungen geprüft sein. Verbleibende Warnungen muss der Projektverantwortliche mit dokumentierter Begründung akzeptieren. Zusätzlich benötigt der Import seine ausdrückliche Freigabe. Ob diese für Ihren konkreten Import vorliegt, lässt sich aus der Anleitung nicht feststellen.“

Die dritte Antwort erhält die erforderlichen Bedingungen und grenzt die allgemeine Regel vom konkreten Freigabestatus ab. Der fehlerfreie Prüflauf ist bereits in der Frage vorausgesetzt. Deshalb passt diese Antwort zur gestellten Frage; sie ist keine vollständige Checkliste zur Vorbereitung jedes Imports. Die Dateianforderungen aus §2 gehören etwa zur weiter gefassten ersten Frage.

Auch eine begründete Nichtantwort kann passen

Zur Frage nach der maximalen Dateigröße wäre folgende Formulierung angemessen:

Musterantwort bei fehlender Angabe: „IMP-01 nennt keine maximale Dateigröße. Eine zulässige Obergrenze kann ich daraus nicht bestimmen. Dafür benötige ich eine ergänzende technische Angabe zur eingesetzten Fachanwendung.“

Diese Antwort ist für die Quellenlage passend: Die vollständig vorliegende Anleitung enthält den gesuchten Wert nicht und benennt diese Grenze in §5. Die Antwort erfindet keinen Wert und beschreibt, welche Grundlage fehlt. Eine geeignete Ersatzquelle ist damit noch nicht gefunden oder geprüft. Wie sich fehlende Angaben und ungeeignete Quellen unterscheiden, erläutert Teil 4 zu den Grenzen belegbarer Auskunft.

3. Suche, übergebenen Kontext und Antwort getrennt prüfen

Bei RAG sucht das System passende Textstellen und stellt ausgewählte Inhalte einem Sprachmodell für die Antwort bereit. Diese übergebenen Inhalte heißen hier Kontext. Suchtreffer und tatsächlich übergebener Kontext müssen nicht identisch sein: Auswahl oder Kürzung können dazwischenliegen.

Prüfen Sie deshalb drei Dinge nebeneinander: Welche benötigten Stellen wurden gefunden? Welche davon erhielt das Antwortmodell tatsächlich? Was macht die Antwort daraus? Teil 3 zur Prüfung von Antworten mit Quellen erklärt den Vergleich zwischen Aussage und Beleg. Für ein Bewertungsverfahren kommen die Nachweise aus Suche und Übergabe hinzu.

Die Microsoft-Dokumentation zur getrennten Bewertung von RAG-Suche und Antworten unterscheidet Suche, Bindung an den bereitgestellten Kontext, Relevanz für die Frage und Vollständigkeit gegenüber erwarteten Inhalten. Das sind verschiedene Prüfgrundlagen: Eine Antwort kann dem übergebenen Kontext entsprechen und dennoch eine fachlich erwartete Bedingung vermissen, die dort fehlt. Für unser Vorgehen nutzen wir diese Unterscheidung; dafür ist kein bestimmter Dienst erforderlich.

Zur irreführenden Importerlaubnis lassen sich drei bewusst angenommene Situationen unterscheiden:

• §4 ist im zugelassenen, aufbereiteten Bestand enthalten, fehlt aber in den gefundenen Stellen. Dann ist der Suchweg zu untersuchen. Der Antworttext allein hätte diese Zuordnung nicht erlaubt.
• §4 wurde gefunden, fehlt jedoch im tatsächlich übergebenen Kontext. Dann sind Auswahl, Kürzung oder Übergabe zu untersuchen. Der Mangel lässt sich nicht automatisch der Suche zuschreiben.
• §§3–4 wurden vollständig übergeben, die Antwort lässt die Freigabebedingungen trotzdem aus. Dann liegt der Mangel im Antwortschritt. Damit ist noch kein bestimmter Modell- oder Promptdefekt als Ursache bewiesen.

Ohne Such- und Kontextnachweise bleibt die Ursache offen. Unser erfundener Fehlerfall belegt nur einen fachlichen Antwortmangel. Auch bei unvollständigem Kontext wäre eine erfundene Importerlaubnis falsch: Eine Informationslücke und eine unbegründete Antwort können gemeinsam auftreten.

4. Mehrere Fälle unter nachvollziehbaren Bedingungen vergleichen

Eine Bewertung soll zeigen, ob das beobachtete Verhalten über mehrere relevante Fragen trägt. Verwenden Sie auch sinnvolle sprachliche Varianten, etwa „Reicht ein Prüflauf ohne Fehler für die Importfreigabe?“ für die bereits betrachtete Freigabefrage. Die erwarteten Bedingungen bleiben dabei gleich. Ändert eine Variante dagegen die fachliche Frage, müssen auch ihre Sollpunkte neu bestimmt werden.

Wiederholungen helfen, Schwankungen zu erkennen. Dafür gibt es hier weder eine erfundene Mindestanzahl noch eine allgemeine Erfolgsquote oder Freigabeschwelle. Halten Sie stattdessen die gewählten Fälle, Varianten und Wiederholungen nachvollziehbar fest, einschließlich abweichender Antworten.

Jedem beobachteten Fall müssen Dokumentbestand und Dokumentstand, Frage, Sollpunkte und Belegstellen, System- und Konfigurationsstand, gefundene Stellen, tatsächlich übergebener Kontext, Antwort und Bewertungsmaßstab zugeordnet werden können. Eine Zusammenfassung des Kontexts reicht nicht, wenn gerade eine ausgelassene Bedingung untersucht werden soll.

Wenn Sie zwei Stände vergleichen, benennen Sie die gezielte Änderung und die übrigen Bedingungen. Angenommen, nur die Kontextauswahl wird verändert: Dann lässt sich prüfen, ob §4 nun übergeben und in der Antwort berücksichtigt wird. Wechseln gleichzeitig Modelle, Quellen und Suchparameter, erlaubt eine bessere Antwort keine sichere Zuschreibung an eine einzelne Änderung.

5. Ergebnisse fachlich einordnen und begrenzt entscheiden

Automatische Prüfungen können bei Formaten, vorhandenen Quellenkennungen und der Bewertung unterstützen. Eine vorhandene Kennung beweist jedoch nicht, dass die Fundstelle die Aussage trägt. Eine fachlich zuständige Person muss Inhalte, fehlende Bedingungen und unbelegte Schlussfolgerungen beurteilen und die Abnahme begründen.

Halten Sie kritische Mängel einzeln sichtbar. Eine unberechtigte Importfreigabe darf nicht hinter einem guten Durchschnittswert anderer Antworten verschwinden. Ebenso gehören wiederkehrende unbegründete Nichtantworten auf beantwortbare Fragen in die Auswertung. Beides beeinflusst, ob die Unterstützung für den vorgesehenen Arbeitsbereich brauchbar ist.

Das Ergebnis kann eine begrenzte Freigabe, eine gezielte Nachbesserung mit anschließender Prüfung oder die Entscheidung gegen den vorgesehenen Einsatz sein. Die Begründung muss zu den geprüften Fragen, Quellen und Systemständen passen. Daraus folgt keine allgemeine Betriebs-, Sicherheits- oder Unternehmensreife. Dokumentierte KGM-Arbeitsweise und ihre Grenzen sind beim RAG-Referenzsystem eingeordnet; das fiktive Beispiel liefert keinen zusätzlichen Qualitätsnachweis dieses Systems.

Einen eigenen Bewertungsfall vorbereiten

Wählen Sie eine wiederkehrende Frage aus Ihrem Team und bereiten Sie sie gemeinsam mit einer fachlich zuständigen Person vor. Nutzen Sie dafür diese kleine Arbeitsvorlage. Die Erwartungen entstehen vor der Prüfung; Beobachtung und Urteil ergänzen Sie danach:

1. Frage: Welche konkrete Auskunft wird für welchen Arbeitszweck benötigt?
2. Erwartete Aussagen: Welche Inhalte und Bedingungen muss eine brauchbare Antwort erhalten?
3. Belegstellen und Stand: Welche zugelassenen Quellen tragen diese Aussagen, und welcher Stand gilt?
4. Unzulässige Schlussfolgerungen: Welche Werte, Zustände oder Erlaubnisse dürfen aus diesen Quellen nicht abgeleitet werden?
5. Beobachtete Antwort und bereitgestellter Kontext: Was wurde tatsächlich ausgegeben und vollständig übergeben? Ordnen Sie Suchnachweise und Systemstand zu.
6. Bewertung mit Begründung und offenen Punkten: Was passt, was fehlt, welche Folge hat der Mangel und was muss vor einer Entscheidung noch geklärt werden?

Mit diesem ersten Fall entsteht eine konkrete Grundlage für weitere Fragen und einen abgegrenzten Prüfbedarf. Für die Eignung und den Leistungsumfang eines solchen Vorhabens beschreibt KGM Knowledge RAG die Voraussetzungen. Weitere fachliche Einordnungen finden Sie im Wissen-Bereich.

Teil 6 „Vom Referenzsystem zum Unternehmenspilot“ verbindet diese Bewertung mit der Abgrenzung eines Piloten für eigene Quellen.