Praxisleitfaden · KI-Integration für KMU
Interne Wissensassistenten sinnvoll evaluieren
Bewerten Sie einen internen Wissensassistenten anhand der Aufgaben, die Menschen tatsächlich erledigen müssen. Eine flüssige Antwort reicht nicht: Prüfen Sie, ob passende Inhalte gefunden werden, Aussagen belegt sind, Berechtigungen gelten und fehlende oder widersprüchliche Informationen angemessen behandelt werden.
Leap Dynamics GmbHAktualisiert:
1. Aufgabe und Vergleichsbasis festlegen
Wählen Sie einen abgegrenzten Anwendungsfall, vorgesehene Nutzer und freigegebene Quellen. Prüfen Sie, ob vorhandene Suche oder ein klassischer Prozess die Aufgabe bereits angemessen lösen. Erfassen Sie eine Ausgangsbasis des bestehenden Ablaufs vor der Wahl eines individuellen Systems.
Erstellen Sie repräsentative Fragen mit fachlichen Reviewern. Berücksichtigen Sie häufige Fragen, schwierige Fälle, veraltete Dokumente, widersprüchliche Vorgaben und Fragen, die das Material nicht beantworten kann. Evaluationsfälle bleiben von Beispielen getrennt, die wiederholt zur Systemoptimierung verwendet werden.
2. Retrieval und Quellenbelege untersuchen
Prüfen Sie die Passagen ebenso wie die Antwort. Ein anklickbarer Quellenverweis ist nur hilfreich, wenn sein Inhalt die Aussage stützt und der Nutzer darauf zugreifen darf.
| Prüfung | Zu untersuchende Nachweise |
|---|---|
| Retrieval | Werden relevante Passagen bei unterschiedlichen Formulierungen und Dokumentformaten gefunden? |
| Quellenbindung | Folgt jede wesentliche Aussage aus der zitierten Passage, statt nur dasselbe Thema zu betreffen? |
| Aktualität | Kann das System aktuelle Vorgaben von überholten Versionen unterscheiden? |
| Unsicherheit | Benennt es fehlende Belege und fragt bei Bedarf nach? |
3. Berechtigungen und schädliche Inhalte testen
Prüfen Sie jede Nutzerrolle mit erlaubtem und gesperrtem Material. Zugriffssteuerung muss beim Retrieval und beim Öffnen von Quelldokumenten greifen. Testen Sie auch Versuche, beschränkte Informationen über Umformulierungen oder Folgefragen zu erhalten.
Behandeln Sie abgerufenen Text als nicht vertrauenswürdige Daten. Prüfen Sie Prompt-Injection-Beispiele und Versuche, Dokumentanweisungen in Systemaktionen umzuwandeln. Begrenzen Sie Werkzeuge und Berechtigungen; für folgenreiche Entscheidungen und Ausnahmen braucht es einen menschlichen Bearbeitungsweg.
4. Abnahmemaße vereinbaren
Legen Sie Schwellenwerte mit der fachlich verantwortlichen Person vor der Bewertung fest. Dokumentieren Sie Fragensatz, Quellversionen, Konfiguration, Modell beziehungsweise Anbieter und Review-Methode für wiederholbare Vergleiche. Dies sind vorgeschlagene Evaluationsmaße, keine erzielten Projektergebnisse von Leap.
- Qualität belegter Antworten und des Retrievals am vereinbarten Fragensatz.
- Angemessener Umgang mit unbeantwortbaren oder widersprüchlichen Fragen.
- Verletzungen von Zugriffsgrenzen und unsichere Aktionen.
- Korrekturaufwand, Aufgabenerledigung, Antwortzeit und Betriebskosten.
5. Evaluation in die Umsetzung einbauen
Beginnen Sie mit einer abgegrenzten Nutzergruppe, klarem Feedback und Eskalationsweg. Änderungen an Dokumenten, Rechten, Retrieval, Prompts oder Modellen können Verhalten verändern; relevante Prüfungen werden danach wiederholt.
Cloud, Private Cloud oder On-Premise werden nach Daten- und Betriebsanforderungen gewählt. Vereinbaren Sie Quellenpflege, Fehlerreview und Update-Verantwortung. Ein Pilot kann die Nützlichkeit des Ablaufs klären, bevor eine breitere Integration beauftragt wird.