KI-Evaluation, Guardrails und Datenschutz

Lernziele

Qualität systematisch prüfen statt einzelne Beispiele zu vertrauen. Nach dieser Lektion kannst du das Konzept erklären, ein kleines Beispiel umsetzen und typische Grenzen benennen.

Erklärung

Evaluation nutzt repräsentative Fälle, Kriterien und Vergleichsbaselines. Prüfe Korrektheit, Quellenbezug, Latenz, Kosten, Robustheit und schädliche Fehler. Guardrails kombinieren Eingabeprüfung, minimale Berechtigungen, Ausgabeverifikation und menschliche Freigabe für hohe Auswirkungen.

Schrittweises Beispiel

Erstelle einen kleinen goldenen Testsatz mit normalen, mehrdeutigen und adversarialen Fragen. Berichte Kennzahlen pro Teilgruppe; dokumentiere Version von Prompt, Modell und Daten.

cases = ["beantwortbar", "keine Quelle vorhanden", "verbotene Aktion"]
for case in cases:
    print(case)

Zusammenfassung

Messe den vollständigen Anwendungsablauf und behandle Modell, Daten und Tools als Risikoteile.