AI-Halluzinationen verstehen
Was sind AI-Halluzinationen?
AI-Halluzinationen treten auf, wenn die KI Inhalte generiert, die plausibel klingen, aber tatsächlich falsch sind, nicht durch Quelldokumente gestützt werden oder vollständig erfunden sind. Dies geschieht, weil KI-Sprachmodelle auf der Grundlage von Mustern vorhersagen, welcher Text als nächstes kommen muss, und nicht, weil sie Fakten „kennen”.
Beispiel für eine Halluzination:
Aufforderung: „Der Himmel ist ...”
Die KI könnte vorhersagen: „blau” (sonniger Tag), „grau” (bewölkt), „bewölkt” (regnerisch)
Realität: Nur durch Überprüfung des tatsächlichen Wetters können Sie die Genauigkeit bestätigen.
Warum Halluzinationen beim Verfassen von Ausschreibungen auftreten
Vorhersagebasiert: KI sagt plausible Texte voraus, keine tatsächlichen Wahrheiten.
Kontextuelle Lücken: KI verfügt möglicherweise nicht über spezifische Informationen zu Ihrem Unternehmen.
Übergeneralisierung: KI wendet allgemeine Muster auf spezifische Situationen an.
Selbstvertrauen ohne Wissen: KI präsentiert alle Ergebnisse mit dem gleichen Selbstvertrauen.
Die Plan-Do-Check-Act (PDCA)-Methodik
PDCA ist ein kontinuierlicher Verbesserungszyklus, der, wenn er auf KI-gestütztes Schreiben angewendet wird, Halluzinationen drastisch reduziert und die Qualität der Ergebnisse verbessert.
PLAN: Bestimmen Sie, was Sie brauchen
Ziel: Geben Sie klare, spezifische Anweisungen mit dem richtigen Kontext
Beispiel PLAN-Aufforderung:
„Ich benötige einen 1500 Wörter umfassenden Implementierungsplan, der auf die Ausschreibungsanforderungen auf den Seiten 12–15 des beigefügten Dokuments eingeht. Der Plan muss Folgendes enthalten: (1) einen stufenweisen Ansatz mit einem Zeitplan, (2) Qualitätskontrollpunkte, (3) Risikominderung, (4) Kommunikationsstrategie. Unser einzigartiger Ansatz ist eine minimale Störung durch die Umsetzung außerhalb der Bürozeiten. Nutzen Sie unser Unternehmensprofil für Fakten über unser Team und unsere Erfahrung.“
DO: Inhalte generieren
Ziel: Lassen Sie die KI auf der Grundlage Ihres Plans erste Inhalte erstellen.
Vorgehensweise:
Fügen Sie relevante Quelldokumente hinzu.
Aktivieren Sie den Kontext „Projekt”, um auf alle Projektdateien zuzugreifen.
Wählen Sie die richtigen Unteragenten aus.
Senden Sie Ihre gut geplante Eingabeaufforderung.
Warten Sie, bis die KI Inhalte generiert hat.
Wichtig: Akzeptieren Sie in dieser Phase, dass die Ausgabe Fehler enthalten kann. Diese werden in der nächsten Phase aufgespürt.
ÜBERPRÜFEN: Anhand von Quellen verifizieren
Ziel: Überprüfen Sie die Ausgabe der KI systematisch auf Richtigkeit und Vollständigkeit.
Dies ist der wichtigste Schritt, um Halluzinationen zu vermeiden!
Schritt 1: KI-Selbstverifizierung anfordern
Nachdem die KI Inhalte generiert hat, fordern Sie sofort eine Verifizierung an:
Überprüfen Sie den soeben erstellten Umsetzungsplan und vergleichen Sie ihn mit dem Dokument mit den Ausschreibungsanforderungen und unserem Unternehmensprofil. Überprüfen Sie, ob: (1) alle Ausschreibungsanforderungen erfüllt sind, (2) alle Angaben zu unserem Unternehmen korrekt sind, (3) keine Behauptungen ohne Belege aufgestellt werden, (4) keine Informationen erfunden oder vermutet werden, (5) der Zeitplan und die Zusagen realistisch sind. Legen Sie einen detaillierten Verifizierungsbericht mit allen festgestellten Unstimmigkeiten vor.“
Warum dies funktioniert:
KI kann die Ausgabe erst nach ihrer Generierung überprüfen, nicht davor. Indem Sie die Überprüfung ausdrücklich als separaten Schritt anfordern, zwingen Sie die KI dazu:
Die Quelldokumente erneut zu lesen.
Die Ausgabe mit den Quellen zu vergleichen.
Diskrepanzen zu identifizieren.
Unbegründete Behauptungen zu markieren.
Erfundene Informationen aufzuspüren.
Schritt 2: Überprüfen Sie den Verifizierungsbericht
Die KI liefert einen strukturierten Verifizierungsbericht mit folgenden Angaben:
✅ Anforderungen, die erfolgreich erfüllt wurden
⚠️ Bereiche, die einer Klarstellung oder zusätzlichen Details bedürfen
❌ Ungenauigkeiten oder unbegründete Behauptungen
📋 Fehlende Anforderungen
Schritt 3: Menschliche Überprüfung
Verlassen Sie sich nicht ausschließlich auf die Selbstkontrolle der KI. Führen Sie Ihre eigene Überprüfung durch:
Überprüfen Sie wichtige Fakten anhand von Quelldokumenten
Überprüfen Sie Aussagen über Ihr Unternehmen
Bestätigen Sie technische Details
Stellen Sie sicher, dass die Zusagen realistisch sind.
Überprüfen Sie Referenzen und Beispiele.
AKTION: Korrigieren und verbessern
Ziel: Korrigieren und verbessern Sie auf Grundlage der Ergebnisse der Überprüfung.
Schritt 1: Korrekturen anfordern
Auf der Grundlage des Verifizierungsberichts:
„Aktualisieren Sie den Implementierungsplan, um: (1) die Angabe zum 24/7-Support zu entfernen (wir bieten nur Support während der Geschäftszeiten), (2) die Teamgröße von 15 auf 12 Personen zu korrigieren, (3) die fehlende Anforderung zur monatlichen Berichterstattung hinzuzufügen, (4) die allgemeine Risikominderung durch spezifische Strategien aus unserem Risikomanagement-Rahmenwerk zu ersetzen.“
Schritt 2: Korrekturen überprüfen
Überprüfen Sie nach den Korrekturen erneut:
„Überprüfen Sie den aktualisierten Umsetzungsplan erneut anhand von Quellen, um sicherzustellen, dass alle Korrekturen korrekt vorgenommen wurden.“
Schritt 3: Wiederholen, bis alles perfekt ist
Wiederholen Sie den CHECK-ACT-Zyklus, bis:
alle Anforderungen erfüllt sind.
alle Fakten überprüft sind.
keine unbegründeten Behauptungen mehr vorhanden sind.
der Inhalt korrekt und vollständig ist.
Praktisches Beispiel: PDCA in der Praxis
PLAN:
„Verfassen Sie eine 500 Wörter umfassende Zusammenfassung über unser Verständnis, unseren Ansatz, unsere Erfahrungen und die Vorteile. Verwenden Sie dazu die Anforderungen aus dem Ausschreibungsdokument auf Seite 3 und unser Unternehmensprofil.“
DO:
AI generiert eine Zusammenfassung.
CHECK:
„Überprüfen Sie diese Zusammenfassung anhand der Ausschreibungsanforderungen und des Unternehmensprofils. Überprüfen Sie alle Fakten.“
KI-Verifizierungsbericht:
✅ Der Abschnitt „Einblick“ befasst sich mit den Bedürfnissen des Kunden.
❌ Behauptet, über 20 Jahre Erfahrung zu verfügen (im Unternehmensprofil sind 15 Jahre angegeben).
⚠️ Erwähnt „preisgekrönten Service“, ohne anzugeben, um welchen Preis es sich handelt.
❌ Erwähnt „100 % Erfolgsquote“ (wird durch kein Dokument belegt).
📋 Fehlender Abschnitt zu ökologischer Nachhaltigkeit.
ACT:
„Korrekturen: (1) Ändern Sie in 15 Jahre Erfahrung, (2) Entfernen Sie „preisgekrönt” oder geben Sie den tatsächlichen Preis an, den wir gewonnen haben, (3) Entfernen Sie die Behauptung „100 % Erfolgsquote”, (4) Fügen Sie einen Abschnitt über ökologische Nachhaltigkeit auf der Grundlage unseres Nachhaltigkeitsdokuments hinzu.”
Erneut überprüfen:
„Überprüfen Sie die korrigierte Zusammenfassung.”
Ergebnis: Genaue, verifizierte Inhalte, die Sie nicht in Verlegenheit bringen oder disqualifizieren.
Wichtigste Grundsätze
KI kann sich vor der Generierung nicht selbst korrigieren: Die Inhalte müssen zuerst erstellt und dann überprüft werden.
Explizite Verifizierungsanfragen sind unerlässlich: Gehen Sie nicht davon aus, dass KI automatisch überprüft.
Mehrere Überprüfungsrunden verbessern die Genauigkeit: Überprüfen, korrigieren, erneut überprüfen.
Menschliche Aufsicht ist erforderlich: KI-Überprüfung hilft, ersetzt aber nicht das menschliche Urteilsvermögen.
Quelldokumente sind die Wahrheit: Überprüfen Sie immer anhand der tatsächlichen Dokumente, nicht anhand des Gedächtnisses der KI.
Häufige Arten von Halluzinationen, auf die Sie achten sollten
Erfundene Statistiken: „Wir haben mehr als 500 Projekte abgeschlossen” (überprüfen Sie die tatsächliche Anzahl).
Übertriebene Behauptungen: „Branchenführer”, „Bester seiner Klasse” (überprüfen oder entfernen).
Falsche Daten: Fertigstellungstermine von Projekten, Gründungsjahr des Unternehmens.
Falsche Teamgrößen: Anzahl der Mitarbeiter, Teammitglieder
Nicht unterstützte Funktionen: Dienstleistungen, die Sie nicht tatsächlich anbieten
Allgemeine Beispiele: Fallstudien, die gut klingen, aber nicht echt sind