Die Studie von OpenAI zeigt, dass KI-Lügen tiefer im System verankert sind als bisher angenommen. Die Fehlerrate bei der Generierung von Sätzen ist mindestens doppelt so hoch wie bei einfachen Ja/Nein-Fragen, da sich kleine Fehler bei der Wort-für-Wort-Vorhersage potenzieren. Selbst wenn das Training frei von falschen Daten wäre, bliebe dieses Grundrisiko bestehen.
Faktoren für KI-Lügen
- Singleton-Rate: Wenn 20 Prozent bestimmter Fakten im Training nur einmal vorkommen, muss das Modell bei mindestens 20 Prozent der Fragen dazu scheitern.
- Modellarchitektur: Trigramm-Modelle können viele Antworten nicht korrekt bilden.
- Benchmarks: Benchmarks bestrafen Unsicherheit, was zu einer „Epidemie des Ratens“ führt.
Mögliche Lösungen
- Explizite Vertrauensgrenzen: KIs sollten nur antworten, wenn ihre Wahrscheinlichkeit für Richtigkeit über einem Schwellenwert liegt. Dies würde jedoch dazu führen, dass Chatbots in bis zu 30 Prozent der Fälle passen müssten.
- Unsicherheitsberechnung: Die Berechnung von Unsicherheit erfordert deutlich mehr Rechenleistung, was im Alltag zu teuer und langsam wäre.
Schlussfolgerung
Der Traum einer völlig halluzinationsfreien KI mit heutigen Sprachmodellen ist unerreichbar. Large Language Models (LLMs) sind neuronale Netze mit Milliarden von Parametern, die auf riesigen Textdatenmengen trainiert wurden. Sie lernen statistische Muster in der Sprache ohne explizite Programmierung von Grammatikregeln.
Sources: