Bard erfindet Fakten und Quellen

Hallo,

hier gibt es ein gutes Beispiel für scheinbar von KI recherchierte Fakten.

und dann hat die Autorin dieser Nachricht Bard nochmal getestet:

Da wäre dann die Frage, wie man den Prompt formulieren müsste, damit die KI nur Informationen liefert, die auf tatsächlich existierenden Quellen beruhen.

Schöne Grüße,
Renate

Ich kann es nur wiederholen: KIs wie Bard oder ChatGPT sind keine Suchmaschinen, man kann sie nicht zuverlässig nach Fakten fragen. Das sind Systeme mit denen man sich nett unterhalten kann und zuverlässige und sehr mächtige Werkzeuge zur Bearbeitung und Auswertung von Texten aller Art. Wenn man Nüsse mit dem Hammer auf der Marmortischplatte bearbeitet, sollte man sich hinterher nicht wundern, wenn der Feinheitsgrad der Nüsse und der Zustand der Marmorplatte nicht den Erwartungen entspricht. Die Schuld liegt weder beim Hammer noch beim Hersteller des Hammers.

Fragen oder Aufforderungen wie

  • Erzähle mir etwas über die Konditoreien in Habelschwerdt.
  • Wer war Ambrosius Friedrich in Habelschwerdt?
  • Geschichte der Stadt Glatz

machen im Dialog mit diesen KIs so keinen Sinn. Wenn man diese KIs auffordert: „Erzähle mir etwas“, dann erzählen sie einem etwas. Aber das muss nicht mit der Wirklichkeit übereinstimmen. Wenn man dann noch nach einer Quelle dazu fragt, dann wird halt eine plausibel klingende erfunden. Oberstes Ziel ist es, dem Nutzer eine plausibel klingende Antwort zu geben. Diese KIs generieren Wörter.

Nein und ja. Eine KI wird nicht im herkömmlichen Sinne programmiert, eine KI wird trainiert. Bei einem Programm kann man meistens erwarten, dass bei gleichen Eingaben das selbe Ergebnis produziert wird. Bei einer KI wird das nie der Fall sein. Und ja, die Informationen, die man der KI zur Verfügung stellt, sind entscheidend. Das Training der hier genannten KIs mit Informationen ist durch den Hersteller erfolgt und kann vom Nutzer nicht verändert werden. Wenn im Trainingsmaterial etwas über „Ambrosius Friedrich in Habelschwerdt“ dabei war, dann wird man eine Antwort auf die Frage nach ihm bekommen, ansonsten eben den Hinweis „es liegen keine ausreichenden Informationen vor“ oder eben etwas Erfundenes. Wenn im Trainingsmaterial stand, dass Ambrosius der Mittelstürmer des FC Habelschwerdt ist, dann wird das so als Antwort ausgegeben werden, denn die KI lernt alles mit dem sie trainiert wurde und macht beim Lernen keinen Faktencheck. Wenn man der KI beim Training Science Fiction und Märchen als Material zum Lernen gibt, wird sie lernen wie man Klingonisch spricht und dass es im Wald Hexenhäuser aus Lebkuchen gibt.

Also muss man der KI selber „richtige“ Informationen in Textform geben. Etwa eine Ortschronik von Habelschwerdt als pdf zur Auswertung übergeben. Dann kann man fragen: „Wer war Ambrosius Friedrich?“ und wenn er in der Ortschronik vorkommt, wird man gute und richtige Informationen zu ihm genannt bekommen. Oder eine umfangreiche Abhandlung zur Geschichte zur Stadt Glatz. Dann kann man fragen: „Erstelle mir eine Zusammenfassung der Stadtgeschichte in zehn Sätzen.“ oder „Welche Städtepartnerschaften hat die Stadt? Erstelle eine Tabelle mit den Städtenamen und den Gründungsdaten“. Oder man kann die Angaben in der Quelle zu allen Bürgermeistern der Gemeinde mit den zugehörigen Daten als GEDCOM-Datei erzeugen lassen, die man dann gleich in ein Genealogieprogramm importieren kann. Sehr mächtig, sehr effizient, sehr gute Qualität.

Das geht nicht, da diese beiden KIs kein umfassendes und zuverlässiges Wissen darüber haben, was Fakt und was Fiktion ist.

Wenn man auf gesichertes Wissen zurückgreifen möchte, muss man entweder

  • wie oben beschrieben dieses Wissen selber als Text bereit stellen (etwa in der Form eines pdf-Dokuments mit einer Ortschronik)
  • auf Plugins (Erweiterungsmodule) zugreifen.

Als Beispiel seien zwei Plugins für ChatGPT genannt:

  • OpenArchives (siehe ChatGPT kann auf Open Archives zugreifen • Verein für Computergenealogie e.V. (CompGen)); damit kann man auf über 300 Millionen von genealogischen Quellendatensätzen zugreifen.
  • Wolfram: damit kann man auf gesichertes naturwissenschaftliches und mathematisches Wissen zugreifen; etwa zu Feldspat fragen: ''Frage Wolfram: what is feldspar?" und dann bekommt man als Antwort nur faktisch richtige Informationen, etwa „Feldspar ist ein englisches Wort, das sich auf eine Gruppe von harten kristallinen Mineralien bezieht, die aus Aluminiumsilikaten von Kalium, Natrium, Kalzium oder Barium bestehen.“ usw. inkl. der Scrabble-Punktzahl 14 für dieses Wort. Man kann auch fragen: „Analysiere f(x)=sin(x)/x.“. Und man kann fragen: „Frage Wolfram: second cousin“ und bekommt als Antwort
  • Unterschied in den Generationen: 0
  • Generationen zum gemeinsamen Vorfahren: 3
  • Blutsverwandtschaftsanteil: 1,5625%

Hallo,

natürlich ist die Grundlage der künstlichen Intelligenz programmiert. Und es werden Grundvorgaben gegeben, wie Fragen beantwortet werden sollen. Dann werden Quellen mit Tatsachen oder eben etwas anderes dafür bereitgestellt, je nachdem, was man mit dieser KI beabsichtigt. Die KI kann in der Interaktion im Laufe der Zeit „dazulernen“. Die KI ist nicht verantwortlich für das Ergebnis und KANN eine tolle Sache sein.

Aber: Die Erwartungshaltung ist bei Bard, genauso, wie wenn ich ansonsten Google nach Informationen befrage: Es sollen möglichst Informationen dabei herauskommen, die den Tatsachen entsprechen. Ich möchte keine gut erfundenen plausibel klingenden Texte. Falls das jedoch das Ziel ist, dann sollte man das entsprechend kommunizieren und es gibt kein Problem.
Es kann bestimmt Spaß machen, mit der KI zusammen ein Buch mit einer fiktiven Story zu schreiben. Vermutlich wird das bereits getan.

Die Vokabel „erzähle mir“ war vielleicht unpassend gewählt. Das Ergebnis war eine Erzählung, mehr nicht, es wurde dabei nicht eine Tatsache verwendet.

Alle anderen meiner Abfragen waren für Computer eindeutig und die Mehrzahl der Antworten waren entweder ein Gemisch aus Wikipedia und einigen wenigen anderen Quellen (Ich habe verglichen und wurde meist fündig in der englischen oder deutschen Wikipedia), aber es wurden mir auch immer „Zusatzinformationen“ zur Ausschmückung des Textes gegeben, die nichts mit der Realität zu tun hatten. Wie z. B. eine Verzehnfachung von Einwohnerzahlen oder die Behauptung, es seien zahlreiche Schwerverbrecher an Krankheiten und den schweren Haftbedingungen gestorben. Realität war, es war mehr ein Hausarrest für einige wenige politische Gefangene und von den zeitweilig inhaftierten Kriegsgefangenen sind nicht mehr oder weniger gestorben, als von den stationierten Soldaten.

Die Mischung macht es gefährlich. Natürlich überprüfe ich in der Ahnenforschung jede Information sowieso anhand der Originalquellen. Ich kann aber z. B. viel Zeit mit unnötigem Suchen nach einem spannend klingenden Buch vertun, in dem mein Vorfahre angeblich namentlich erwähnt wird, wenn Titel, Erscheinungsjahr und Verlag komplett frei erfunden sind, weil der KI einprogrammiert wurde, dass die Alternative „Informationen ausgeben“ priorisiert ist, gegenüber der Alternative „Frage beantworten“. Das ist ein großer Unterschied.

Der Fehler bei Bard ist momentan, das es unkontrolliert Informationen nutzt und verküpft, die nicht klar als Fiktion erkennbar sind. Der Lernfaktor wird nicht aus zusätzlichen gesicherten Quellen bezogen, sondern aus den Einzelelementen gestellter Fragen und Quellen, d. h. eine Adresse wird als solche erkannt, aber Straße, Hausnummer und Ort wird isoliert gespeichert und bei einer der nächsten Antworten frei mit anderen derartigen Informationen kombiniert. Es existiert eine Schweidnitzer Straße 283, aber eben nicht in diesem Ort. Für die KI ist es trotzdem eine Information, da die Straße existiert, die Hausnummer gibt es und den Ort auch, aber eben nicht in dieser Kombination.

Wie gesagt, KI kann toll und hilfreich sein, im Rahmen einer definierten Aufgabenstellung. Den eigenen kritischen Denkprozess und ein gewisses Maß an Fachwissen würde ich dennoch nicht als unnötig ansehen.

Für mich ist dies eine entemotionalisierte Diskussion des Für und Wider und ich lasse jedem seine Meinung und von mir aus auch Begeisterung für dieses Thema.
Ich möchte lediglich auf auch nach über 30 Jahren Entwicklung von künstlicher Intelligenz noch vorhandene Schwachstellen hinweisen.

Es hat mich lediglich ziemlich fassungslos gemacht, dass man Bard ohne eine entsprechende Erläuterung auf das Internet losgelassen hat, nur mit einem Etikett „Experiment“ versehen.

Friedliche und konstruktiv kritische Grüße

Astrid (Kreuz)

Nur ein Nebeneffekt:
Einige Familienforscher werden die gewonnen „Informationen“ ungeprüft in ihre öffentlich geteilten Stammbäume aufnehmen und von anderen kopiert werden. Wenn es fünf oder sechs Nennungen einer Person in verschiedenen Stammbäumen gibt, dann muss das doch mit großer Wahrscheinlichkeit wahr sein, oder?

Richtig. Dafür kann man die KI gut nutzen. Sie geht davon aus, dass alles wahr ist, was man ihr sagt und wertet die gegebenen Informationen mit Hilfe der ihr vorgegebenen Kriterien aus. Das ist in diesem Fall praktisch und ein interessantes und sinnvolles Experiment.

Ja. Anders als bei ChatGPT kann Bard auf GoogleSearch zugreifen. Also sollten die Antworten von Bard entweder auf dem antrainierten Wissen oder auf den aktuellen Informationen aus dem Internet basieren. Beides muss nicht den Tatsachen entsprechen, aber zumindest könnte man erwarten, dass da kein Platz für Halluzinationen ist.

Aber anders als ChatGPT ist Bard klar als „experimentell“ gekennzeichnet. Google war da anscheinend im Zugzwang etwas unausgereiftes öffentlich zugänglich zu machen. Nach Euren Erfahrungen kann man da derzeit wohl nur davon abraten Bard ernsthaft zur Recherche zu nutzen.