Is ChatGPT corrupting peer review? Telltale words hint at AI use
Schlüsselerkenntnisse
Eine Studie deutet darauf hin, dass Forscher sich bei der Begutachtung von Arbeiten zunehmend auf Chatbots wie ChatGPT und andere KI-Tools verlassen.
Bis zu 17 % der Begutachtungsberichte könnten signifikant durch Chatbots modifiziert worden sein, wobei unklar ist, ob die Tools zur Erstellung von Berichten von Grund auf oder nur zur Bearbeitung und Verbesserung von Entwürfen genutzt wurden.
Die Verwendung von bestimmten positiven Adjektiven wie ‚lobenswert‘, ‚innovativ‘, ‚sorgfältig‘, ‚komplex‘, ‚bemerkenswert‘ und ‚vielseitig‘ hat sich seit der Veröffentlichung von ChatGPT in Begutachtungsberichten deutlich erhöht.
Berichte, die eine niedrigere Bewertung für Konferenzbeiträge abgaben oder kurz vor der Frist eingereicht wurden, enthalten diese Adjektive wahrscheinlich und wurden daher möglicherweise zumindest teilweise von Chatbots verfasst.
Es gab keine signifikante Zunahme der Verwendung dieser Adjektive in Peer-Reviews von Forschungsarbeiten, die zwischen 2019 und 2023 in 15 Nature Portfolio-Zeitschriften akzeptiert wurden.
Einige Forscher könnten Chatbots möglicherweise nur für Korrekturlesen oder Übersetzungen verwenden, aber mangelnde Transparenz von Autoren erschwert es festzustellen, wie die Tools tatsächlich eingesetzt werden.
Es wird betont, dass es für Transparenz und Rechenschaftspflicht wichtig ist, abzuschätzen, wie viel des endgültigen Textes möglicherweise durch KI generiert oder modifiziert wurde.
Wie auch in anderen Bereichen wie Fotos, Videos, Stimmen, Musik, usw. wird es immer schwieriger computergenerierte Dateien von echten bzw. menschlichen Inhalten zu unterscheiden.
Dies wird eine große Herausforderung, da heutzutage bald alles online d.h. digital abläuft. Vielleicht führt es auch zu einer Renaissance von analogen bzw. persönlichen Validierungen z.B. durch Beamte oder z.B. Bankangestellten. Ich würde dies begrüßen, da eine rein digitale Abwicklung aller wichtigen Operationen ohne Analog-Backup immer ein Risiko ist, sowohl für Staat, als auch Unternehmen und Bürger.
sehe ich aber nicht so. Das wird aus meiner Sicht nicht passieren. Zumal es sehr sichere Methoden gibt um Sachverhalte digital, sicher und dezentral zu archivieren, etwa mit Blockchain. Gibt es schon Archive, die Blockchain nutzen?
Archivierung ok, aber die Authentifizierung wird immer aufwändiger und meist über portable Geräte wie Smartphones, die auch vulnerabel sind. Sogar „alte Techniken“ wie SMS sind angreifbar. Bisher nur durch versierte Hacker, aber auch hier erlaubt AI sicher einen Schub für kriminelle Hintermänner. Die Frage ist, ob öffentliche Dienste bei Bürgern solche Geräte und Authentifizierungen, die auf private Konzerndienste aufbauen (Google, Apple & Co), verpflichtend machen können. Finde dies sehr bedenklich, wenn nur mehr Apps in den jeweiligen Stores und die kompatible zertifizierte Hardware zum Ziel führen.