„GPTZero“ – Versionsunterschied

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springen Zur Suche springen
Versionsgeschichte interaktiv durchsuchen
[gesichtete Version][gesichtete Version]
← Zum vorherigen VersionsunterschiedZum nächsten Versionsunterschied →
Inhalt gelöscht Inhalt hinzugefügt
VisuellWikitext
Diese Änderung ist nicht abgesprochen, verzerrt die Ergebnisse wie sie in den Belegen dargestellt sind. Außerdem sollte dir nach der langen Diskussion klar sein, dass es nicht sinnvoll ist, die immer gleichen Behauptungen aufzustellen. Änderung 252076029 von Kompetenter rückgängig gemacht;
Markierung: Rückgängigmachung
Zeile 25: Zeile 25:
Forscher der [[University of Maryland]] stellten im März 2023 fest, dass verschiedene Tools zur Identifikation KI-generierter Texte nicht immer zuverlässig arbeiteten. Schon einfaches Umschreiben des Textes reiche oft aus, um der Entdeckung zu entgehen. Dadurch könne die Genauigkeit eines Identifizierungstools von 97&nbsp;Prozent auf 80&nbsp;Prozent und im schlimmsten Fall auf 57&nbsp;Prozent verringert werden. Dies gelte auch für Tools, die Wasserzeichenschemata verwenden oder auf neuronalen Netzen basieren.<ref>{{Internetquelle |autor=Thomas Claburn |url=https://www.theregister.com/2023/03/21/detecting_ai_generated_text/ |titel=No reliable way to detect AI-generated text, boffins sigh |werk=The Register |datum=2023-03-21 |sprache=en |abruf=2024-12-07}}</ref>
Forscher der [[University of Maryland]] stellten im März 2023 fest, dass verschiedene Tools zur Identifikation KI-generierter Texte nicht immer zuverlässig arbeiteten. Schon einfaches Umschreiben des Textes reiche oft aus, um der Entdeckung zu entgehen. Dadurch könne die Genauigkeit eines Identifizierungstools von 97&nbsp;Prozent auf 80&nbsp;Prozent und im schlimmsten Fall auf 57&nbsp;Prozent verringert werden. Dies gelte auch für Tools, die Wasserzeichenschemata verwenden oder auf neuronalen Netzen basieren.<ref>{{Internetquelle |autor=Thomas Claburn |url=https://www.theregister.com/2023/03/21/detecting_ai_generated_text/ |titel=No reliable way to detect AI-generated text, boffins sigh |werk=The Register |datum=2023-03-21 |sprache=en |abruf=2024-12-07}}</ref>


In einer Metastudie, die Vergleiche von Software zur Erkennung von KI-generierten Texten auswertet, wurde GTPZero eine durchschnittliche, hohe Genauigkeit attestiert,<!-- S. 10: „GPTZero, GPT Radar, and Sapling – have just average or below-average accuracy“; Table 5 --> KI-generierte Texte korrekt zu identifizieren: Nur 2&nbsp;Prozent wurden inkorrekt, also fälschlich als von Menschen geschrieben eingestuft, 80&nbsp;Prozent wurden korrekt als KI generierter Text erkannt und bei 18&nbsp;Prozent war sich das Tool unsicher, stufte die Texte also weder korrekt noch inkorrekt ein. Jedoch hat GTPZero bei von [[GPT-4]] generierten Texten eine hohe Unsicherheitsrate: 57&nbsp;Prozent wurden korrekt als von Menschen geschriebener Text eingestuft, bei 33&nbsp;Prozent war sich das Tool unsicher, die restlichen 10&nbsp;Prozent wurden fälschlich als KI-generiert eingestuft. Die Genauigkeit des Tools bei der Erkennung von Texten, die von Menschen geschrieben wurden, beträgt 88 Prozent; 10 Prozent wurden als unsicher und 2 Prozent inkorrekt eingeordnet.<ref>{{Literatur |Autor=William H. Walters |Titel=The Effectiveness of Software Designed to Detect AI-Generated Writing. A Comparison of 16 AI Text Detectors |Sammelwerk=Open Information Science |Band=7 |Nummer=1 |Datum=2023 |DOI=10.1515/opis-2022-0158 |Kapitel=Artikelnummer 20220158}}</ref>
In einer Metastudie, die unterschiedliche Auswertungen vergleicht, wurde GTPZero eine hohe Genauigkeit attestiert, viele KI-generierte Texte korrekt zu identifizieren: Nur 2&nbsp;Prozent wurden als inkorrekt, also fälschlich von Menschen geschrieben eingestuft, 80&nbsp;Prozent wurden korrekt als KI generierter Text erkannt und nur bei 18&nbsp;Prozent war sich das Tool unsicher. Andrerseits hat GTPZero bei von Menschen geschriebenen Texten eine hohe Unsicherheitsrate: 60&nbsp;Prozent wurden korrekt als von Menschen geschriebener Text eingestuft, bei 36&nbsp;Prozent war sich das Tool unsicher, die restlichen 4&nbsp;Prozent wurden fälschlich als KI-generiert eingestuft.<ref>{{Literatur |Autor=William H. Walters |Titel=The Effectiveness of Software Designed to Detect AI-Generated Writing. A Comparison of 16 AI Text Detectors |Sammelwerk=Open Information Science |Band=7 |Nummer=1 |Datum=2023 |DOI=10.1515/opis-2022-0158 |Kapitel=Artikelnummer 20220158}}</ref>


Die Technik-Website ''Futurism'' lobte in einem Test die Geschwindigkeit der Software, bemängelte aber eine hohe Fehlerquote. Von acht von Menschen geschriebenen Texten hätte GPTZero nur sechs als echt identifiziert, von acht Texten, die mit [[ChatGPT]] erstellt wurden, waren sieben erkannt worden.<ref>{{Internetquelle |autor=Victor Tangermann |url=https://futurism.com/gptzero-accuracy |titel=There's a Problem With That App That Detects GPT-Written Text: It's Not Very Accurate |werk=Futurism |datum=2023-01-09 |sprache=en |abruf=2024-12-07}}</ref> Auch die ''[[The Washington Post|Washington Post]]'' stellte im August 2023 fest, dass Identifizierungswerkzeuge bisweilen unter falsch-positiven Ergebnissen litten, und gab Tipps, wie Studenten damit umgehen können.<ref>{{Internetquelle |autor=Geoffrey Fowler |url=https://www.washingtonpost.com/technology/2023/08/14/prove-false-positive-ai-detection-turnitin-gptzero/ |titel=What to do when you’re accused of AI cheating |hrsg=Washington Post |datum=2023-08-14 |sprache=en |abruf=2024-12-07}}</ref>
Die Technik-Website ''Futurism'' lobte in einem Test die Geschwindigkeit der Software, bemängelte aber eine hohe Fehlerquote. Von acht von Menschen geschriebenen Texten hätte GPTZero nur sechs als echt identifiziert, von acht Texten, die mit [[ChatGPT]] erstellt wurden, waren sieben erkannt worden.<ref>{{Internetquelle |autor=Victor Tangermann |url=https://futurism.com/gptzero-accuracy |titel=There's a Problem With That App That Detects GPT-Written Text: It's Not Very Accurate |werk=Futurism |datum=2023-01-09 |sprache=en |abruf=2024-12-07}}</ref> Auch die ''[[The Washington Post|Washington Post]]'' stellte im August 2023 fest, dass Identifizierungswerkzeuge bisweilen unter falsch-positiven Ergebnissen litten, und gab Tipps, wie Studenten damit umgehen können.<ref>{{Internetquelle |autor=Geoffrey Fowler |url=https://www.washingtonpost.com/technology/2023/08/14/prove-false-positive-ai-detection-turnitin-gptzero/ |titel=What to do when you’re accused of AI cheating |hrsg=Washington Post |datum=2023-08-14 |sprache=en |abruf=2024-12-07}}</ref>

Version vom 9. Januar 2025, 12:46 Uhr

GPTZero ist eine Software zur Erkennung von Texten und Textstellen, die mit Large Language Models erzeugt wurden. Sie wurde anfangs vor allem eingesetzt, um so generierte Schul- und Studienarbeiten zu erkennen und hat in diesem Feld eine hohe Verbreitung erreicht (Stand 2024).

Während GPTZero für seine Bemühungen, akademische Unehrlichkeit zu verhindern, gelobt wurde, wird auf der anderen Seite auch die Falsch-Positiv-Rate des Tools kritisiert. GPTZero ist eines der kommerziell erfolgreichsten KI Identifizierungstools und wird sehr häufig eingesetzt (Stand Juli 2024).

Geschichte

GPTZero wurde von Edward Tian, einem Studenten der Princeton-Universität, entwickelt, um akademische Plagiate aufzuspüren, die mit Sprachmodellen der KI erstellt wurden. Die Software wurde im Januar 2023 online gestellt und schon in der ersten Woche 30.000 Mal genutzt.[1] Aufgrund des großen Erfolgs gründete Tian zusammen mit Alex Cui ein Start-up, das im Mai 2023 bereits 3,5 Mio. Dollar Startkapital eingeworben hatte.[2] Im Juli 2024 hatte GPTZero bereits 4 Mio. Nutzer und 10 Mio. Dollar von Investoren eingesammelt.[3]

GPTZero bietet bereits ein KI-Klassifizierungsmodell an, das den Anteil KI-generierter Teile eines Textes anzeigt. Das Unternehmen kündigte im September 2024 an, ein weit umfassenderes Tool zur Überwachung des Schreibprozesses zu entwickeln. Die Nutzer dieser neuen Autorenplattform können Daten über ihren Schreibprozess zusammenstellen und weitergeben, z. B. den Verlauf der Texteingabe, die Anzahl der Autoren oder die Dauer der Bearbeitung. So kann der Entstehungsprozess überwacht und aufgezeichnet und später von Dritten überprüfen werden.[4] Dieses Tool wird vom Unternehmen „Origin“ genannt und kann als Plug-in in Microsoft Word integriert werden.[1]

Funktionsweise

Ziel der Entwickler von GPTZero ist, mit KI erstellte Texte oder Textabschnitte zu identifizieren.[5] GPTZero arbeitet mit zwei Eigenschaften eines Textes, um zu erfassen, ob er von einer künstlichen Intelligenz verfasst wurde.

Die erste Eigenschaft ist die „Perplexität“ (deutsch: Unsicherheit). Sie ist ein Maß dafür, wie zufällig oder wie vertraut ein Text für ein Sprachmodell ist, das heißt, ob die Art und Weise, wie der Satz aufgebaut ist, für ein Sprachmodell typisch oder eher ungewöhnlich ist.[6] Die KI stützt sich auf bestimmte Sprachmodelle und je mehr solcher Modelle im Text vorhanden sind, desto größer ist die Wahrscheinlichkeit, dass der Text nicht von einem Menschen verfasst wurde.

Die zweite Eigenschaft eines Textes nennt das Unternehmen „Burstiness“ (deutsch: Zerreißfaktor) und bezieht sich auf die Komplexität und Varietät in Sätzen. Menschen neigen dazu, die Satzlänge zu variieren, lange Sätze und kurze Sätze abzuwechseln oder mal viele und dann wieder sehr weniger Adjektive zu nutzen. Maschinell erstellte Text sind diesbezüglich gleichförmiger. [6]

Neben der Überprüfung von Texten, die direkt von KI-Werkzeugen kopiert wurden, ist das Tool auch in der Lage, jene Teile eines Textes zu erkennen und hervorzuheben, die von einem Sprachmodell wie ChatGPT geschrieben oder umformuliert wurden. Nach GPTZero können mehrere Dateien zusammen hochgeladen werden, um eine effektive und schnelle Überprüfung von unterschiedlichen Texten sicherzustellen. Damit können Lehrer z. B. die Abgaben einer ganzen Klasse effizient überprüfen.[7]

Anwendungen

Die ersten Anwender des Tools waren Schulen und Universitäten um Arbeiten von Schülern und Studenten darauf überprüften, ob diese mit einer KI erstellt wurden.[8] Im Oktober 2023 schloss GPTZero eine Partnerschaft mit der US Teachers Union, der zweitgrößten Gewerkschaft der USA.[9] Im Sommer 2024 wurde das Tool von der American Federation of Teachers und der School of Education der University of Virginia getestet. Auch Personalverantwortliche zeigten sich interessiert daran, Bewerbungsschreiben darauf zu überprüfen, ob sie mit KI erstellt wurden.[4]

Auch wenn die meisten Anwender Schulen und Universitäten sind, ist es das Ziel von Tian, „dieses Tool so vielen Branchen wie möglich zur Verfügung zu stellen. Und zwar allen, die von KI betroffen sind, darunter Bildung, Finanzen, Journalismus und auch darüber hinaus wie Cybersicherheit.“[1]

Ergebnisse des Tools und Kritik am Tool

Forscher der University of Maryland stellten im März 2023 fest, dass verschiedene Tools zur Identifikation KI-generierter Texte nicht immer zuverlässig arbeiteten. Schon einfaches Umschreiben des Textes reiche oft aus, um der Entdeckung zu entgehen. Dadurch könne die Genauigkeit eines Identifizierungstools von 97 Prozent auf 80 Prozent und im schlimmsten Fall auf 57 Prozent verringert werden. Dies gelte auch für Tools, die Wasserzeichenschemata verwenden oder auf neuronalen Netzen basieren.[10]

In einer Metastudie, die unterschiedliche Auswertungen vergleicht, wurde GTPZero eine hohe Genauigkeit attestiert, viele KI-generierte Texte korrekt zu identifizieren: Nur 2 Prozent wurden als inkorrekt, also fälschlich von Menschen geschrieben eingestuft, 80 Prozent wurden korrekt als KI generierter Text erkannt und nur bei 18 Prozent war sich das Tool unsicher. Andrerseits hat GTPZero bei von Menschen geschriebenen Texten eine hohe Unsicherheitsrate: 60 Prozent wurden korrekt als von Menschen geschriebener Text eingestuft, bei 36 Prozent war sich das Tool unsicher, die restlichen 4 Prozent wurden fälschlich als KI-generiert eingestuft.[11]

Die Technik-Website Futurism lobte in einem Test die Geschwindigkeit der Software, bemängelte aber eine hohe Fehlerquote. Von acht von Menschen geschriebenen Texten hätte GPTZero nur sechs als echt identifiziert, von acht Texten, die mit ChatGPT erstellt wurden, waren sieben erkannt worden.[12] Auch die Washington Post stellte im August 2023 fest, dass Identifizierungswerkzeuge bisweilen unter falsch-positiven Ergebnissen litten, und gab Tipps, wie Studenten damit umgehen können.[13]

Die Nachrichten-Website Ars Technica kommentierte, dass auch Menschen Sätze sehr regelmäßig schreiben können, was mitunter zu falsch positiven Ergebnissen führe. Der Autor Benj Edwards führte weiter aus, dass der Perplexitätswert nur das berücksichtige, was für die KI „überraschend“ sei. Das führe dazu, dass sehr gebräuchliche Texte, wie die die US-Verfassung, als wahrscheinlich von der KI generiert eingestuft werden könnten.[14]

Gründer Tian äußerte zu derartigen Beobachtungen, dass jedes Identifizierungstool blinde Flecken habe, an deren Reduzierung gearbeitet werde.[3]

Siehe auch

Einzelnachweise

  1. ↑ a b c Madeline Renbarger: How a 23-year-old college student built one of the leading AI detection tools. Abgerufen am 6. Dezember 2024 (amerikanisches Englisch).
  2. ↑ Chris Stokel-Walker: This AI detection tool raised 3,5 mio $ to check the internet for computer-generated work. In: Fast Company. 5. August 2023, abgerufen am 7. Dezember 2024 (englisch).
  3. ↑ a b AI Detectors Falsely Accuse Students of Cheating—With Big Consequences. In: Bloomberg.com. 18. Oktober 2024 (bloomberg.com [abgerufen am 7. Dezember 2024]).
  4. ↑ a b Brian Contreras: How can you detected AI-generated Text? This Startup has some compelling Ideas. 18. September 2024, abgerufen am 7. Dezember 2024 (englisch).
  5. ↑ Megan Cerullo: American Federation of Teachers partners with AI identification platform, GPTZero - CBS News. CBS News, 17. Oktober 2023, abgerufen am 7. Dezember 2024 (amerikanisches Englisch).
  6. ↑ a b Erik Ofgang published: What is GPTZero? The ChatGPT Detection Tool Explained By Its Creator. 27. Januar 2023, abgerufen am 7. Dezember 2024 (englisch).
  7. ↑ Kamya Pandey: AI Detector for Educators: What is GPTZero? In: JumpStart Magazine: Your Digital & Print Community Hub. 2. März 2023, abgerufen am 7. Dezember 2024 (amerikanisches Englisch).
  8. ↑ GPTZero to help teachers deal with ChatGPT-generated student essays. In: The Indian Express. 12. Januar 2023, abgerufen am 7. Dezember 2024 (englisch).
  9. ↑ US Teachers Union Deploys GPTZero To Detect AI Usage. Abgerufen am 7. Dezember 2024 (englisch).
  10. ↑ Thomas Claburn: No reliable way to detect AI-generated text, boffins sigh. In: The Register. 21. März 2023, abgerufen am 7. Dezember 2024 (englisch).
  11. ↑ William H. Walters: The Effectiveness of Software Designed to Detect AI-Generated Writing. A Comparison of 16 AI Text Detectors. In: Open Information Science. Band 7, Nr. 1, 2023, Artikelnummer 20220158, doi:10.1515/opis-2022-0158.
  12. ↑ Victor Tangermann: There's a Problem With That App That Detects GPT-Written Text: It's Not Very Accurate. In: Futurism. 9. Januar 2023, abgerufen am 7. Dezember 2024 (englisch).
  13. ↑ Geoffrey Fowler: What to do when you’re accused of AI cheating. Washington Post, 14. August 2023, abgerufen am 7. Dezember 2024 (englisch).
  14. ↑ Benj Edwards: Why AI writing detectors don’t work. 14. Juli 2023, abgerufen am 7. Dezember 2024 (amerikanisches Englisch).
Abgerufen von „https://de.wikipedia.org/w/index.php?title=GPTZero&oldid=252076604“