Co je GPTZero? Jak jej používat k detekci textu generovaného umělou inteligencí

Od svého spuštění se ChatGPT od OpenAI stal předmětem zájmu vzdělávacích institucí po celém světě, protože jej studenti začali používat k psaní esejů a podvádění při hodnocení. Vzhledem k tomu, jak přirozeně vypadá text generovaný chatbotem, mají instruktoři obtížnější určit, zda je práce studentů originální.

Aby pomohl učitelům při hodnocení úkolů studentů, absolvent informatiky vyvinul nástroj s názvem GPTZero, který určuje, zda byl text uměle vytvořen. Tento článek vysvětlí, jak nástroj funguje, jak jej používat a zda dokáže detekovat obsah generovaný AI.

Co je GPTZero a jak to funguje?

GPTZero je nástroj pro analýzu textu AI vyvinutý Edwardem Tianem, absolventem informatiky, aby pomohl instruktorům odlišit plagiát od původního díla. Nástroj kontroluje zmatenost a shluk textu, aby zjistil, zda je uměle vytvořený nebo vytvořený člověkem.

Aniž bychom zacházeli do podrobností, podívejme se, co tyto pojmy znamenají:

• Zmatek je mírou náhodnosti textu ve zpracování přirozeného jazyka (NLP). Text napsaný člověkem bývá méně strukturovaný a nepředvídatelnější, takže jeho hodnota zmatenosti by měla být vyšší, zatímco text generovaný umělou inteligencí by měl mít nízké skóre zmatenosti.
• Burstity bere v úvahu další proměnné, které nejsou brány v úvahu při zmatku, aby se zlepšila analýza textu. Termín odkazuje na výskyt neobvyklých položek v náhodných shlucích. Text generovaný AI má tendenci mít konzistentnější strukturu než text psaný lidmi. Burstiness nám to pomáhá identifikovat.

GPTZero Classic je veřejně přístupný od začátku roku 2023 a od března 2023 je zdarma. Bezplatná verze má však limit 5000 znaků na dokument a najednou můžete analyzovat pouze tři dokumenty.

GPTZero nabízí dvě prémiové verze pro uspokojení potřeb pedagogů a uživatelů, kteří chtějí analyzovat miliony slov měsíčně: GPTZero Educator a GPTZero Pro. Limit počtu znaků na dokument je v prémiových verzích vyšší než v bezplatné verzi a umožňují vám analyzovat neomezený počet souborů v dávkovém režimu.

Chcete-li se přihlásit k odběru těchto prémiových verzí, postupujte takto:

1. Jít do Dashboard GPTZero.
2. Přihlaste se pomocí svého stávajícího účtu nebo si vytvořte nový účet.
3. Po přihlášení můžete upgradovat na prémiovou verzi dle vlastního výběru.

Jak používat GPTZero k detekci textu generovaného AI

Na rozdíl od ChatGPT není na GPTZero vyžadována žádná registrace. K nástroji se dostanete jednoduše prostřednictvím webové stránky. Podívejme se, jak k němu můžete přistupovat a používat jej:

1. Jít do GPTZero.
2. Zkopírujte a vložte text, který chcete analyzovat, do pole nebo nahrajte soubor.
3. Zaškrtněte políčko vedle Souhlasím s Podmínkami Služby.
4. Klikněte na Získejte výsledky box.

Po dokončení skenování vám GPTZero sdělí, zda text napsal člověk nebo jej vygenerovala umělá inteligence.

Dokáže GPTZero správně rozpoznat text vygenerovaný AI?

Abychom otestovali, jak přesně GPTZero detekuje text generovaný AI, analyzujeme v nástroji tři texty: text generovaný umělou inteligencí, text psaný člověkem a text generovaný umělou inteligencí, který byl parafrázován jiným nástroj. Podívejme se, jak GPTZero reaguje na každý vstup.

Přiložíme pokyny, jak jsme tyto testy provedli, abyste je mohli spustit sami.

1. Analýza textu generovaného umělou inteligencí v GPTZero

Chcete-li analyzovat text generovaný umělou inteligencí, nejprve vygenerujte text pomocí ChatGPT, chatbota s umělou inteligencí využívajícího technologii GPT. Chcete-li to provést, postupujte takto:

1. Jít do OpenAI.
2. Klikněte na Zkuste ChatGPT knoflík.
3. Přihlaste se nebo si zaregistrujte účet.
4. Zadejte libovolnou výzvu k vygenerování textu.
5. Po dokončení zkopírujte text vygenerovaný nástrojem.
6. Analyzujte text v GPTZero, jak jsme vysvětlili dříve.

Můžete použít i jiné Nástroje pro psaní AI vygenerovat text, který chcete analyzovat.

GPTZero vrátil následující výstup, když jsme v nástroji analyzovali text generovaný AI:

Vzhledem k tomu, že text byl generován AI, GPTZero správně předpověděl, že jej pravděpodobně generovala AI. Aby byl test náročnější, parafrázovali jsme text generovaný ChatGPT.

2. Analýza parafrázovaného textu generovaného umělou inteligencí v GPTZero

Vybírat můžete ze stovek nástroje pro parafrázování abych text parafrázoval. Pro tento případ jsme použili Scribbr. Pokud chcete použít stejný nástroj, postupujte takto:

1. Jít do Scribbr.
2. Zkopírujte text vygenerovaný AI, který jsme dříve analyzovali v GPTZero, a vložte jej do nástroje.
3. Klikněte na Parafráze knoflík.
4. Nechte Scribbr parafrázovat text za vás.
5. Po parafrázování spusťte znovu test GPTZero.

Zde je výstup GPTZero, když jsme analyzovali parafrázovaný text generovaný AI:

Mírné parafrázování znesnadnilo GPTZero určit, zda je celý text generován AI.

3. Analýza obsahu psaného člověkem v GPTZero

V některých případech nástroje jako GPTZero vrátí falešně pozitivní výsledek, což znamená, že považují něco za nesprávné, když tomu tak není. Abychom zjistili, zda GPTZero také poskytuje falešně pozitivní výsledky, provedli jsme v nástroji tři testy a analyzovali tři různé texty psané lidmi.

Z těchto tří testů nástroj vrátil jeden falešně pozitivní tím, že uvedl, že původní text byl vygenerován AI; jednou neučinil závěr a jednou správně identifikoval text jako psaný člověkem.

Pokud chcete otestovat lidský psaný obsah, můžete jej buď zkopírovat z autentického zdroje, nebo napsat pár odstavců sami.

Měli byste věřit výsledkům GPTZero?

Na základě našeho testování může být spoléhání se pouze na výsledky tohoto nástroje riskantní. Ve skutečnosti se při každém generování výsledku pomocí nástroje objeví prohlášení o vyloučení odpovědnosti, které varuje pedagogy, aby na výsledky tohoto nástroje nespoléhali.

Pokud tedy vývojář nástroje nezaručí, že jeho výsledky jsou spolehlivé, neměli by se na něj pedagogové plně spoléhat. Proč? Protože by bylo nespravedlivé, kdyby student dostal špatnou známku jen proto, že GPTZero vrátilo falešně pozitivní.

Výše uvedené testy byly provedeny v únoru 2023. GPTZero je v současné době poměrně nový nástroj, takže jeho přesnost se může v průběhu času měnit.

Nevěřte vždy výsledkům detekce AI

Jako potenciální protilátka na technologii GPT OpenAI má GPTZero velký potenciál; je však stále v plenkách. V tuto chvíli to není úplně důvěryhodné. Bude však hlavní verze GPTZero schopna překonat všechna omezení a zachytit obsah AI s přesností? Abychom to zjistili, budeme muset počkat.

Kromě toho, že dává studentům další důvod k podvádění při hodnocení, ChatGPT také představuje vážnou hrozbu pro kybernetickou bezpečnost.