4 příklady, které ukazují, že nemůžete důvěřovat ZeroGPT a dalším nástrojům detekce AI

AI chatboti jsou bezpochyby výkonné a užitečné nástroje. Schopnost rozlišovat mezi obsahem vytvořeným lidmi a umělou inteligencí se však stává prominentním problémem.

K vyřešení tohoto problému se objevily nástroje jako ZeroGPT. Ty jsou navrženy tak, aby rozlišovaly mezi umělou inteligencí a obsahem vytvořeným lidmi. Ale fungují?

Podívejme se blíže na nástroje pro detekci umělé inteligence a zjistěme, zda dokážou rozpoznat rozdíl mezi lidským textem a textem generovaným umělou inteligencí.

Říká se, že důkaz pudingu je v jídle. Zkusme tedy nějaké testy a uvidíme, jak účinné jsou tyto nástroje. Je nemožné otestovat každý nástroj, takže testujeme jeden z nejpopulárnějších nástrojů – ZeroGPT.

Pokud jde o materiál, mysleli jsme si, že by bylo docela zábavné dát ChatGPT k napsání úvodu k tomuto článku a jeho následnému porovnání s „lidsky vytvořeným“ úvodem:

První test: Úvod k článku vygenerovanému člověkem a umělou inteligencí

První věc, kterou jsme udělali, bylo nechat ChatGPT vytvořit úvod. Zadali jsme název a neposkytli jsme žádné další informace. Pro pořádek jsme k testu použili GPT-3.5.

Poté jsme text zkopírovali a vložili do ZeroGPT. Jak vidíte, výsledky byly méně než hvězdné.

Nenápadný začátek, ale ilustruje, jak efektivní jsou chatboti AI. Abychom test dokončili, nechali jsme ZeroGPT analyzovat člověkem vytvořený koncept intro.

Alespoň v této části je to správně. Celkově ZeroGPT v tomto kole neuspěl. Zjistilo se, že alespoň část úvodu generovaného umělou inteligencí byla podezřelá, ale nedokázala zdůraznit konkrétní problémy.

Test 2: Falešně pozitivní problém

S tím, jak roste používání ChatGPT a dalších nástrojů AI, roste pravděpodobnost, že se někdo dozví nebo slyší o někom, kdo je konfrontován s tvrzeními, že jeho práce byla vytvořena AI. Tato obvinění jsou jedním z vážnějších problémů s ChatGPT a nástroji pro detekci AI, jako je ZeroGPT, protože tento druh chyby může poškodit pověst a ovlivnit živobytí.

K falešným poplachům dochází, když je obsah vytvořený lidmi nesprávně označen jako dílo umělé inteligence. Jak ukazuje příklad níže, problém lze snadno replikovat. Jsem vášnivý rybář, a tak jsem se rozhodl napsat úvod k imaginárnímu článku o rybaření na Floridě. Poté jsem nechal ZeroGPT analyzovat text – označilo to, že text byl 100% vytvořen AI.

Abych byl spravedlivý, usiloval jsem o tento výsledek. Ponechal jsem text obecný a použil jsem „prodejní“ jazyk. Ale pointa, že to napsal člověk, zůstává stejně platná. To není nepříjemnost nebo něco, nad čím lze jen pokrčit rameny. Chyby, jako je tato, mohou mít vážné důsledky pro spisovatele, studenty a další profesionály, kteří vytvářejí písemná díla.

Test tři: Testování ZeroGPT na fikci

Pro třetí test použijeme ChatGPT a požádáme ho, aby napsal nějakou fikci. Za tímto účelem jsme vytvořili scénář a vyzvali ChatGPT, aby napsal krátký úvod k fiktivnímu příběhu.

Nechali jsme to jednoduché a požádali jsme jen o napsání intro k příběhu o dvou cizincích, kteří se potkají na nástupišti:

A zde byla odpověď od ZeroGPT:

Jak je patrné z výsledku, ZeroGPT není schopen rozeznat skutečnost od fikce, když jedná s fikcí!

Čtvrtý test: Zpravodajské články

Na tom, že nás umělá inteligence může informovat o tom, co se děje ve světě kolem nás, je něco znepokojivého. Ne vždy se nutně jedná o „falešné zprávy“, protože mohou být relevantní a informativní, ale existují jednoznačné etické obavy z AI.

Abychom byli k ZeroGPT spravedliví, v tomto testu dopadl dobře. Požádali jsme ChatGPT a Bing Chat, aby napsali zpravodajské články o několika tématech, a ZeroGPT to pokaždé zvládly. Níže uvedený příklad ukazuje, jak správně deklaruje článek vygenerovaný Bing Chatem jako 100% vygenerovaný AI.

Nástroj tak důsledně označoval každý zpravodajský článek jako generovaný umělou inteligencí, že jsme se rozhodli jej otestovat na fiktivním zpravodajském článku, který jsme pro tento účel napsali.

Přinejmenším identifikoval některé články jako vytvořené lidmi, ale více než 70 % označil za vytvořené AI. Opět zde musíme být spravedliví; toto bylo docela základní přepracování článku o Bingu a sotva mělo kvalitu Pulitzerovy ceny.

Pointa ale zůstává v platnosti. Toto napsal člověk pomocí výzkumu nalezeného na internetu.

Za nedostatky v nástrojích jako ZeroGPT není jediný důvod. Zásadním problémem je však efektivita generativních chatbotů s umělou inteligencí. Ty představují neuvěřitelně výkonnou a rychle se vyvíjející technologii, která z nich efektivně dělá pohyblivý cíl pro nástroje detekce AI.

Chatboti s umělou inteligencí neustále zlepšují kvalitu a „lidskost“ svých výstupů, a proto je tento úkol extrémně náročný. Bez ohledu na obtíže však musí AI strana rovnice rozhodnout bez lidského dohledu.

Nástroje jako ZeroGPT používají k rozhodování umělou inteligenci. Ale AI se nejen ráno probudí a ví, co dělat. Musí se to trénovat, a právě zde začíná být důležitá technická stránka rovnice.

Zkreslení algoritmů a trénovacích dat je nevyhnutelné, vezmeme-li v úvahu samotnou velikost velké jazykové modely, na kterých jsou tyto nástroje školeny. Toto není problém, který je omezen na nástroje detekce AI, stejné předsudky mohou způsobit, že AI chatboti generují nesprávné odpovědi a halucinace AI.

Tyto chyby se však projevují jako nesprávné „příznaky AI“ v detekčních nástrojích. To není ideální, ale je to odraz současného stavu technologie AI. Zkreslení obsažené v trénovacích datech může vést k falešně pozitivním nebo falešně negativním výsledkům.

Dalším faktorem, který je třeba vzít v úvahu, je to, co tvoří obsah generovaný AI. Pokud je obsah vytvořený umělou inteligencí jednoduše přeformulován, jedná se o obsah vytvořený člověkem nebo umělou inteligencí? To představuje další velkou výzvu – rozmazání čar mezi těmito dvěma je téměř nemožné definovat strojově vytvořený obsah.

Pohled do budoucnosti detekce AI

Může to znít, jako bychom klepali na nástroje jako ZeroGPT. Není tomu tak; čelí obrovským výzvám a technologii sotva došly plenky. Rychlý nástup nástrojů, jako je ChatGPT, vyvolal poptávku po detekci AI a tato technologie by měla dostat šanci dozrát a učit se.

Od těchto nástrojů nelze očekávat, že budou samy čelit výzvám, které představují chatboti. Mohou však hrát cennou roli ve společném a mnohostranném úsilí o řešení výzev AI. Představují jeden díl větší skládačky, která zahrnuje etické postupy umělé inteligence, lidský dohled a pokračující výzkum a vývoj.

Výzvy, kterým tyto nástroje čelí, jsou zrcadlovým obrazem výzev, kterým společnost čelí, když se potýkáme s dilematy spojenými s novým technologickým věkem.

AI nebo ne AI? To je ta otázka

Nástroje jako ZeroGPT jsou chybné, o tom není pochyb. Ale nejsou bezcenné a představují důležitý krok, když se snažíme řídit a regulovat AI. Zlepší se jejich přesnost, ale také vyspělost umělé inteligence, na kterou jsou vycvičeni. Někde uprostřed těchto závodů ve zbrojení musíme najít rovnováhu, která bude společnosti vyhovovat.

Otázka – AI nebo ne AI? Je to víc než jen diskuse o tom, zda je něco generováno AI nebo ne. Svědčí to o větších otázkách, kterým společnost čelí, když se přizpůsobujeme odvážnému novému světu AI.

Pro záznam, podle ZeroGPT bylo 27,21 % tohoto závěru generováno AI. Hmm.