Co je limit tokenů ChatGPT a můžete jej překročit?

ChatGPT vzal technologický svět útokem a o vylepšení a aktualizace není nouze. Ale i přes použití pokročilé technologie existuje v současné verzi poměrně málo omezujících faktorů.

Jedním z takových faktorů je systém tokenů, který nadále narušuje vývojový cyklus a sráží užitečnost aplikace na kolena. Pokud používáte ChatGPT, možná budete chtít vědět o tokenech ChatGPT a o tom, co dělat, když vám dojdou tokeny.

Udělejme krok zpět a dáme vám nahlédnout do všeho, co je třeba vědět o základních pracovních mechanismech aplikace.

Co je to token ChatGPT?

Pokud projdete fasádou aplikace, uvidíte pouze počítačový jazyk, který poslouchá vaše příkazy a dává vám odpovědi, které hledáte. Nicméně, backend je jen spousta kódu, který se učí každou minutu a dostává se do rychlosti s otázkami, na které odpovídá.

ChatGPT převádí každé slovo na čitelný token, kdykoli položíte otázku. Abychom to dále rozvedli, tokeny jsou textové fragmenty a každý programovací jazyk používá k pochopení požadavků jinou sadu hodnot tokenů.

Vzhledem k tomu, že počítače nerozumí textovým hodnotám přímo, rozdělují je na kombinaci čísel, které se často nazývají vložení. Můžete dokonce zvážit vložení jako Seznamy Pythonu, které se podobají seznamu souvisejících čísel, například [1.1,2.1,3.1,4.1…n].

Jakmile ChatGPT vezme počáteční vstup, pokusí se předpovědět další možný vstup na základě předchozích informací. Vybere celý seznam předchozích tokenů a pomocí syntézy kódování se pokusí zabránit následnému vstupu uživatele. Využívá a předpovídá vždy jeden token, aby bylo pro jazyk jednodušší porozumět použití.

Pro zlepšení předpovědí a zlepšení přesnosti zvedne celý seznam vložení a předá jej přes vrstvy transformátoru, aby vytvořil asociace mezi slovy. Když se například zeptáte na otázku jako „Kdo je Thomas Edison?“, ChatGPT vybere nejcennější slova ze seznamu: SZO a Edison.

Transformátorové vrstvy mají v celém procesu svou roli. Tyto vrstvy jsou formou architektury neuronové sítě vycvičené k tomu, aby z řetězce slov vybrala nejrelevantnější klíčová slova. Tréninkový proces však není tak jednoduchý, jak se zdá, protože trénování transformátorových vrstev na gigabajtech dat trvá dlouho.

I když ChatGPT předpovídá vždy pouze jeden token, jeho auto-regresivní technologie je naprogramována tak, aby předpovídala a vracela zpět do primárního modelu, aby uvolnila výstup. Model je vyladěn tak, aby běžel pouze jednou pro každý token, takže výsledek je vytištěn po jednom slově. Výstup se automaticky zastaví, když aplikace narazí na příkaz stop tokenu.

Pokud se například podíváte na kalkulačku tokenů na webu ChatGPT, můžete si své otázky spočítat na základě využití tokenů.

Zadáme nějaký ukázkový text, například:

Jak vysvětlím použití tokenů v ChatGPT?

Podle kalkulačky je v tomto řetězci 46 znaků, které spotřebují 13 tokenů. Pokud to rozdělíte na Token ID, vypadá to nějak takto:

[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]

Podle Kalkulačka tokenů OpenAI:

Užitečné pravidlo je, že jeden token obecně odpovídá ~4 znakům textu pro běžný anglický text. To znamená zhruba ¾ slova (takže 100 tokenů ~= 75 slov).

Zdarma vs. Placené tokeny

Abychom vám poskytli představu o tom, co je v aplikaci ChatGPT, OpenAI vám nabízí bezplatné omezené předplatné tokenů. Pokud chcete experimentovat s ChatGPT API, použijte bezplatný kredit 5 $, který je platný tři měsíce. Po vyčerpání limitu (nebo vypršení zkušební doby) můžete platit průběžně, čímž se maximální kvóta zvýší na 120 USD.

ChatGPT Plus: Stojí za to placené předplatné?

Chcete-li to posunout o stupeň výš, můžete se dokonce zaregistrovat Nabídka ChatGPT Plus, což vás vrátí o 20 $ měsíčně. Vzhledem k rozsáhlému využití a popularitě celého modelu umělé inteligence jsou zde hlavní funkce modelu placeného předplatného:

• Přístup k ChatGPT, i když má web výpadek kvůli přílivu uživatelů
• Vylepšená míra odezvy
• Přístup z první ruky k novým funkcím a vydáním

Pokud máte pocit, že tyto funkce stojí za to a jsou ve vaší uličce, můžete se přihlásit k placenému předplatnému a okamžitě je využívat.

Struktura cen tokenů ChatGPT

K dispozici je několik různých aplikačních modelů, které si můžete vybrat podle svých požadavků:

Ada je nejrychlejší, zatímco DaVinci je nejvýkonnější model z tohoto seznamu modelů. Výzvou je otázka, zatímco dokončení se zabývá odpověďmi.

Maximální limity tokenů

Každý model umožňuje nastavit maximální počet tokenů v rámci každého dotazu. Tato metoda řídí maximální počet tokenů, které aplikace vygeneruje v jednom volání, a omezuje tak výstup. Funkce max_token je docela užitečná, zvláště když chcete řídit délku svého výstupu a zároveň se vyhnout nadměrnému používání vašeho tokenu a kreditů. Výchozí délka je pevně stanovena na 2048 tokenů, zatímco maximální lze nastavit na 4096 tokenů.

Omezení použití tokenu může vést ke krátkým odpovědím, které mohou omezit výstup a poškodit vaše používání.

ChatGPT3 má horní limit 4096; se zavedením ChatGPT4 se však limity tokenů zvyšují následovně:

Pokud je váš výstup zkrácen, musíte zvýšit zadaný maximální limit z řídicího panelu. Pamatujte, že součet vašich výzev a maximálních tokenů by měl být vždy menší než roven maximálnímu limitu tokenů modelu.

Například v rámci modelu ChatGPT je prompt_tokens + max_tokens <= 4096 žetony.

Naučte se ovládat své výzvy ChatGPT pro dosažení nejlepších výsledků

Bez ohledu na to, jak používáte aplikaci řízenou umělou inteligencí, je pravděpodobné, že budete muset vymyslet způsoby, jak si chytře pohrát se svými otázkami a frázemi. V závislosti na vašich způsobech používání budete pravděpodobně ChatGPT široce používat pro každý úkol.

Chcete-li dosáhnout nejlepších výsledků, musíte se naučit pracovat s metodikou tokenů a zlepšit své dovednosti, abyste zajistili, že vaše limity použití zůstanou nedotčeny a zároveň vám poskytne nejlepší možné odpovědi.