Je novější, ale pomalejší. Co dává?
S nejnovější verzí ChatGPT, GPT-4, vydanou v březnu 2023, se nyní mnozí ptají, proč je tak pomalá ve srovnání s jejím předchůdcem, GPT-3.5. Takže, jaký je zde hlavní důvod?
Proč je ChatGPT-4 tak pomalý a měli byste se místo toho držet GPT-3.5?
Co je ChatGPT-4?
ChatGPT-4 je nejnovější model Chatbot OpenAI, obecně známý jako ChatGPT. ChatGPT je poháněn umělou inteligencí, což mu umožňuje odpovídat na vaše otázky a výzvy mnohem lépe než předchozí chatboti. ChatGPT používá velký jazykový model poháněný GPT (Generative Pre-trained Transformer) k poskytování informací a obsahu uživatelům a zároveň je schopen konverzovat.
ChatGPT má širokou škálu možností, takže je užitečný pro miliony. ChatGPT může například psát příběhy, formulovat vtipy, překládat text, vzdělávat uživatele a další. Zatímco ChatGPT lze použít i pro více nezákonných činů, jako je např vytváření malwaru, jeho všestrannost je poněkud revoluční.
Model GPT-4 společnosti ChatGPT vyšlo 14. března 2023. Tato verze ChatGPT je navržena tak, aby lépe porozuměla emocionálnímu jazyku prostřednictvím textu a zároveň lépe porozuměla různým jazykovým dialektům a zpracování obrazu. GPT-4 může také vést delší konverzace a efektivně reagovat na delší výzvy uživatelů.
Parametry GPT-4 navíc do značné míry převyšují parametry GPT-3.5. Parametry ChatGPT určují, jak AI zpracovává a reaguje na informace. Stručně řečeno, parametry určují dovednost, kterou má chatbot k interakci s uživateli. Zatímco GPT-3.5 má 175 miliard parametrů, GPT-4 má neuvěřitelných 100 bilionů až 170 bilionů (proslýchá se – OpenAI toto číslo nepotvrdilo).
Byl to OpenAI GPT-3.5, který byl použit k napájení ChatGPT, což je nyní nejpopulárnější AI chatbot na světě. Takže GPT-3.5 udělal nepopiratelnou značku v oblasti AI. Ale věci se v technologickém průmyslu neustále vyvíjejí, takže není překvapením, že GPT-3.5 má nyní nástupce v GPT-4.
GPT-4 však není v žádném případě dokonalý. Dlouhá doba odezvy GPT-4 ve skutečnosti vyvolává značný rozruch. Pojďme se tedy podívat na tento problém a proč k němu může dojít.
ChatGPT-4 je pomalý
Mnozí si po vydání GPT-4 všimli, že nový chatbot OpenAI byl neuvěřitelně pomalý. To zanechalo mnoho uživatelů frustrovaných, protože GPT-4 měl být krokem nahoru od GPT-3.5, nikoli zpět. V důsledku toho se uživatelé GPT-4 obracejí na online platformy, jako je Reddit a komunitní rada OpenAI, aby o tomto problému diskutovali.
Na Komunitní fórum OpenAI, řada uživatelů přišla se svými frustracemi ze zpoždění GPT-4. Jeden uživatel uvedl, že GPT-4 byl na jeho konci „extrémně pomalý“ a že i malé požadavky kladené na chatbota vedly k neobvykle dlouhým zpožděním přes 30 sekund.
Ostatní uživatelé se rychle podělili o své zkušenosti s GPT-4, přičemž jeden pod příspěvkem uvedl, že „stejný hovor se stejnými daty může trvat až 4krát pomaleji než 3,5 turbo“.
V jiném Příspěvek na komunitním fóru OpenAI, uživatel poznamenal, že jejich výzvy se někdy setkávají s "chyba v tělesném proudu", výsledkem je žádná odpověď. Ve stejném vláknu jiný jedinec uvedl, že nedokázali GPT-4 „úspěšně odpovědět pomocí a kompletní skript." Jiný uživatel poznamenal, že při pokusu o použití neustále naráželi na chyby sítě GPT-4.
Zdá se, že se zpožděními a neúspěšnými nebo nedomyšlenými odpověďmi je GPT-4 zaneprázdněn problémy, které uživatele rychle odradí.
Tak proč přesně se to děje? Je něco špatně s GPT-4?
Proč je GPT-4 pomalý ve srovnání s GPT-3.5?
Ve výše uvedeném příspěvku na fóru komunity OpenAI jeden uživatel odpověděl, že zpoždění bylo způsobeno „aktuálním problémem s celou infrastrukturou přetížení,“ dodává, že existuje výzva „vypořádat se se škálovatelností v tak krátkém časovém rámci s takovou popularitou a počtem uživatelů chatu a API."
V Příspěvek na Redditu nahráno na subreddit r/singularity, uživatel uvedl několik možných důvodů pro pomalost GPT-4, počínaje větší velikostí kontextu. V rámci ekosystému GPT se velikost kontextu týká toho, kolik informací může daná verze chatbotu zpracovat a následně vytvořit informace. Zatímco velikost kontextu GPT-3.5 byla 4K, GPT-4 je dvojnásobná. Takže velikost kontextu 8K může mít dopad na celkovou rychlost GPT-4.
Autor Redditu také naznačil, že vylepšená ovladatelnost a kontrola GPT-4 by mohla hrát roli v době zpracování chatbota. Zde autor uvedl, že větší ovladatelnost GPT-4 a kontrola halucinací jsou nevhodné na vině může být jazyk, protože tyto funkce přidávají další kroky ke způsobu zpracování GPT-4 informace.
Dále bylo navrženo, že schopnost GPT-4 zpracovávat obrázky by mohla věci zpomalit. Tato užitečná funkce je milována mnoha, ale může mít háček. Vzhledem k tomu, že se říká, že GPT-4 trvá 10-20 sekund, než zpracuje poskytnutý obrázek, existuje šance, že tato komponenta prodlužuje dobu odezvy (ačkoli to nevysvětluje zpoždění, se kterým se setkávají uživatelé poskytující pouze textové výzvy).
Jiní uživatelé naznačili, že v těchto zpožděních hraje velkou roli novost ChatGPT-4. Jinými slovy, někteří si myslí, že nejnovější chatbot OpenAI musí zažít nějaké rostoucí bolesti, než budou moci být odstraněny všechny nedostatky.
Ale největší důvod, proč je GPT-4 pomalý, je počet parametrů, které může GPT-4 vyvolat oproti GPT-3.5. The fenomenální nárůst parametrů jednoduše znamená, že novějšímu modelu GPT trvá zpracování informací a reakce déle přesně. Získáte lepší odpovědi se zvýšenou složitostí, ale dostat se tam trvá trochu déle.
Měli byste si vybrat GPT-3.5 oproti GPT-4?
Takže s ohledem na tyto problémy byste měli používat GPT-3.5 nebo GPT-4?
V době psaní se zdá, že GPT-3.5 je rychlejší varianta než GPT-4. Zpoždění zaznamenalo tolik uživatelů, že je pravděpodobné, že problém s časem je přítomen plošně, nejen u několika jednotlivců. Pokud tedy ChatGPT-3.5 v současné době splňuje všechna vaše očekávání a nechcete čekat na odpověď výměnou za další funkce, může být moudré se prozatím držet této verze.
Měli byste si však uvědomit, že GPT-4 není jen GPT-3.5, ale je pomalejší. Tato verze chatbota OpenAI má oproti svému předchůdci řadu výhod. Pokud hledáte pokročilejšího chatbota s umělou inteligencí a nevadí vám déle čekat na odpovědi, možná se vyplatí přejít z GPT-3.5 na GPT-4.
Postupem času mohou být zpoždění GPT-4 snížena nebo zcela vyřešena, takže trpělivost by zde mohla být ctností. Ať už teď zkusíte přejít na GPT-4, nebo počkáte o něco déle, abyste viděli, jak se věci vyvinou s touto verzí, stále můžete z šikovného malého chatbota OpenAI získat hodně.
GPT-4 je pokročilejší, ale přichází s prodlevou
I když má GPT-4 oproti GPT-3.5 četné pokročilé funkce, kvůli značným zpožděním a chybám odezvy je pro některé nepoužitelný. Tyto problémy mohou být v blízké budoucnosti vyřešeny, ale prozatím musí GPT-4 určitě překonat některé překážky, než bude přijat v širším měřítku.