Velké jazykové modely (LLM) přicházejí ve všech tvarech a velikostech a pomohou vám, jak uznáte za vhodné. Ale která je nejlepší? Otestovali jsme dominantní AI od Alphabet, OpenAI a Meta.
Co potřebujete vědět o AI Chatbotech
Obecná umělá inteligence je cílem počítačových vědců po celá desetiletí a umělá inteligence sloužila jako opora spisovatelům sci-fi a filmařům ještě déle.
AGI vykazuje inteligenci podobnou lidským kognitivním schopnostem a Turingův test— test schopnosti stroje vykazovat inteligentní chování nerozeznatelné od lidského — zůstal během sedmi desetiletí od prvního uvedení téměř nezpochybněn.
Nedávná konvergence extrémně rozsáhlé výpočetní techniky, obrovského množství peněz a ohromujícího objemu volně dostupných informací dostupné na otevřeném internetu umožnily technologickým gigantům trénovat modely, které dokážou předpovědět další slovní sekci – nebo token – v sekvenci žetony.
V době psaní článku obojí Bard společnosti Google a ChatGPT od OpenAI jsou k dispozici k použití a testování prostřednictvím jejich webových rozhraní.
Jazykový model Meta, LLaMa, není na webu dostupný, ale můžete jej snadno stáhnout a spustit LLaMa na svém vlastním hardwaru a použijte jej prostřednictvím příkazového řádku nebo spustit Dalai na svém vlastním počítači—jedna z několika aplikací s uživatelsky přívětivým rozhraním.
Pro účely testu spustíme model Alpaca 7B Stanfordské univerzity – adaptaci LLaMa – a postavíme jej proti Bardovi a ChatGPT.
Následující srovnání a testy nemají být vyčerpávající, ale spíše vám naznačí klíčové body a možnosti.
Který velký jazykový model je nejsnáze použitelný?
Bard i ChatGPT vyžadují k používání služby účet. Účty Google i OpenAI lze snadno a zdarma vytvořit a okamžitě se můžete začít ptát.
Chcete-li však spustit LLaMa lokálně, budete potřebovat nějaké specializované znalosti nebo schopnost sledovat výukový program. Budete také potřebovat značné množství úložného prostoru.
Který je nejsoukromější velký jazykový model?
Bard i ChatGPT mají rozsáhlé zásady ochrany osobních údajů a Google to ve svých dokumentech opakovaně zdůrazňuje že byste neměli „zahrnovat informace, které lze použít k identifikaci vás nebo jiných osob ve vašem Bardu rozhovory."
Ve výchozím nastavení Google shromažďuje vaše konverzace a vaši obecnou polohu na základě vaší IP adresy, vaší zpětné vazby a informací o využití. Tyto informace jsou uloženy ve vašem účtu Google po dobu až 18 měsíců. I když můžete pozastavit ukládání své aktivity Barda, měli byste si být vědomi toho, že „abychom pomohli s kvalitou a zlepšením našich produktů, kontroloři čtou, komentují a zpracovávají vaše konverzace s Bardem.“
Použití Bard také podléhá standardu Zásady ochrany osobních údajů společnosti Google.
Zásady ochrany osobních údajů OpenAI jsou v zásadě podobné a shromažďují údaje o IP adrese a používání. Na rozdíl od časově omezeného uchovávání od společnosti Google bude OpenAI „uchovávat vaše osobní údaje pouze tak dlouho, jak to potřebujeme, abychom mohli poskytnout poskytování služeb vám nebo pro jiné legitimní obchodní účely, jako je řešení sporů, z důvodů bezpečnosti a zabezpečení nebo dodržování našich právních předpisů závazky."
Naproti tomu místní model na vašem vlastním počítači nevyžaduje účet ani sdílení uživatelských dat s nikým.
Která LLM má nejlepší obecné znalosti?
Abychom otestovali, která LLM má nejlepší obecné znalosti, položili jsme tři otázky.
První otázka: "Která státní vlajka má pět stran?" správně odpověděl pouze Bard, který identifikoval národní vlajku Nepálu jako pětistrannou.
ChatGPT sebevědomě tvrdil, že „Neexistuje žádná národní vlajka, která má pět stran. Státní vlajky jsou typicky obdélníkového nebo čtvercového tvaru, charakterizované svými odlišnými barvami, vzory a symboly“.
Náš místní model se přiblížil a uvedl, že „Indická národní vlajka má pět stran a byla navržena v roce 1916, aby reprezentovala hnutí za nezávislost." I když tato vlajka existovala a měla pět stran, byla to vlajka indického hnutí za domácí vládu – nikoli státní vlajka.
Žádný z našich modelů nedokázal odpovědět, že správný termín pro objekt ve tvaru hrášku je „pisiform“, přičemž ChatGPT pokračuje tak daleko, že naznačuje, že hrách má „trojrozměrný geometrický tvar, který je dokonale kulatý a symetrický."
Všichni tři chatboti správně identifikovali Franca Malerbu jako italského astronauta a člena Evropský parlament, přičemž Bard poskytl odpověď formulovanou identicky jako část Malerbovy Wikipedie vstup.
Který LLM je vhodný pro technické pokyny?
Když máte technické problémy, můžete být v pokušení obrátit se o pomoc na chatbota. Zatímco technologie postupuje, některé věci zůstávají stejné. Elektrická zástrčka BS 1363 se v Británii, Irsku a mnoha dalších zemích používá od roku 1947. Zeptali jsme se jazykových modelů, jak to správně zapojit.
Kabely připojené k zástrčce mají živý vodič (hnědý), zemnící vodič (žlutý/zelený) a nulový vodič (modrý). Ty musí být připojeny ke správným svorkám v krytu zástrčky.
Naše implementace Dalai správně identifikovala zástrčku jako „anglický styl“, pak se odklonila z kurzu a místo toho vydala pokyny pro starší zástrčku BS 546 s kulatým kolíkem spolu se staršími barvami kabelů.
ChatGPT byl o něco užitečnější. Správně označil barvy kabeláže a poskytl seznam materiálů a sadu osmi pokynů. ChatGPT také navrhl vložit hnědý vodič do terminálu označeného "L", modrý vodič do "N" a žlutý vodič do "E." To by bylo správné, kdyby terminály BS1363 byly označeny, ale jsou nejsou.
Bard identifikoval správné barvy vodičů a dal nám pokyn, abychom je připojili k živým, neutrálním a zemnicím svorkám. Neposkytla žádné pokyny, jak je identifikovat.
Podle našeho názoru. žádný z chatbotů nedal dostatečné pokyny, aby pomohl někomu správně zapojit elektrickou zástrčku BS 1363. Stručná a správná odpověď by byla: "Vlevo modrá, vpravo hnědá."
Která LLM je vhodná pro psaní kódu?
Python je užitečný programovací jazyk který běží na většině moderních platforem. Našim modelům jsme dali pokyn, aby používaly Python a „Sestavte si základní program kalkulačky, který dokáže provádět aritmetické operace, jako je sčítání, odčítání, násobení a dělení. Měl by převzít uživatelský vstup a zobrazit výsledek." Toto je jeden z nejlepší programovací projekty pro začátečníky.
Zatímco Bard i ChatGPT okamžitě vrátili použitelný a důkladně okomentovaný kód, který jsme mohli otestovat a ověřit, žádný kód z našeho místního modelu se nespustil.
Která LLM vypráví nejlepší vtipy?
Humor je jedním ze základů lidského bytí a jistě jedním z nejlepších způsobů, jak oddělit člověka od stroje. Každému z našich modelů jsme dali jednoduchou výzvu: "Vytvořte originální a vtipný vtip."
Naštěstí pro všechny komiky a lidskou rasu vůbec žádný z modelů nedokázal vytvořit originální vtip.
Bard představil klasiku: „Proč ten strašák vyhrál cenu? Byl vynikající ve svém oboru."
Jak naše místní implementace, tak ChatGPT nabídly zasténání: „Proč vědci nevěří atomům? Protože oni tvoří všechno!"
Odvozený, ale originální vtip by byl: „Jak jsou velké jazykové modely podobné atomům? Oba si vymýšlejí věci!"
Nejdřív si to tady přečetli, lidi.
Žádný Chatbot není dokonalý
Zjistili jsme, že zatímco všechny tři velké jazykové modely mají své výhody a nevýhody, žádný z nich nemůže nahradit skutečnou odbornost člověka specializovanými znalostmi.
Zatímco Bard i ChatGPT poskytly lepší odpovědi na naši otázku o kódování a jsou velmi snadno použitelné, provozování velkého jazykového modelu lokálně znamená, že se nemusíte starat o soukromí nebo cenzura.
Pokud chcete vytvořit skvělé umění umělé inteligence bez obav, že vám někdo kouká přes rameno, je snadné spustit umělecký model umělé inteligence také na vašem místním počítači.