Google PaLM 2 vs. OpenAI GPT-4: Jaký je rozdíl?

Google představil novou generaci svého jazykového modelu Pathways (PaLM 2) 10. května 2023 na Google I/O 2023. Jeho nový model velkého jazyka (LLM) se může pochlubit mnoha vylepšeními oproti svému předchůdci (PaLM) a může být konečně připraven postavit se svému největšímu rivalovi, OpenAI GPT-4.

Ale jak moc se Google zlepšil? Je PaLM 2 tím rozdílem, jak Google doufá, že bude, a co je důležitější, s tolika podobnými schopnostmi, jak se PaLM 2 liší od GPT-4 od OpenAI?

PaLM 2 vs. GPT-4: Přehled výkonu

PaLM 2 je nabitý novými a vylepšenými funkcemi nad svým předchůdcem. Jednou z jedinečných výhod, které má PaLM 2 oproti GPT-4, je skutečnost, že je k dispozici v menších velikostech specifických pro určité aplikace, které nemají tolik integrovaného výpočetního výkonu.

Všechny tyto různé velikosti mají své vlastní menší modely nazvané Gecko, Otter, Bison a Unicorn, přičemž Gecko je nejmenší, následuje Otter, Bison a nakonec Unicorn, největší model.

Google také tvrdí, že oproti GPT-4 došlo ke zlepšení schopností uvažování ve WinoGrande a DROP, přičemž první z nich má v ARC-C úzký náskok. Pokud jde o PaLM a SOTA, došlo však k výraznému zlepšení ve všech oblastech.

PaLM 2 je podle 91stránkového Googlu také lepší v matematice PaLM 2 výzkumný dokument [PDF]. Nicméně způsob, jakým Google a OpenAI strukturovaly své výsledky testů, ztěžuje přímé srovnání těchto dvou modelů. Google také vynechal některá srovnání, pravděpodobně proto, že PaLM 2 si nevedl zdaleka tak dobře jako GPT-4.

V MMLU získal GPT-4 skóre 86,4, zatímco PaLM 2 dosáhl skóre 81,2. To samé platí pro HellaSwag, kde zabodoval GPT-4 95,3, ale PaLM 2 mohl získat pouze 86,8, a ARC-E, kde GPT-4 a PaLM 2 získaly 96,3 a 89,7, respektive.

Největší model v rodině PaLM 2 je PaLM 2-L. I když neznáme jeho přesnou velikost, víme, že je výrazně menší než největší model PaLM, ale využívá více trénovacích výpočtů. Podle Google, PaLM má 540 miliard parametrů, takže "výrazně menší" by měl dát PaLM 2 kdekoli mezi 10 až 300 miliardami parametrů. Mějte na paměti, že tato čísla jsou pouze předpoklady založené na tom, co Google řekl v dokumentu PaLM 2.

Pokud je toto číslo někde blízko 100 miliardám nebo méně, PaLM 2 je s největší pravděpodobností z hlediska parametrů menší než GPT-3.5. Uvážíme-li, že model s potenciálně pod 100 miliard může jít s GPT-4 od paty k patě a v některých úkolech jej dokonce porazit, je impozantní. GPT-3.5 zpočátku všechno vyfoukl z vody, včetně PaLM, ale PaLM 2 se docela zotavil.

Rozdíly v tréninkových datech GPT-4 a PaLM 2

I když Google neodhalil velikost tréninkové datové sady PaLM 2, společnost ve svém výzkumu uvádí, že nová tréninková datová sada LLM je podstatně větší. OpenAI také zvolila stejný přístup při odhalení GPT-4, přičemž nečinila žádné nároky na velikost trénovací datové sady.

Google se však chtěl zaměřit na hlubší porozumění matematice, logice, uvažování a vědě, což znamená, že velká část tréninkových dat PaLM 2 je zaměřena na výše uvedená témata. Google ve svém dokumentu uvádí, že předtréninkový korpus PaLM 2 se skládá z více zdrojů, včetně webových dokumentů, knih, kódů, matematiky a konverzačních dat, což je celkově zlepšuje, alespoň ve srovnání s Dlaň.

Konverzační dovednosti PaLM 2 by také měly být na jiné úrovni, protože model byl vyškolen ve více než 100 jazycích, aby bylo možné lépe porozumět kontextu a lépe překládat schopnosti.

Pokud jsou trénovací data GPT-4 potvrzena, OpenAI nám řekl, že trénoval model pomocí veřejně dostupných dat a dat, která licencovala. Výzkumná stránka GPT-4 uvádí: „Data jsou souborem dat ve webovém měřítku včetně správných a nesprávných řešení matematických problémů, slabých a silné uvažování, protichůdná a konzistentní prohlášení a představující širokou škálu ideologií a nápady."

Když je GPT-4 položena otázka, může vytvořit širokou škálu odpovědí, z nichž ne všechny mohou být relevantní pro váš dotaz. Aby to bylo v souladu se záměrem uživatele, OpenAI doladilo chování modelu pomocí posilovacího učení s lidskou zpětnou vazbou.

I když nemusíme znát přesná tréninková data, na kterých byl trénován každý z těchto modelů, víme, že tréninkový záměr byl velmi odlišný. Budeme muset počkat a uvidíme, jak se tento rozdíl v tréninkovém záměru liší mezi těmito dvěma modely v reálném nasazení.

Chatboti a služby PaLM 2 a GPT-4

První portál pro přístup k oběma LLM využívá jejich příslušných chatbotů, PaLM 2's Bard a GPT-4's ChatGPT. To znamená, že GPT-4 je za paywallem s ChatGPT Plus a bezplatní uživatelé získají přístup pouze ke GPT-3.5. Bard je na druhou stranu zdarma pro všechny a je dostupný ve 180 zemích.

To neznamená, že nemáte přístup ke GPT-4 zdarma. Microsoft Bing AI Chat používá GPT-4 a je zcela zdarma, otevřený pro všechny a dostupný hned vedle Bing Search, největšího rivala Googlu v tomto prostoru.

Google I/O 2023 byl plný oznámení o tom, jak PaLM 2 a generativní integrace AI vylepší Google Workspace zkušenosti s funkcemi umělé inteligence přicházející do Dokumentů, Tabulek, Prezentací Google, Gmailu a téměř všech služeb, které vyhledávací gigant nabízí. Kromě toho Google potvrdil, že PaLM 2 již byl integrován do více než 25 produktů Google, včetně Androidu a YouTube.

Pro srovnání, Microsoft již přinesl funkce AI do sady programů Microsoft Office a mnoha jejích služeb. V tuto chvíli můžete zažít obě LLM v jejich vlastních verzích podobných nabídek od dvou konkurenčních společností, které se střetnou v bitvě o AI.

Protože však GPT-4 vyšel brzy a pečlivě se vyvaroval mnoha chyb, které Google udělal s původním Bardem, de facto LLM pro vývojáře třetích stran, startupy a téměř kohokoli jiného, ​​kdo chce do svých služeb začlenit schopný model umělé inteligence. daleko. Máme seznam aplikací GPT-4, pokud si je chcete prohlédnout.

To neznamená, že vývojáři nepřejdou na PaLM 2 nebo jej alespoň nevyzkouší, ale Google v tomto ohledu stále musí dohánět OpenAI. A skutečnost, že PaLM 2 je open-source, místo aby byl uzamčen za placeným API, znamená, že má potenciál být rozšířenější než GPT-4.

Může PaLM 2 pojmout GPT-4?

PaLM 2 je stále velmi nový, takže odpověď na to, zda může nebo nemůže přijmout GPT-4, zbývá odpovědět. Nicméně se vším, co Google slibuje, a agresivním způsobem, který se rozhodl použít k jeho propagaci, to vypadá, že PaLM 2 může dát GPT-4 za své peníze.

GPT-4 je však stále docela schopný model a jak již bylo zmíněno, poráží PaLM 2 v mnoha srovnáních. To znamená, že několik menších modelů PaLM 2 mu dává nezvratný náskok. Gecko samo o sobě je tak lehké, že může pracovat na mobilních zařízeních, i když je offline. To znamená, že PaLM 2 může podporovat zcela odlišnou třídu produktů a zařízení, které mohou mít problémy s používáním GPT-4.

Závod AI se zahřívá

Se spuštěním PaLM2 se závod o dominanci AI vyhrotil, protože to může být jen první důstojný soupeř, který se postaví proti GPT-4. S novějším multimodálním modelem umělé inteligence s názvem „Gemini“ se také trénuje, Google zde nevykazuje žádné známky zpomalení.