Zatímco OpenAI vede cestu pro generativní vývoj AI, mnozí obviňují Google, že zaostává. Abychom však nezůstali pozadu, Google na své konferenci Google I/O v roce 2023 spustil nový velký jazykový model, PaLM 2.
Nová LLM společnosti Google, která má být k dispozici ve čtyřech různých velikostech pro řadu aplikací, již zjevně pohání několik služeb Google a mnoho dalších přibude.
Co je PaLM 2?
Na konferenci Google I/O 2023, která se konala 10. května, odhalila generální ředitelka společnosti Google Sunda Pichai nejnovější hračku společnosti Google: PaLM 2.
Zkratka pro Pathways Language Model 2, upgradovaný LLM od Googlu je druhou iterací PaLM, přičemž první verze bude spuštěna již v dubnu 2022. Nemůžete si vzpomenout na PaLM? No, v té době to byla velká novinka a získala hromadu zájmu pro svou schopnost trochu konverzovat, vyprávět základní vtipy a tak dále. Rychle vpřed o šest měsíců a OpenAI GPT-3.5 vyhodil všechno z vody, včetně PaLM.
Od té doby, OpenAI spustila GPT-4, masivní upgrade na GPT-3.5. Přestože je novější model integrován do mnoha nástrojů, zejména Bing AI Chat společnosti Microsoft, Google se zaměřuje na OpenAI a GPT-4 s PaLM 2 a bude doufat, že jeho vylepšený LLM dokáže zacelit to, co se zdálo být významnou mezerou – spuštění Google Bard bylo sotva bouřlivé úspěch.
Pichai oznámil, že PaLM 2 bude k dispozici ve čtyřech různých modelových velikostech: Gecko, Otter, Bison a Unicorn.
Gecko je tak lehké, že může pracovat na mobilních zařízeních a je dostatečně rychlé pro skvělé interaktivní aplikace na zařízení, i když je offline. Tato všestrannost znamená, že PaLM 2 lze vyladit tak, aby podporoval celé třídy produktů více způsoby a pomáhal více lidem.
Vzhledem k tomu, že Gecko dokáže zpracovat přibližně 20 tokenů za sekundu – tokeny jsou hodnoty přiřazené skutečným slovům pro použití v generativních modelech umělé inteligence – zdá se pravděpodobné, že to bude změna hry pro mobilní nástroje umělé inteligence.
Výcviková data PaLM 2
Google nebyl zrovna vstřícný s tréninkovými daty PaLM 2, což je pochopitelné vzhledem k tomu, že byla právě vydána. Ale Google Zpráva PaLM 2 [PDF] řekl, že chce, aby PaLM 2 měl hlubší porozumění matematice, logice a vědě a že velká část jeho tréninkového korpusu se zaměřila na tato témata.
Přesto stojí za zmínku, že PaLM nebyl žádný troškař. Když Google odhalila PaLM, potvrdila, že byla trénována na 540 miliardách parametrů, což bylo v té době kolosální číslo.
OpenAI GPT-4 údajně používá více než jeden bilion parametrů, přičemž některé spekulace uvádějí toto číslo až na 1,7 bilionu. Je jisté, že jelikož Google chce, aby PaLM 2 přímo konkuroval LLM OpenAI, bude mít přinejmenším srovnatelné číslo, ne-li více.
Dalším významným vylepšením PaLM 2 jsou data o jazykovém školení. Google vyškolil PaLM 2 ve více než 100 jazycích, aby mu poskytl hlubší a kontextové porozumění a zvýšil jeho překladatelské schopnosti.
Ale nejde jen o mluvené jazyky. V souvislosti s požadavkem společnosti Google na PaLM 2, aby poskytoval lepší vědecké a matematické uvažování, LLM byl také vyškolen ve více než 20 programovacích jazycích, což z něj činí fenomenální výhodu pro programátory.
PaLM 2 již pohání služby Google – ale stále vyžaduje jemné doladění
Nebude to dlouho trvat, než se nám dostane do rukou PaLM 2 a uvidíme, co dokáže. S trochou štěstí bude spuštění jakýchkoli aplikací a služeb PaLM 2 lepší než Bard.
Ale možná jste již (technicky!) PaLM 2 používali. Google potvrdil, že PaLM 2 je již nasazen a používán ve 25 jeho produktech, včetně Androidu, YouTube, Gmailu, Dokumentů Google, Prezentací Google, Tabulek Google a dalších.
Ale zpráva PaLM 2 také odhaluje, že je stále potřeba vykonat práci, konkrétně v oblasti toxických reakcí napříč řadou jazyků.
Například, když jsou specificky vydány toxické výzvy, PaLM 2 generuje toxické reakce více než 30 procent času. Kromě toho ve specifických jazycích – angličtině, němčině a portugalštině – poskytl PaLM 2 více toxických reakcí více než 17 procent času, přičemž toto číslo tlačí výzvy včetně rasových identit a náboženství vyšší.
Bez ohledu na to, jak moc se výzkumníci pokoušejí vyčistit tréninková data LLM, je nevyhnutelné, že někteří proklouznou. Další fází je pokračovat v tréninku PaLM 2, aby se snížily tyto toxické reakce.
Je to období boomu pro velké jazykové modely
OpenAI nebylo první, kdo spustil velký jazykový model, ale jeho modely GPT-3, GPT-3.5 a GPT-4 nepochybně rozsvítily modrý dotykový papír generativní umělé inteligence.
PaLM 2 od Googlu má nějaké problémy, které je třeba vyřešit, ale to, že se již používá v několika službách Google, ukazuje důvěru, kterou má společnost ve své nejnovější LLM.
