Velké jazykové modely (LLM) jsou základní technologií, která poháněla raketový vzestup generativních AI chatbotů. Nástroje jako ChatGPT, Google Bard a Bing Chat všechny spoléhají na LLM při generování lidských odpovědí na vaše výzvy a otázky.

Ale co jsou LLM a jak fungují? Zde jsme se pustili do demytizace LLM.

Co je velký jazykový model?

Zjednodušeně řečeno je LLM rozsáhlá databáze textových dat, na která lze odkazovat a generovat reakce na vaše výzvy podobné lidským. Text pochází z různých zdrojů a může mít miliardy slov.

Mezi běžně používané zdroje textových dat patří:

  • Literatura: LLM často obsahují obrovské množství současné a klasické literatury. To může zahrnovat knihy, poezii a divadelní hry.
  • Online obsah: LLM bude nejčastěji obsahovat velké úložiště online obsahu, včetně blogů, webového obsahu, otázek a odpovědí na fóru a dalšího online textu.
  • Zprávy a aktuální události: Některé, ale ne všechny LLM mají přístup k aktuálním tématům zpráv. Některé LLM, jako GPT-3.5, jsou v tomto smyslu omezeny.
    • instagram viewer
  • Sociální média: Sociální média představují obrovský zdroj přirozeného jazyka. LLM používají text z hlavních platforem, jako je Facebook, Twitter a Instagram.

Mít obrovskou databázi textů je samozřejmě jedna věc, ale LLM musí být vyškoleni, aby tomu rozuměli, aby produkovali odpovědi podobné lidem. Jak to dělá, je to, co probereme dále.

Jak LLM fungují?

Jak LLM používají tato úložiště k vytváření svých odpovědí? Prvním krokem je analýza dat pomocí procesu zvaného hluboké učení.

Hluboké učení se používá k identifikaci vzorců a nuancí lidského jazyka. To zahrnuje získání porozumění gramatice a syntaxi. Ale co je důležité, zahrnuje také kontext. Pochopení kontextu je klíčovou součástí LLM.

Podívejme se na příklad, jak mohou LLM využívat kontext.

Nápověda na následujícím obrázku zmiňuje vidění netopýra v noci. Z toho ChatGPT pochopil, že mluvíme o zvířeti a ne například o baseballové pálce. Ostatním chatbotům se samozřejmě líbí Bing Chat nebo Google Bard na to může odpovědět úplně jinak.

Není však neomylný, a jak ukazuje tento příklad, někdy budete muset zadat další informace, abyste získali požadovanou odpověď.

V tomto případě jsme záměrně hodili trochu zakřivené koule, abychom ukázali, jak snadno se ztrácí kontext. Ale lidé mohou také špatně pochopit kontext otázek a k opravě odpovědi potřebuje pouze další výzvu.

K generování těchto odpovědí používají LLM techniku ​​zvanou generování přirozeného jazyka (NLG). To zahrnuje zkoumání vstupu a použití vzorů získaných z jeho datového úložiště ke generování kontextově správné a relevantní odpovědi.

Ale LLM jdou hlouběji než toto. Mohou také přizpůsobit odpovědi tak, aby vyhovovaly emocionálnímu tónu vstupu. V kombinaci s porozuměním kontextu jsou tyto dva aspekty hlavními hnacími silami, které LLM umožňují vytvářet reakce podobné lidem.

Abychom to shrnuli, LLM používají masivní textovou databázi s kombinací hlubokého učení a technik NLG k vytváření lidských odpovědí na vaše výzvy. Existují však omezení toho, čeho lze dosáhnout.

Jaká jsou omezení LLM?

LLM představují působivý technologický úspěch. Technologie však zdaleka není dokonalá a stále existuje spousta omezení, pokud jde o to, čeho mohou dosáhnout. Některé z nejpozoruhodnějších z nich jsou uvedeny níže:

  1. Kontextové porozumění: Zmínili jsme to jako něco, co LLM začleňují do svých odpovědí. Ne vždy to však pochopí správně a často nejsou schopni porozumět kontextu, což vede k nevhodným nebo prostě nesprávným odpovědím.
  2. Zaujatost: Jakékoli zkreslení přítomné v trénovacích datech může být často přítomno v odpovědích. To zahrnuje předsudky vůči pohlaví, rase, geografii a kultuře.
  3. Selský rozum: Zdravý rozum je obtížné kvantifikovat, ale lidé se to učí od raného věku pouhým sledováním světa kolem sebe. LLM nemají tuto vlastní zkušenost, o kterou by se mohli opřít. Chápou pouze to, co jim bylo poskytnuto prostřednictvím jejich tréninkových dat, a to jim nedává skutečné pochopení světa, ve kterém existují.
  4. LLM je jen tak dobrý, jak dobrá jsou jeho tréninková data: Přesnost nelze nikdy zaručit. Staré počítačové přísloví „Garbage In, Garbage Out“ toto omezení dokonale shrnuje. LLM jsou jen tak dobré, jak jim to umožňuje kvalita a množství jejich tréninkových dat.

Existuje také argument, že etické obavy lze považovat za omezení LLM, ale toto téma nespadá do rozsahu tohoto článku.

3 Příklady populárních LLM

Pokračující pokrok AI je nyní z velké části podporován LLM. I když se nejedná o úplně novou technologii, určitě dosáhly bodu kritické dynamiky a nyní existuje mnoho modelů.

Zde jsou některé z nejpoužívanějších LLM.

1. GPT

Generative Pre-trained Transformer (GPT) je možná nejznámější LLM. GPT-3.5 pohání platformu ChatGPT použitou pro příklady v tomto článku, zatímco nejnovější verze, GPT-4, je k dispozici prostřednictvím předplatného ChatGPT Plus. Microsoft také používá nejnovější verzi na své platformě Bing Chat.

2. LaMDA

Toto je první LLM, který používá Google Bard, chatbot Google pro umělou inteligenci. Verze, se kterou byl Bard původně uveden na trh, byla popsána jako „odlehčená“ verze LLM. Toto nahradila výkonnější iterace PaLM LLM.

3. BERT

BERT znamená Bi-directional Encoder Representation od Transformers. Obousměrné charakteristiky modelu se liší BERT z jiných LLM, jako je GPT.

Bylo vyvinuto mnoho dalších LLM a odnože hlavních LLM jsou běžné. Jak se budou vyvíjet, budou i nadále narůstat ve složitosti, přesnosti a relevanci. Jaká je ale budoucnost LLM?

Budoucnost LLM

Ty budou nepochybně utvářet způsob, jakým budeme v budoucnu komunikovat s technologiemi. Rychlý nástup modelů jako ChatGPT a Bing Chat je toho důkazem. v krátkodobém horizontu AI vás v práci pravděpodobně nenahradí. Stále však panuje nejistota ohledně toho, jak velkou roli v našich životech budou hrát v budoucnu.

Etické argumenty mohou mít ještě slovo v tom, jak tyto nástroje integrujeme do společnosti. Nicméně, dáme-li to stranou, některé z očekávaných vývojů LLM zahrnují:

  1. Vylepšená účinnost:S LLM se stovkami milionů parametrů jsou neuvěřitelně hladové po zdrojích. S vylepšením hardwaru a algoritmů se pravděpodobně stanou energeticky efektivnějšími. To také zrychlí dobu odezvy.
  2. Vylepšené kontextové povědomí:LLM jsou samocvičící; čím více využití a zpětné vazby získají, tím lépe se stanou. Důležité je, že je to bez dalšího velkého inženýrství. Jak technologie postupuje, dojde ke zlepšení jazykových schopností a kontextového povědomí.
  3. Vyškoleni na konkrétní úkoly:Nástroje Jack-of-all-trade, které jsou veřejnou tváří LLM, jsou náchylné k chybám. Ale jak se LLM vyvíjejí a uživatelé je školí pro konkrétní potřeby, mohou hrát velkou roli v oblastech, jako je medicína, právo, finance a vzdělávání.
  4. Větší integrace: LLM by se mohly stát osobními digitálními asistenty. Vzpomeňte si na Siri na steroidech a dostanete nápad. LLM se mohou stát virtuálními asistenty, kteří vám pomohou se vším od navrhování jídel až po vyřizování vaší korespondence.

To jsou jen některé z oblastí, kde se LLM pravděpodobně stanou větší součástí našeho života.

Transformace a vzdělávání LLM

LLM otevírají vzrušující svět možností. Rychlý nárůst chatbotů, jako je ChatGPT, Bing Chat a Google Bard, je důkazem toho, že se do této oblasti nalévají zdroje.

Díky takovému rozšíření zdrojů se tyto nástroje stanou pouze výkonnějšími, všestrannějšími a přesnějšími. Potenciální aplikace takových nástrojů jsou obrovské a v tuto chvíli pouze rýsujeme po povrchu neuvěřitelného nového zdroje.