Jak spustit velký jazykový model na Linuxu (a proč byste měli)

Velké jazykové modely mají potenciál způsobit revoluci ve způsobu, jakým žijete a pracujete, a mohou vést konverzace a odpovídat na otázky s různou mírou přesnosti.

Chcete-li jej používat, obvykle potřebujete účet u poskytovatele LLM a přihlásit se prostřednictvím webové stránky nebo vyhrazené aplikace. Věděli jste ale, že v Linuxu můžete provozovat svůj vlastní velký jazykový model zcela offline?

Proč provozovat velký jazykový model na Linuxu?

Velké jazykové modely (LLM) jsou v dnešní době všude a dokážou zpracovat přirozený jazyk a poskytnout vhodné odpovědi, které vás mohou oklamat, abyste si mysleli, že odpověděl člověk. Microsoft uvádí na trh novou verzi Bing s umělou inteligencí, zatímco Alphabet's Bard je nyní nedílnou součástí vyhledávání Google.

Mimo vyhledávače můžete používat takzvané „AI chatboty“ k odpovídání na otázky, skládání poezie nebo dokonce k domácím úkolům za vás.

Ale přístupem k LLM online jste závislí na dobré vůli poskytovatele třetí strany – kterou lze kdykoli zrušit.

Také se na vás vztahují omezení použití. Požádejte OpenAI, aby napsala erotickou novelu o 6000 slovech, která se odehrává například v nacistickém Německu, a dostanete odpověď ve stylu „Omlouvám se, ale ten příběh pro vás nebudu moci vygenerovat.“

Vše, co zadáte do online LLM, se použije k jejich dalšímu školení a data, která možná budete chtít zůstat důvěrná, mohou být v budoucnu vyplivnuta jako součást odpovědi na otázku někoho jiného.

Potýkáte se také s nedostatkem služeb, protože systém je zahlcen uživateli a nuceni se přihlásit k odběru, takže máte přístup k platformě, když je poptávka vysoká.

Dalai je bezplatná a open-source implementace Meta's LLaMa LLM a Stanford's Alpaca. Poběží pohodlně na skromném hardwaru a poskytuje praktické webové rozhraní a řadu šablon příkazů – takže se můžete ptát na cokoliv chcete, aniž byste se museli obávat, že vám administrátor uzavře účet, LLM odmítne odpovědět nebo vaše připojení pokles.

Když nainstalujete LLM lokálně na Linux, je váš a můžete jej používat, jak chcete.

Jak nainstalovat Dalai na Linux

Nejjednodušší způsob, jak nainstalovat Dalai na Linux, je použít Docker a Docker Compose. Pokud je ještě nemáte, podívejte se do našeho průvodce, jak na to nainstalovat Docker a Docker Compose.

Když to bude z cesty, jste připraveni začít instalovat Dalai. Naklonujte úložiště Dalai GitHub a pomocí příkazu cd se do něj přesuňte:

git klon https://github.com/cocktailpeanut/dalai.git && cd dalai

Chcete-li zprovoznit Dalai s webovým rozhraním, nejprve vytvořte soubor Docker Compose:

sestavení docker-compose

Docker Compose stáhne a nainstaluje Python 3.11, Node Version Manager (NVM) a Node.js.

V sedmé fázi z devíti se bude zdát, že sestavení zamrzne, protože Docker Compose stahuje Dalai. Nebojte se: zkontrolujte využití šířky pásma, abyste se ujistili, že se něco děje, a simulovat vývoj virtuálních organismů ve vašem terminálu zatímco čekáte.

Nakonec se vrátíte do příkazového řádku.

Modely Dalai a LLaMa/Alpaca vyžadují ke spuštění hodně paměti. I když neexistuje žádná oficiální specifikace, dobrým hrubým vodítkem je 4 GB pro model 7B, 8 GB pro model 13B, 16 GB pro model 30B a 32 GB pro model 65B.

Modely Alpaca jsou relativně malé, model 13B dosahuje skromných 7,6 GB, ale hmotnosti LLaMA mohou být obrovské: ekvivalentní 13B stahování má kapacitu 60,21 GB a 65B model zabere na vašem pevném disku impozantní půl terabajtu. disk.

Rozhodněte se, který model je pro vaše prostředky nejvhodnější, a nainstalujte jej pomocí následujícího příkazu:

docker-compose spustit dalai npx dalai alpaca install 13B

Nebo:

docker-compose spustit dalai npx dalai llama install 13B

Existuje šance, že modely stažené přes Dalai mohou být poškozeny. Pokud je to tak, vezměte je z Objímání obličeje namísto.

Po návratu na příkazový řádek vyvolejte Docker Compose v odděleném režimu:

docker-compose up -d

Zkontrolujte, zda nádoba funguje správně pomocí:

docker-compose ps

Pokud vše funguje, jak má, otevřete webový prohlížeč a zadejte localhost: 3000 v adresním řádku.

Bavte se s vlastním velkým jazykovým modelem na Linuxu

Po otevření webového rozhraní se zobrazí textové pole, do kterého můžete psát své výzvy.

Psaní účinných výzev je obtížné a vývojáři Dalai užitečně poskytli řadu šablon, které vám pomohou získat užitečnou odpověď od Dalai.

Tyto jsou AI-Dialog, Chatbot, Výchozí, Návod, Přepsat, přeložit, a Tweet-sentiment.

Jak byste očekávali, AI-Dialog a Chatbot šablony jsou strukturovány způsobem, který vám umožňuje vést s LLM určitý druh konverzace. Hlavním rozdílem mezi těmito dvěma je, že chatbot má být „vysoce inteligentní“, zatímco AI-Dialog je „užitečný, laskavý, poslušný, čestný a zná své vlastní limity“.

Toto je samozřejmě vaše „AI“ a pokud se vám to líbí, můžete výzvu upravit tak, aby byl chatbot hloupý a vlastnosti dialogu AI byly „sadistické“ a „neužitečné“. Je to na tobě.

Vyzkoušeli jsme přeložit zkopírujte úvodní odstavec zprávy BBC a požádáte Dalai, aby ji přeložil do španělštiny. Překlad byl dobrý, a když jsme ho prošli přes Google Translate, abychom jej převedli zpět do angličtiny, zjistili jsme, že je docela čitelný a odráží fakta a sentiment původního díla.

Stejně tak Přepsat šablona přesvědčivě přetočila text do úvodu nového článku.

The Výchozí a Návod výzvy jsou strukturovány tak, aby vám pomohly klást otázky nebo přímo instruovat Dalai.

Přesnost reakce Dalai se bude značně lišit v závislosti na tom, jaký model používáte. Model 30B bude mnohem užitečnější než model 7B. Ale i tak vám připomene, že LLM jsou prostě sofistikované systémy pro uhodnutí dalšího slova ve větě.

Ani modely 7B ani 13B Alpaca nebyly schopny poskytnout přesné 200slovné shrnutí povídky „Cat in the Rain“ od Ernesta Hemingwaye a oba vymysleli důkladně přesvědčivé dějové linie a detaily o tom, o čem je příběh obsahoval.

A zatímco „vstřícný, laskavý, poslušný, čestný“ AI-Dialog, který „zná své vlastní limity“, a „vysoce inteligentní“ Chatbot se bude bránit kontroverzní výzvy, můžete dát Dalai přímou instrukci nebo výchozí žádost a on napíše, co chcete – jakkoli to.

Velký jazykový model na vašem počítači se systémem Linux je váš

Spuštěním velkého jazykového modelu na svém vlastním linuxovém boxu nepodléháte dohledu ani odebrání služby. Můžete jej používat, jak uznáte za vhodné, bez obav z následků porušení zásad podnikového obsahu.

Pokud máte málo výpočetních zdrojů, můžete dokonce provozovat LLM lokálně na skromném Raspberry Pi.