7 nejlepších místních/offline LLM, které můžete hned teď vyzkoušet

Uživatelé obvykle přistupují k velkým jazykovým modelům (LLM) pomocí uživatelského rozhraní prostřednictvím rozhraní API. Ačkoli poskytuje několik výhod, používání API také přináší omezení, jako je potřeba neustálého internetu připojení, omezená přizpůsobení, možné bezpečnostní problémy a společnosti omezující možnosti modelu prostřednictvím a paywall.

S kvantovanými LLM nyní dostupnými na HuggingFace a ekosystémech AI, jako jsou H20, Text Gen a GPT4All umožňuje načíst LLM závaží do vašeho počítače, nyní máte možnost bezplatného, ​​flexibilního a bezpečného AI.

Chcete-li začít, zde je sedm nejlepších místních/offline LLM, které můžete právě teď použít!

1. Hermes GPTQ

Nejmodernější jazykový model vyladěný pomocí datové sady 300 000 instrukcí společnosti Nous Research. Hermes je založen na LlaMA2 LLM společnosti Meta a byl doladěn pomocí převážně syntetických výstupů GPT-4.

Použití LlaMA2 jako základního modelu umožňuje společnosti Hermes zdvojnásobit velikost kontextu nebo maximální velikost tokenu 4 096. Díky spojení velikosti dlouhého kontextu a architektury kodéru je Hermes známý tím, že poskytuje dlouhé odpovědi a nízkou míru halucinací. Díky tomu je Hermes skvělým modelem pro různé

zpracování přirozeného jazyka (NLP) úkoly, jako je psaní kódu, tvorba obsahu a role chatbota.

Existuje několik kvantizací a verzí nového Hermes GPTQ. Doporučujeme vám nejprve vyzkoušet model Hermes-Llama2 13B-GPTQ, protože je to nejjednodušší verze pro nasazení a zároveň má skvělý výkon.

2. Falcon Instruct GPTQ

Tato kvantovaná verze Falconu je založena na architektuře pouze s dekodérem, která je doladěna na surovém modelu Flacon-7b od TII. Základní model Falcon byl trénován pomocí vynikajících 1,5 bilionu tokenů získaných z veřejného internetu. Jako model dekodéru založený pouze na instrukcích licencovaný pod Apache 2 je Falcon Instruct ideální pro malé podniky, které hledají model pro překlad jazyka a zadávání dat.

Tato verze Falconu však není ideální pro dolaďování a je pouze pro odvození. Pokud chcete Falcon doladit, budete muset použít surový model, který může vyžadovat přístup k podnikovému tréninkovému hardwaru, jako je NVIDIA DGX nebo AMD Instinct AI akcelerátory.

3.GPT4ALL-J Groovy

GPT4All-J Groovy je model pouze pro dekodér vyladěný Nomic AI a licencovaný pod Apache 2.0. GPT4ALL-J Groovy je založen na původním modelu GPT-J, o kterém je známo, že umí skvěle generovat text. z výzev. GPT4ALL -J Groovy byl vyladěn jako model chatu, což je skvělé pro rychlé a kreativní aplikace pro generování textu. Díky tomu je GPT4All-J Groovy ideální pro tvůrce obsahu, který jim pomáhá při psaní a kreativní práci, ať už jde o poezii, hudbu nebo příběhy.

Bohužel, základní model GPT-J byl trénován na datové sadě pouze v angličtině, což znamená, že i tento vyladěný model GPT4ALL-J může chatovat a provádět aplikace pro generování textu pouze v angličtině.

4.WizardCoder-15B-GPTQ

Hledáte model speciálně vyladěný pro kódování? Navzdory své podstatně menší velikosti je WizardCoder známý jako jeden z nejlepších modelů kódování, který překonává jiné modely, jako jsou LlaMA-65B, InstructCodeT5+ a CodeGeeX. Tento model byl trénován pomocí metody Evol-Instruct specifické pro kódování, která automaticky upravuje vaše výzvy tak, aby byly efektivnějšími výzvami souvisejícími s kódováním, kterým model lépe porozumí.

Díky kvantování do 4bitového modelu lze nyní WizardCoder používat na běžných počítačích, kde jej jednotlivci mohou používat pro experimentování a jako asistenta kódování pro jednodušší programy a skripty.

5. Wizard Vicuna Uncensored-GPTQ

Wizard-Vicuna GPTQ je kvantovaná verze Wizard Vicuna založená na modelu LlaMA. Na rozdíl od většiny LLM uvolněných pro veřejnost je Wizard-Vicuna necenzurovaný model s odstraněným zarovnáním. To znamená, že model nemá stejné bezpečnostní a morální standardy jako většina modelů.

I když možná pózuje Problém s ovládáním zarovnání AI, s necenzurovaným LLM také přináší to nejlepší z modelu tím, že může odpovídat bez jakýchkoli omezení. To také umožňuje uživatelům přidat vlastní zarovnání podle toho, jak má AI jednat nebo odpovídat na základě dané výzvy.

6. Orca Mini-GPTQ

Chcete experimentovat s modelem vyškoleným na unikátní metodě učení? Orca Mini je neoficiální modelová implementace výzkumných dokumentů Orca společnosti Microsoft. Byl trénován pomocí metody učení učitel-žák, kde byl soubor dat plný vysvětlení namísto pouze výzev a odpovědí. To by teoreticky mělo vést k chytřejšímu studentovi, kde model může problém porozumět spíše než jen hledat páry vstupů a výstupů, jako je to, jak fungují typické LLM.

S pouhými třemi miliardami parametrů lze Orca Mini GPTQ snadno spustit i na méně výkonných systémech. Tento model by však neměl být používán pro nic profesionálního, protože generuje nepravdivé informace, zaujaté a urážlivé reakce. Tento model by měl být použit pro učení a experimentování s Orcou a jejími metodami.

7.LlaMA 2 Chat GPTQ

LlaMA 2 je nástupcem původního LlaMA LLM, který zplodil většinu modelů na tomto seznamu. LlaMA 2 je soubor několika LLM, z nichž každý je trénován pomocí 7-70 miliard parametrů. Celkově byla LlaMA 2 předtrénována pomocí 2 bilionů tokenů dat převzatých z veřejně dostupných instrukčních datových sad.

LlaMA 2 je určena pro komerční a výzkumné použití. Jako takový se tento model nejlépe používá po jemném doladění pro lepší výkon u konkrétních úkolů. Tento specifický model chatu LlaMA 2 GPTQ byl vyladěn a optimalizován pro dialog v angličtině, díky čemuž je ideální model pro společnosti a organizace jako chatbot s malým nebo žádným dalším školením Požadované. Podle podmínek mohou společnosti s méně než 700 miliony uživatelů používat LlaMA 2 bez placení jakýchkoli licenčních poplatků od společnosti Meta nebo Microsoft.

Vyzkoušejte místní velké jazykové modely ještě dnes

Některé z výše uvedených modelů mají několik verzí z hlediska parametrů. Obecně platí, že verze s vyššími parametry poskytují lepší výsledky, ale vyžadují výkonnější hardware, zatímco verze s nižšími parametry budou generovat výsledky nižší kvality, ale mohou běžet na hardwaru nižší třídy. Pokud si nejste jisti, zda váš počítač může spustit model, zkuste nejprve přejít na verzi s nižšími parametry a poté pokračujte, dokud nebudete mít pocit, že pokles výkonu již není přijatelný.

Protože kvantované modely v tomto seznamu zabírají pouze několik gigabajtů prostoru a platformy pro nasazení modelů, jako je GPT4All a Text-Generation-WebUI lze snadno nainstalovat pomocí jejich instalačních programů na jedno kliknutí, vyzkoušet několik modelů a verzí modelů by nemělo trvat mnoho času a úsilí.

Tak na co čekáš? Vyzkoušejte místní model ještě dnes!