Co je Shap-E OpenAI a co umí?

Společnosti zabývající se výzkumem a zaváděním umělé inteligence (AI), jako je OpenAI, neustále uvolňují funkce ve prospěch lidstva. Kromě ChatGPT, DALL-E, Point-E a dalších úspěšných nástrojů OpenAI vydala Shap-E, nový inovativní model.

Co je tedy Shap-E OpenAI a co pro vás může udělat?

Co je Shap-E OpenAI?

V květnu 2023 Alex Nichol a Heewon Jun, výzkumníci a přispěvatelé OpenAI, vydali papír oznamující Shap-E, nejnovější inovace společnosti. Shap-E je nový nástroj vyškolený na masivním datovém souboru spárovaných 3D obrázků a textu, který dokáže generovat 3D modely z textu nebo obrázků. Je to podobné jako DALL-E, který umí z textu vytvářet 2D obrázky, ale Shap-E vytváří 3D aktiva.

Shap-E je trénován na modelu podmíněné difúze a 3D mapování aktiv. Mapování 3D aktiv znamená, že Shap-E se naučí přiřazovat text nebo obrázky k odpovídajícím 3D modelům z velkého souboru dat existujících 3D objektů. Model podmíněné difúze je generativní model, který vychází z hlučné verze cílového výstupu a postupně jej zpřesňuje odstraňováním šumu a přidáváním detailů.

Kombinací těchto dvou komponent dokáže Shap-E generovat realistické a různorodé 3D modely, které odpovídají danému textovému nebo obrazovému vstupu a lze je prohlížet z různých úhlů a světelných podmínek.

Jak můžete používat Shap-E OpenAI

Shap-E nebyl zveřejněn jako ostatní nástroje OpenAI, ale jeho modelová váha, inferenční kód a ukázky jsou k dispozici ke stažení na Shap-E GitHub strana.

Kód Shap-E si můžete stáhnout zdarma a nainstalujte jej pomocí příkazu Python pip na tvém počítači. Potřebujete také GPU NVIDIA a vysoce výkonný CPU, protože Shap-E je velmi náročný na zdroje.

Po instalaci otevřete vygenerované 3D obrázky v aplikaci Microsoft Paint 3D. Stejně tak můžete převést obrázky do souborů STL pokud je chcete vytisknout pomocí 3D tiskáren.

Na stránce Shap-E GitHub můžete také nahlásit problémy a najít řešení problémů, které již nastolili ostatní.

Co můžete dělat s OpenAI Shap-E

Shap-E vám umožňuje popsat složité nápady pomocí vizuální reprezentace nápadů. Potenciální aplikace této technologie jsou neomezené, zejména proto, že vizuály mají obvykle mnohem působivější efekty než texty.

Jako architekt můžete pomocí Shap-E vytvářet 3D modely budov a konstrukcí na základě písemných popisů. Pomocí jednoduchých vět můžete určit rozměry, materiály, barvy a styly struktur. Můžete jej například vyzvat: „Vyrobte mrakodrap s 60 patry a skleněnými balustrádami“ a exportujte výsledek (y) do jiného softwaru pro další úpravy, pokud se vám výsledky líbí.

Hráči a umělci animací mohou vylepšit virtuální prostředí a vizuální zážitky vytvářením detailních 3D objektů a postav. Ve strojírenství můžete před vytvořením fyzických prototypů popsat součásti, specifikace a funkce strojů a zařízení a získat výsledky ve 3D modelech.

Navíc i v oborech, jako je vzdělávání, může Shap-E pomoci pedagogům sdělovat složité a abstraktní myšlenky svým studentům v předmětech, jako je biologie, geometrie a fyzika.

I když je to stále ve vývoji, Shap-E je o krok napřed před OpenAI BOD-E, která vytváří 3D mračna bodů na základě textových výzev. Mračna bodů jsou omezená ve své expresivitě a rozlišení, často vytvářejí rozmazané nebo neúplné tvary.

Generujte 3D modely pomocí OpenAI Shap-E

Shap-E je působivou ukázkou síly umělé inteligence při vytváření 3D obsahu z přirozeného jazyka nebo obrázků. S ním můžete vytvářet 3D objekty pro počítačové hry, interaktivní VR zážitky, prototypy a další účely. Ačkoli neexistují žádné záruky ohledně kvality výstupu, model AI vám poskytuje rychlý a efektivní způsob, jak vytvořit 3D model čehokoli.

Kromě toho je tento model umělé inteligence důležitým příspěvkem v prostoru hlubokého učení a pravděpodobně povede k budoucím pokročilým inovacím a výtvorům.