Co dokáže umělá inteligence pro převod textu na video od Runway Gen-2

Po mnoho let potřebovali tvůrci k vyprávění svých příběhů videokameru. Díky vývoji v oblasti umělé inteligence potřebujete pouze vaši představivost. A s generativní AI jsou možnosti vyprávění nekonečné.

Runway vám nabízí více způsobů, jak vyprávět svůj příběh s uvedením Gen-2, svého modelu umělé inteligence pro převod textu na video. Pokračujte ve čtení, abyste se dozvěděli více o Runway's Gen-2 a o tom, co umí.

Runway spouští svůj model AI Gen-2 pro převod textu na video

V únoru 2023 Dráha vypuštěna Gen-1, model umělé inteligence, který pomocí efektů vytváří nová videa ze stávajících. Jen o několik týdnů později – 20. března 2023 – byla dráha oficiálně oznámena Gen-2.

Runway's Gen-2 je o krok výš než Gen-1. Jde o generativní řešení AI, které uživatelům umožňuje vytvářet snová videa z pouhých slov, obrázků a vlastních videí. S Gen-2 vylepšuje Runway své možnosti přizpůsobení a produkuje videa s vyšší věrností. Ale hlavní rozdíl je v tom, že uživatelé mohou vytvářet videa od začátku – nepotřebujete referenční obrázek ani zdrojové video.

Generativní AI není nový koncept. Tolik působivých uměleckých děl bylo vytvořeno pomocí nejlepší bezplatné generátory AI text-to-art. Model získává na popularitě, protože se s ním stále více lidí seznamuje a sdílí svou práci na sociálních sítích. Rychlý pohled na Twitter účet společnosti Runway vám ukáže, jak nadšení lidé sdílejí mistrovská díla, která vytvořili pomocí jejích produktů.

Co umí Gen-2?

Tvorba obsahu a nástroje AI se každým rokem zlepšují. Když obojí spojíte, zrodíte nekonečné možnosti. Přesně to dělá Runway's Gen-2 s důrazem na natáčení filmů.

Gen-2 má různé režimy, které vám pomohou nastartovat váš film – níže jsou první tři.

• Převod textu na video: Představte si scénu a oživte ji tím, že ji popíšete textem.
• Text a obrázek k videu: Proměňte referenční obrázek v krásný film. Představte si sebe jako režiséra, obraz jako svůj subjekt nebo herce a Gen-2 jako kameramana. Gen-2 zachází s výstřelem přesně tak, jak mu přikážete.
• Z obrázku na video: Nahrajte referenční obrázek a vytvořte video inspirované tímto obrázkem. Tento režim funguje podobně jako webové stránky, které přeměňují fotografie na GIF, ale lepší, protože můžete vdechnout život starým fotografiím a udělat mnohem víc.

Stylizace režim vám umožní být kaskadérem ve vašem vlastním filmu nebo použít stávající choreografii k informování o tahech ve vašem příštím hudebním videu. Namísto použití textu k popisu pohybu, který chcete přeložit, použijte výzvu nebo obrázek pro přesnější výsledky.

Inspirace je všude. Storyboarding vám umožní uvolnit skutečný potenciál maket tím, že je převedete na stylizovaná videa.

Ne vždy budete vytvářet videa od začátku. Někdy možná budete chtít změnit pár věcí ve stávajícím videu. Maskování režim vám umožňuje izolovat a upravovat konkrétní prvky, abyste lépe sladili video s vašimi cíli, jako je změna barvy vlasů.

Při práci s nízkým rozpočtem můžete vytvářet realistická videa pomocí stávajících obyčejných videí. Přidejte zeleň, vodu a mnoho dalšího s Gen-2 Render režimu. Konečně, Přizpůsobení režim—vytvářejte přesnější výsledky pomocí výzev k přizpůsobení modelu.

Umělá inteligence se neustále zlepšuje

Zapomeňte na animaci – generativní umělá inteligence je dar, který neustále dává. Nikdo si nedokázal představit, že budete schopni vytvářet filmy z ničeho pouze pomocí počítače. Pokud jde o nedávný vývoj, budoucnost vypadá jasně pro média, umělou inteligenci a prostory pro vytváření obsahu.