Vytvořte si vlastní „neurální malby“ pomocí DeepStyle a Ubuntu

reklama

Neuronové sítě dokážou dělat spoustu věcí. Umí interpretovat obrázky, porozumět našim hlasům 6 Funkce Chytrých karet Google, které změní způsob vyhledávání Možná již používáte Chytré karty Google na svém zařízení Android, ale získáváte z toho vše, co můžete? Znalost těchto malých funkcí může mít velký význam. Přečtěte si více , a překládat konverzace Jak funguje Skype Star Trek TranslatorNová funkce překladu Skype nabízí něco, o čem se od Star Trek snilo - bez námahy komunikovat napříč jazyky. Přečtěte si více . Ale věděli jste, že mohou také malovat?

Nedávný výzkumný příspěvek (nazvaný „Neurální algoritmus uměleckého stylu“) Zahájil závan online diskuse několika nápadnými vizuálními příklady. Příspěvek se v podstatě zabývá technikou trénování a hluboká neuronová síť Microsoft vs Google - Kdo vede závod umělé inteligence?Vědci umělé inteligence dělají hmatatelný pokrok a lidé o AI opět vážně mluví. Dva titáni, kteří vedou závod v umělé inteligenci, jsou Google a Microsoft. Přečtěte si více

oddělit umělecký styl od struktury obrazu a kombinovat styl jednoho obrazu se strukturou jiného. Výsledkem toho všeho je, že můžete trénovat obrovskou neuronovou síť, aby se fotografie proměnily v „neurální“ obrazy, které vypadají, jako by byly namalovány slavnými umělci - „digitální padělky“ mluvit.

Zde je několik příkladů z článku. První obrázek je originál. Pozdější obrazy jsou generované výsledky, přičemž malba, ze které byl styl vzorkován, je zobrazena miniaturně.

Původní vědci bohužel svůj kód neuvolnili. Někteří neohrožení programátoři však své výsledky v posledních několika dnech replikovali a jejich kód je k dispozici, otevřený zdroj na internetu. Vše, co potřebujete ke spuštění, je linuxový stroj a trochu trpělivosti.

Dnes vám ukážu, jak to udělat, a ukážu vám některé z mých vlastních výsledků. Můžete to považovat za volné pokračování našeho Výukový program DeepDream Vytvořte si vlastní sny z umělé horečky pomocí „DeepDream“ společnosti GoogleUž jste viděli obrázky trippy vycházející z DeepDream? Chcete si vytvořit svůj vlastní? Už nehledejte! Přečtěte si více . Je to trochu komplikované, ale kdokoli s Linuxovým strojem může následovat - není třeba kódování.

Proměnil jsem světelný obraz Picasso s obrazem ve stylu Picasso #DeepStyle! pic.twitter.com/cjkEoIhVcF

- James Blaha (@jamesblaha) 5. září 2015

Nastavení softwaru

Za prvé, pokud nejste ve velkém spěchu nebo nemáte stroj Linux, stále si můžete hrát s DeepStyle pomocí DeepForger Twitter bot (pošlete mu obrázek a styl a nakonec odpoví na požadované výsledky). Pokud chcete rychle zpracovat více obrázků (as větší kontrolou nad výsledky), přečtěte si tento tutoriál.

Nejprve se ujistěte, že máte aktuální kopii Ubuntu (14.04 je to, co jsem použil). Měli byste mít alespoň několik dalších koncertů na pevném disku. Další informace naleznete v našem výukovém programu duální bootování Ubuntu vedle Windows Unavený z Windows 8? Jak Dual Boot Windows a UbuntuPokud zjistíte, že Windows 8 není úplně váš šálek čaje a nemáte žádnou možnou cestu k downgrade, může být dobrý nápad duální spuštění s Linuxem, který má alternativní ... Přečtěte si více . Budete také potřebovat rootová oprávnění, takže před pokračováním se ujistěte, že ano.

Základní nástroje

Napravo od netopýra, jedná se o open-source projekt, takže budeme chtít mít Git nainstalován. Git je zlatý standard pro software pro správu verzí Co je Git a proč byste měli používat řízení verzí, pokud jste vývojářJako weboví vývojáři hodně času máme tendenci pracovat na webech pro místní rozvoj, pak vše jednoduše nahrajeme, až budeme hotovi. To je v pořádku, když jste jen vy a změny jsou malé, ... Přečtěte si více . Skoro každý open source projekt, o kterém stojí za to vědět, je hostován v Githubu.

Chcete-li stáhnout a nainstalovat Git, stačí otevřít terminál a napište „sudo apt-get install git“A souhlasí s požadavky instalačního technika.

Další: jdeme nastavit některé základní nástroje potřeba, aby software fungoval.

Nejprve nainstalujte Lua. Toto je jazyk, ve kterém je nástroj napsán. Je to docela jednoduché. Stačí zadat „sudo apt-get install lua5.2“A postupujte podle instalačního procesu.

Za druhé, dostaneme Luarocks. Toto je nástroj, který usnadňuje instalaci dalších nástrojů (nemilujete Linux?). Za tímto účelem zadejte „sudo apt-get install luarocks“A postupujte podle instalačních kroků.

Za třetí, budeme instalovat Luajit. Toto je kompilátor pro Lua, který zlepší náš život o trochu jednodušší. Stačí zadat „sudo apt-get install luajit.”

Zatím je vše dobré.

Jsem bot, který vytváří padělky z vašich fotografií ve stylu slavných malířů. Klikněte níže pro pokyny! pic.twitter.com/3MpThDNwRE

- Deep Forger (@DeepForger) 5. září 2015

Rámce

Dále budeme instalovat Pochodeň, rámec pro vědecké výpočty a strojové učení, který tvoří páteř aplikace. Tuto bohužel nelze nainstalovat pomocí apt-get (standardní správce balíčků Ubuntu).

Naštěstí mají jednořádkový instalační program, který používá magii příkazového řádku. Vraťte se do svého terminálu a zadejte „stočit https://raw.githubusercontent.com/torch/ezinstall/master/install-all | bash“.

Až budete hotovi, zadejte „luajit -ltorch“. Tím se vyvolá rozhraní hořáku a ověří se, že vše bylo správně nainstalováno.

Vystoupit z toho.

Nyní se chystáme nainstalovat loadcaffe - balíček specifický pro neuronovou síť. Nainstalujte svou jedinou závislost zadáním „sudo apt-get install libprotobuf-dev protobuf-compiler“. Pak můžete nainstalovat samotný balíček pomocí „sudo luarocks nainstalovat loadcaffe ".

@ Johnicholas Vaše padělání, styl ve škole školy Rembrandta van Rijna. #Digitální umění#StyleNetpic.twitter.com/pf0sZxWkaT

- Deep Forger (@DeepForger) 7. září 2015

Dvojitá kontrola závislostí

Nakonec budeme předběžně aktualizovat některé věci, abychom se ujistili, že všechno jde hladce.

Typ “obrázek instalace sudo luarocks“, Abyste se ujistili, že váš balíček obrázků je aktuální. Dále zadejte „luarocks install nn“Což bude stejné pro váš balíček„ nn “.

Instalace hlubokého stylu

V pořádku! V tuto chvíli jsme připraveni skutečně nainstalovat samotný software. Z důvodu čistoty vytvořte ve svém domovském adresáři novou složku („mkdir DeepStyle“). Poté jej zadejte pomocí „cd Deepstyle“. Nyní zadejte „sudo git klon https://github.com/jcjohnson/neural-style.git".

Dále musíme model stáhnout. Udělejte si šálek kávy nebo tak něco, bude to chvíli trvat. Zpět na terminál a zadejte „sudo sh models / download_models.sh“. Začne to dlouhý, komplikovaný proces stahování. Pokud selže z důvodu chyb oprávnění, zkuste si udělit oprávnění pro čtení a zápis do příslušných složek pomocí chmod.

@ 44thats44oars zadal to #ProceduralArt#NeuralArt. pic.twitter.com/tbMH7gsvc8

- Deep Forger (@DeepForger) 6. září 2015

Používání hlubokého stylu

Dobře, můžeme jít. Používání softwaru je velmi jednoduché.

Ujistěte se, že jste v Adresář DeepStyle / neural v terminálu. Nyní budete potřebovat nějaké obrázky, na kterých budete pracovat. Stáhněte si je z internetu (nebo cokoli) a poté je zkopírujte do Složka DeepStyle / neural-style pomocí prohlížeče souborů.

Nyní můžete pomocí příkazového řádku zpracovávat jednotlivé obrázky. Formát je velmi jednoduchý:

th neural_style.lua -style_image YOURPAINTINGHERE.jpg - content_image YOURPHOTOHERE.jpg -gpu -1

(Je zřejmé, že budete muset nahradit bloky v ALL CAPS názvy vašich souborů).

Tím se spustí neuronová síť. Bude to běžet asi hodinu a každé několik minut vyplivne nové částečně konvergované obrázky, dokud nedokončí. -gpu -1 flag zastaví pokus o přístup k vašemu GPU.

Po několika hodinách pokusu (a několikrát ztvárnění operačního systému) jsem nebyl schopen přimět Ubuntu a CUDA hrát pěkně s mým GPU (NVIDIA GTX 970). Pokud s tím budete mít více štěstí, budete chtít nainstalovat CUDA a cudann.torch (viz github repo Pro více informací). Pokud ne, je to v pořádku - bude stále fungovat s využitím vašeho procesoru; bude to jen trochu pomalejší.

Máte-li nějaké problémy s tím, jak to všechno funguje, zeptejte se mě v komentářích a udělám vše pro to, abych vám pomohl.

Výsledek

Zde jsou některé obrázky, které jsem vygeneroval za posledních pár dní. Výsledky jsou smíšené, ale mnoho z nich je docela působivých.

Klikněte zde pro plné rozlišení.

Tohle je můj přítel Zack na turistické cestě do Yellowstonu. Styl pochází z abstraktní malby, kterou vytvořil Theresa Paden. Byl jsem zvědavý, jak by systém udělal obraz s absolutně žádnou strukturou. Výsledky jsou velmi elegantní a určitě můžete vidět podobnosti se stylem.

Klikněte zde pro plné rozlišení.

Tento přichází s laskavým svolením jednoho z mých oblíbených umělců, Charlese Demutha (viz: Kadidlo nové církve, a Obrázek 5 ve zlatě). Zajímavé je, že Demuth je jednou z primárních vizuálních inspirací pro umění Team Fortress 2 Team Fortress 2: Parní hra zdarma, kterou musíte hrátJe Team Fortress 2 jen rychlou hrou na testování grafiky a výkonu, nebo se jedná o hru, která stojí za to hrát opakovaně? Přečtěte si více , jak můžete vidět na obrázku stylu.

Nakrmil jsem mu obrázek Jersey City, který jsem našel na Wikimedia. Výsledky jsou... docela dobré. Nevztahovalo se k úhlu Demuthova stylu, ale rozhodně to vzalo jemný, texturovaný vzhled a barevnou paletu.

Klikněte zde pro plné rozlišení.

Toto je pokus o vytvoření syntetického O'Keeffe pomocí docela světského obrázku některých květů, které jsem našel. Výsledky jsou, upřímně, velkolepé. Z estetického hlediska je to jeden z mých oblíbených výsledků. Bohatství barev a tvarů O'Keeffe prochází jasně. Vrstvené okraje okvětních lístků se stávají okraji listů v pozadí. Samy květiny se rozpustí v barvách a stávají se téměř abstraktní.

Pokud by to člověk udělal, byl by to dobrý obraz. Jsem velmi v pokušení strávit pár dní vykreslováním této verze s vyšším rozlišením a nechat ji zarámovat.

Klikněte zde pro plné rozlišení.

Tady je moje kamarádka Shannon ve svém kostýmu Halloween, pomocí tisku Picasso. Zajímavé je, že se zařízení rozhodlo malovat spodní část její tváře bíle (podobně jako barevné rozložení Picasso). Nejsem si jistý, jestli to byla náhoda nebo ne, ale výsledky jsou pozoruhodné. Zdá se také, že správně identifikoval Shannonovy vlasy na levé straně a znovu je nakreslil pomocí barvy a linie z vlasů ve stylu obrázku. Ditto pro její klobouk.

To je jeden z kusů, kde se začínají vyjasňovat omezení techniky. Kdyby Picasso vlastně maloval Shannona, odhodil by strukturu obličeje a zkosil rysy, aby dosáhl požadovaného účinku. Tento systém nerozumí těmto druhům konceptů na vysoké úrovni a je schopen napodobit pouze povrchové aspekty stylu, jako jsou tmavé, úhlové čáry a barevná paleta.

Klikněte zde pro plné rozlišení.

Docela přímočaré: obrázek Eiffelovy věže a Van Gogha jiný Hvězdná noc. Udělá dobrou práci vykreslením mraku ve stylu Van Gogh-ey, navzdory absenci mraků v původním obrázku. To také dělá dobrou práci při překládání scény ze dne na noc.

Nebyl jsem si jistý, proč se rozhodl udělat špičku Fiffelovy věže jako ohnivý sloup. Vypadá skvěle, ale ze vstupních dat to není opravdu ospravedlnitelné. Pak jsem si uvědomil, že styl má v sobě třináct dlouhých svislých žlutých proužků ve formě odrazů ve vodě. To je docela masivní klastr, vzhledem k tak malým tréninkovým datům. Špatná věc se pravděpodobně dozvěděla, že jakákoli vertikální hrana s vysokým kontrastem musí být jedním z těchto odrazů. V oblacích můžete slabě vidět další cizí svislé pruhy.

Klikněte zde pro plné rozlišení.

Stejná malba Van Gogha, ale tentokrát jsem jí dal nějaké skutečné hvězdy k malování. V tomto případě se jedná o část sloupů mlhoviny orla. Výsledky se mi líbí - i když znovu můžete vidět její posedlost žlutými pruhy. Každá svislá část sloupu se stává jasnou, zvlněnou žlutou čarou. Rovněž je jasně naštvaná zelení, která se neobjevila v tréninkových datech, a snaží se ji zbavit ve prospěch modré a černé.

Technologie

Některé výsledky jsou mimořádně přesvědčivé, i když tato technika má jasná omezení. Některé obrázky mají mizernou skladbu a systém má potíže s abstraktnějšími umělci, jako je Picasso - kteří skvěle rádi zkreslili jeho předmět a rozptýlili jeho rysy. Algoritmus zachytí jeho úhlové čáry a střetavé barvy, ale stále je otrokem hodnot pixelů v obrázku. Nemá pochopení, které byste se museli odchýlit příliš daleko od zdrojového materiálu.

To, co mě nadchne, je, že si nemyslím, že tato omezení jsou zásadní.

Přístup, který se zde používá - trénovat síť na jednom obrázku a použít jej k vytvoření jiného - je v zásadě druh hacku. Poskytuje síti velmi málo dat pro práci. Pokročilejší verze této aplikace by používala síť, která má informace o mnoha obrazy a možná i skutečné obrazy, které mu dávají spoustu kontextu o obrázku, který se snaží "malovat."

Hluboká znalost stylu může existovat pouze v širším kontextu. Nelze to odvodit z jediného obrázku. Navrhování architektury, která umožňuje systému přístup k širším datům, by mu umožnilo získat více „Lidské podoby“ chápání obrazu a toho, jak umělci reprezentují různé prvky skutečnosti svět. Taková síť by mohla být schopna vytvářet obrazy, které jsou abstraktnější a mají lepší složení. Takové algoritmy by přestaly být skvělou hračkou (jako je tato) a staly by se způsobem, jak vytvořit skutečné, originální umění.

Což je v některých ohledech velmi zvláštní myšlenka.

Vytváření vlastních obrázků

Pokud budete mít zklamaný výsledek, můžete si trochu pohrát s možnostmi a pokusit se získat přesvědčivější výsledky. Celý seznam je na Githubu. Nejdůležitější jsou

• -content_weight -value Kolik váží termín rekonstrukce obsahu. Výchozí hodnota je 5e0.
• -style_weight -value: Jakou váhu přisuzuje stylu obrázku. Výchozí hodnota je 1e2.
• -style_scale - hodnota: Jak velké obrazové záplaty by měl systém analyzovat (větší se stává abstraktnějším). Výchozí hodnota je 1,0.

Až vše bude fungovat k vaší spokojenosti, vložte do komentářů své nejzajímavější obrázky. Mám opravdu zájem vidět, s čím jste přišli.

Obrázek Kredity: lidský mozek malíř prostřednictvím Shutterstocku