Pět otázek týkajících se projektu „HoloLens“ společnosti Microsoft

reklama

Ve středu ráno společnost Microsoft předvedla projekt, na kterém již sedm let pracují, tzv. Headset s rozšířenou realitou Projekt HoloLens.

Vize je ambiciózní: chtějí zásadním způsobem změnit způsob interakce lidí s počítači budování sklenic, které dokáží plynule kombinovat virtuální a skutečný obsah ve fyzickém prostoru uživatel. To je jako technologie virtuální reality Proč technologie virtuální reality vyhodí vaši mysl za 5 letBudoucnost virtuální reality zahrnuje sledování hlavy, očí a výrazů, simulovaný dotek a mnoho dalšího. Tyto úžasné technologie vám budou k dispozici za 5 nebo méně let. Přečtěte si více , ale zásadně silnější. Kromě toho chtějí veškeré zpracování provádět lokálně na brýlích - žádný počítač, žádný telefon, žádné kabely. Zavádějí dokonce speciální verzi systému Windows pouze pro nový hardware. Toto je další fáze technologického vývoje pro všechny AR hry Aplikace s rozšířenou realitou: užitečné, nebo jen hype? MakeUseOf TestyV roce 2011 analytici předpovídali nárůst mobilních aplikací Augmented Reality. Vznikající technologie by způsobila revoluci ve způsobu interakce s našimi mobilními zařízeními. Flash vpřed dva roky a desítky aplikací AR naplnit všechny ...

Přečtěte si více nainstalovali jste do telefonu tenkrát a od té doby jste se jich nedotkli.

Jejich časový rámec je ještě ambicióznější než jejich cíle: letos na jaře chtějí dodávat vývojové sady a spotřebitelský produkt „v časovém rámci Windows 10“. Tady je hřiště.

To vše zní skvěle, ale přiznávám poměrně vysokou míru skepticismu.

Technologie, které společnost Microsoft používá, mají vážné, zásadní problémy, a společnost Microsoft byla dosud velmi úzce o tom, jak (nebo pokud) je vyřešila. Pokud je nevyřeší, pak je jejich cíl přepravy do jednoho roku velmi znepokojivý. Poslední věcí, kterou VR a AR potřebují, je velká společnost, která přepravuje další napůl pečený produkt, jako je Kinect. Pamatovat na Projekt Natal demo od roku 2009?

Bez dalších okolků je zde pět nejdůležitějších věcí, které bych chtěl vědět o HoloLens.

Je to světelné pole?

Abychom tomu porozuměli, musíme se podívat trochu hlouběji do 3D a jak to funguje. Abychom získali dojem skutečného, ​​hmatatelného 3D světa, naše mozky integrují mnoho různých druhů informací. Hloubkové narážky o světě získáváme třemi primárními způsoby:

• Stereo hloubka - rozdíl mezi tím, co vidí naše oči. Předstíráním takto fungují 3D filmy
• Pohybová paralaxa - jemné pohyby hlavy a trupu nám dávají další hloubkové narážky pro objekty, které jsou dále
• Optické zaměření - když se zaměříme na něco, čočky našich očí se fyzicky deformují, dokud se nezaostří; objekty blízkého pole vyžadují větší zkreslení objektivu, což poskytuje hloubkové informace o tom, na co se díváme

Optické zaostření lze snadno zkontrolovat sami: zavřete jedno oko a držte palec nahoru před stěnou přes místnost. Poté přesuňte své zaměření z miniatury na povrch za ním. Při pohledu kolem palce se váš palec posunul mimo zaostření, protože čočka vašeho oka je nyní méně zdeformovaná a nemůže správně zachytit světlo, které z něj vychází.

Náhlavní soupravy VR, jako je Oculus Rift, poskytují první dvě narážky velmi přesně, ale ne poslední, která překvapivě vyjde dobře: naše oči se standardně úplně uvolnily, protože optika zaostřovala obrazy, jako skrz světlo, přicházely z nekonečně daleko pryč. Nedostatek tága optického ostření je nereálný, ale obvykle to neruší. Stále můžete mít velmi skvělé herní zážitky 5 herních zkušeností společnosti Oculus Rift, které vás odhodíNyní, když je druhá generace vývojové sady Oculus Rift venku a v rukou vývojářů po celém světě, pojďme se podívat na některé z nejlepších věcí, které doposud Rift zasáhly. Přečtěte si více bez toho.

V rozšířené realitě je problém jiný, protože musíte míchat světlo ze skutečných a virtuálních objektů. Světlo ze skutečného světa bude přirozeně zaměřeno na různé hloubky. Virtuální obsah však bude zaměřen na pevnou umělou vzdálenost diktovanou optikou - pravděpodobně na nekonečno. Virtuální objekty nebudou vypadat, jako by byly skutečně součástí scény. Nebudou se soustředit, když se podíváte na skutečné věci ve stejné hloubce a naopak. Nebude možné plynule posouvat oko po scéně a přitom je udržovat v ostření, jako obvykle. Konfliktní hloubkové narážky budou přinejlepším matoucí a nejhorší.

K vyřešení tohoto problému potřebujete něco, co se nazývá displej světelného pole. Displeje světelného pole jsou displeje, které používají řadu malých čoček k zobrazování světla zaostřeného v mnoha hloubkách současně. To umožňuje uživateli soustředit se přirozeně na displej a (pro rozšířenou realitu) řeší výše popsaný problém.

Existuje však problém: světelné pole zobrazuje v podstatě mapování jedné 2D obrazovky na trojrozměrné světelné pole, což znamená, že každá „hloubka“ pixel “, který uživatel vnímá (a existuje v určité ohniskové hloubce ve scéně), je ve skutečnosti tvořen světlem z mnoha pixelů na původní Zobrazit. Čím jemnější je hloubka, kterou chcete vykreslit, tím větší rozlišení se musíte vzdát.

Obecně mají světelná pole asi osmkrát rozlišení se zmenšuje, aby byla zajištěna dostatečná přesnost hloubky. Nejlepší dostupné mikrodispleje mají rozlišení přibližně 1080p. Předpokládejme, že jedno oko bude řídit jedno špičkové mikrodisplay, které by skutečné rozlišení náhlavní soupravy Microsoftu dosáhlo pouze asi 500 x 500 pixelů na oko, dokonce méně než Oculus Rift DK1. Pokud má displej vysoké zorné pole, budou virtuální objekty nepochopitelné kuličky pixelů. Pokud tomu tak není, ponoření bude úměrně trpět. Nikdy se vlastně nevidíme skrz objektiv (pouze počítačové re-kreace toho, co uživatel vidí), takže nemáme ponětí, jaké uživatelské zážitky jsou opravdu.

Je možné, že Microsoft přišel s nějakým novým řešením tohoto problému, aby umožnil použití displeje světelného pole bez kompromisu rozlišení. Společnost Microsoft však byla mimořádně opatrná, pokud jde o jejich zobrazovací technologii, což mě vede k podezření, že tomu tak není. Zde je nejlepší vysvětlení, které jsme zatím dostali (od WIRED demo).

Při vytváření obrázků projektu HoloLens se světelné částice odrazí asi milionkrát v takzvaném světelném motoru zařízení. Poté fotony vstoupí do dvou brýlí brýlí, kde se ricochet mezi vrstvami modré, zelené a červené sklenice, než se dostanou do zadní části oka.

Tento druh popisu technologie by mohl znamenat prakticky cokoli (i když, ve spravedlivosti vůči Microsoftu, hardware udělal dojem WIRED, i když článek byl lehký na detaily).

Nebudeme to s jistotou vědět, dokud společnost Microsoft nezačne vydávat technické specifikace, pravděpodobně za několik měsíců. Na další poznámku o výběru nitů, je opravdu nutné utopit projekt v této marketingové řeči? Vyhrazený procesor, který používají pro sledování hlavy, se nazývá „holografický procesor“ a obrázky se nazývají „hologramy“ bez zvláštního důvodu. Produkt je v zásadě dostatečně chladný, takže opravdu není nutné ho takto zlacovat.

Je sledování dostačující?

Náhlavní souprava Project HoloLens má na sobě namontovanou kameru s vysokou hloubkou FOV (jako Kinect), pomocí které zjistí, kde headset je ve vesmíru (pokusem o zarovnání hloubkového obrazu, který vidí, s jeho modelem světa, složeným z hloubky minulosti snímky). Zde je jejich živé ukázka náhlavní soupravy v akci.

Sledování je působivé vzhledem k tomu, že nepoužívá žádné značky ani jiné podvodníky, ale i v tomto videu (pod silně kontrolované podmínky), můžete vidět určité množství kolísání: sledování není úplně stabilní. To se dá očekávat: tento druh sledování uvnitř je extrémně obtížný.

Nicméně, velká ponaučení z různé prototypy Oculus Rift Sledujte nás Vyzkoušejte Oculus Rift Crescent Bay na CES 2015Oculus Rift Crescent Bay je zbrusu nový prototyp, který předvádí některá vzrušující vylepšení v technologii virtuální reality. Vyzkoušáme to na CES 2015. Přečtěte si více je to, že přesnost sledování hodně záleží. Sledování nervozity je jen otravné, když se jedná o několik objektů ve velmi stabilním reálném světě, ale ve scénách, jako je demo Mars, ukázaly ve své koncepci video, kde téměř vše, co vidíte, je virtuální, nepřesné sledování může vést k nedostatku „přítomnosti“ ve virtuální scéně nebo dokonce simulátoru nemoc. Může společnost Microsoft dosáhnout sledování až na standardní hodnotu stanovenou společností Oculus (přesnost milimetrového sledování a celková latence menší než 20 ms) podle data dodání na konci tohoto roku?

Zde je Michael Abrash, výzkumný pracovník VR, který pracoval pro Valve i Oculus, mluvit o problému

[Protože generování virtuálních obrázků je vždy zpožděné, […] je velmi obtížné přimět virtuální a skutečné obrázky, aby se registrovaly dostatečně blízko, aby si toho nevšimlo. Předpokládejme například, že máte skutečnou plechovku Coke, kterou chcete změnit na plechovku AR Pepsi, a to nakreslením loga Pepsi nad logem Koks. Pokud překreslení loga Pepsi trvá desítky milisekund, pokaždé, když otočíte hlavu, bude to mít za následek, že logo Pepsi bude vypadat, že se posune o několik stupňů vzhledem k plechovce a část loga Coke bude viditelná; když se přestanete pohybovat, logo Pepsi se vrátí na správné místo. To není zjevně dost dobré pro tvrdé AR

Může displej čerpat?

Další problém spolu s ohniskovou hloubkou a sledováním se týká kreslení tmavých barev. Přidání více světla do scény je relativně jednoduché pomocí děliče paprsků. Vyjmutí světla je mnohem těžší. Jak selektivně ztmavíte části skutečného světa? Uvádění selektivně průhledné obrazovky LCD ji nezkrácí, protože nemůže být vždy na správném místě, aby blokovalo to, na co se díváte. Optické nástroje k řešení tohoto problému, pokud je Microsoft nevynalezl tajně, jednoduše neexistují.

To záleží, protože pro mnoho aplikací, které se společnost Microsoft předvádí (například sledování Netflixu na zdi), headset skutečně potřebuje schopnost odstranit světlo přicházející ze zdi, jinak váš film bude mít vždy viditelný štukovaný vzor: bude to nemožné, aby snímky zablokovaly skutečné objekty ve scéně, takže použití náhlavní soupravy je silně závislé na okolním osvětlení podmínky. Zpět na Michael Abrash:

[S] o nic podobného se neobjevilo v průmyslu nebo literatuře AR, a pokud a dokud ne, tvrdý AR ve smyslu SF, který všichni známe a milujeme, se nemůže stát, s výjimkou temnoty blízké.

To neznamená, že AR je mimo stůl, jen to, že na chvíli to bude měkké AR, založené na míchání aditiv […] Znovu si představte průsvitný jako „Ghostbusters“. Budou fungovat i virtuální obrazy s vysokou intenzitou bez tmavých oblastí, zejména s pomocí regionálního nebo globálního ztmavení - prostě nebudou vypadat jako součást skutečného svět.

A co okluze?

„Okluze“ je termín, který se stane, když jeden objekt prochází před druhým a zabraňuje vám vidět, co je za ním. Aby se virtuální scenérie cítila jako hmatatelná část světa, je důležité, aby skutečné objekty uzavíraly virtuální objekty: pokud podržíte ruku před kusem virtuálních snímků, neměli byste ji vidět skrz své ruka. Díky použití hloubkové kamery na náhlavní soupravě je to skutečně možné. Ale sledujte znovu živé demo:

Celkově pečlivě ovládají úhly kamery, aby se před virtuálními objekty nedostaly. Když však demonstrant spolupracuje s nabídkou Windows, můžete vidět, že její ruka to vůbec nezakrývá. Pokud je to mimo dosah jejich technologie, je to velmi špatné znamení životaschopnosti jejich spotřebitelského produktu.

A když už mluvíme o tom UI ...

Je to opravdu konečné uživatelské rozhraní?

Zdá se, že uživatelské rozhraní, které společnost Microsoft předvedla ve svých demonstračních videích, funguje nějakou kombinací pohledu a ruky sledování k ovládání kurzoru ve virtuální scéně, zatímco pomocí hlasového ovládání pro výběr mezi různými možnosti. To má dvě hlavní nevýhody: nutí vás vypadat jako malé dítě ve Svítící, které mluví jeho prstem, ale co je důležitější, představuje také zásadně vadné paradigma designu.

Historicky byla nejlepší uživatelská rozhraní taková, která přináší virtuální intuice o světě do virtuálního světa. Myš přinesla klikání, tažení a okna. Dotykové rozhraní přineslo přejetím prstem a posunutím přiblížení. Oba tyto procesy byly rozhodující pro zpřístupnění a užitečnost počítačů pro širokou populaci - protože byly zásadně intuitivnější než to, co přišlo dříve.

VR a AR vám dávají mnohem více svobody jako návrháře: můžete umístit prvky uživatelského rozhraní kdekoli na 3D prostor a nechat uživatele, aby s nimi přirozeně komunikovali, jako by to byly fyzické objekty. Navrhuje se obrovské množství zjevných metafor. Klepnutím vyberte prvek virtuálního uživatelského rozhraní. Přitiskněte si ji a zvedněte ji. Vysuňte jej z cesty a dočasně jej uložte. Chcete-li ji smazat, rozdrťte ji. Můžete si představit vytvoření uživatelského rozhraní, které je tak intuitivní, že nevyžaduje žádné vysvětlení. Něco, co vaše babička může okamžitě vyzvednout, protože je postaveno na základech základních fyzických intuicí, které si každý vytváří po celý život interakcí se světem. Udělejte si chvilku a poslouchejte tuto inteligentní osobu a popište, jaké pohlcující rozhraní může být.

Jinými slovy se mi zdá zřejmé, že by mělo být pohlcující uživatelské rozhraní alespoň stejně intuitivní jako dotyková rozhraní propagovaná iPhone pro 2D multitouch obrazovky. Vytváření rozhraní kolem manipulace s VR „myší“ je krokem zpět a odhaluje buď hlubokou technologii nedostatky v jejich technologii sledování rukou nebo zásadní nedorozumění tomu, co je na tomto novém zajímavé střední. V každém případě je to velmi špatné znamení, že tento produkt je více než kolosální flop Kinect.

Doufejme, že Microsoft má čas získat zpětnou vazbu a udělat lepší práci. Příkladem je rozhraní navržené jedním fandem pro Oculus Rift DK2 a Leap Motion. Pohlcující uživatelské rozhraní navržené velkou společností by mělo být alespoň toto dobré.

Známka věcí, které mají přijít

Celkově jsem velmi skeptický vůči projektu HoloLens jako celku. Jsem velmi rád, že společnost se zdroji společnosti Microsoft tento problém zkoumá, ale obávám se, že jsou pokusit se vyrazit produkt bez vyřešení některých kritických základních technických problémů nebo přibití dobrého uživatelského rozhraní paradigma. HoloLens je znakem toho, co přijde, ale to neznamená, že produkt sám o sobě poskytne spotřebitelům dobrou zkušenost.

Obrázek Kredit: se svolením společnosti Microsoft