Fem spørgsmål om Microsofts "Project HoloLens"

Reklame

Onsdag formiddag viste Microsoft et projekt, de har arbejdet med i syv år, kaldet et augmented reality headset Projekt HoloLens.

Visionen er ambitiøs: De vil grundlæggende ændre den måde, folk interagerer med computere af opbygge et par briller, der flydende kan blande virtuelt og reelt indhold sammen i det fysiske rum brugeren. Dette er som virtual reality-teknologi Hvorfor virtual reality-teknologi vil sprænge dit sind om 5 årFremtiden for virtuel virkelighed inkluderer sporing af hoved, øje og udtryk, simuleret touch og meget mere. Disse fantastiske teknologier vil være tilgængelige for dig om 5 år eller mindre. Læs mere , men fundamentalt mere kraftfuld. Desuden ønsker de at udføre al behandling lokalt på brillerne - ingen computer, ingen telefon, ingen kabler. De lancerer endda en speciel version af Windows bare til den nye hardware. Dette er den næste fase i teknologisk udvikling for alle dem AR-spil Augmented Reality Apps: Nyttige eller bare Hype? MakeUseOf-testI 2011 forudsagde analytikere stigningen i Augmented Reality-mobile apps. Den fremadstormende teknologi vil revolutionere den måde, vi interagerer med vores mobile enheder på. Flash fremover to år, og dusinvis af AR-apps udfylder alle ...

Læs mere du installerede på din telefon én gang og ikke har rørt siden.

Deres tidsramme er endnu mere ambitiøs end deres mål: De vil sende udviklersæt i foråret, og forbrugerproduktet "i Windows 10-tidsrammen". Her er banen.

Alt dette lyder godt, men jeg indrømmer en ret høj grad af skepsis.

Teknologierne, som Microsoft bruger, har alvorlige, grundlæggende udfordringer, og indtil videre har Microsoft været meget stramme om, hvordan (eller hvis) de har løst dem. Hvis de ikke har løst dem, er deres mål om levering inden for et år meget bekymrende. Den sidste ting VR og AR har brug for er et stort firma, der sender endnu et halvbagt produkt som Kinect. Husk Projekt Natal-demo fra 2009?

Uden yderligere, her er de fem vigtigste ting, jeg gerne vil vide om HoloLens.

Er dette en lysfeltvisning?

For at forstå dette, er vi nødt til at se lidt dybere på 3D, og ​​hvordan det fungerer. For at få en fornemmelse af en ægte, konkret 3D-verden integrerer vores hjerner en masse forskellige slags oplysninger. Vi får dybdepunkter om verden på tre primære måder:

• Stereodybde - forskellen mellem hvad begge vores øjne ser. Faking dette er, hvordan 3D-film fungerer
• Bevægelsesparallaks - subtile bevægelser af vores hoved og overkropp giver os yderligere dybde-signaler til genstande, der er længere væk
• Optisk fokus - når vi fokuserer på noget, deformeres vores linser fysisk, indtil det kommer i fokus; objekter i nærheden af ​​felt kræver mere linseforvrængning, som giver dybdeoplysninger om, hvad vi ser på

Det er nemt at kontrollere det optiske fokus: luk det ene øje og hold tommelfingeren op foran en væg på tværs af rummet. Skift derefter dit fokus fra din miniature til overfladen bag det. Når du kigger forbi tommelfingeren, skifter tommelfingeren ud af fokus, fordi dit øjenlinser nu er mindre deformeret og ikke korrekt kan opsamle lyset der kommer fra det.

VR-headset som Oculus Rift giver de to første signaler ekstremt præcist, men ikke de sidste, hvilket fungerer overraskende godt: vores øjne er standard på at slappe helt af, da optikken fokuserer billederne som gennem lyset kom uendeligt langt væk. Manglen på optisk fokus er ikke realistisk, men det distraherer normalt ikke. Du kan stadig have det meget seje spiloplevelser 5 Oculus Rift-spiloplevelser, der vil sprænge dig vækNu hvor den anden generation af Oculus Rift-udviklingssæt er ude og i hænderne på udviklere over hele verden, lad os se på nogle af de bedste ting, der har ramt Rift indtil videre. Læs mere uden det.

I den augmented reality er problemet anderledes, fordi du er nødt til at blande lys fra virkelige og virtuelle objekter. Lyset fra den virkelige verden vil naturligvis være fokuseret på forskellige dybder. Det virtuelle indhold vil imidlertid alle være fokuseret på en fast, kunstig afstand dikteret af optikken - sandsynligvis på uendelighed. Virtuelle objekter ser ikke ud som om de virkelig er en del af scenen. De vil være ude af fokus, når du ser på rigtige ting i samme dybde og omvendt. Det vil ikke være muligt at bevæge dit øje flydende hen over scenen, mens du holder det i fokus, som du gør normalt. De modstridende dybderum vil i bedste fald være forvirrende og sygeste i værste fald.

For at løse dette har du brug for noget, der kaldes et lysfeltdisplay. Lysfeltskærme er skærme, der bruger en række små linser til at vise lys fokuseret på mange dybder samtidig. Dette gør det muligt for brugeren at fokusere naturligt på displayet, og (for den augmented reality) løser problemet beskrevet ovenfor.

Der er dog et problem: lysfelt viser i det væsentlige kortlægning af en enkelt 2D-skærm på et tredimensionelt lysfelt, hvilket betyder, at hver “dybde pixel ”, som brugeren opfatter (og findes på en bestemt fokaldybde i scenen) består faktisk af lys fra mange pixels på originalen Skærm. Jo finere korn dybde, du vil fremstille, jo mere opløsning skal du give op.

Generelt har lette felter omkring en otte gange opløsningsfald for at give tilstrækkelig dybdeprecision. De bedste tilgængelige mikrodisplays har en opløsning på ca. 1080p. Hvis man antager, at et high-end mikrodisplay kører hvert øje, ville det gøre den faktiske opløsning af Microsofts headset kun omkring 500 x 500 pixels pr. Øje, mindre jævn end Oculus Rift DK1. Hvis skærmen har et højt synsfelt, vil virtuelle objekter være uforståelige klatter af pixels. Hvis det ikke gør det, vil nedsænkning lide forholdsmæssigt. Vi får faktisk aldrig se gennem linsen (bare computergenoprettelse af, hvad brugeren ser), så vi har ingen idé om, hvordan brugeroplevelsen virkelig er.

Det er muligt, at Microsoft har fundet en ny løsning på dette problem for at tillade brugen af ​​et lysfeltdisplay uden opløsning. Imidlertid har Microsofts været ekstremt cagey med deres displayteknologi, hvilket får mig til at mistænke, at de ikke har gjort det. Her er den bedste forklaring, vi har hidtil (fra WIRED demo).

For at skabe Project HoloLens 'billeder, hopper lyspartikler omkring millioner af gange i enhedens såkaldte lette motor. Derefter går fotonerne ind i beskyttelsesbrillenes to linser, hvor de ricochetterer mellem lag af blåt, grønt og rødt glas, inden de når bagenden af ​​dit øje.

Denne form for beskrivelse af teknologien kunne næsten betyde alt hvad der er (selvom Microsoft retfærdigt imponerede hardware WIRED, skønt artiklen var let på detaljer).

Vi ved ikke mere med sikkerhed, indtil Microsoft begynder at frigive tekniske specifikationer, sandsynligvis måneder fra nu. Er det virkelig nødvendigt at drukne projektet i denne meget marketing-tale på en yderligere note af nitplukning? Den dedikerede processor, de bruger til hovedsporing kaldes en "holografisk processor", og billederne kaldes "hologrammer" uden nogen særlig grund. Produktet er grundlæggende køligt nok til, at det virkelig ikke er nødvendigt at forgylde det sådan.

Er sporing god nok?

Project HoloLens headset har et højt FOV dybdekamera monteret på det (som Kinect), som det bruger til at finde ud af, hvor headset er i rummet (ved at forsøge at sammenstille det dybdebillede, det ser med sin verdensmodel, sammensat fra fortidens dybde billeder). Her er deres live demonstration af headsettet i aktion.

Sporingen er imponerende i betragtning af at den ikke bruger markører eller andre snyderi, men endda i den video (under stærkt kontrollerede forhold), kan du se en vis mængde wobble: sporingen er ikke helt stabil. Det kan forventes: denne form for indvendig udvendig tracking er ekstremt hård.

Dog den store lektion fra forskellige Oculus Rift-prototyper Se os Prøv Oculus Rift Crescent Bay ved CES 2015Oculus Rift Crescent Bay er en splinterny prototype, der viser nogle spændende forbedringer inden for virtual reality-teknologi. Vi prøver det på CES 2015. Læs mere er, at nøjagtigheden af ​​sporing betyder meget. Jittery tracking er blot irriterende, når det er et par objekter i en stort set stabil virkelighed, men i scener som Mars-demoen, de viste i deres koncept video, hvor næsten alt hvad du ser er virtuel, upræcis sporing kan føre til mangel på "tilstedeværelse" i den virtuelle scene eller endda simulator sygdom. Kan Microsoft få sporingen op til den standard, der er indstillet af Oculus (sub-millimeter sporingsnøjagtighed og mindre end 20 ms total forsinkelse) inden deres forsendelsesdato ved udgangen af ​​dette år?

Her er Michael Abrash, en VR-forsker, der har arbejdet for både Valve og Oculus, taler om problemet

[Fordi der altid er en forsinkelse med at generere virtuelle billeder, […] er det meget vanskeligt at få virtuelle og ægte billeder til at registrere sig tæt nok, så øjet ikke lægger mærke til det. Antag f.eks., At du har en ægte cola-dåse, som du vil forvandle til en AR Pepsi-dåse ved at tegne et Pepsi-logo over Coke-logoet. Hvis det tager snesevis af millisekunder at tegne Pepsi-logoet, vil effekten hver gang du roterer dit hoved være Pepsi-logoet ser ud til at skifte et par grader i forhold til dåsen, og en del af Coke-logoet bliver synligt; så klikker Pepsi-logoet tilbage til det rigtige sted, når du holder op med at bevæge dig. Dette er helt klart ikke godt nok til hård AR

Kan skærmen tegne sort?

Et andet emne sammen med fokaldybde og sporing har at gøre med tegning af mørke farver. Det er relativt enkelt at tilføje mere lys til en scene ved hjælp af strålesplittere. Det er meget sværere at tage lys ud. Hvordan mørkere du selektivt dele af den virkelige verden? At sætte en selektiv transparent LCD-skærm op vil ikke klippe den, da det ikke altid kan være i det rigtige fokus for at blokere, hvad du ser på. De optiske værktøjer til at løse dette problem, medmindre Microsoft har opfundet dem i hemmelighed, findes simpelthen ikke.

Dette betyder noget, for for mange af de applikationer, som Microsoft viser frem (som at se Netflix på din væg), har headsettet virkelig brug for muligheden for at fjerne lyset, der kommer fra væggen, ellers har din film altid et synligt stukkemønster, der er lagt på det: det vil være umuligt for billeder at blokere virkelige objekter i scenen, hvilket gør brugen af ​​headsettet stærkt afhængig af den omgivende belysning betingelser. Tilbage til Michael Abrash:

[S] o langt har der ikke dukket noget sådant op i AR-branchen eller litteraturen, og medmindre og indtil det sker, kan hård AR i SF-forstand, som vi alle kender og elsker, ikke ske, undtagen i næsten mørke.

Det betyder ikke, at AR er fra bordet, bare det i et stykke tid, men det vil være blødt AR, baseret på additiv blanding [...] Tænk igen gennemsigtig som "Ghostbusters." Virtuelle billeder med høj intensitet uden mørke områder fungerer også, især ved hjælp af regional eller global mørkfarvning - de ser bare ikke ud som en del af det virkelige verden.

Hvad med okklusion?

"Ophæng" er udtrykket for hvad der sker, når det ene objekt passerer foran det andet og forhindrer dig i at se, hvad der ligger bag det. For at virtuelt landskab skal føles som en håndgribelig del af verden, er det vigtigt, at rigtige objekter okkluderer virtuel genstande: Hvis du holder din hånd op foran et stykke virtuelt billede, skal du ikke være i stand til at se den gennem din hånd. På grund af brugen af ​​et dybdekamera på headsettet er dette faktisk muligt. Men se live demo igen:

I det store hele kontrollerer de omhyggeligt kameravinklerne for at undgå reelle genstande, der passerer foran virtuelle. Når demonstranten interagerer med Windows-menuen, kan du dog se, at hendes hånd slet ikke lukker den. Hvis dette er uden for rækkevidde af deres teknologi, er det et meget dårligt tegn på levedygtigheden af ​​deres forbrugerprodukt.

Og når vi taler om det UI ...

Er dette virkelig det endelige brugergrænseflade?

Det brugergrænseflade, som Microsoft viser frem i deres demovideoer, ser ud til at arbejde ved hjælp af en kombination af blik og hånd sporing for at kontrollere en markør i den virtuelle scene, mens du bruger stemmekontroller til at vælge mellem forskellige muligheder. Dette har to store ulemper: det får dig til at ligne det lille barn i Shining, der taler med sin finger, men endnu vigtigere er det også et fundamentalt defekt designparadigme.

Historisk set har de bedste brugergrænseflader været dem, der bringer fysiske intuitioner om verden ind i den virtuelle verden. Musen bragte klik, træk og vinduer. Berøringsgrænsefladen bragte svej for at rulle og knibe for at zoome. Begge disse var kritiske for at gøre computere mere tilgængelige og nyttige for den generelle befolkning - fordi de grundlæggende var mere intuitive end hvad der kom før.

VR og AR giver dig meget mere frihed som designer: du kan placere UI-elementer hvor som helst på et 3D-rum og få brugerne til at interagere med dem naturligt, som om de var fysiske objekter. Et stort antal indlysende metaforer antyder sig selv. Tryk på et virtuelt UI-element for at vælge det. Klem til det, tag det op og flyt det. Skub den ud af vejen for at gemme den midlertidigt. Knus det for at slette det. Du kan forestille dig at bygge en brugergrænseflade, der er så fuldstændig intuitiv, at det ikke kræver nogen forklaring. Noget, som din bedstemor med det samme kan samle op, fordi det er bygget på et fundament af grundlæggende fysiske intuitioner, som alle bygger op i løbet af en levetid med interaktion med verden. Tag et øjeblik, og lyt til denne smarte person beskrive, hvad altoverskridende grænseflader kunne være.

Med andre ord forekommer det indlysende (for mig), at en fordybende brugergrænseflade burde være i det mindste lige så intuitive som berøringsgrænsefladerne, der er skabt af iPhone til 2D multitouch-skærme. At opbygge en grænseflade omkring manipulering af en VR “mus” er et skridt bagud og afslører enten dyb teknologisk mangler i deres håndsporingsteknologi eller en grundlæggende misforståelse af, hvad der er interessant ved denne nye medium. Uanset hvad er det et meget dårligt tegn for, at dette produkt er mere end en kolossal, Kinect-skala.

Forhåbentlig har Microsoft tid til at få feedback om dette og gøre et bedre job. Som et eksempel er her en grænseflade designet af en hobbyist til Oculus Rift DK2 og Leap Motion. En fordybende brugergrænseflade designet af et stort firma bør i det mindste være så godt.

Et tegn på ting, der kommer

I det store og hele er jeg meget skeptisk over for HoloLens-projektet som helhed. Jeg er meget glad for, at en virksomhed med Microsofts ressourcer undersøger dette problem, men jeg er bekymret for, at de er det forsøger at forhaste et produkt uden at løse nogle kritiske underliggende tekniske problemer eller negle en god brugergrænseflade paradigme. HoloLens er et tegn på de kommende ting, men det betyder ikke, at selve produktet vil give en god oplevelse for forbrugerne.

Billedkredit: med tilladelse fra Microsoft