A HoloLens társfeltalálója, Avi Bar-Zeev megosztja: Az út minden időjárási AR-szemüveghez

Az út minden időjárási XR szemüveghez

Több mint 30 éve dolgozom az XR-en, a metaverzumban és a térbeli számítástechnikán, beleértve 10 különböző XR headset projekthez nyújtott segítséget vagy tanácsadást. Volt szerencsém egy sor projekthez már a korai szakaszban hozzájárulni, főként a követelmények bizonyításával vagy megtagadásával, valamint a kulcsfontosságú felhasználói élmények meghatározásával, mielőtt a csapatok 1 milliárd dollárt költenének ezek megépítésére. Útközben leckéket vontam le arról, hogy mi működik és mi nem. Néha a helyes válasz az, hogy "még nem érett".

Nem adok nyilvánosságra olyan információkat, amelyeket korábbi munkáltatóm továbbra is védettnek tekint. Adok linkeket a közzétett szabadalmakhoz, amelyek némi betekintést nyújthatnak. Ez a szabadalmak tényleges célja, akár hiszi, akár nem. Természetesen kerülném azokat a szabadalmakat, amelyekről úgy gondolom, hogy spekulációra ösztönöznének.

Fontos, hogy ügyeljünk arra, hogy bármit, amit mondok vagy írok, ne vegyünk bizonyítékként a vállalat termékterveire, vagy akár bárki erőfeszítéseinek kritikájára. Egyáltalán nem ez volt a szándékom.

A háttér szempontjából az első igazi XR élmény, amit építettem, egy CAVE volt. Akkoriban kölcsönkértem egy 250 dolláros,000 számítógépet és óriási projektort, és további 30 dollárt,000 fektettem nyersanyagokba. A Disney 100 dolláros000 VR-fejhallgatója, amely a 90-es években készült, soha nem került a kereskedelmi piacra. A mennyezetről lógó kábelekre van szükség a súly elviseléséhez, de százezrek próbálták.

Remélem, 2010 januárjára készen állunk a használatra kész XR fogyasztói szemüvegek fejlesztésére. Ideje nagy feltűnést kelteni ezen a lassan mozgó területen. Ráadásul nagyjából egy időben jelent meg a Google Glass és a Magic Leap. Szerencsére a Microsoft inkubációs csapatánál az egyik feladatunk az volt, hogy új ötleteket találjunk az XBox következő generációjához.

„Légy agresszív, még akkor is, ha azt mondjuk, hogy „ez őrültség” – mondta akkor egy Xbox-vezető.

Biztos vannak "radikális" ötleteim. Kis csapatunk hamarosan elkezdett dolgozni egy új „Screen Zero” termékkoncepción: az összes képernyőt egyetlen képernyőre cseréltük. Az első képzési évben a műszaki feltárásért voltam felelős, és segítettem a tapasztalatok meghatározásában. A távozásom okai nem érik meg a szócikkben foglalt helyet. De több mint ezer ember után 2016-ban elindult a HoloLens.

Ez egy úttörő berendezés. De ez még mindig nem minden időjárási körülmények között viselhető fogyasztói viselet. A mai Magic Leap 2, Snap Spectacles, Varjo vagy Quest egyike sem.

Tehát pontosan mi kell ahhoz, hogy egész nap hordható AR-szemüveget érj el?

1. Maximalizmus és minimalizmus

A maximalista megközelítés, akárcsak a HoloLens végül, számos szenzor, algoritmus és teljesítmény csúcskategóriás rendszerbe történő összevonására utal. Ha a tervezési és felhasználói élményt rendeztük, elméletileg leszűkíthetjük azt. Ez azonban több időt vesz igénybe, és akár egy évtizedbe is telhet, amíg bizonyos elektronikák önmagukban optimalizálják a teljesítményt.

A Cambria és a hasonló eszközök hasonlóan maximalisták, olyannyira, hogy egy óriási átlátszatlan VR-kijelzővel és több kamerával szimulálják az AR-t, a valóság és a szimuláció egyvelegét precízen pixelről pixelre irányítva. A maximalizmus a legjobb a csúcskategóriás alkalmazásokhoz és az alapvető K+F-hez. Egyesek azzal érvelnek, hogy még ha az alkalmazások ipari jellegűek is, jelenleg ezek az egyetlen működő eszközök.

Azonban még a piacon kapható legdrágább készülékek sem hordhatók egész nap, és nem használhatók hétköznapi társasági interakciókra vagy akár biztonságos utcán való sétákra sem. A maximalista funkciók, mint például a holografikus vagy fénymezős kijelzők még nem érettek ki.

Másrészt a minimalista megközelítésű eszközök közé tartozik az Amazon Echo Frames, a Snap Spectacles és a Ray-Ban Stories, hogy csak néhányat említsünk. Csak olyan technológiát csomagolnak, amely belefér a hordható szemüveg formai korlátai közé, gyakran teljesen elhagyva a kijelzőket.

Mégis, a kijelző nélküli szemüveg XR-nek számít?

Ha ez javítja az ember helyzeti perspektíváját, igent mondanék. Egy podcast vagy zenei mix nem XR, mert még mindig nem érzékel téged vagy a jelenlegi környezetedet. A GPS-navigációs alkalmazások egy kicsit megegyeznek, de nem eléggé. A térbeli hang és a kamerák hozzáadása az AI-hoz és a pontos pozicionálás mindenképpen XR-nek számít, még kijelző nélkül is.

A minimalista megközelítések rövid távon több terméket értékesíthetnek, és általában egy adott szempontra összpontosítanak, és kategóriájában a legjobb megoldássá teszik. Ha jól csinálja, mint például a Walkman és az iPhone, dollármilliárdokért eladhatja. De ne gondolja, hogy a minimalizmus könnyű, mert sok szempontból nehéz jól csinálni.

2. A legjobb módszer

Reméltem, hogy az XBox Screen Zero a minimalista szemüveg és a maximalista konzol hibridje. Az AR szemüvegnek az Oakley szemüvegéhez hasonló méretűnek vagy kisebbnek kell lennie. A következő házigazda elvégzi a nehéz emelés nagy részét akár négy pár pohárért ugyanabban a szobában.

3. Ergonómia, energiafogyasztás és hő

Miért külön? Ez az energiafogyasztáson, pontosabban: a hőn múlik.

A számítógép minden munkája hő formájában fejeződik be, mások pedig fotonokat és/vagy mechanikus meghajtókat, például hangot tartalmazhatnak. Mennyi hőség? Egy pár könnyű AR szemüveg körülbelül watt energiát képes termelni.

Egy tipikus okostelefon körülbelül 10 wattot képes generálni, majd felmelegszik. Egy gazdagép vagy számítógép 10-100-szer több energiát fogyaszt, mint egy okostelefon, és ezért 100-1000-szer több energiát fogyaszt, mint a szemüveg. Gondolj az apró LED-es zseblámpákra és az óriási ruhaszárítókra. Ez óriási különbség az energiafogyasztásban.

Az energiafelhasználás kiegyenlítéséhez hasonló megoldásokra van szükségünk, mint amiken 2010 óta dolgozom, mint például adatfúzió, osztott renderelés, optimalizált renderelési folyamok. Kisebb sávszélességek esetén a szemkövetésen alapuló idővetemítési renderelés jól működik, és lefedi a kommunikációs késéseket.

A CPU, a kamera, a kijelző és a RAM sok energiát fogyaszt és sok hőt termel. Tehát a titok az, hogy a legtöbb esetben takarékosan használjuk őket. Gondoljon csak az alacsony fogyasztású egyedi hardverekre: új kontextusérzékelők, rendkívül alacsony fogyasztású kijelzők és algoritmusok, amelyek okosan "ébresztenek".

Ennek megoldása időbe telik. Például, ha az optikai egér és a gazdavezérlő nincs készenléti állapotban, akkor lemerülnek az akkumulátoraik, így a tethered megoldással indulnak. Ma egy optikai egér több hónapig is kibír egy kis akkumulátorral.

4. A nappalin kívül

A felhasználási esetek széles skálájának támogatásához az optikailag átlátszó AR-rendszereknek ideálisan el kell zárniuk a fényes környezet fényét (akár az ablak- vagy nappali világítást is), jobban személyre kell szabniuk és keverniük kell a térbeli hangot a valósággal, be kell állítaniuk az optikai fókuszt, rögzíteni és reprodukálniuk kell mások virtuális hologramjait. és több.

Hiába van osztva a készülék a fő egységre és a headsetre, akkor is túl sok "cucc" van a fejünkben. Óriási ergonómiai kihívást jelent megszabadulni a legtöbb XR-eszközben még mindig használt óriási szíjaktól, amelyek miatt a fejhallgatók úgy néznek ki, mint az arcot átölelő bogarak.

Bármilyen feszítést igénylő heveder korlátozza a felhasználói bázis sokféleségét (figyelembe véve a fejméret-változatokat és a hajszálak összeomlását), és csökkenti a szemüvegviselés valószínűségét. Ez azt jelenti, hogy minden időjárási felszerelésnek szuperkönnyűnek kell lennie, és általában ugyanolyan jól illeszkednie kell, mint a hagyományos szemüvegekhez.

Az Oakley szemüveg vagy kisebb méret elérése gyakran azt jelenti, hogy a rendszer nagyobb részét kell klipbe vagy távirányítóba helyezni. A Magic Leap egy ilyen klipet kínál. Észrevettem, hogy az XR eszközök nyakpántot használnak, ami azt jelenti, hogy a számítástechnikai alkatrészeket a fogyasztó nyakába akasztják. Ezzel az osztott kialakítással minél több külön munkát végeznek, annál könnyebb lehet a szem/fej összeállítás.

2010-ben személy szerint jobban érdekelt a bicepsz, mert volt egy horgonypont és egy rövid zsinór, ha kellett. Ez távol tartja a nehezebb és forróbb alkatrészeket a fejtől és a nyaktól, és nagy felülettel rendelkezik a hő elvezetéséhez. A karon elhelyezett bioszenzorok a gesztusokat is képesek észlelni, hasonlóan ahhoz, ahogy a Meta a Control plus Labs eszközt használja a kézmozdulatok olvasására. Ily módon a terméktervezők továbbra is azt mondhatják, hogy "nincs kábel".

5. Fókusz

Mivel sok felnőttnek korrigálnia kell a közeli és távoli látást, egy egész nap viselhető alaktényezőnek gyakran fel kell nagyítania és fókuszálnia kell a való világot számunkra. Ez legalább azt jelenti, hogy a lencséknek támogatniuk kell az egyedi látási paraméterek optikáját. A Snap által korábban megvásárolt hullámvezető cég bejelentette, hogy a kapcsolódó optikát funkcionális látólencsékbe ágyazza be, de ez nehéz volt.

De elég egy látási paraméter? Sok felnőttnek csak az olvasáshoz vagy a vezetéshez van szüksége szemüvegre (távlátás), ami azt jelenti, hogy szemüvegre van szüksége ahhoz, hogy különböző állapotokba válthasson. Szóval, szükségünk van két vagy három pár drága szemüvegre? Vagy bifokális, trifokális, amelyek ennek megfelelően hajlítják a fényt attól függően, hogy hol nézel? (Praktikus, de nem ideális)

Az egyik megoldás, amit szorgalmazok, a dinamikus optikai beállítás, amely lehetővé teszi, hogy ugyanaz a szemüveg támogassa az olvasást vagy a vezetést, és még az apró betűs és távoli jeleket is felnagyítsa. Ezzel több barát is könnyedén kipróbálhatja. Képzeld el, ha az XBoxod csak egyjátékos játékokat támogat, és két vagy három barátod van a szobában? Amolyan balhé.

A jelenlegi legjobb dinamikus fókuszálási módszerek közé tartozik az Alvarez (mechanikus csúszka) és a folyadékkal töltött állítható lencsék. A mechanikus megoldások általában csökkentik a megbízhatóságot. Elég sok kutatás-fejlesztés folyik a speciális LCD-k egymásra helyezésére és a fókusz elektronikus megváltoztatására. A Mega felvásárolt egy céget, hogy vállalja a feladatot.

Aztán ott van a virtuális kép fókuszálásának problémája az aktuális látószög alapján. Az Avegant és a Magic Leap megmutatta nekünk, hogyan válthatunk gyorsan két gyújtótávolság között, szimulálva egy egyszerű fénymező-kijelzőt, ami fontos a "virtuális objektumok" megfelelő gyújtótávolságon belüli navigálásához a szárnyfesztávon belül. Korábban több módszert is megvizsgáltam a gyújtótávolság folyamatos pásztázására, de a kereskedelmi monitorok a gyakorlatban nem elég gyorsak.

A szemek követése segítheti a feldolgozást, csökkenti a számítási terhelést, és természetesebb felhasználói bevitelt biztosít. Nagyon jól ismerem a szemkövetési problémát, és már korán felhívom a döntéshozók figyelmét a kockázatokra.

Végül pedig az üzleti oldalon a Luxottica sok pénzt keres alacsony költségű, magas árú szemüvegek eladásával. Ma ez uralja a piacot, és a legtöbb ismert szemüvegmárka. Az XR szemüvegeket gyártó cégeknek együtt kell működniük velük vagy ellenük, egyik sem könnyű választás. A Meta úgy döntött, hogy velük dolgozik a Ray-Ban szemüveg kifejlesztésében. A cég versenytársai közé tartozik a Warby Parke és más kis szereplők. Nem lehet jó új termékeket eladni jó értékesítési csatornák és partnerek nélkül.

6. Kontraszt

A Magic Leap 2 lehetőséget kínál a természeti világ szelektív elmosására. 2010 óta dolgozom ezen a problémán, de még mindig nincs tökéletes megoldás. Optikai mérnökök sora nem tartotta szükségesnek. Ennek okai a következők:

Általánosan érthető, hogy az átlátszó „adalék” kijelzők miért nem tudnak „feketét” színezni. RGB{{0}},0,0 feketéhez, ami valójában nem ad hozzá semmit, és nem látható a meglévő fényben. A világosabb területekhez közeledve azonban könnyen rávehetjük, hogy észlelje a feketéket és az árnyékokat.

Az igazán nehéz probléma akkor merül fel, ha XR szemüvegét a szabadba viszi, és egy erős napfénnyel megvilágított falra néz, valószínűleg egy sötét vagy árnyékos terület közelében. Egyes területek 1000-10 000-szer világosabbak lehetnek, mint mások. A kontraszt beltérben annyira markáns, hogy az AR látványvilága kifejezetten ijesztő. Az optikai mérnökök gyakran azzal érvelnek, hogy ennek leküzdéséhez több fényt kell kibocsátania. Optikája jellemzően csak 1 százalék -10 százalékos hatásfokú, ami azt jelenti, hogy a fény nagy része nem is jut a szemébe, és csak több hőt ad hozzá. Emlékezzünk vissza, hogy nem csak az optika köré tervezhetünk rendszert, mert a hő az egyik legnagyobb korlátozó tényező.

A valóság az, hogy minden átlátszó AR vagy videó átlátszó szemüvegnek figyelembe kell vennie a valós jelenetet a vizuális fejlesztések során. Átlátszóság esetén az üvegeket gyakran le kell vonni a valós megvilágításból, hogy a kívánt végső színt megkapjuk. Videóperspektíva esetén a kijelző a teljes pixelt helyettesítheti, de a virtuális 3D-s jelenet bármilyen átlátszóságát továbbra is keverni kell a kamerából leolvasott háttérszínnel. Tehát alapvetően egy nagy energiájú kamerát és áramkört néz, amely vagy átlátszó vagy átlátszatlan. Ez hatalmas tervezési korlát, mivel energiát és súlyt ad, miközben blokkolja a szemet.

A felületen a szelektív árnyékolás átlátszó szemüveggel olcsóbb, mint a kijelző áramellátása vagy a kamera hozzáadása. 2010-ben egy egyszerű monokróm LCD-t tettem a hullámvezető elé. A várakozásoknak megfelelően működik, 3D tömör objektumokat jelenít meg lágy fekete körvonalakkal. De vannak hátrányai, köztük a dinamikus kalibrálás szükségessége, az LCD torzítja a valós fényt (főleg a vezérlő vezetékek fénytörését). Önmagában gyenge dinamikatartománnyal rendelkezik. A szabadban néha közel 100 százalékos átlátszatlanságra van szükség. Beltéren, különösen a szociális helyzetekben és a távjelenlétben, átlátszóbbnak kell lennie, hogy közvetlenül az emberek szemébe nézzen.

A fő kifogás ezzel a megközelítéssel szemben az, hogy az LCD-k vagy más térbeli fénymodulátorok gyakran életlenek, egy hüvelyknyire a szemtől. A torzítás azonban olyan mértékű, hogy a megfelelő plusz és mínusz átlátszó AR-kijelzőkkel és néhány gyors, alacsony fogyasztású érzékelővel a napszemüveg megakadályozhatja a napfényt, a tükröződést vagy a fényszórókat anélkül, hogy máshol elhomályosítaná a látást. Finoman elsötétítheti a világot, és csillogóvá teheti az ajánlott könyveket. A fejlettebb kivonás (szűrés) révén a szemüveg még a világot is átszínezheti, javíthatja az éjszakai látást, és még biometrikus visszajelzést is adhat, ha nyugtalannak érzi magát vagy zavartnak érzi magát.

Különféle demó dolgokat készítettem, és sokáig kerestem egy jobb utat. De mindegyiknek vannak bizonyos hátrányai. A Magic Leap 2 megvalósítása azonban reményt ad arra, hogy az alapvető problémák megoldódnak.

7. Hálózat

A rádiók energiát is igényelnek, így az osztott rendszerben mindig van kompromisszum. A legígéretesebb jövő a magasabb kategóriájú rádiófrekvenciák használata a jelenleginél kisebb teljesítmény és nagyobb sávszélesség elérése érdekében. De a fő kihívás az, hogy ez a frekvencia nem tud átjutni a bőrön vagy a falakon (jóban vagy rosszban). Tehát a megoldásnak nagyon okosnak kell lennie, mivel a rádióhullámok ugrálnak és sugároznak a szobák és az emberek körül, így előfordulhat, hogy több adót kell használni, mint manapság. Ez nyilvánvalóan növeli a költségeket és a bonyolultságot.

Az egész napos hordható eszközök esetében az is megköveteli, hogy a hálózat elérhető legyen, mielőtt eladná a rá támaszkodó termékeket. Ez a korlátozás a legnagyobb oka annak, hogy a vállalkozások soha nem adják ki az általam javasolt osztott megjelenítési megoldást. Az 5G közelebb áll ahhoz, amire szükségünk van, de legalábbis az Egyesült Államokban ez leginkább azt a problémát oldja meg, hogy kisebb a késleltetés, és többen használják egyszerre a hálózatot. Több mint 5G-re van szükségünk, de ez jó kezdet.

Ahhoz, hogy megszabaduljunk az eredeti „gazdagéptől” (vagy hasonlótól) a szobában, miközben megőrizzük a kicsi és könnyű alaktényezőt, olyan módszerre van szükségünk a számítástechnika „szélére”, amelyet úgy kombinálunk, hogy ne sértse a magánéletünket. A biometrikus szenzorok adatainak elküldése bármely szél- vagy felhőmegoldásra mindenki számára nagyon aggasztó, mert könnyen visszaélhetnek vele.

8. Fényképezőgép

A fényképezőgépet a szemüveghez tenni egy trükkös dolog. A Google Glass sok hibát követett el a társadalmi elfogadottság terén, és széles körű támadások érte. De úgy tűnik, hogy a Snap-nek kevés problémája van e tekintetben. A Facebook ugyanakkor azon is dolgozik, hogy mindenki életének részleteit megörökítse, feltehetően azért, hogy akár akarjuk, akár nem személyre szabottabb hirdetéseket szállíthasson.

Egyes kamerák energiaigényesek, mint például a 3D-s jelenetek digitalizálása és az emberek vagy tárgyak digitális elzárása. A 3D grafika megfelelő elhelyezéséhez folyamatosan követni kell a fejet a térben, és továbbra is a kamerák jelentik a vezető megoldást. Az IMU-szenzorok kihasználásával növeljük az energiafogyasztást.

A fényképezés vagy videózás meglehetősen népszerű használati eset, különösen, ha természetesebb és kényelmesebb, mint más eszközök. A méret- és teljesítménykorlátok miatt azonban a fotók minősége gyengébb lesz, mint egy tipikus okostelefoné. Egy kis fehér fény biztosítása a keretben nem elég a társadalmi jóváhagyás összetett problémájának megoldásához.

A jelenetmegértés könnyebben elképzelhető a fényképezőgép szemüvegének fő jellemzőjeként, részben azért, mert nem kell más emberekről képeket készítenie, de ami még fontosabb, megnyílik az egész napos szemüvegviselés legfontosabb új használati módja: a helyzetmegértés.

9. Tapasztalat

2010-ben a legjobban remélem, hogy a K+F fejlesztésben az AR szemüvegek állnak, amelyek támogatják a hatékony szem- és testkövetési képességeket, és egy természetesebb térbeli számítástechnikai felhasználói felületet fedeznek fel a PC-k és egerek hagyományos „téglalapon belüli téglalapján” túl. Noha a hardvernek bizonyosan megvannak a maga korlátai, az XR széles körű elterjedése megköveteli, hogy valaki foglalkozzon azzal a tapasztalati kérdéssel, hogy „hogyan” kommunikáljunk a jövőben? A "3D doboz a dobozban" nyilvánvalóan nem. Szóval még sok dolgunk van.

Míg a Meta a VR-erõfeszítéseit az úgynevezett „Visual Turing Test” sikeres teljesítésére összpontosítja, az egész nap viselhetõ XR szemüvegeknek hasznosabbaknak kell lenniük, mint másoknak. Sokan azt képzelik, hogy AR rétegek vagy csatornák áthatják valóságunkat, megjelölnek mindent, amit látunk, információkat adnak hozzá, térbeli történeteket mesélnek el 3D-ben, és újrarajzolják a világot. Bár ez valószínűleg igény szerint történik, nem ez a mindennapi élmény, amit elvárnék.

Az emberek legtöbbször javítani akarnak azon, amit gyakran csinálnak: kommunikálni, navigálni, felfedezni a körülöttünk lévő világot, megérteni és akár helyet is váltani, vásárolni, tartalmakat megtapasztalni, és pénzt keresni a munkával. A sikerhez az XR szemüvegeknek jobban kell teljesíteniük, mint az okostelefonokkal vagy más eszközökkel.

Íme, mire nem képes egy okostelefon. Képzeljen el egy normál kinézetű szemüveget, amely dinamikusan állítja be a fókuszt és szelektíven blokkolja a fényt. Proaktívan és privátban is beszélhetnek Önnel anélkül, hogy szöveget kellene begépelnie vagy szóban kérdeznie. Ez önmagában milliárd dolláros termék lenne. Az ilyen szemüvegek segíthetnek emlékezni dolgokra, vagy megbízható ajánlásokat adhatnak a mindennapi élmény részeként (a push hirdetésekkel szemben).

A legfontosabb kutatásom ezen a területen az aszinkron kommunikáció nem vizuális XR szemüveggel. Az okostelefonok hang- és szöveges képességei ma már elég jók, de vajon tudják-e, hogy mikor nehezen fókuszálsz? Segíthetnek abban, hogy a megfelelő időben váltson kontextust, hogy a munka vagy a játék folyamatos legyen? Itt van, hogyan ragyoghat a szemüveg (feltételezve, hogy megbízhatunk a gyártóban).

Minden, amit leírtam, nagyon kemény, és a megfelelő technológia szinte nem is létezik. Még nem a minimalista pályán, de ez azért van, mert nem tartottuk fontosabbnak az optika miniatürizálásával és a látómező maximalizálásával szemben. De ha felteszed a kérdést: Milyen XR szemüveg lehet sikeres ott, ahol mások nem? Még mindig úgy gondolom, hogy mindaz, amit fent felsoroltam, segít egy nagyszerű termék felépítésében.