Jak „Foveated“ displej zvyšuje obnovovací frekvenci náhlavní soupravy Apple Vision Pro

Objektivy Apple Vision Pro

Jedním z klíčových prvků náhlavní soupravy pro virtuální realitu nebo rozšířenou realitu, jako je Vision Pro, je použití displejů s vysokou obnovovací frekvencí. Obrazovky, které se aktualizují rychleji a umožňují rychlejší odezvy na pohyb uživatele, mohou minimalizovat potenciál nevolnosti z neaktualizace obrazovky tak, aby odpovídala pohybům, a dále prodávat iluzi virtuálního prostředí nebo digitálního objektu, který je umístěn ve světě.

Jedním z problémů s pokrokem v technologii používané pro displeje náhlavních souprav je to, že se očekává použití obrazovek s vyšším rozlišením. Přidáním více pixelů na displej to znamená, že existuje více prvků, které je třeba aktualizovat při každém obnovení, a více dat, která musí hostitelské zařízení vytvořit při vykreslování scény.

V nově uděleném patentu má žádost o „Foveated Display“ za cíl vyřešit tyto problémy tím, že nabízí dva různé proudy dat pro použití displeje, sestávající ze snímků s vysokým rozlišením a snímků s nízkým rozlišením.

Základní koncept vysunutého displeje spočívá v tom, že obrazovka nemusí používat snímky ve vysokém rozlišení pro celou obrazovku, pouze na cokoli, na co se uživatel dívá. Pokud lze polohu určit, je možné, aby displej zobrazil obraz s vysokým rozlišením náročný na zdroje v přímém pohledu uživatele, a poté použil lehká data s nízkým rozlišením pro zbytek obrazovky.

Diagram vysvětlující, jak systém displeje obvykle funguje při obnovování

Vzhledem k tomu, že zbytek displeje by využíval periferní vidění uživatele, které nevyžaduje detaily, může to výrazně snížit množství práce, kterou je třeba provést pokaždé, když displej potřebuje osvěžit.

V řešení společnosti Apple se používá systém sledování pohledu, který zjišťuje bod na obrazovce, na který jsou oči uživatele trénovány. Když tato data zná, jednotka grafického zpracování poté vykreslí obraz s vysokým rozlišením pro část scény, kam se uživatel dívá, a také verzi s nízkým rozlišením pro zbytek obrazu.

Pomocí obvodů časovacího řadiče a obvodu sloupcového ovladače může první poskytnout obrazová data druhému, který pak implementuje změny na displeji. Tento obvod se také používá k přepínání mezi dvěma vyrovnávacími pamětmi, které poskytují data s vysokým rozlišením a data s nízkým rozlišením, přičemž každá je použita pro příslušnou oblast displeje.

Použití interpolace a filtračních obvodů by mohlo být použito ke změně pixelových dat před jejich aplikací, jako například v oblastech, kde se data s nízkým rozlišením používají vedle verze s vysokým rozlišením k vyrovnání jakýchkoli zjevných švů. Dvourozměrné prostorové filtry by mohly být také aplikovány na datovou vyrovnávací paměť s nízkým rozlišením.

Ukázka toho, jak různá rozlišení lze sestavit na displeji na základě pohledu uživatele doprostřed obrazovky.

Přestože byl udělen až nyní, Apple podal žádost o tento patent 15. ledna 2021, dlouho předtím, než byl oznámen Vision Pro. Tato aplikace byla neobvyklá v tom, že dokument mluví konkrétně o náhlavních soupravách, nebyla to jedna z potenciálně stovek patentových přihlášek Vision Pro, které se skrývaly na očích.

Související dřívější přihlášky k nejnovějšímu objevu zahrnují předchozí „Predictive, Foveated Virtual Reality System“, který používal podobnou metodu přenosu videa v různém rozlišení a selektivního vykreslování, aby se minimalizovala latence pro uživatele. Apple také prozkoumal různé systémy sledování očí, včetně některých využívajících „horké zrcadlo“, které umožňuje, aby součásti byly blízko k obličeji uživatele, spíše než dále, takže náhlavní souprava je pohodlnější na delší dobu.