Facebook Reality Labs (FRL) 致力于許多旨在使與技術(shù)交互更平易近人的項目。FRL 正在研究的技術(shù)包括 VR 耳機和 AR 眼鏡。手部追蹤技術(shù)對虛擬現(xiàn)實尤為重要，讓該技術(shù)通過“隨你而來”的方式與人際互動更加身臨其境。

FRL 正在進行的工作旨在構(gòu)建更自然的設(shè)備，并從 Touch 控制器開始。這些控制器設(shè)計為握持舒適，內(nèi)部裝有大量傳感器。觸摸控制器提供了栩栩如生的手部存在感，并使基本的 VR 交互感覺更像真實的東西。

FRL 正在努力消除對手動控制器的需求，轉(zhuǎn)而感知裸手。該實驗室在五年前開始為 VR 進行手部跟蹤，當時沒有人提供消費級質(zhì)量、無控制器的手部跟蹤功能。這意味著該技術(shù)必須從頭開始創(chuàng)建。

下面的視頻遵循開發(fā)過程，展示了導致最終產(chǎn)品的一些設(shè)備的原型。FRL 目前正在探索新的文本輸入實驗形式，這是提高生產(chǎn)力的一項常見且關(guān)鍵的任務(wù)。FRL 提出了一種新穎的方法，可以使用基于標記的手部跟蹤系統(tǒng)的手部動作在沒有鍵盤的任何平面上進行觸摸打字。該系統(tǒng)將動作直接輸入并解碼為用戶想要輸入的文本。

研究人員指出，該技術(shù)仍處于早期研究階段，但說明了手部追蹤在活動場景中的潛力。研究人員必須理解不穩(wěn)定的打字模式，并采用自動語音識別的統(tǒng)計解碼技術(shù)，使用運動模型來預(yù)測手部運動的擊鍵。使用這種方法，打字員平均每分鐘 73 個單詞，使用他們的手、平坦的表面和其他任何東西的未糾正錯誤率為 2.4%。與使用實際鍵盤相比，打字員使用新系統(tǒng)實現(xiàn)了相似的速度和準確性。