早在今年3月，蘋果公司就發(fā)布了一份名為“蘋果公司隊伍一項關(guān)于未來虛擬現(xiàn)實鍵盤的專利”的報告。這項專利主要的意思就是，在未來，用戶們不需要實體鍵盤，只需要戴上頭顯，然后在任何桌面上都可以投射出虛擬鍵盤，就比如說航空公司的下拉托盤都作為虛擬鍵盤。與傳統(tǒng)筆記本鍵盤不同，這款新型的虛擬鍵盤將為用戶提供在公共空間工作的私人空間。
為了開發(fā)一款精確度比較高的虛擬鍵盤，蘋果公司一直在研究開發(fā)先進的計算機視覺技術(shù)。在這項專利申請中，蘋果電腦視覺和機器學(xué)習(xí)主管Daniel Kurtz解釋了如何利用基于深度的觸摸檢測系統(tǒng)，研發(fā)下一代虛擬鍵盤和鼠標(biāo)技術(shù)。Daniel Kurtz于2015年因為蘋果收購Metaio來到蘋果，他表示這種形式的觸摸檢測也可能適用于未來的VR游戲。
收購Metaio兩年后，蘋果在2017年全球開發(fā)者大會上推出了AR技術(shù)。其軟件高級副總裁Craig Federighi演示了如何用iPhone將虛擬的物體放在面前的桌子上。他首先是把一個虛擬咖啡杯放在桌子上，然后在咖啡杯旁邊加了一盞燈，當(dāng)他移動臺燈時，我們看到咖啡杯的影子甚至?xí)崟r移動。蘋果團隊現(xiàn)在所做的不僅僅是在用戶面前展示AR物體，而是更進一步，讓用戶能夠?qū)崟r與AR物體進行交互。
而蘋果專利的主要重點是與虛擬鍵盤進行實時交互，但我們想象這一下，這項發(fā)明或許還可以增強VR游戲的互動性，想象一下，在游戲中開門，駕駛汽車，拿武器，與敵人激戰(zhàn)這些動作都可以更加真實，而不是只是按Xbox或PS4上的按鈕。如果蘋果團隊能及時將這項技術(shù)推向市場，那么潛力將是巨大的。還有蘋果的TrueDepth相機，在很多方面也會起到很重要的作用。
專利背景
Daniel Kurtz首先簡要說明了一下現(xiàn)有系統(tǒng)的不足，然后解釋了蘋果的這項發(fā)明是如何克服基于深度的虛擬觸摸檢測中的某些問題。首先，他指出，檢測到用戶的手指何時接觸到真實的環(huán)境平面，可以使用戶和硬件系統(tǒng)(例如計算機或游戲系統(tǒng))之間實現(xiàn)更直觀真實的交互。
使用相機進行觸摸檢測比使用嵌入式傳感器(如電容式傳感器)有很多優(yōu)勢。此外一些現(xiàn)代數(shù)碼設(shè)備，如頭戴式設(shè)備(HMD)和智能手機都配備了視覺傳感器，包括深度相機，比如蘋果的所有iPhone X型號上的TrueDepth相機。目前基于深度的觸摸檢測方法可以使用深度相機來測量相機和手指之間以及相機和表面之間的距離。
一種方法有缺點就是不能應(yīng)用于動態(tài)場景。另一種方法可以首先識別手指，然后從指尖中心開始填充鄰近的像素，這樣當(dāng)填充足夠時，就可以檢測到觸摸。但是由于這種方法沒有考慮對像素深度數(shù)據(jù)標(biāo)準(zhǔn)化，因此很容易出錯。另一種方法是，根據(jù)預(yù)先計算好的參考系、對手部輪廓的分析和深度曲線的擬合來確定的。
這些方法都需要預(yù)先定義閾值來區(qū)分觸摸和非觸摸條件，還有就是要考慮到距離，當(dāng)手指距離平面10毫米或以下時，可表示觸摸。
專利：基于深度的觸摸檢測
蘋果的發(fā)專利涵蓋了以下概念，首先是提供一種基于深度的觸摸檢測方法，用于獲取表面場景的深度圖，深度圖包含多個值(例如，深度圖可以來自深度傳感器以及一個或多個光學(xué)相機)；識別深度圖的第一區(qū)域，識別對象(例如，該對象可以是手指、手寫筆或其他光學(xué)不透明對象)；根據(jù)第一區(qū)域識別深度圖的表面區(qū)域，(例如，該表面可以是平面的或非平面的)。最后根據(jù)獲得輸出，當(dāng)輸出表示物體與表面接觸時，執(zhí)行第一個肯定性操作(如執(zhí)行與“鼠標(biāo)點擊”相對應(yīng)的操作)。
上面所述觸摸檢測操作可幫助改進接受非鍵盤輸入的計算設(shè)備或系統(tǒng)的功能。可以通過使用任意的表面(例如桌面或其他表面)來進行輸入操作，而不用傳統(tǒng)的鍵盤和其他設(shè)備(例如鼠標(biāo)或手寫筆)。通過改進傳統(tǒng)輸入方式，可以進一步改進計算機系統(tǒng)的功能，用戶可以在任意環(huán)境下使用鍵盤。
下面的蘋果專利數(shù)據(jù)說明了基于深度的觸摸檢測操作的各個方面信息。蘋果的專利圖3A是流程圖形式，關(guān)于觸摸檢測操作。
這項由美國專利局公布的蘋果專利申請最初是在2017年第三季度提交的?？紤]到這是一項專利申請，目前還不清楚該技術(shù)是否能夠?qū)崿F(xiàn)以及上市的時間。