頭戴式系統(tǒng)以及使用頭戴式系統(tǒng)計(jì)算和渲染數(shù)字圖像流的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種包括雙眼追蹤系統(tǒng)的頭戴式系統(tǒng)，該雙眼追蹤系統(tǒng)包括設(shè)置為用 于捕獲使用者的左眼的至少一個(gè)第一照相機(jī)、設(shè)置為用于捕獲使用者的右眼的第二照相 機(jī)。該頭戴式系統(tǒng)還包括頭戴式顯示器，該頭戴式顯示器包括用于給使用者的左眼展示圖 像的第一顯示裝置和用于給使用者的右眼展示圖像的第二顯示裝置。該頭戴式系統(tǒng)還包括 處理單元，該處理單元被設(shè)計(jì)為處理來自眼睛追蹤系統(tǒng)的圖像并且至少計(jì)算左眼和右眼的 3D位置和左眼和右眼的定向向量。處理單元還被設(shè)計(jì)為計(jì)算和渲染將通過頭戴式顯示器方 式被投影至使用者的左眼和右眼上的數(shù)字圖像流。本發(fā)明還涉及一種使用這樣的頭戴式系 統(tǒng)計(jì)算和渲染數(shù)字圖像流的方法。
【背景技術(shù)】
[0002] 這樣的頭戴式系統(tǒng)被用于作眼睛追蹤、眼睛運(yùn)動(dòng)學(xué)、生物統(tǒng)計(jì)學(xué)以及位置和運(yùn)動(dòng) 測(cè)量，以在自由范圍的運(yùn)動(dòng)設(shè)置中盡可能完全地測(cè)量和分類人類行為。
[0003] US 2012/0179369描述了一種使用頭戴式裝置（HMD)并且包括處理器的個(gè)人導(dǎo) 航裝置。其使用頭部方向和便攜式坐標(biāo)定位傳感器（GPS)。US 8, 004, 765描述了一種光 學(xué)裝置，該光學(xué)裝置具有第一光線傳輸基片、具有至少兩個(gè)主表面的透明層，在該主表面 處，光波通過全內(nèi)反射傳輸。US 7, 672, 055描述了一種光學(xué)裝置，該光學(xué)裝置包括光線傳 輸基片，該光學(xué)傳輸基片具有彼此平行且平行于邊緣的至少兩個(gè)主表面、用于耦合通過內(nèi) 反射位于進(jìn)入所述基片的視場(chǎng)中的光波的第一光學(xué)元件、和用于耦合在所述基片外的所述 被捕獲的光波的第二光學(xué)元件，其中所述主表面的至少一個(gè)涂覆有角度敏感涂層。從US 2010/0171680已知兩個(gè)單元的光電系統(tǒng)，包括HMD和分離控制單元，其通過窄頻帶無線信 道通信。US 8, 189, 263描述了一種用于HMD的光學(xué)設(shè)備，包括波導(dǎo)、耦合輸入鏡的一維數(shù) 組和耦合輸出鏡的二維數(shù)字。US 6, 433, 760描述了整合頭戴式顯示器和眼睛追蹤裝置的 裝置。它提出了一種非常具體的眼睛追蹤技術(shù)，該眼睛追蹤技術(shù)使用四個(gè)光源以產(chǎn)生四個(gè) 閃光、眼睛追蹤器和通過使用分光器共享相同的光路的HMD投影機(jī)構(gòu)。US 4, 958, 925教導(dǎo) 了使用一對(duì)正交的光線發(fā)射元件和光線檢測(cè)元件的眼睛運(yùn)動(dòng)檢測(cè)。US 5, 331，149描述了 顯示器與光電探測(cè)器陣列的組合。光線發(fā)射和光線檢測(cè)元件位于同一位置并且朝眼睛發(fā)射 以及從眼睛反射的光線共享相同的光路。該顯示器可被頭盔式地安裝。US 7, 783, 077教 導(dǎo)了用于追蹤操作者的眼睛的運(yùn)動(dòng)的方法，包括視線記錄儀、處理裝置、定制模板，該定制 模板與包括形狀、尺寸和照度的所述眼睛的至少一部分類似。WO 2011/156195涉及包括被 構(gòu)造為將被穿戴在使用者頭上的項(xiàng)目的頭戴式顯示單元的語音產(chǎn)生裝置，該頭戴式顯示單 元包括用于在使用者的視場(chǎng)內(nèi)顯示一個(gè)或多個(gè)圖像的顯示裝置、用于產(chǎn)生音頻輸出的揚(yáng)聲 器、和通信地連接至頭戴式顯示單元和揚(yáng)聲器的處理單元。眼睛追蹤是可選的并且可僅用 作控制語音產(chǎn)生的光標(biāo)。US 7, 522, 344教導(dǎo)了具有眼睛追蹤的基于投影的頭戴式顯示裝 置。它使用多個(gè)光源以照亮眼睛并且產(chǎn)生多邊形的多個(gè)閃光、明暗的瞳孔交替、鏡片以為頭 戴式顯示器路徑和眼睛追蹤器路徑提供光路、定位在眼睛追蹤器路徑中以反射紅外光并且 經(jīng)由接口傳輸可見光至外部控制器的第一和第二熱鏡。它涉及一個(gè)特定的技術(shù)方案，在該 技術(shù)方案中，HMD和眼睛追蹤（ET)裝置共享相同的光路，用于將圖像朝向眼睛投影并且觀 察眼睛以作眼睛追蹤。這個(gè)技術(shù)使用熱鏡并且交替離軸（off-axis)/同軸（on-axis)照 明以實(shí)現(xiàn)明暗瞳孔效果，以便檢測(cè)。從US 8, 235, 529已知用于組合HMD和ET的另一種裝 置。它描述了通過顯示平滑移動(dòng)的對(duì)象并且追蹤眼睛路徑而在"激活的"大功率運(yùn)行模式 與"鎖定的"低功率狀態(tài)之間切換裝置的方法，所述眼睛路徑必須大體上跟隨移動(dòng)的對(duì)象以 "解鎖"裝置并且切換模式。該匹配通過確定偏移、縮放比例和旋轉(zhuǎn)調(diào)整還被用來校正由眼 睛追蹤器計(jì)算的視軌跡的轉(zhuǎn)變。EP 2 499 962 Al涉及一種護(hù)目鏡形式的頭戴式眼睛追蹤 裝置。它不包括HMD。
[0004] US 8, 130, 260 B2公開了一種用于3D顯示的系統(tǒng)，其包括具有第一和第二接目鏡 套筒的至少一個(gè)接目鏡（eye piece)，具有包含在與第一眼睛關(guān)聯(lián)的所述第一接目鏡套筒 中的第一顯示器、被安裝以使得第一視線記錄儀（eye camera)追蹤所述第一眼睛的眼睛參 考點(diǎn)和第二視線記錄儀追蹤第二眼睛的參考點(diǎn)的兩個(gè)視線記錄儀、用于提供所述至少一個(gè) 接目鏡的總體控制的處理器、第二顯示器、和主處理器。信號(hào)在所述主處理器和所述至少一 個(gè)接目鏡之間傳遞，其中所述兩個(gè)視線記錄儀追蹤所述參考點(diǎn)，所述接目鏡收發(fā)器通過所 述主收發(fā)器傳送所述參考點(diǎn)至主處理器。所述主處理器基于所述參考點(diǎn)產(chǎn)生圖像數(shù)據(jù)并且 傳送所述圖像數(shù)據(jù)至所述顯示器以產(chǎn)生3D圖像。這個(gè)文件已經(jīng)被用來構(gòu)成本申請(qǐng)的獨(dú)立 權(quán)利要求的前序部分。
[0005] US 2010/0322479 Al涉及用于3D目標(biāo)定位的系統(tǒng)和方法。由此，使用兩個(gè)或多個(gè) 攝像機(jī)在三維空間中對(duì)目標(biāo)成像。使用立體顯示將與兩個(gè)或多個(gè)攝像機(jī)中的兩個(gè)攝像機(jī)組 合的3D圖像空間顯示給使用者。隨著使用者在立體視頻顯示中觀察到目標(biāo)，使用者的右眼 和左眼被成像，右眼的右視線和左眼的左視線在3D圖像空間中被計(jì)算，并且使用雙眼追蹤 器將3D圖像空間的注視點(diǎn)計(jì)算為右視線和左視線的交叉點(diǎn)。通過使用處理器將3D圖像空 間中的注視點(diǎn)從兩個(gè)攝像機(jī)的定位和位置轉(zhuǎn)換為3D真實(shí)空間中的真實(shí)目標(biāo)定位，確定真 實(shí)的目標(biāo)定位。從US 2009/0189974 Al中已知使用眼戴式顯示器的系統(tǒng)。該文件教導(dǎo)了安 裝在眼睛上和/或安裝在眼睛內(nèi)的顯示裝置。該眼戴式顯示器包含多個(gè)子顯示器，每一個(gè) 子顯示器投影光線至位于與所述子顯示器對(duì)應(yīng)的視網(wǎng)膜的一部分內(nèi)的不同視網(wǎng)膜位置。投 影的光線穿過瞳孔傳播但不充滿整個(gè)瞳孔。以此方式，多個(gè)子顯示器可以投影它們的光線 至視網(wǎng)膜的相關(guān)部分上。從瞳孔移動(dòng)至角膜，瞳孔在角膜上的投影被稱為角膜孔。投影的 光線通過小于全部的角膜孔傳播。子顯示器在角膜表面處使用空間多路法。各種電子裝置 接口連接至眼戴式顯示器。US 2012/0200676 Al涉及一種混合立體圖像/運(yùn)動(dòng)視差系統(tǒng)， 該系統(tǒng)使用用于給觀察者的每一個(gè)眼睛展示不同圖像的立體3D視覺技術(shù)結(jié)合運(yùn)動(dòng)視差技 術(shù)，來調(diào)整用于觀察者的眼睛的位置的每一個(gè)圖像。以此方式，隨著視野移動(dòng)同時(shí)觀察3D 場(chǎng)景，觀察者接收立體提示（cue)和視差提示（cue)，其易于對(duì)觀察者帶來更大的視覺舒適 性/更小的疲勞。還描述了用于追蹤觀察者位置的護(hù)目鏡的使用，其包括訓(xùn)練計(jì)算機(jī)視覺 算法以識(shí)別護(hù)目鏡而不是僅為頭/眼睛。
[0006] 另外的相關(guān)現(xiàn)有技術(shù)從下面的出版物中被已知：出版在Proceedings of the SIGCHI conference on Human Factors in Computing Systems in 2000 中的、Vildan Tanriverdi 和 Robert J. K. Jacob 的''Interacting with eye movements in virtual environments''，出版在 ETRAi OOProceedings of the 2000symposium on Eye tracking research&applications in 2000 中的、Andrew T. Duchowsky, Vinay Shivashankaraiah 和 Tim Rawls 的"Binocular eye tracking in virtual reality for inspection training"。 the Maersk McKinney Moiler Institute of University of Southern Denmark of June 1，2012 的 Morten Lidegaard 的題為"Development of a head mounted device for point-〇f-gaze estimation in three dimensions" 的碩士論文以及出版在 Virtual Environments and Advanced Interface Design in 1995 中的 Robert J. K. Jacob 的題為 "Eye tracking in advanced interface design" 的文章。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是進(jìn)一步增強(qiáng)權(quán)利要求1的前序部分中所述的頭戴式系統(tǒng)的性能。 以此相同的方式，本發(fā)明的進(jìn)一步的目的是提供改進(jìn)的方法，以使用頭戴式系統(tǒng)計(jì)算和渲 染數(shù)字圖像流。
[0008] 通過具有權(quán)利要求1的特征的頭戴式系統(tǒng)和具有權(quán)利要求27的特征的計(jì)算和渲 染數(shù)字圖像流的方法來實(shí)現(xiàn)這些目的。
[0009] 本發(fā)明基于發(fā)現(xiàn)已知的頭戴式系統(tǒng)假設(shè)人眼睛的標(biāo)準(zhǔn)固定位置以渲染這個(gè)標(biāo)準(zhǔn) 的人將會(huì)看見的圖像。然而，眼內(nèi)距離和眼睛相對(duì)于鼻子的位置存在明顯的個(gè)體差異。一 些現(xiàn)有系統(tǒng)試圖使用一些類型的手動(dòng)校正程序?qū)ζ溥M(jìn)行改進(jìn)，然而其既不準(zhǔn)確又耗時(shí)。基 于此，在根據(jù)本發(fā)明的頭戴式系統(tǒng)中，處理單元被進(jìn)一步設(shè)計(jì)為在計(jì)算和渲染數(shù)字圖像流 時(shí)考慮左眼和右眼的3D位置以及左眼和右眼的方向。這個(gè)信息由雙眼追蹤系統(tǒng)提供。這 樣做了后，處理單元提供的數(shù)字圖像可以準(zhǔn)確地適應(yīng)個(gè)人的眼內(nèi)距離和眼睛相對(duì)于鼻子的 位置地被計(jì)算和渲染。結(jié)果，用于虛擬現(xiàn)實(shí)3D場(chǎng)景的左/右圖像渲染的虛擬視點(diǎn)的3D位 置與雙眼追蹤系統(tǒng)測(cè)量的使用者眼睛的準(zhǔn)確位置（代替現(xiàn)有裝置中的標(biāo)準(zhǔn)的固定的或手 動(dòng)校正的眼內(nèi)距離）相匹配。這減小了壓力和頭暈并且改進(jìn)了深度知覺。
[0010] 在優(yōu)選的實(shí)施例中，頭戴式系統(tǒng)包括穿戴裝置，并且處理單元機(jī)械地連接至所述 穿戴裝置上。當(dāng)穿戴裝置進(jìn)一步設(shè)置有例如電池或蓄電池的能量存儲(chǔ)器時(shí)，對(duì)于使用者而 言實(shí)現(xiàn)了非常高的自由度。
[0011] 代替地，頭戴式系統(tǒng)可以包括穿戴裝置和機(jī)械地連接至所述穿戴裝置