圖像處理裝置、圖像處理方法、計算機程序以及圖像顯示系統(tǒng)的制作方法
【技術領域】
[0001] 在本說明書中公開的技術涉及用于處理跟隨用戶的頭部的運動的圖像的一種圖 像處理裝置、一種圖像處理方法、一種計算機程序以及一種圖像顯示系統(tǒng)。
【背景技術】
[0002] 已知固定至觀察圖像的用戶的頭部或臉部的一種圖像顯示裝置，即，頭戴式顯示 器。例如，頭戴式顯示器包括用于相應的左眼和右眼的圖像顯示單元，并且配置為與耳機一 起使用，以便能夠控制視覺和聽覺。在頭戴式顯示器配置為在安裝在頭上時完全擋住外部 世界時，增強在查看和收聽期間的虛擬現實。頭戴式顯示器也能夠在左眼和右眼上投射不 同的視頻。因此，在為左眼和右眼顯示具有視差的圖像時，可以呈現3D圖像。
[0003] 這種類型的頭戴式顯示器促使在眼睛的視網膜上形成并且由用戶觀察虛擬圖像。 在對象位于在焦距內接近透鏡的位置上時，在本文中使用的虛擬圖像形成在透鏡的對象側 上。例如，提出了一種頭戴式顯示器，配置該頭戴式顯示器，以便具有寬視角的光學系統(tǒng)通 過25mm的間距設置在瞳孔的前面，并且具有大約0.7英寸的有效像素范圍的尺寸的顯示面 板進一步設置在具有寬視角的光學系統(tǒng)的前面(例如，參照專利文檔1)。
[0004] 使用這種類型的頭戴式顯示器，可以查看廣角圖像。例如，提出了一種頭戴式顯示 器，配置該頭戴式顯示器，以便包括陀螺儀傳感器等的頭部運動跟蹤裝置連接至頭部，以便 允許用戶感到跟隨用戶的頭部的運動的整個空間的360度視頻(例如，參照專利文檔2和專 利文檔3)。移動顯示的區(qū)域，以便消除由陀螺儀傳感器檢測的頭部的運動，據此，允許用戶 觀察跟隨用戶的頭部的運動的圖像并且檢查整個空間。
[0005] 頭戴式顯示器優(yōu)選地通過更短的延遲時間呈現跟隨用戶的頭部運動的移動的圖 像。圖像跟隨頭部的運動的感覺由長延遲時間劣化。此外，擔心用戶感到不舒服。

【發(fā)明內容】

[0006] 本發(fā)明要解決的問題
[0007] 在本說明書中公開的技術的目標在于，提供一種圖像處理裝置、一種圖像處理方 法、一種計算機程序以及一種圖像顯示系統(tǒng)，能夠適當地處理跟隨用戶的一部分身體或者 全部身體(例如，頭部、手的端部、腳的端部以及手腕)的運動的圖像。
[0008] 問題的解決方案
[0009] 鑒于上述問題，構成本申請，并且在權利要求1中描述的技術是一種圖像處理裝 置，包括：
[0010]接收單元，從外部裝置接收時間序列數據；
[0011] 預測時間計算單元，計算從在所述外部裝置中生成先前接收的數據中的最近數據 時的時間到在顯示下一個圖像時的時間的預測時間；
[0012] 時間序列數據預測單元，預測在所述預測時間的時間序列數據；以及
[0013] 繪圖處理單元，基于由所述預測單元預測的時間序列數據，渲染圖像。
[0014] 根據在本申請的權利要求2中描述的技術，根據權利要求1所述的圖像處理裝置的 時間序列數據預測單元包括插在兩片時間序列數據之間的配置，并且配置為外推在所述兩 片時間序列數據之前的部分，以預測在所述預測時間前的時間序列數據。
[0015] 根據在本申請的權利要求3中描述的技術，根據權利要求1所述的圖像處理裝置進 一步包括向顯示裝置發(fā)送渲染圖像的發(fā)送單元。
[0016] 根據在本申請的權利要求4中描述的技術，根據權利要求1所述的圖像處理裝置進 一步包括顯示所渲染的圖像的顯示單元。
[0017]根據在本申請的權利要求5中描述的技術，所述外部裝置跟蹤觀察圖像的用戶的 一部分身體或者全部身體的位置或姿勢。此外，根據權利要求1所述的圖像處理裝置的接收 裝置從所述外部裝置接收姿勢信息，作為時間序列數據，并且所述繪圖處理單元配置為基 于所述姿勢信息渲染跟隨用戶的一部分身體或者全部身體的運動的圖像。
[0018] 根據在本申請的權利要求6中描述的技術，根據權利要5所述的圖像處理裝置的預 測時間計算單元配置為基于從所述外部裝置發(fā)送所述姿勢信息時到顯示基于所述姿勢信 息的圖像時的總延遲量，計算所述預測時間。
[0019] 根據在本申請的權利要求7中描述的技術，在根據權利要求6所述的圖像處理裝置 中，所述總延遲量包括在從所述外部裝置中傳輸所述姿勢信息時發(fā)生的傳輸延遲、在基于 所述姿勢信息渲染所述圖像時發(fā)生的渲染延遲、以及在顯示所渲染的圖像時發(fā)生的顯示延 遲。
[0020] 根據在本申請的權利要求8中描述的技術，根據權利要求6所述的圖像處理裝置的 預測時間計算單元配置為將所述總延遲量分成可測量的恒定延遲以及不可測量的變化延 遲，以計算所述總延遲量。
[0021] 根據在本申請的權利要求9中描述的技術，在根據權利要求8所述的圖像處理裝置 中，所述變化延遲包括傳輸延遲的變化。
[0022] 根據在本申請的權利要求10中描述的技術，根據權利要求5所述的圖像處理裝置 的接收單元配置為從所述外部裝置接收表示用戶的一部分身體或者全部身體的位置或姿 勢的四元數，作為時間序列數據。
[0023] 根據在本申請的權利要求11中描述的技術，根據權利要求10所述的圖像處理裝置 的時間序列數據預測單元包括對兩個四元數執(zhí)行線性插值的配置，并且配置為外推在所述 兩個四元數之前的部分，以預測所述預測時間前的四元數。
[0024] 根據在本申請的權利要求12中描述的技術，根據權利要求10所述的圖像處理裝置 的時間序列數據預測單元包括對兩個四元數執(zhí)行球面線性插值的配置，并且配置為外推在 所述兩個四元數之前的部分，以預測所述預測時間前的四元數。
[0025] 此外，在本申請的權利要求13中描述的技術是一種圖像處理裝置，包括：
[0026] 接收單元，從外部裝置接收時間序列數據；
[0027] 預測時間計算單元，計算從在所述外部裝置中加入先前接收的數據中的最近數據 中的時間到在顯示下一個圖像時的時間的預測時間；
[0028] 時間序列數據預測單元，預測在所述預測時間的時間序列數據；以及
[0029] 繪圖處理單元，基于由所述預測單元預測的時間序列數據，渲染圖像。
[0030] 而且，在本申請的權利要求14中描述的技術是一種圖像處理裝置，包括：
[0031] 接收單元，從外部裝置接收時間序列數據；
[0032] 預測時間計算單元，計算從所述外部裝置發(fā)送先前接收的數據中的最近時間到在 顯示下一個圖像時的時間的預測時間；
[0033]時間序列數據預測單元，預測在所述預測時間的時間序列數據；以及 [0034]繪圖處理單元，基于由所述預測單元預測的時間序列數據，渲染圖像。
[0035]而且，在本申請的權利要求15中描述的技術是一種圖像處理方法，包括：
[0036] 接收步驟，從外部裝置接收時間序列數據；
[0037] 預測時間計算步驟，計算從在所述外部裝置中生成先前接收的數據中的最近數據 時的時間到在顯示下一個圖像時的時間的預測時間；
[0038]時間序列數據預測步驟，預測在所述預測時間的時間序列數據；以及
[0039] 繪圖處理步驟，基于在所述預測步驟中預測的時間序列數據，渲染圖像。
[0040] 此外，在本申請的權利要求16中描述的技術是一種通過計算機可讀形式描述的計 算機程序，以使計算機用作：
[0041 ]接收單元，從外部裝置接收時間序列數據；
[0042]預測時間計算單元，計算從在所述外部裝置中生成先前接收的數據中的最近數據 時的時間到在顯示下一個圖像時的時間的預測時間；
[0043]時間序列數據預測單元，預測在所述預測時間的時間序列數據；以及
[0044] 繪圖處理單元，基于由所述預測單元預測的時間序列數據，渲染圖像。
[0045] 根據本申請的權利要求16所述的計算機程序限定通過計算機可讀形式描述的計 算機程序，以便在計算機上實現預定的處理。換言之，通過在計算機上安裝根據本申請的權 利要求16所述的計算機程序，在計算機上顯示協同效果，據此，可以獲得與根據本申請的權 利要求1所述的圖像處理裝置的工作效果相似的工作效果。
[0046]而且，在本申請的權利要求17中描述的技術是一種圖像顯示系統(tǒng)，包括：
[0047] 外部裝置，發(fā)送時間序列數據；
[0048] 繪圖裝置，接收所述時間序列數據并且渲染圖像;以及 [0049]顯示裝置，顯示由所述繪圖裝置渲染圖像，其中，
[0050] 所述繪圖裝置預測從在所述外部裝置中生成先前接收的數據中的最近數據時的 時間到在顯示下一個圖像時的時間的預測時間，預測在所述預測時間的時間序列數據，并 且基于預測時間序列數據，渲染所述圖像。
[0051] 在本文中使用的"系統(tǒng)"表示多個裝置(或實現特定功能的功能模塊)的邏輯集合， 并且對每個裝置或功能模塊是否在單個外殼內沒有特定要求。
[0052] 根據在本申請的權利要求18中描述的技術，在根據權利要求17所述的圖像顯示系 統(tǒng)中，所述外部裝置是跟蹤裝置，跟蹤在所述顯示單元上觀察顯示圖像的用戶的一部分身 體或者全部身體的姿勢，并且發(fā)送姿勢信息，并且所述繪圖裝置配置為基于接收的姿勢信 息，渲染跟隨用戶的一部分身體或者全部身體的運動的圖像。
[0053] 根據在本申請的權利要求19中描述的技術，在根據權利要求17所述的圖像顯示系 統(tǒng)中，所述跟蹤裝置發(fā)送表示用戶的一部分身體或者全部身體的位置或姿勢的四元數，并 且所述繪圖裝置配置為通過外推在兩個四元數之前的部分，以對所述兩個四元數執(zhí)行球面 線性插值，來預測所述預測時間前的四元數，并且基于所述預測四元數，渲染所述圖像。
[0054] 本發(fā)明的效果
[0055] 根據在本說明書中公開的技術，可以提供一種優(yōu)異的圖像處理裝置、一種圖像處 理方法、一種計算機程序以及一種圖像顯示系統(tǒng)，能