圖像處理裝置、圖像處理方法及圖像處理系統(tǒng)的制作方法

文檔序號：2745104閱讀：159來源：國知局

專利名稱：圖像處理裝置、圖像處理方法及圖像處理系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種圖像處理裝置、圖像處理方法及圖像處理系統(tǒng)。特別地，本發(fā)明適
用于針對各觀察者校正在具有放大在顯示設備上形成的圖像并允許觀察者觀察放大的圖
像的顯示光學系統(tǒng)的圖像顯示裝置(例如HMD或EVF)中產生的像差(aberration)。
背景技術：
已經提出了許多技術，來通過數字方法校正由光學透鏡產生的像差所引起的圖像失真和色偏(color misregistration)(滲色(bleeding))。用于消除像差的透鏡新需要對失真和色偏進行光學校正，從而使光學系統(tǒng)的尺寸增大。設計用來防止這些像差的具有良好光學特性的透鏡通常很昂貴。代替這種透鏡，通常使用圖像處理通過數字像差校正技術來校正光學系統(tǒng)產生的像差。這種技術可以減小光學系統(tǒng)的尺寸(減少透鏡的數量)并采用便宜的透鏡。近來，具有更小型、重量更輕、成本更低的主體的諸如數字照相機的攝像裝置需要減小攝像透鏡的尺寸并降低成本。此外，諸如數字照相機的攝像裝置通常具有變焦和聚焦功能。出現了對在透鏡參數變化時不管像差的變化而保持高的圖像拍攝質量的校正技術的需求。日本特開2006-135805號公報(下文中稱為專利文獻1)公開了一種像差校正技術，其即使在包括變焦、聚焦以及光圈的透鏡參數改變?yōu)楦鞣N值時拍攝圖像的情況下，也能夠基于透鏡參數消除由倍率色像差(chromatic aberration ofmagnification)引起的圖像模糊。在專利文獻l中公開的技術能夠通過校正攝像裝置(諸如數字照相機)中的透鏡參數變化時攝像透鏡產生的色像差來防止圖像拍攝質量的劣化(即圖像模糊)。
近來許多數字照相機包括電子取景器(electronic view finder，稱為EVF)。已知EVF作為一種使得在拍攝圖像之前經由取景器確認的圖像與拍攝的圖像真正匹配的技術。EVF采用使用數字圖像傳感器以去除單透鏡反射照相機所必需的反射鏡(已知為反射器)的配置。EVF被配置為在小型顯示設備上實時顯示數字圖像傳感器感測的圖像，經由顯示透鏡放大在顯示設備上形成的圖像，并允許觀察者進行觀察。即使在經由透鏡放大在小型顯示設備上形成的圖像并允許觀察者進行觀察的顯
示光學系統(tǒng)(如EVF)中，也會出現與上述攝像透鏡的像差相同的像差。該顯示光學系統(tǒng)也
需要校正由失真和色偏(滲色)引起的顯示圖像質量劣化的像差校正技術。頭盔式顯示器(head mounted display,稱為HMD)是放大在小型顯示設備上形成
的圖像并允許觀察者進行觀察的圖像顯示裝置的另一示例。針對將數字像差校正技術應用
到HMD或EVF中以防止由顯示裝置的光學系統(tǒng)產生的像差引起的圖像顯示質量的劣化的技
術，已經作出了許多提議。然而，這些傳統(tǒng)技術存在以下問題。除了 HMD或EVF的顯示光學系統(tǒng)之外，在光路上還可能存在另一光學系統(tǒng)，當觀察者通過HMD或EVF觀察圖像時，在顯示設備上形成的圖像的光通過該光路到達觀察者的瞳孔。
例如，在僅對HMD或EVF的顯示光學系統(tǒng)產生的像差進行校正的像差校正中，針對視力好、能夠使用裸眼進行觀察的觀察者適當地校正像差(色偏)。觀察者可能觀察到顯示圖像保持質量。然而，當使用強效的視力校正光學系統(tǒng)的觀察者觀察相同的校正后的圖像時，即使在校正后的圖像上，他也會觀察到色偏。這意味著適當的像差校正量根據觀察者是否使用視力校正光學系統(tǒng)和視力校正程度的差異而改變。也就是說，在通過HMD或EVF觀察時，需要根據HMD或EVF的顯示光學系統(tǒng)和觀察者使用的視力校正光學系統(tǒng)的組合來校正產生的像差。然而，傳統(tǒng)技術無法滿足這種要求。
觀察者所使用的視力校正光學系統(tǒng)的校正程度針對各觀察者改變。如上所述，當對由顯示光學系統(tǒng)和視力校正光學系統(tǒng)的組合產生的像差進行校正時，需要針對各觀察者選擇或生成適當的像差校正量。 HMD或EVF觀察者使用的光學系統(tǒng)包括視力校正光學系統(tǒng)(眼鏡片(spectaclelenses)和隱形眼鏡(contact lenses))。視力校正的程度根據各觀察者的視力而不同。已知許多測量視力校正光學系統(tǒng)(主要是眼鏡片)的光學特性(例如折射率、像差、以及它們的空間分布)的方法，包括例如眼科臨床或眼鏡店所使用的醫(yī)學透鏡檢查儀。例如，日本特開平06-018363號公報(稱為專利文獻2)公開了一種能夠僅使用一個透鏡檢查儀來測量眼鏡片和隱形眼鏡二者的折射率的技術。這種技術采用在測量眼鏡片和測量隱形眼鏡時沿著光軸移動測試透鏡的移動單元。日本特開2002-228545號公報(稱為專利文獻3)公開了一種使用數字照相機來拍攝通過透鏡觀察到的光學特性模式的模式圖像并對其進行測量作為框架連接的眼鏡片的光學特性的技術。然而，難以直接將上述傳統(tǒng)技術應用到諸如HMD或EVF的小型裝置中，用來獲得包括視力校正光學系統(tǒng)的像差的光學特性。因此，需要通過適當地校正由允許觀察者觀察在顯示設備上形成的圖像的光學系統(tǒng)和觀察者所使用的視力校正光學系統(tǒng)的組合產生的像差，來呈現對于各觀察者最佳的顯示圖像。

發(fā)明內容
作出本發(fā)明來解決至少一個傳統(tǒng)問題。本發(fā)明的實施例提供一種能夠執(zhí)行適合于各觀察者的像差校正并且在圖像顯示裝置中呈現像差(色偏)減小的顯示圖像的像差校正方法、圖像處理裝置以及圖像處理系統(tǒng)，該圖像顯示裝置具有放大在顯示設備上形成的圖像并允許觀察者進行觀察的顯示光學系統(tǒng)。根據本發(fā)明的一個方面，提供了一種圖像處理裝置，其用于確定用于校正光學系統(tǒng)所產生的像差的特定觀察者像差校正數據，所述光學系統(tǒng)允許觀察者觀察在顯示器上形成的顯示圖像，該圖像處理裝置包括接收單元，用于接收關于所述觀察者的視力校正光學系統(tǒng)的像差信息；確定單元，用于利用預先準備的像差校正數據以及所述接收單元接收的所述像差
信息，來確定特定觀察者像差校正數據。根據本發(fā)明的另一方面，提供了一種確定用于校正光學系統(tǒng)產生的像差的特定觀察者像差校正數據的方法，所述光學系統(tǒng)允許觀察者觀察在顯示器上形成的顯示圖像，該方法包括以下步驟接收關于所述觀察者的視力校正光學系統(tǒng)的像差信息；
利用預先準備的像差校正數據以及所接收的像差信息，來確定特定觀察者校正數據。根據本發(fā)明的另一方面，提供了一種圖像處理裝置，其用于校正允許觀察者觀察在顯示器上形成的顯示圖像的光學系統(tǒng)產生的像差，該圖像處理裝置包括
存儲單元，其存儲針對所述觀察者的視力光學校正系統(tǒng)產生的像差進行校正的像差校正數據；以及校正單元，其利用所存儲的像差校正數據來校正顯示的圖像。根據本發(fā)明的另一方面，提供了一種用于校正允許觀察者觀察在顯示器上形成的
顯示圖像的光學系統(tǒng)產生的像差的方法，所述圖像處理方法包括以下步驟取出所存儲的針對所述觀察者佩戴的視力光學校正系統(tǒng)產生的像差進行校正的
像差校正數據；以及利用所取出的像差校正數據來校正顯示的圖像。根據本發(fā)明的另一方面，提供了一種圖像處理系統(tǒng)，該圖像處理系統(tǒng)包括圖像顯示裝置，其允許觀察者經由光學系統(tǒng)觀察在顯示器上顯示的顯示圖像；以及圖像處理裝置，其對所述光學系統(tǒng)產生的像差進行校正，所述圖像處理裝置包括存儲單元，其被配置為存儲預先準備的用來校正所述光學系統(tǒng)產生的所述像差的校正數據；獲得單元，其被配置為獲得代表由觀察所述顯示圖像的所述觀察者使用的視力校正光學系統(tǒng)產生的像差的像差信息；確定單元，其被配置為基于預先準備的所述校正數據和所述像差信息，確定用來校正存在于從所述顯示器延伸到所述觀察者的光路中的像差的特定觀察者校正數據；以及
校正單元，其被配置為基于所述確定單元確定的所述特定觀察者校正數據，校正其它顯示圖像上的像差，其中所述圖像顯示裝置輸入所述校正單元校正的其它顯示圖像，并在所述顯示器上顯示所述顯示圖像。通過下面參照附圖對示例性實施例的描述，本發(fā)明的其它特征將變得清楚。

圖1是例示第一實施例中的使用HMD的圖像處理系統(tǒng)的裝置配置的圖；圖2是例示第一實施例中的使用HMD的圖像處理系統(tǒng)的功能配置的框圖；圖3是例示第一實施例中的HMD的顯示光學系統(tǒng)的圖；圖4是例示第一實施例中的適用于圖像處理裝置的計算機的硬件配置的框圖；圖5是例示第一實施例中的HMD的硬件配置的框圖；圖6A至圖6C是用于說明第一實施例中的失真和倍率色像差的示意圖；圖7是示出第一實施例中的HMD的處理序列的主流程圖；圖8A至圖8C是用于說明第一實施例中的HMD顯示模式的示意圖；圖9是示出第一實施例中的安裝調整處理的流程圖；圖IOA至圖IOD是用于說明第一實施例中的在進行安裝調整時顯示的模式圖像的示意圖11是示出第一實施例中的色偏量獲得處理的流程圖；圖12A至圖12C是用于說明第一實施例中的在獲得色偏量時顯示的模式圖像的示意圖；圖13A和圖13B是用于說明第一實施例中的用來獲得色偏量的用戶操作和確定的示意圖；圖14是示出第一實施例中的像差校正處理的流程圖；圖15A和圖15B是用于說明第一實施例中的像差校正的插值計算處理的示意圖；圖16是示出第一實施例中的微調處理的流程圖；圖17A是示出第二實施例中的像差校正處理的流程圖；圖17B是用于說明第二實施例中的像差校正方法的示意圖；圖18是例示第三實施例中的HMD的功能配置的框圖；圖19是示出第三實施例中的總體處理序列的主流程圖；圖20是示出第三實施例中的像差校正表選擇處理的流程圖；圖21是示出第四實施例中的總體處理序列的主流程圖；圖22是例示第五實施例中的HMD的功能配置的框圖；以及圖23是用于說明第五實施例中的像差測量方法的示意圖。
具體實施例方式
下面將參照附圖描述本發(fā)明的優(yōu)選實施例。
(第一實施例) 圖1是例示第一實施例中的使用HMD的圖像處理系統(tǒng)的配置的圖。第一實施例中的圖像處理系統(tǒng)可以是手持顯示裝置(如雙眼望遠鏡)，本發(fā)明的應用不局限于頭盔式顯不器。本發(fā)明適用于各自具有將在顯示設備上形成的顯示圖像放大(作為虛擬圖像)并允許觀察者進行觀察的放大光學系統(tǒng)的所有顯示裝置。這些顯示裝置的示例是連接到數字照相機等的EVF。在向觀察者提供圖像的全浸入感和高臨場感時，使用HMD作為圖像顯示裝置的的圖像處理系統(tǒng)優(yōu)于使用普通顯示器的圖像處理系統(tǒng)。近年來，已知作為使用HMD的圖像處理系統(tǒng)的示例的所謂的混合現實(mixedreality，稱為MR)技術。這種技術實時地無縫混合實際世界與虛擬世界。 MR系統(tǒng)的示例使用配備有用于拍攝幾乎與從HMD用戶的瞳孔位置觀察到的視野相匹配的空間的視頻照相機的視頻透視(video see-through)HMD。將計算機圖形(computer graphics,稱為CG)圖像疊加到視頻照相機拍攝的圖像上。HMD用戶可以體驗像通過CG繪制的對象(虛擬對象)存在于實際世界中一樣的MR空間。在頭部佩戴的HMD優(yōu)選具有小的尺寸和輕的重量。為了校正由攝像系統(tǒng)和顯示光學系統(tǒng)產生的像差，光學方法需要校正透鏡，因此通常使尺寸和重量增大。代替光學方法，通過使用信號處理的數字方法來進行像差校正。在這種情況下，HMD可以采用便宜的透鏡，減少透鏡的數量，并且實現較小的尺寸和較輕的重量。根據第一實施例的MR系統(tǒng)包括HMD 101、 HMD控制器102 (稱為控制器102)以及
7圖像處理裝置103。 HMD 101包括向HMD用戶提供來自圖像處理裝置103的輸出圖像的圖像顯示單元。當在MR系統(tǒng)中HMD 101是視頻透視HMD時，HMD 101包括拍攝HMD用戶觀察到的場景的攝像單元。HMD 101顯示拍攝的場景圖像或通過將CG圖像疊加在來自圖像處理裝置103的場景圖像上而獲得的合成圖像。 HMD 101具有與控制器102進行通信的功能。HMD 101可以由控制器102或電池提供的電壓驅動。連接到控制器102的圖像處理裝置103包括圖像生成單元和/或回放視頻內容的圖像回放單元，將參照圖2進行描述。在MR系統(tǒng)中，圖像處理裝置103具有通過圖像生成單元繪制CG圖像的CG繪制功能以及將HMD101拍攝的實際空間圖像與CG圖像組合的圖像合成功能。圖像處理裝置103經由控制器102與HMD 101進行通信。當從圖像處理裝置103接收到圖像時，HMD IOI在圖像顯示單元上將圖像顯示給HMD用戶?？刂破?02具有進行各種圖像處理(例如圖像分辨率轉換、顏色空間轉換以及作為本實施例的特征的光學系統(tǒng)的像差校正)和傳輸格式轉換的功能。在圖1中，圖像處理裝置103和控制器102由獨立的硬件結構構成。然而，控制器102和圖像處理裝置103的功能均可以包含在專用圖像處理裝置中。在圖1中，HMD 101和控制器102由獨立的硬件結構構成。然而，可以將HMD 101和控制器102的功能一體化。從功能的觀點，將HMD 101和控制器102的功能的組合作為HMD來進行說明。在圖1中，通過線纜來連接各裝置，但是可以無線地連接這些裝置中的部分或全部。圖2是用來說明本發(fā)明的特征的第一實施例中的圖像處理系統(tǒng)的功能框圖。
HMD 201用作具有像差校正功能的圖像顯示裝置，并且通過將控制器102合并到圖1中的HMD 101中而構成。HMD 201包括圖像接收I/F 203，其從作為外部裝置的圖像處理裝置103接收圖像；
圖像存儲器204，其用作存儲圖像數據的緩沖器；
顏色分離單元205，其將圖像數據分離為RGB顏色分量；插值單元206，其由插值單元206R、206G和206B構成，插值單元206R、206G和206B在進行坐標變換時基于校正值計算新的顏色；顏色組合單元207，其根據分離的RGB顏色圖像重構一個圖像數據； *圖像調整單元208，其對顯示圖像執(zhí)行分辨率轉換和圖像移位(移動圖像顯示位
置)；以及圖像顯示單元209，其顯示顯示圖像。
HMD 201還包括操作信號接收I/F 210，其從作為外部裝置的操作裝置202(稍后描述)接收信號；，操作確定單元211，其分析接收到的操作信號的內容并基于接收到的操作信號的操作內容來控制HMD的各單元；
8
*像差計算單元212，其計算置于從顯示設備延伸到觀察者的光路中的光學系統(tǒng)產生的像差并選擇校正值；顯示模式設置單元213，其設置HMD的顯示模式；坐標變換單元214，其基于校正值計算各顏色的變換后的坐標；像差校正值存儲單元215，其存儲校正值；更新存儲器216，其創(chuàng)建新的校正表；模式圖像生成單元217，其生成用于確認色偏的預定模式圖像；以及
校正值調整單元218，其將圖像調整單元208的調整量反映到校正表中。
操作裝置202接受HMD用戶(觀察者)輸入到HMD 201的操作。操作裝置202包括操作單元219，其由按鈕、觸摸屏等構成；以及操作信號發(fā)送I/F 220，其將操作信號從操作單元219發(fā)送到HMD 201?？梢詫⒉僮餮b置202的功能集合、一體化到HMD 201或圖像處理裝置103中。圖像處理裝置103將圖像輸出到HMD 201以在HMD 201上進行顯示。圖像處理裝置103包括圖像生成單元221 ，其生成圖像；圖像回放單元222，其回放存儲在外部介質或內部存儲設備(均未示出)中的視頻內容；以及圖像發(fā)送I/F 223，其向作為外部裝置的HMD 201輸出圖像。圖像處理裝置103通常是具有高級運算處理功能和圖形顯示功能的裝
置(例如個人計算機或工作站)。下面將描述HMD 201的功能塊。圖像接收I/F 203是用于接收從圖像處理裝置103輸出的圖像的接口。圖像接收I/F 203用作與圖像處理裝置103的圖像發(fā)送I/F 223 —起在HMD201與圖像處理裝置103之間進行數據通信的接口。圖像接收I/F 203優(yōu)選采用具有大的數據傳輸容量的通信標準，使得能夠進行實時圖像顯示。數據通信方法可以是有線方法(例如USB、 IEEE1394、HDMI⑧或光傳輸)或無線方法(例如UWB(超寬帶，Ultra Wide Band)、無線LAN或毫米波通信)。圖像存儲器204用作臨時存儲從作為外部裝置的圖像處理裝置103接收到的、由具有RGB顏色分量的像素構成的圖像數據的緩沖器。顏色分離單元205從圖像存儲器204讀出任意坐標(地址)處的像素值，并將其分離為RGB顏色分量。當輸入亮度信號和色差信號時，顏色分離單元205執(zhí)行預處理以將像素重新配置為各顏色分量。插值單元206R、206G和206B基于像素的各顏色的原始值和變換后的坐標計算插值位置處的新的顏色值。插值單元206R計算紅色(稱為R)的新值，插值單元206G計算綠色(稱為G)的新值，插值單元206B計算藍色(稱為B)的新值。插值單元206計算的像素值是在顯示設備上實際顯示的像素值。顏色組合單元207基于插值單元206R、206G和206B計算的插值位置處的新的顏色值組合顯示像素處的多個顏色信息。例如，當針對每個顏色輸入8位的數據時，顏色組合單元207根據針對每個顏色的8位的輸入數據，組合變換后的像素值，以輸出總共24位的像素數據。圖像調整單元208執(zhí)行用于最終進行顯示圖像調整的各種圖像處理，包括對顯示圖像的分辨率轉換和圖像移位(移動圖像顯示位置)、通過濾波而進行的加強處理以及色調校正。圖像顯示單元209向HMD用戶呈現顯示圖像。圖像顯示單元209包括針對右眼和左眼的兩組顯示設備和顯示光學系統(tǒng)。例如，顯示設備可以是小型液晶顯示器、有機EL面板或使用MEMS (微機電系統(tǒng)，Micro ElectroMechanical System)的視網膜掃描設備(RID:Retinal Imaging Display,視網膜攝像顯示器)。稍后將描述顯示光學系統(tǒng)的配置。
操作信號接收I/F 210是用于從外部操作裝置202接收操作信號的接口。操作信號接收I/F 210與操作裝置202的操作信號發(fā)送I/F 220 —起用作在HMD 201與操作裝置202之間進行數據通信的接口。數據通信方法可以是有線或無線方法。
操作確定單元211分析從操作裝置202接收到的操作信號并確定操作信號的操作內容?；诖_定的操作內容，圖像調整單元208、像差計算單元212、顯示模式設置單元213以及模式圖像生成單元217執(zhí)行相應的功能。像差計算單元212基于操作單元219的操作量計算色偏量，并基于計算結果選擇或計算各顏色的校正值。稍后將描述色偏量的計算。例如，像差計算單元212確定要顯示的像素的參照點，并從用作參照表的像差校正表224讀出(或計算)參照點要變換成的坐標。顯示模式設置單元213設置符合使用HMD的圖像處理系統(tǒng)的應用或HMD用戶的意圖的HMD顯示模式。注意，使用HMD的圖像處理系統(tǒng)的應用是指HMD的應用目的，其包括例如僅欣賞電影和伴隨實際工作的MR系統(tǒng)的使用。 HMD顯示模式表示依賴于在色像差校正中形成圖像的R、G、B三原色中的基準色(R或B)的設置的圖像表現的差異。校正后的圖像的放大率在像差小的R基準色與像差大的B基準色之間不同。因此，可以通過改變基準色來改變圖像表現。例如，當將R設置為基準色時，可以以使校正后的整個圖像適合顯示設備的整個屏幕的方式，來顯示整個圖像。當顯示校正后的整個圖像時，在顯示設備上顯示逆校正的整個圖像以形成顯示圖像。這在顯示設備上產生了不顯示圖像的區(qū)域。相反地，當將B設置為基準色時，可以進行使觀察目標的大小優(yōu)先的顯示。在這種情況下，使用具有高放大率的校正后的圖像，并且有效地使用顯示設備的顯示區(qū)域，以避免在顯示設備上產生不顯示圖像的區(qū)域。然而，在顯示設備上避免不顯示圖像的區(qū)域優(yōu)先于使逆校正后的整個圖像適合顯示設備。由此，圖像的一部分可能延伸到顯示設備的顯示區(qū)域之外，而丟失。一般的失真校正通常使用G作為像差校正的基準色。然而，本實施例關注圖像表現的差異并使用R或B作為基準色。注意，像差校正的基準色并不局限于R或B。稍后將描述基準色設置的細節(jié)。坐標變換單元214基于像差計算單元212選擇的校正值和顯示模式設置單元213設置的HMD顯示模式來計算各顏色的變換后的坐標。為了減小所需的存儲器容量，假設像差校正表存儲特定顏色的變換后的坐標以及其余顏色(除了特定顏色以外)與特定顏色的差。坐標變換單元214根據特定顏色(基準色)的坐標和差值來獲得其余顏色的變換后的坐標。像差校正值存儲單元215存儲像差校正值。在本實施例中，像差校正值存儲單元215存儲預先準備的、保持不同的校正量的多個像差校正表(像差校正表224)。更具體地說，像差校正表224保持預先準備的用于校正HMD 201的光學系統(tǒng)產生的像差的多種類型的校正數據。代替像差校正表，可以存儲多項式參數表，并且像差計算單元212根據近似多項式來執(zhí)行校正。在本實施例中，HMD 201包括像差校正值存儲單元215。然而，圖像處理裝置103可以包含像差校正值存儲單元215，只要可以從外部裝置讀取像差校正表即可。當HMD 201具有針對外部存儲器和介質(例如00、0￥0、80@和0 @存儲卡)的讀/寫單元時，外部存儲器或介質可以用作像差校正值存儲單元215。更新存儲器216存儲像差計算單元212基于預先準備的校正值計算的新的校正值。在本實施例中，像差計算單元212根據按預定選擇標準(稍后描述)選擇的兩個或更多個校正表來計算新的校正值。更新存儲器216存儲計算的值。模式圖像生成單元217生成要在圖像顯示單元209上顯示的預定模式圖像。模式圖像生成單元217生成的預定模式圖像是使HMD用戶能夠觀察并確認色偏的尖銳(sharp)模式圖像。"尖銳"圖像是指高對比度圖像，例如白色像素被黑色像素包圍的黑色背景上的、寬度最多為幾個像素的白線。校正值調整單元218將圖像調整單元208的調整內容反映到調整后的校正值中。校正值調整單元218基于調整處理(例如圖像調整單元208執(zhí)行的分辨率轉換和圖像移位(移動圖像顯示位置))的結果(調整值)來調整當前校正值。描述了 HMD 201的功能塊。在又一實施例中，HMD可以包括圖像顯示單元209，而圖像處理裝置103包括HMD 201的其余所有功能單元，如圖2所示。因而，圖像處理裝置103具有像差校正功能。在這種情況下，HMD將包括用于從圖像處理裝置103接收校正后的圖像的圖像接收接口。相應地，圖像處理裝置103將具有用于向HMD發(fā)送圖像調整單元208輸出的校正后的圖像的圖像發(fā)送接口。接下來，將描述操作裝置202。
操作單元219接受HMD用戶操作HMD 201的各種輸入。操作單元219優(yōu)選包括能夠在屏幕上執(zhí)行指示器操作的小型操作設備，例如四路或二路操作按鈕、觸摸屏、跟蹤球或跟蹤墊。操作單元219可以具有允許通過語音命令進行操作的語音輸入功能。操作單元219還可以具有檢測HMD用戶的手部動作、以接受通過用戶的動作發(fā)出的操作指令的功能。
操作信號發(fā)送I/F 220將操作信號從操作單元219發(fā)送到HMD 201。數據通信方法可以是有線或無線方法。描述了操作裝置202的功能塊?，F在描述圖像處理裝置103。圖像生成單元221生成要在HMD 201上顯示的圖像。在MR系統(tǒng)中，圖像生成單元
221實時地生成HMD用戶觀察的CG圖像。當使用視頻透視HMD時，圖像生成單元221執(zhí)行
圖像合成以將生成的虛擬空間圖像(CG)疊加在HMD拍攝的實際空間圖像上。圖像回放單元222讀取并回放記錄在外部存儲器、外部介質(例如DVD)或內部存
儲設備(例如HDD)(均未示出)上的視頻內容。圖像發(fā)送I/F 223是用于將圖像生成單元221或圖像回放單元222生成的圖像發(fā)送到HMD 201的接口。如上所述，數據通信方法可以是有線或無線方法。
具有上述配置的圖像處理系統(tǒng)能夠根據HMD 201的用戶來執(zhí)行像差校正，并且獲得適合于各用戶的經過像差校正的顯示圖像?，F在詳細描述第一實施例中的像差校正。
圖3是例示HMD的圖像顯示單元209的顯示光學系統(tǒng)的圖。顯示設備301是例如液晶或有機EL設備。當顯示設備301是液晶設備時，使用由用作光源的背光(未示出)發(fā)出的光經由各顏色的濾波器進行照射。當顯示設備301是有
11機EL設備時，由于自身發(fā)光，因此不需要背光。在面板上形成要呈現給操作者的彩色圖像。顯示設備可以是用于形成圖像的使用MEMS設備的圖像形成裝置。具有曲線表面的棱鏡302放大來自顯示設備301的光線，并將其導向瞳孔。與簡單的透鏡相比，自由曲率棱鏡302可以實現平整、緊湊的結構。通過顯示設備形成圖像形成點303。通過將瞳孔304調整到該位置，觀察者可以看到通過在顯示設備301上放大圖像而獲得的大的顯示圖像。以這種方式，自由曲率棱鏡 302用作用于放大在顯示設備301上形成的顯示圖像并允許觀察者進行觀察的放大光學系統(tǒng)。通常，通過多個透鏡組來防止光學系統(tǒng)產生的各種像差的影響。為了實現小型 HMD，簡化光學系統(tǒng)并減小其尺寸和重量是很重要的。為此，設計通過數字方法校正部分像差(例如失真和色像差)的協作系統(tǒng)是很有效的。圖4是示出諸如圖像處理裝置103的計算機的硬件配置的框圖。 CPU 401使用存儲在RAM 402和ROM 403中的程序和數據來控制整個計算機。另
外，CPU 401執(zhí)行由應用該計算機的圖像處理裝置103執(zhí)行的處理。 RAM 402具有臨時存儲從外部存儲設備406加載的程序和數據、圖像生成單元221 生成的圖像、圖像回放單元222回放的圖像數據等的區(qū)域。RAM 402還具有CPU 401執(zhí)行各種處理時所使用的工作區(qū)。必要時，RAM402可以為各種處理提供各種區(qū)域。
ROM 403存儲計算機的設置數據、引導程序等。操作單元404包括鍵盤和鼠標。計算機的操作者可以操作操作單元404以向CPU 401輸入各種指令。顯示單元405由CRT、液晶屏等構成。顯示單元405能夠以圖像和文本的方式向操作者顯示CPU 401和圖形板(graphics board)(未示出)的處理結果。
外部存儲設備406是以硬盤驅動器為代表的大容量信息存儲設備。外部存儲設備 406存儲OS (操作系統(tǒng)，Operating System)、以及使CPU 401執(zhí)行圖像處理裝置103執(zhí)行的處理的程序和數據。必要時，在CPU 401的控制下將這些程序和數據加載到RAM 402，并由CPU 401進行處理。 I/F 407對應于圖2所示的圖像發(fā)送I/F 223。 I/F 407主要用作向HMD201發(fā)送
顯示圖像以與HMD 201進行數據通信的接口。總線408將上述單元相互連接。圖5是示出HMD 201的硬件配置的框圖。顯示單元501對應于圖像顯示單元209。 RAM 502具有CPU 505執(zhí)行各種處理時使用的工作區(qū)、以及用于臨時存儲經由圖像接收I/F 203從外部圖像處理裝置103接收的數據的區(qū)域。ROM 503存儲使CPU 505執(zhí)行HMD 201執(zhí)行的處理(稍后描述)的程序、關于HMD
201的顯示設置和像差校正值的數據、以及對應于校正值的個人認證數據。操作單元504對應于HMD 201的操作裝置202。 CPU 505執(zhí)行包括HMD 201的初始設置的控制各種設備的程序。 I/F 506對應于圖2所示的圖像接收I/F 203。像差校正LSI (大規(guī)模集成，large- integration)電路507執(zhí)行第一實施例中的像差校正功能。假設像差校正LSI電路507是ASIC(專用集成電路，A卯lication Specific Integrated Circuit)。可選地，DSP (數字信號處理器，Digital Signal Processor)可以通過軟件來描述并實現該功能。稍后將描述處理內容的細節(jié)。
總線508將上述單元相互連接。當在MR系統(tǒng)中HMD是視頻透視HMD時，可以將三維位置姿勢傳感器(未示出)連接到總線508以獲得HMD用戶的位置和姿勢信息。三維位置姿勢傳感器使用磁傳感器或陀螺儀(加速度或角速度)。一些設備僅根據內部照相機拍攝的圖像來獲得位置和姿勢信息，因此三維位置姿勢傳感器不是必不可少的。圖6A至圖6C是用于說明失真和倍率色像差的圖。顯示與在透鏡上產生的像差相
對的方向上失真的逆校正后的圖像，以抵消透鏡的像差并顯示正常圖像。圖6A是示出未失真圖形601(即顯示的原始圖像)的圖。圖6B是示出由于顯示
光學系統(tǒng)的失真導致的筒狀方式的失真的G圖像602的圖。圖6C是示出失真以及倍率色
像差的圖。在圖6C中，在R、G、B三原色中，實線表示G(G圖像602)，虛線表示B (B圖像603)，點劃線表示R(R圖像604)。圖6C示出了顯示倍率在顯示圖像的各顏色分量之間不同。
形成圖像的R、G、B三原色具有不同的光波長。通過顯示光學系統(tǒng)的折射率在這些顏色之間不同。結果，這些顏色的圖像形成位置彼此偏移，并且在顯示圖像上出現色偏(顯示倍率差)。通常，波長短的光線以比波長長的光線小的角度折射。因此，B光線的折射比 R光線大。相反地，R光線的折射比B光線小。關注原始圖像上的一個點。放大并顯示在顯示設備上形成的圖像的光學系統(tǒng)形成 R、 G和B點，使得它們相對于形成原始圖像的白色點以R、 G、 B的順序(R更接近于光學原點)向外偏移，由此通常表現為散射現象。結果，R圖像604形成在G圖像602內，而B圖像603形成在G圖像602外。這種
現象即使在黑白被攝體的圖像邊緣也產生色偏(滲色)。此外，這種現象即使在彩色圖像被攝體的邊緣(例如顏色改變的邊界區(qū)域)也產生類似的色偏。色偏從顯示圖像的中心向外圍(外部)增大。在經由實際透鏡的圖像形成中，當形成圖6A中的圖形601時，圖像如圖6C所示失真，并且圖像形成位置(倍率)根據顏色而改變。將前面單色的現象稱為失真，將依賴于色差的倍率差稱為倍率色像差。當由于顯示光學系統(tǒng)的像差而導致顯示圖像產生筒狀失真時，例如圖6C的示例，應用數字處理，以在顯示設備上形成逆向失真的圖像，由此抵消顯示光學系統(tǒng)的像差。第一實施例還在對上述像差的數字像差校正方法中執(zhí)行與觀察者(的光學系統(tǒng)) 相對應的像差校正。下面將描述該處理的整體序列。圖7是示出第一實施例中的整體序列的主流程圖。在開始使用HMD201時，執(zhí)行該序列。然而，該流程圖的處理并不局限于開始使用HMD 201，即使在使用HMD 201期間，也可以按照需要任意調用該流程圖的處理。在步驟S701中，HMD 201檢查之前是否使用過HMD 201以及是否存在那時存儲在像差校正值存儲單元215中的像差校正數據。如果存在過去存儲的像差校正數據，則HMD 201提示HMD用戶確定是否使用這些數據。作為提示HMD用戶進行確定的方法，例如，HMD201的圖像顯示單元209顯示特定圖像(例如"您想使用先前的設置嗎？"的消息)，或者使用語音詢問(例如"您想使用先前的設置嗎？"的消息)來進行確定。如果過去已存儲了像差校正數據并且HMD用戶指示HMD 201使用這些數據，則處理從步驟S701轉移到步驟S702。如果不存在過去存儲的數據或者HMD用戶指示HMD 201 新創(chuàng)建像差校正數據，則處理從步驟S701轉移到步驟S703。在步驟S702中，HMD 201提示HMD用戶從存儲的像差校正數據中選擇要使用的數據。作為提示HMD用戶進行選擇的方法，例如，將存儲的數據的列表作為具有按組等進行分類的分層結構的列表來進行顯示，或者輸出語音消息(諸如"您的姓名？")。
在特定實施例中，HMD用戶通過經由操作單元219在圖像顯示單元209上的顯示圖像上操作指示器，來輸入選擇。其它選擇輸入方法有在HMD 201具有視線檢測功能時通過輸入視線進行指示器操作，基于HMD201的用戶的手部動作進行指示器操作，以及語音答復。此外，HMD 201可以被配置為具有個人認證功能(例如臉部識別、視網膜掃描、或靜脈認證功能)，HMD 201通過該個人認證功能自動對HMD用戶進行認證，并選擇要使用的校正數據。在步驟S703中，HMD 201提示HMD用戶選擇HMD顯示模式。如上所述，HMD顯示模式的差異是進行像差校正時使用的基準色的差異。將參照圖8A至圖8C來描述依賴于HMD 顯示模式的顯示圖像的差異。在步驟S704中，HMD 201調整HMD的安裝。在進行安裝調整時，調整顯示設備上的圖像顯示位置。作出連接光學系統(tǒng)的光學原點與觀察者的瞳孔位置的光軸，用于在步驟 S705中獲得像差信息(色偏量)之前匹配圖像顯示位置。稍后將參照圖9描述該處理的細節(jié)。在步驟S705中，HMD 201獲得通過HMD用戶的瞳孔確認的色偏量，稍后將參照圖 ll描述其細節(jié)。在步驟S706中，HMD 201基于在步驟S705中獲得的色偏量來執(zhí)行像差校正，確定
最終像差校正數據，稍后將參照圖14描述其細節(jié)。通過該處理，確定了針對HMD用戶使用的像差校正數據。在步驟S707中，HMD 201在圖像顯示單元209上顯示特定模式圖像，并提示HMD用戶確認像差校正是否正確。在步驟S708中，HMD 201提示HMD用戶確定是否因色偏落在容許范圍內而適當地校正了色偏，或者確定是否需要進行微調。通過上述指示器操作、語音輸入等，HMD用戶指定是否需要進行微調。如果HMD用戶輸入需要進行微調，則處理轉移到步驟S709。如果不需要進行微調，則處理轉移到步驟S710。在步驟S709中，HMD 201對像差校正進行微調，稍后將參照圖16描述其細節(jié)。通過該處理，生成經過了適合HMD用戶的校正的像差校正數據。在步驟S710中，HMD 201確定在之前的步驟中生成的像差校正數據是否與讀取的
過去存儲的數據一致。如果讀取并使用過去存儲的像差校正數據并且不需要進行微調，則
不需要再次在像差校正值存儲單元215中存儲生成的像差校正數據。由此，HMD 201結束
針對用戶的像差校正處理，并轉移到正常操作。
14
正常操作是指HMD 201從圖像處理裝置103接收圖像(圖像生成單元221生成或
圖像回放單元222回放的圖像)、顯示圖像、并將內容呈現給HMD用戶的操作。在步驟S711中，HMD 201提示HMD用戶確定是否存儲通過之前的處理確定或新
生成的像差校正數據。如果HMD用戶指示HMD 201存儲像差校正數據，則處理轉移到步驟
S712。如果HMD用戶指示HMD 201不存儲像差校正數據，則HMD 201結束該序列的處理并
轉移到正常操作。在步驟S712中，HMD 201將像差校正數據存儲在像差校正值存儲單元215中。此
時，與能夠指定個人的信息相對應地將像差校正數據存儲在像差校正值存儲單元215中，
使得可以在下次使用HMD時讀取像差校正數據。能夠指定個人的信息包括例如個人的姓
名、編號、以及用于進行視網膜認證、靜脈認證或聲紋(voic印rint)認證的數據。在步驟S712結束之后，HMD 201結束該序列的處理，并轉移到正常操作。在第一實施例中，確定在HMD 201進行正常操作期間用戶不變，并且原則上使用
根據圖7的流程圖確定的一個校正值(校正表)。更具體地說，進行控制，使得在用戶持續(xù)
進行觀察時，使用以前述方式確定的校正數據的一個信息。必要時，即使HMD 201在使用中
時，也可以調用該序列以改變使用的校正表。圖8A至圖8C是用于說明HMD顯示模式的圖。在第一實施例中，可以選擇符合使用HMD 201的圖像處理系統(tǒng)的應用或符合HMD 用戶的意圖的HMD 201的HMD顯示模式。本實施例中的HMD顯示模式是指依賴于像差校正的基準色的差異的、圖像表現的差異(圖像放大率)。在本實施例的示例中，假設基于在使用R(紅色)作為基準時使顯示整個圖像優(yōu)先的顯示模式以及在使用B(藍色)作為基準時使觀察目標的實際尺寸優(yōu)先的顯示模式，設置了兩個圖像表現。在此前提下，在進行基于B 的像差校正時，光學設計使顯示的圖像(拍攝的圖像)的尺寸幾乎與實際被攝體匹配。
圖8A是示出依賴于像差校正的基準色的差異的差異的示意圖。圖8B是示出當R 是像差校正的基準色時HMD上的顯示圖像的示意圖。圖8C是示出當B是像差校正的基準色時HMD上的顯示圖像的示意圖。如上面參照圖6A至圖6C所描述的，放大并顯示在顯示設備上形成的圖像的光學系統(tǒng)形成R、 G和B點，使得它們相對于形成原始圖像的白色點以R、 G、 B的順序(R更接近于光學原點)向外偏移。在由R、G、B三原色形成的原始圖像上，B圖像的放大率最高。如果使用具有最高放大率的B圖像形成位置作為校正像差的基準，則顯示高放大率的校正后的圖像。相反，如果使用具有低放大率的R圖像形成位置作為校正像差的基準，則顯示低放大率的校正后的圖像。圖8A示出了在顯示設備的最大顯示區(qū)域801中的、將R設置為像差校正的基準色時的顯示圖像802以及將B設置為基準色時的顯示圖像803。圖8A示出了依賴于基準色的差異的、校正后的顯示圖像之間的差異。圖8B是示出使顯示整個圖像優(yōu)先的顯示模式下的顯示圖像的圖。在該顯示模式下，在使用R作為像差校正的基準色來校正像差的情況下，優(yōu)先于觀察目標的實際尺寸，顯示整個校正后的圖像。通過使逆校正后的整個圖像適合顯示設備來形成顯示圖像。這在顯示設備上在801與802之間產生了不顯示圖像的區(qū)域。圖8C是示出使觀察目標的實際尺寸優(yōu)先的顯示模式下的顯示圖像的圖。在該顯示模式下，在使用B作為像差校正的基準色來校正像差的情況下，以實際尺寸再現觀察目標，而不顯示整個校正后的圖像。為了有效地利用顯示設備的整個顯示區(qū)域，逆校正后的圖像的一部分延伸到顯示設備的顯示區(qū)域之外，一部分(外圍的)圖像丟失。因此，顯示的圖像能夠使用非矩形的顯示設備的所有像素。圖8C所示的實際尺寸優(yōu)先的顯示模式對于使用視頻透視HMD的MR系統(tǒng)尤其有效。在依賴于應用的MR空間中，MR系統(tǒng)有時伴隨有HMD用戶的工作。在整個顯示優(yōu)先的顯示模式下，經由視頻透視HMD觀察的HMD用戶的手部動作與HMD用戶的運動感不匹配，結果，HMD用戶可能會感覺奇怪。通常，當人進行伸手可及的工作時，他注視對象，而幾乎不注意他的視域的外圍，因此幾乎不需要看到對象周圍的全部場景。通過使用人的這種感知，再現實際尺寸的顯示可以消除運動感與視力之間的不匹配。如上所述，根據本實施例的HMD能夠通過基于MR系統(tǒng)的應用和HMD用戶的意圖選擇顯示模式，來呈現與狀況相對應的圖像顯示。注意，在本實施例中，光學設計在使用B作為基準時，再現實際尺寸，但是也可以被配置為在使用R或G作為基準時，再現實際尺寸。當將B設置為基準時，可以有效地利用顯示設備以顯示整個放大的圖像。在選擇顯示模式之前，設置是否有效地利用面板的像素很重要。圖9是示出圖7的步驟S704中的安裝調整的詳細序列的流程圖。通過數字方法
來調整圖像顯示位置，以使其盡量與連接光學原點和瞳孔位置的光軸匹配。第一實施例中的安裝調整是在正確安裝HMD 201的前提下、相對于顯示設備的顯
示區(qū)域、通過數字方法調整圖像顯示位置的處理。"正確安裝"是指以安裝手冊等中描述的
方式安裝HMD 201。"正確安裝"還指當HMD201包括瞳孔距離調整機構時適當地調整瞳孔距離。在一些情況下，當正確安裝了 HMD 201時，光學原點和瞳孔位置也可能與光軸不
匹配。在這種情況下，即使在顯示畫面的中心附近，也可能出現色偏。為了防止在顯示的中
心處產生色偏，需要將顯示圖像的中心設置在連接光學原點和瞳孔位置的軸上。在步驟S901中，模式圖像生成單元217生成用于進行安裝調整的模式圖像，圖像
顯示單元209針對一只眼顯示該模式圖像。此時，針對另一只眼不顯示圖像，針對各眼執(zhí)行
安裝調整。將參照圖IOA至圖IOD來描述顯示的模式圖像。在步驟S902中，HMD 201提示HMD用戶觀察所顯示的模式圖像，并確定顯示圖像是否有色偏，即是否需要進行調整。通過使用上述指示器操作或語音，HMD用戶輸入是否需要進行調整的指令。如果用戶輸入需要進行調整的指令，則處理轉移到步驟S903 ;如果用戶輸入不需要進行調整的指令，則處理轉移到步驟S905。在步驟S903中，圖像調整單元208基于HMD用戶對操作單元219輸入的指令，在顯示表面上移動圖像顯示位置(稱為圖像移位處理)。在步驟S904中，HMD 201提示MD用戶確定通過其瞳孔觀察到的色偏是否落在其容許的范圍內。如果色偏落在容許范圍內，則圖像移位處理結束，處理轉移到步驟S905。如果色偏沒有落在容許范圍內，則重復圖像移位處理(步驟S903)以使色偏落在容許范圍內。
在步驟S905中，HMD 201確定是否針對雙眼執(zhí)行了安裝調整。如果針對雙眼的處理結束，則安裝調整處理結束。如果僅針對一只眼執(zhí)行了調整，則處理返回到步驟S901，針
16對另一只眼執(zhí)行安裝調整。在步驟S906中，在圖像調整單元208中設置通過之前的處理調整的圖像顯示位置。校正值調整單元218存儲圖像顯示位置的移位量。需要將在進行安裝調整時調整的圖像顯示位置的移位量反映到像差校正表224的校正中心位置，并用作像差校正的先決條件(稍后描述)。通過上述處理，在顯示設備的顯示區(qū)域中通過數字方法移動顯示圖像。這能夠防止在顯示圖像的中心產生色偏。設計為在光學系統(tǒng)的光學原點附近不產生像差，并假設幾乎不出現色偏。因此，除了不提供瞳孔距離調整機構的情況以外，該調整的調整量落在最多幾個像素的范圍內。
圖10A至圖10D是用于說明在進行安裝調整時、顯示的模式圖像和HMD用戶進行的確定的示意圖。在圖10A中，在光學原點位置處顯示模式圖像，但是圖像顯示位置與連接光學系統(tǒng)的光學原點和觀察者的瞳孔的光軸不匹配。因此，HMD用戶確認色偏并分開觀察形成白色的R、 G和B。在第一實施例中，在進行安裝調整時顯示的模式是寬度最多為幾個像素的十字形白色細線(背景色為黑色)。只要能夠確認色偏的產生，模式圖像并不局限于十字形，還可以是四邊形或三角形。注意，模式圖像優(yōu)選是包含所有R、G、B三原色的白色。
在圖10B中，圖像顯示位置與連接光學系統(tǒng)的光學原點和觀察者的瞳孔的光軸匹配，因此顯示圖像的中心被定位在沒有色偏的位置。HMD 201提示HMD用戶操作操作單元 219，使得HMD用戶能夠觀察到如圖IOB顯示的清晰的模式圖像。圖像調整單元208基于 HMD用戶對操作單元219的操作移動圖像顯示位置。結果，將HMD用戶的瞳孔觀察到的圖像從圖IOA中的圖像調整為圖IOB中的圖像。因此，如圖IOA和圖IOB的箭頭所示，將圖像的中心位置從光學原點位置調整到無色偏位置。此時，HMD用戶的瞳孔觀察到通過將分開觀察到的R、G和B疊加而形成的白線。據此，HMD用戶確定產生的色偏是否被抵消或落在容許范圍內。色偏落在容許范圍內是指通過將顯示圖像的中心調整到連接瞳孔和光學原點的光軸上來正確地安裝HMD 201，從而正確地觀察圖像。注意，在圖IOA和圖IOB中顯示十字形的模式圖像，但是模式圖像并不局限于此。例如，當操作裝置202的操作單元219允許進行僅在一維方向上移動圖像的操作時，可以逐一顯示如圖IOC和圖IOD所示的單個白色細線的模式圖像，來執(zhí)行安裝調整。在這種情況下，通過使用圖10C中的垂直線調整水平色偏，然后使用圖10D中的水平線調整垂直色偏，來依次執(zhí)行調整。圖11是示出第一實施例中的圖7的步驟S705中的色偏量獲得處理的詳細序列的流程圖。在第一實施例中，獲得色偏量以獲得HMD用戶的瞳孔觀察到的色偏量。也就是說，獲得HMD的顯示光學系統(tǒng)和HMD用戶所使用的視力校正光學系統(tǒng)的組合產生的色偏量。假設HMD 201預先具有用于校正HMD201的顯示光學系統(tǒng)產生的色偏的像差校正表。
在步驟S1101中，HMD 201從顯示模式設置單元213中獲得在步驟S703中設置的 HMD顯示模式，并將其反映到坐標變換單元214中。如上所述，HMD顯示模式是失真校正中的基準色的設置。在步驟S1102中，HMD 201使模式圖像生成單元217生成用于獲得色偏量的模式圖像。HMD 201在圖像顯示單元209上在與一只眼相對應的指定位置(例如顯示區(qū)域的外圍位置)處顯示模式圖像。此時，針對另一只眼不顯示圖像，針對各眼獲得色偏量。將參照圖12A至圖12C來描述所顯示的用于獲得色偏量的模式圖像。在步驟S1103中，HMD 201提示HMD用戶指示顯示圖像是否有色偏，即是否需要進行調整。通過上述指示器操作、語音等，HMD用戶指定是否需要進行微調。如果需要進行調整，則處理轉移到步驟S1104 ;如果不需要進行調整，則處理轉移到步驟S1106。
在步驟S1104中，圖像調整單元208基于HMD用戶對操作單元219輸入的指令，移動模式圖像的圖像顯示位置(圖像移位處理)。在步驟S1104中的圖像移位處理中，圖像調整單元208移動形成模式圖像的顏色分離圖像中的除基準色以外的顏色的顏色分離圖像。
對除基準色以外的兩個顏色的顏色分離圖像重復執(zhí)行步驟S1104和S1105。
例如，當將R設置為像差校正的基準色(即顯示模式)時，HMD 201提示HMD用戶操作顯示與R的色偏程度接近的色偏程度的G模式圖像(G顏色分離圖像)，然后操作B模式圖像(B顏色分離圖像)。當將B設置為基準色時，HMD 201提示HMD用戶操作G模式圖像(G顏色分離圖像)，然后操作R模式圖像(R顏色分離圖像)。結果，消除了色偏。
更具體地說，當將R設置為基準色時，HMD 201提示HMD用戶將圖像移位，使得G模式圖像與R模式圖像交迭。當這兩個模式圖像相互交迭時，HMD用戶觀察到黃色(稱為Y)。然后，HMD 201提示HMD用戶將圖像移位，使得B模式圖像與Y模式圖像交迭。當Y模式圖像和B模式圖像相互交迭時，HMD用戶觀察到白色(稱為W)。此時，像差計算單元212獲得圖像移位量。在步驟S1105中，HMD 201提示HMD用戶確定其瞳孔觀察到的色偏是否落在其容許的范圍內。如果HMD用戶向操作單元219輸入色偏落在容許范圍內的指令，則圖像移位處理結束，處理轉移到步驟S1106。如果HMD用戶向操作單元219輸入色偏沒有落在容許范圍內的指令，則HMD201重復執(zhí)行步驟S1104中的圖像移位處理。將參照圖12A至圖12C來描述所顯示的模式圖像。當存在多個色偏量獲得位置時，在各獲得位置處重復執(zhí)行步驟S1104和S1105。通過該處理，HMD用戶將模式圖像移位，直到消除色偏為止，或者實際上，是降低到容許等級為止。移位量表示HMD用戶觀察到的色偏量。在步驟S1106中，像差計算單元212根據以前述方式的HMD用戶的模式圖像移位量來獲得色偏量，并將其存儲在HMD 201的RAM 502中。在步驟S1107中，HMD 201確定是否針對雙眼執(zhí)行了調整。如果針對雙眼獲得了色偏量，則處理結束。如果僅針對一只眼執(zhí)行了調整，則處理返回到步驟S1102,獲得針對另一只眼的色偏量。通過該處理，針對雙眼獲得了 HMD的顯示光學系統(tǒng)和HMD用戶所使用的視力校正光學系統(tǒng)的組合所產生的色偏的量。圖12A至圖12C是用于說明如上所述獲得色偏量時顯示的模式圖像的示例的示意圖。圖12A例示了在四個點處獲得色偏量時的模式圖像。圖12B例示了在兩個點處獲
得色偏量時的模式圖像。圖12C例示了在一個點處獲得色偏量時的模式圖像。所顯示的模式圖像可以是容易觀察到色偏的圖案。在第一實施例中，模式圖像是寬度最多為幾個像素的十字形白色細線(背景色為黑色)，但是并不局限于此。例如，模式圖像可以是四邊形、三角形或沿著顯示區(qū)域的角的弧形。注意，模式圖像優(yōu)選是包含所有R、 G、B三原色的白色。通常，在光軸附近的中心不出現像差，而在諸如HMD的顯示光學系統(tǒng)或視力校正光學系統(tǒng)(主要是眼鏡片)的觀察光學系統(tǒng)的外圍出現像差。由于該原因，如圖12A至圖 12C所示，從外圍獲得色偏量。圖12A示出了在顯示區(qū)域的外圍的四個點處獲得色偏量時的模式圖像。通過在四個或更多個位置獲得色偏量，可以獲得精確的色偏量，甚至對于復雜的顯示光學系統(tǒng)和視力校正光學系統(tǒng)的組合獲得光學系統(tǒng)的像差特性。注意，在四個點處不必同時顯示模式圖像，而優(yōu)選針對各點逐一顯示模式圖像。在獲得色偏量之后，模式圖像移位到下一點并向HMD用戶顯示。顯示順序為例如圖12A中的標號和箭頭所示的1、2、3和4。逐一顯示模式圖像能夠防止出現當在四個點處同時顯示模式圖像時、HMD用戶遺漏當前操作的模式圖像的情況。當在四個點處同時顯示模式圖像時，色偏出現的方向可能在各位置之間不同，并且對一個點的色偏的調整(降低)可能會反映為例如使另一個點的色偏放大。在這種情況下，HMD用戶可能無法確定操作目標。通過逐一顯示模式圖像還可以避免這種情況。因此，可以將HMD用戶的注意力導向一個點的操作。
圖12B示出了在顯示區(qū)域的外圍的兩個點處獲得色偏量時的模式圖像。當光學系統(tǒng)(顯示光學系統(tǒng)和視力校正光學系統(tǒng)的組合)具有關于通過光學原點的垂直軸或水平軸對稱或幾乎對稱的光學特性時，可以通過在兩個點處獲得色偏量，來以高精度計算像差量。在實施本發(fā)明時，在兩個點處獲得色偏量可以簡化獲得色偏量的操作。
圖12C示出了在顯示區(qū)域的外圍的一個點處獲得色偏量時的模式圖像。當光學系統(tǒng)(顯示光學系統(tǒng)和視力校正光學系統(tǒng)的組合)具有關于通過光學原點的光軸旋轉對稱的光學特性時，可以通過在一個點處獲得色偏量，來令人滿意地計算光學系統(tǒng)的像差特性。在一個點處獲得色偏量對于簡單的光學系統(tǒng)是有效的。與在兩個點處獲得色偏量相比，這可以進一步簡化獲得色偏量的工作。圖13A和圖13B是用于說明在獲得色偏量時將R設置為基準的情況下、在步驟 S1103至S1105中HMD用戶進行的操作和確定的示意圖。圖13A示出了在獲得色偏量中顯示模式圖像時在顯示圖像中產生的色偏。圖13B 示出了HMD用戶通過將除基準色之外的各顏色的圖像移位并疊加各顏色的圖像而進行的色偏的消除。在圖12A至圖12C中，在第一實施例中顯示白色十字形模式圖像，以獲得色偏量。這是因為十字形圖案具有良好的可操作性，并且允許HMD用戶立刻觀察到兩個方向上的色偏量。在圖13A和圖13B中，顯示垂直延伸的細線，以便于獲得顯示表面上的水平色偏量。類似于水平色偏量，本領域技術人員容易想到還可以使用水平延伸的細線來獲得垂直色偏如果針對HMD 201的顯示光學系統(tǒng)和HMD用戶的視力校正光學系統(tǒng)的組合沒有有
效地校正色像差，則HMD用戶的瞳孔觀察到如圖13A所示的色偏。本說明假設將R設置為HMD顯示模式，即像差校正的基準色。 HMD用戶相對于圖13A所示的觀察到的色偏，將除基準色以外的顏色(本說明中為
19G和B)的圖像移位，使得如圖13B所示，各顏色的圖像彼此交迭，并且HMD用戶可以觀察到作為白色細線的各顏色的圖像。首先，HMD 201顯示R基準色的顏色分離圖像和G顏色分離圖像，并提示用戶執(zhí)行圖像移位操作以相對于R顏色分離圖像移動G顏色分離圖像。然后，HMD 201顯示B顏色分離圖像，并提示用戶執(zhí)行圖像移位操作以疊加R顏色分離圖像和B顏色分離圖像。
更具體地說，HMD用戶執(zhí)行圖像移位操作以將G圖像疊加在R圖像上。當這些圖像相互交迭時，HMD用戶能夠觀察到Y。 HMD用戶經由操作裝置202輸入G圖像和R圖像相互交迭的確認。接下來，HMD 201顯示B圖像，HMD用戶執(zhí)行圖像移位操作以將B圖像疊加在Y圖像上。當這些圖像相互交迭時，HMD用戶能夠觀察到如圖13B所示的W圖像。盡管在本示例中首先移位G顏色分離圖像，但是可以任意設置先移位除基準色之外的兩個顏色的圖像中的哪一個。像差計算單元212確定此時的各顏色分離圖像的圖像移位量，根據確定的移位量來計算模式圖像顯示位置處的各顏色的色偏量。圖14是示出第一實施例中的圖7的步驟S706中的像差校正的詳細序列的流程圖。在步驟S1401中，HMD 201參照在圖11的步驟S1106中由像差計算單元212獲得的、并存儲在RAM 502中的色偏量。該序列針對除基準色之外的兩個顏色重復執(zhí)行處理。
在步驟S1402中，像差計算單元212從在像差校正值存儲單元215中預先準備的像差校正表224中選擇保持與在步驟S705中獲得的色偏量最接近的校正的色偏量(校正量)的校正表。在步驟S1403中，坐標變換單元214基于在步驟S1402中選擇的校正表執(zhí)行坐標變換處理。插值單元206R、206G和206B計算變換后的坐標處的新的顏色。因此，在顯示圖像中反映對于色偏量有效的校正。在步驟S1404中，HMD 201顯示微調模式圖像(在第一實施例中采用圖12A和圖 12B所示的色偏量獲得圖像)。HMD用戶基于所選擇的校正表確定色偏是否落在容許范圍內，來作為校正結果。如果HMD用戶輸入色偏落在容許范圍內的指令，則處理轉移到步驟S1407，確定使用所選擇的校正表。如果HMD用戶輸入色偏沒有落在容許范圍內的指令，則處理轉移到步驟S1405。在步驟S1405中，像差計算單元212選擇保持第二接近于在步驟S705中獲得的色偏量的校正量的校正表。例如，如下選擇保持第二接近的校正量的表。第一校正表的校正量具有大于或小于所獲得的色偏量的校正特性。選擇校正特性與第一校正表相反并且保持與所獲得的色偏量接近的色偏校正量的表作為第二表。例如，在第一表的校正特性強(校正量大于所獲得的色偏量)的情況下，選擇具有弱的校正特性(校正量所獲得的色偏量)和最接近所獲得的色偏量的色偏校正量的表作為第二表。以這種方式，選擇在所獲得的色偏量的任意一側具有接近的校正量的兩個校正表，或者將所獲得的色偏量夾在其間的兩個校正表。在步驟S1406中，像差計算單元212執(zhí)行校正值插值計算以對這兩個校正表進行
20插值。更新存儲器216存儲計算結果。因此，新創(chuàng)建了最佳校正表。稍后描述計算方法的細節(jié)。在步驟S1407中，HMD 201確定使用選擇的或新生成的校正表，并將其設置在坐標變換單元214中。在步驟S1408中，HMD 201確定是否確定了針對除基準色以外的兩個顏色使用的校正表。如果確定了針對除基準色以外的兩個顏色使用的校正表，則處理結束。如果沒有確定針對除基準色以外的兩個顏色使用的校正表，則處理返回到步驟S1401，重復前述處理。
通過該處理，可以準備適合于HMD的顯示光學系統(tǒng)和HMD用戶使用的視力校正光學系統(tǒng)的組合產生的色偏和失真的校正表。還可以針對各HMD用戶管理并再利用新創(chuàng)建的校正表。例如，可以與各觀察者相對應地存儲新創(chuàng)建的校正表，以再利用存儲的校正表。
圖15A和圖15B是用于說明第一實施例中的用于像差校正的步驟S1406中的插值計算處理的示意圖。圖15A示出了插值計算方法。圖15B示出了像差校正表224中的校正表和其校正量(要校正的色偏量)之間的對應關系。第一實施例將說明作為插值計算方法的最簡單的線性插值方法。校正表具有顯示表面上的水平和垂直的二維值。然而，為了方便描述，將對一維(x方向)值進行說明(圖 15A中的下標"x"表示x校正值)。在圖15A中，A、B和C表示預先準備的校正表的校正量，a表示獲得的色偏量。
校正表B具有最接近獲得的色偏量a的校正量。校正表A具有第二接近a的校正量。然而，校正表A和B對于a具有相同的校正特性(校正弱)。因此，如在步驟S1405 中描述的，作為具有第二接近校正量的表而選擇校正表C。要校正的色偏量a的最佳校正值落在校正值B和C之間。通過使用表B和C，通過線性插值計算新生成最佳校正值。首先，將B值和C值之間的差歸一化(normalize)，并將B與a之間的差定義為dx。可以使用定義的值來計算適合獲得的色偏量a的校正量 ax = Bx(l-dx)+Cxdx ay = By(l-dy)+Cydy (1) 在圖15A中，采用一維(x方向)線性插值方法，但是校正表具有二維值。因此，在y方向上也執(zhí)行上述線性插值處理，從而實現了雙線性插值計算。另外，已知許多插值方法，包括最近令卩插值(nearest neighborinterpolation)、雙三次插值(bicubic interpolation)以及拉格朗日(Lagrange)插值?？梢允褂萌魏我阎牟逯捣椒?。
圖15B例示了與圖6C所示的像差相對應的校正表。將校正表和基于該校正表的要校正的色偏量彼此相對應地存儲在像差校正表224中。圖15B所示的值"l. 0個像素"、 "3. 0個像素"和"7. 0個像素"是色偏量獲得位置處的各表的校正量(要校正的色偏量)。這些值是各表的代表值。可以通過將獲得的色偏量與校正表相關聯來執(zhí)行上述一系列處理。圖16是示出第一實施例中的圖7的步驟S709中的微調的詳細序列的流程圖。
期望在處理轉移到該序列中的微調之前，針對色偏量執(zhí)行了大致合適的像差校正。然而，可能出現小的色偏，因此通過對各顏色的圖像執(zhí)行分辨率轉換(倍率變化)和圖像移位來進行最終的調整。在步驟S1601中，HMD 201的模式圖像生成單元217生成用于進行微調的模式圖像，圖像顯示單元209針對一只眼顯示模式圖像。針對另一只眼不顯示圖像，針對各眼執(zhí)行調整。將參照圖12A和圖12B描述顯示的模式圖像。在步驟S1602中，圖像調整單元208基于HMD用戶向操作單元219輸入的指令，對校正后的圖像中的除基準色以外的顏色的圖像執(zhí)行分辨率轉換處理。當將R設置為基準色時，HMD 201首先顯示R和G圖像，以提示HMD用戶對G圖像執(zhí)行分辨率轉換操作(圖像縮放操作)。然后，HMD 201顯示R、 G和B圖像，以提示HMD用戶對B圖像執(zhí)行分辨率轉換操作。當HMD用戶執(zhí)行分辨率轉換操作以將G圖像(顏色分離圖像)疊加到R圖像(顏色分離圖像)上時，HMD用戶在疊加后觀察到Y。 HMD用戶經由操作裝置202輸入G和R圖像彼此交迭的確認。然后，HMD 201顯示B圖像。當HMD用戶執(zhí)行分辨率轉換操作以將B圖像疊加到Y圖像上時，HMD用戶在疊加后觀察到W。在步驟S1603中，HMD 201提示HMD用戶確定此時色偏是否落在容許范圍內。如果HMD用戶確定色偏落在容許范圍內，則HMD用戶經由操作裝置202輸入該確定，并且處理轉移到步驟S1604。如果HMD用戶確定色偏沒有落在容許范圍內，則HMD用戶經由操作裝置 202輸入此確定，并且HMD 201重復執(zhí)行通過分辨率轉換操作進行的微調(步驟S1602)。
在步驟S1604中，圖像調整單元208基于HMD用戶向操作單元219輸入的指令，對校正后的圖像中的除基準色以外的兩個顏色的圖像(顏色分離圖像)執(zhí)行移位處理。
在步驟S1605中，HMD 201提示HMD用戶移位顏色分離圖像并確定色偏是否落在容許范圍內。如果色偏落在容許范圍內，則HMD用戶經由操作裝置202輸入該確定，并且處理轉移到步驟S1606。如果色偏沒有落在容許范圍內，則HMD用戶經由操作裝置202輸入此確定，并且處理返回到步驟S1602，重復執(zhí)行微調。此外，當未針對雙眼執(zhí)行微調時，重復執(zhí) 行微調。在步驟S1606中，HMD 201確定是否針對除基準色以外的所有顏色執(zhí)行了微調。如果針對除基準色以外的所有顏色的微調結束，則處理結束。如果存在除基準色以外的、尚未經過微調的顏色，則處理返回到步驟S1601,重復執(zhí)行微調處理。圖像調整單元208向校正值調整單元218通知基于在前述處理中執(zhí)行的分辨率轉換和圖像移位的調整。校正值調整單元218基于調整值來調整校正值，并將調整結果反映到更新存儲器216中的調整后的校正表中。通過該處理，可以實現基于分辨率轉換和圖像移位的微調。在微調中顯示的模式圖像可以是如圖12A和圖12B所示的、用來獲得色偏量的模式圖像。更具體地說，基于四點顯示的微調采用如圖12A中所示的模式圖像?；趦牲c顯示的微調采用如圖12B中所示的模式圖像。在獲得色偏量時，需要在各個色偏量獲得位置依次顯示模式圖像以執(zhí)行操作。在進行微調時，同時顯示所有圖案以調整倍率(分辨率轉換)和圖像位置。
例如，當R是基準色時，顯示R和G圖像以提示HMD用戶針對G圖像執(zhí)行微調操作。然后，顯示R、 G和B圖像以提示HMD用戶針對B圖像執(zhí)行微調操作。這與獲得色偏量時的處理相同。此時，G和B的順序可以顛倒。顯示的模式圖像可以是容易觀察到色偏的圖案。在第一實施例中，模式圖像是寬度最多為幾個像素的十字形白線，但是模式圖像可以具有允許HMD用戶確認在外圍產生色偏的形狀。例如，模式圖像可以具有在整個顯示表面上延伸的四邊形形狀。注意，優(yōu)選模式圖像是包含所有R、 G、 B三原色的白色。第一實施例提供了一種用于掌握HMD用戶觀察到的色偏量并基于該量校正色偏的配置和方法。可以選擇與最接近觀察到的色偏量的校正量相對應的校正值。如果利用最接近的校正值進行的校正不充分，則進一步選擇第二接近的校正值?？梢曰趦蓚€校正值通過插值計算來新生成校正值。因此，可以針對HMD的顯示光學系統(tǒng)和HMD用戶使用的視力校正光學系統(tǒng)的組合產生的色偏(像差)執(zhí)行合適的像差校正。可以針對各HMD用戶選擇或新生成校正表?？梢源鎯πＵ?，使得在下次使用HMD 時，可以針對各用戶讀取像差校正設置。可以根據預先準備的校正表新創(chuàng)建適合各用戶的校正表?？梢灶A先以相對大的間隔準備校正表，這減小了存儲校正表所需的存儲容量。如上所述，根據第一實施例，放大并顯示在顯示設備上形成的顯示圖像的圖像顯
示裝置可以根據觀察者是否使用視力校正光學系統(tǒng)和視力校正的程度，來針對各觀察者合
適地校正像差。因此，圖像顯示裝置的每個觀察者都能夠觀察到無像差(色偏)圖像。(第二實施例) 將參照附圖描述第二實施例。在第一實施例中，如果在步驟S1404中色偏沒有落入容許范圍內，則在步驟S1405 和S1406中從預先準備的像差校正值(校正表)中選擇與接近獲得的色偏量的校正量相對應的兩個校正值。通過對兩個校正值進行插值計算來新生成新的校正值，然后執(zhí)行合適的像差校正。在第二實施例中，基于一個像差校正值(校正表或近似多項式的參數表)來生成新的校正值，并執(zhí)行合適的校正。在保持與第一實施例相同的校正精度的同時，第二實施例通過減少預先準備的像差校正值的數量，減小了所需的存儲器。將針對該特征描述第二實施例。第二實施例中的HMD 201的功能塊與第一實施例中的HMD 201的功能塊相同，不重復其說明。如以上針對第一實施例所描述的，HMD可以包括圖像顯示單元209，而圖像處理裝置103包括HMD 201的其余所有功能單元，如圖2所示。因而，圖像處理裝置103具有像差校正功能。在這種情況下，HMD將包括用于從圖像處理裝置103接收校正后的圖像的圖像接收接口。相應地，圖像處理裝置103將具有用于向HMD發(fā)送圖像調整單元208輸出的校正后的圖像的圖像發(fā)送接口。在第一實施例中，像差校正值存儲單元215存儲像差校正表224。然而，在根據第二實施例的HMD201中，像差校正值存儲單元215僅存儲保持用于校正的近似多項式的系數參數的默認值的一個表。該表提供用于獲得校正HMD 201的顯示光學系統(tǒng)產生的像差的校正值的參照值。該表不局限于針對使用裸眼進行觀察的一個表，而可以包括假設進行近視校正和遠視校正的表。在執(zhí)行第二實施例中的像差校正處理之前，提示HMD用戶選擇這些表中的一個。不需要非常大地更新校正值(參數表)，從而提高了校正精度。第二實施例中的整體序列與第一實施例中的圖7的流程圖相同。然而，步驟S706 中的像差校正處理的內容與第一實施例中的像差校正處理的內容不同。在第一實施例中，像差校正處理伴隨著HMD用戶的指令(反映使用第一表是否令人滿意地校正了色偏的確定)。在第二實施例中，像差校正處理不需要HMD用戶的指令。圖17A是示出第二實施例中的步驟S706中的像差校正的詳細序列的流程圖。
在步驟S1801中，像差計算單元212參照在圖11的步驟S 1106中存儲在RAM 502 中的色偏量。在步驟S1802中，像差計算單元212通過基于獲得色偏量的像素位置和色偏量計算用于校正的近似多項式的系數參數，來更新參數表。將參照圖17B來描述計算方法。
在步驟S1803中，HMD 201確定是否針對除基準色以外的兩個顏色更新了參數。如果針對除基準色以外的兩個顏色更新了參數，則處理結束；如果沒有更新參數，則處理返回到步驟S1801，重復前述處理。通過該處理，基于HMD 201的顯示光學系統(tǒng)和HMD用戶使用的視力校正光學系統(tǒng) 的組合產生的色偏量，新創(chuàng)建針對校正近似多項式的參數表。類似于第一實施例，可以將新創(chuàng)建的校正參照值與用于指定個人的信息一起存儲，并將其應用到各HMD用戶。
圖17B是用于說明第二實施例中的步驟S1802中的像差校正方法的示意圖。圖 17B例示了基于預先準備的近似多項式的校正量與獲得的色偏量之間的關系。
在圖17B中，0表示無任何像差的圖像形成位置，將該位置定義為基準點。a表示特定坐標處的默認參數的近似多項式的校正量(要校正的色偏量)。P表示相同坐標處的、 HMD 201的顯示光學系統(tǒng)和視力校正光學系統(tǒng)的組合產生的色偏量。使用獲得的色偏量將 a值更新為P值，從而將校正量更新為合適的校正量。為了方便描述，將描述一維(x方向)校正值(在下面的方程式中，下標"x"表示x方向)。
在第二實施例中，x方向上的近似多項式為
Ax = a xs+ a 2xs—、 + a x—2x2+ a xx+ a x+1 (2) 各項的系數決定任意坐標的校正量。像差校正值存儲單元215將各項的系數作為校正參數存儲在表中。方程式(2)中的A,表示使用默認參數的任意坐標的校正量。
使用特定位置的校正量a與色偏量|3的比、根據任意坐標的校正量A,來計算任意坐標的合適的校正量A,': Ax' = — Ax ...(3)
利用方程式(3)，可以計算更新后的近似多項式的參數。在對于任意坐標的校正量A"特定位置的校正量a與色偏量|3以特定函數的比率彼此相關的情況下，使用函數關系來計算任意坐標的合適的校正量A,':
， "、 Ax' = Ax …(4) 利用方程式(4)，可以計算近似多項式的更新參數。注意，第二實施例更新近似多項式的參數表。類似地，可以根據特定坐標處的在校
正表中保持的校正值與色偏量之間的關系，來更新一般像差校正表中的校正值。根據第二實施例，像差校正值存儲單元215可以預先存儲一個或幾個校正值，減
小了存儲容量。較小的存儲容量有助于減少芯片的數量和基板面積，并實現了較低成本。(第三實施例) 將參照附圖描述第三實施例。在第一和第二實施例中，基于獲得的色偏量，通過根據預先準備的像差校正值新生成校正值，來針對各用戶執(zhí)行像差校正。在第三實施例中，從預先準備的像差校正值中選擇最佳像差校正值來執(zhí)行校正。第三實施例可以減小電路尺寸，而無需任何復雜的計算。第三實施例不需要獲得色偏量的操作，可以根據該實施例簡化 HMD用戶的操作。將主要針對該特征描述第三實施例。圖18是第三實施例中的HMD的功能框圖。圖像處理裝置103與第一實施例中的圖像處理裝置103相同，因此沒有示出。在又一實施例中，HMD可以包括圖像顯示單元209，而圖像處理裝置103包括HMD 2001的所有其余功能單元，如圖18所示。因而，圖像處理裝置103具有像差校正功能。在這種情況下，HMD將包括用于從圖像處理裝置103接收校正后的圖像的圖像接收接口。相應地，圖像處理裝置103將具有用于向HMD發(fā)送圖像調整單元208輸出的校正后的圖像的圖像發(fā)送接口。第三實施例不根據預先準備的像差校正值新創(chuàng)建校正值。由于該原因，與第一和
第二實施例中的HMD 201不同，第三實施例不需要更新存儲器216和將圖像調整單元208
的調整值反映到更新存儲器216中的新的校正值中的校正值調整單元218。像差校正值存儲單元215存儲具有預先準備的不同的校正量的像差校正表224。
優(yōu)選以小的間隔準備像差校正表224，以基于準備的像差校正表實現最佳校正。根據來自操
作確定單元211的指令來選擇準備的像差校正表中的一個。坐標變換單元214基于選擇的
校正表計算各顏色的變換后的坐標。調整值存儲單元2002存儲圖像調整單元208在執(zhí)行分辨率轉換、圖像移位等時調整的值。由于不新創(chuàng)建校正值，因此將圖像調整單元208的調整值存儲在調整值存儲單元 2002中。當在下一次使用時讀取過去存儲的數據時，將來自調整值存儲單元2002的過去的調整值反映到圖像調整單元208中。第一和第二實施例基于調整值調整并更新校正值。第三實施例既不新創(chuàng)建也不更新校正值，而存儲調整后的值以再利用設置。
在第三實施例中，HMD 2001包括像差校正值存儲單元215?？蛇x地，與圖2中的功能塊類似，圖像處理裝置103可以包括像差校正值存儲單元215。此外，外部存儲器或外部介質可以用作像差校正值存儲單元215。使用這種配置，HM可以獲得進行了像差校正后的顯示圖像，并使HMD用戶能夠正確觀察到該圖像。圖19是示出第三實施例中的整體序列的主流程圖。在第三實施例中，從第一實施例中的圖7的流程圖中省略了步驟S705中的色偏量的獲得和步驟S706中的像差校正處理。而增加了步驟S2101中的像差校正值選擇處理。
在步驟S2101中，從存儲在像差校正值存儲單元215中的像差校正表224中選擇最佳校正表。將參照圖20來描述該處理的細節(jié)。圖20是示出第三實施例中的步驟S2101中的像差校正值選擇的詳細序列的流程圖。在步驟S2201中，模式圖像生成單元217生成用于選擇校正表的模式圖像，圖像顯示單元209針對一只眼顯示該模式圖像。針對另一只眼不顯示圖像，針對各眼選擇校正值。第三實施例中的顯示的模式圖像可以與第一實施例中的微調模式圖像(圖12A和圖12B) 相同。在步驟S2202中，HMD 2001提示HMD用戶確認顯示圖像是否沒有色偏以及是否能
25容許色偏。如果用戶確定不能容許該色偏，則處理轉移到步驟S2203。如果色偏落在容許范圍內，則處理轉移到步驟S2204。在步驟S2203中，基于當前選擇的校正表，色偏沒有落在容許范圍內。因此，從存儲在像差校正值存儲單元215中的像差校正表224中設置下一個校正表。然后，重復步驟 S2201。在這種情況下，設置"下一個"校正表，如下決定"下一個"校正表。更具體地說，對像差校正表224中的各個像差校正表分配ID，并設置具有相鄰ID的校正表?？梢宰詣?以升序或降序中的任意一個)選擇具有與當前ID相鄰的ID的校正表，或者用戶可以經由操作裝置202的操作單元219選擇校正表。當自動選擇校正表時，需要在返回到同一校正表之前將所有的表作為目標一次。當校正表是可操作的時，可以重復比較具有相鄰ID的校正表?？梢栽陲@示器上顯示像差校正表的列表，以允許用戶選擇它們中的一個?？梢酝ㄟ^與列表一起顯示校正量的索引等，來協助用戶對表的選擇。當進行選擇時，反映根據選擇的表進行的校正，用戶按下OK按鈕來決定要使用的校正表。更具體地說，如果用戶檢查反映根據選擇的表進行校正的畫面并確定色偏落在容許范圍內，則用戶按下OK按鈕。然后，處理前進到步驟S2204。如果用戶確定色偏沒有落在容許范圍內，則用戶執(zhí)行例如選擇下一個表的操作。處理前進到步驟S2203。
在步驟S2204中，通過前述處理選擇了消除色偏或使其落在容許范圍內的校正表。在坐標變換單元214中設置要使用的校正表。在步驟S2205中，HMD 2001確定是否針對雙眼決定了校正表。如果針對雙眼決定了校正表，則處理結束。如果沒有針對雙眼決定校正表，則處理返回到步驟S2201,針對另一只眼選擇并決定校正表。通過該處理，可以針對雙眼選擇并決定用于校正HMD的顯示光學系統(tǒng)和HMD用戶使用的視力校正光學系統(tǒng)的組合產生的色偏的表。步驟S707和隨后的步驟中的處理與第一實施例中的處理相同。在步驟S712中， HMD 2001將進行分辨率轉換和圖像移位等時的調整值存儲在調整值存儲單元2002中。此時，與用戶ID相對應地記錄調整值。通過輸入用戶ID，可以獲取與用戶相對應的調整值。在第三實施例的步驟S702中，從調整值存儲單元2002中獲得保存的要使用的數據。
如上所述，第三實施例可以消除復雜的計算并減小電路尺寸。此外，第三實施例不需要進行獲得色偏量的操作，可以在實施本發(fā)明時簡化HMD用戶的操作。較小的電路規(guī)模使得功耗更低。
(第四實施例) 將參照附圖描述本發(fā)明的第四實施例。第一至第三實施例對HMD上針對雙眼的圖像顯示、針對各眼校正像差。第四實施例使用HMD中的針對雙眼(右眼和左眼)配置的一對顯示光學系統(tǒng)的對稱性來校正像差。
通常，作為HMD等中的針對雙眼(右眼和左眼)配置的顯示光學系統(tǒng)來應用具有相同光學特性的光學系統(tǒng)。該光學特性關于穿過HMD用戶的眼睛之間的位置的垂直軸對稱。在第四實施例中，將HMD用戶的視力校正光學系統(tǒng)視為對稱的。通過使用HMD的顯示光學系統(tǒng)的對稱性，針對一只眼反映針對另一只眼設置的校正值。因此，如果視力校正光學系統(tǒng)在右眼和左眼之間沒有很大的差異，則第四實施例可以減小計算量。另外，第四實施例可以在實施本發(fā)明時簡化HMD用戶復雜的操作。將主要針對該特征來描述第四實施例。第四實施例適用于第一或第二實施例中的HMD 201和第三實施例中的HMD 2001 兩者。將基于第一實施例來描述第四實施例。功能塊與第一實施例的功能塊(圖2)相同。在又一實施例中，HMD可以包括圖像顯示單元209，而圖像處理裝置103包括HMD 201的其余所有功能單元，如圖2所示。因而，圖像處理裝置103具有像差校正功能。在這種情況下， HMD將包括用于從圖像處理裝置103接收校正后的圖像的圖像接收接口。相應地，圖像處理裝置103將具有用于向HMD發(fā)送圖像調整單元208輸出的校正后的圖像的圖像發(fā)送接口。
圖21是示出第四實施例中的整體序列的主流程圖。由于步驟S707至S712與圖 7相同，因此在圖21中未示出步驟S707至S712。第四實施例向第一實施例中的圖7的流程圖增加了用來確定在右眼和左眼之間的視力校正的差異的步驟S2301和用來將針對一只眼的設置反映到針對另一只眼的設置中的步驟S2304。盡管還增加了用來獲得色偏量的步驟S2302和用來執(zhí)行像差校正的步驟 S2303，但是這些步驟中的處理與步驟S705和S706中的處理相同。在步驟S2302和S2303 中，僅針對一只眼進行這些處理。在步驟S2301中，HMD 201詢問HMD用戶視力或視力校正光學系統(tǒng)(主要是眼鏡片)的視力校正的程度在右眼和左眼之間是否差異很大。如果HMD用戶答復視力校正的程度在右眼和左眼之間差異很大或者選擇針對雙眼(右眼和左眼)分別調整校正值，則處理轉移到步驟S705，執(zhí)行與第一或第二實施例中的處理相同的處理。HMD用戶通過使用操作裝置202輸入指令來進行答復。如果HMD用戶答復視力校正的程度在右眼和左眼之間差異不大，則處理轉移到步驟S2302。在步驟S2302中，根據圖11的流程圖，針對一只眼(右眼或左眼)獲得色偏量。由于僅將一只眼作為目標，因此不重復步驟S1107中的處理。在步驟S2303中，根據圖14的流程圖，針對一只眼校正像差。由于僅將一只眼作為目標，因此不重復步驟S1408中的處理。在步驟S2304中，通過前述處理針對一只眼確定了合適的像差校正，并針對另一只眼反映并確定了確定的值(校正值)。無需多言，考慮軸的對稱性來反映校正值。至于考慮軸的對稱性來進行反映，可以考慮軸的對稱性來預先配置針對右眼和左眼的兩個表來作為校正表?？梢曰趯ΨQ性、使用針對一只眼的校正表來進行計算，生成針對另一只眼的校正表。可以將經受第四實施例中的色偏量的獲得(步驟S2302)和像差校正(步驟 S2303)的特定的眼固定為右眼或左眼?？蛇x地，可以在例如步驟S2302之前提示HMD用戶選擇右眼和左眼中的一個。在第三實施例中描述的像差校正值選擇處理(步驟S2101)也適用于第四實施例。更具體地說，僅針對一只眼執(zhí)行像差校正值選擇處理(步驟S2101)，針對另一只眼反映處理結果。如上所述，在實施本發(fā)明時，針對右眼和左眼考慮到HMD用戶使用的視力校正光學系統(tǒng)(主要是眼鏡片)的對稱性，第四實施例可以簡化HMD用戶的復雜的操作。與第一實施例相比，當可以有效地使用對稱性時，第四實施例可以獲得色偏量的工作量減半。
(第五實施例)
27
將參照附圖描述本發(fā)明的第五實施例。第一至第四實施例基于HMD用戶的瞳孔觀察到的色偏量來校正像差。第五實施例具有使用光學傳感器來測量HMD用戶使用的視力校正光學系統(tǒng)產生
的像差的特征?；跍y量結果來選擇像差校正表。在實施本發(fā)明時，這可以進一步簡化HMD
用戶的復雜的操作。圖22是第五實施例中的HMD的功能框圖。圖像處理裝置103與上述實施例的圖像處理裝置103相同，因此在圖中未示出。在又一實施例中，HMD可以包括圖像顯示單元209，而圖像處理裝置103包括HMD 2401的其余所有功能單元，如圖22所示。因而，圖像處理裝置103具有像差校正功能。在這種情況下，HMD將包括用于從圖像處理裝置103接收校正后的圖像的圖像接收接口。相應地，圖像處理裝置103將具有用于向HMD發(fā)送圖像調整單元208輸出的校正后的圖像的圖像發(fā)送接口。根據第五實施例的HMD 2401包括用于自動測量視力校正光學系統(tǒng)產生的色偏量的光學傳感器2402 (稱為傳感器2402)。傳感器2402包括用于照亮HMD用戶使用的眼鏡片的光源以及用于接收通過眼鏡片的、或由眼鏡片反射的光的圖像傳感器。傳感器2402基于來自操作確定單元211的指令執(zhí)行測量。傳感器2402僅從存儲在像差校正值存儲單元215中的像差校正表224中選擇一個校正表，來適當地校正像差。稍后將舉例說明測量方法。已知許多透鏡像差測量方法，可以使用這些方法中的任意一種。具有上述配置的圖像處理系統(tǒng)能夠執(zhí)行適合HMD 2401的用戶的像差校正。該圖像處理系統(tǒng)能夠針對各用戶獲得合適的HMD 2401的顯示圖像，并使得HMD 2401的任何用戶都能夠正確地觀察到顯示圖像。通過使用光學傳感器進行的測量，第五實施例可以使第一和第二實施例中的圖7 的流程圖中的步驟S705中的色偏量的獲得、以及步驟S706中的像差校正自動化。此外，第五實施例還可以自動進行圖19的步驟S2101(在圖20中詳細示出)中的處理。
在這種配置中，作為圖7中的流程圖的步驟S701中的內部處理，可以配置視力校正/未校正確定單元(未示出)，以確定HMD用戶是否使用視力校正光學系統(tǒng)(眼鏡片)。視力校正/未校正確定單元由例如光源和用于接收由眼鏡片反射的、或透過眼鏡片的光的接收單元構成?？梢曰谕高^眼鏡或眼鏡片的光沒有色偏或透鏡表面沒有反射光的信息來進行確定。當使用偏轉(deflect)光或偏轉照相機時，可以使用透過透鏡的、或由透鏡反射的均勻偏轉的光的特性來確定是否存在透鏡。利用偏轉信息進行成像的技術是公知的，可以基于這種技術來進行確定。如果作為確定視力校正/未校正的結果確定HMD用戶不使用視力校正光學系統(tǒng)而使用裸眼進行觀察，則可以僅針對HMD的顯示光學系統(tǒng)執(zhí)行像差校正，而不執(zhí)行圖7的步驟S702和隨后步驟中的處理。如果確定HMD用戶校正其視力，則執(zhí) 行步驟S702和隨后步驟中的處理，以針對HMD的顯示光學系統(tǒng)和視力校正光學系統(tǒng)的組合執(zhí)行像差校正。圖23是用于說明第五實施例中的像差測量方法的示意圖。使用點光源2501來測量視力校正光學系統(tǒng)的像差。光學系統(tǒng)2502對應于HMD用戶使用的視力校正光學系統(tǒng)(眼鏡片)。圖像傳感器2503接收點光源2501發(fā)出的、通過眼
28鏡片的光。點光源發(fā)出的光在圖像傳感器上具有色偏地成像。
這種配置可以測量HMD用戶使用的眼鏡片的像差。第五實施例使用通過眼鏡片的光來測量像差?？蛇x地，可以使用透鏡反射的光來測量像差。當使用反射光時，需要測量透鏡的兩個表面反射的光束，以獲得透鏡的兩個表面的曲率。然而，可以簡單地基于僅一個表面的測量結果來估計像差。可以在一個或多個測量位置測量像差。注意，HMD 2401可以具有該HMD 2401被佩戴在用戶的頭部時測量像差的這種測量功能。HMD 2401還可以具有眼鏡片專用模具(jig)，并且在安裝HMD之前，使用該模具預先測量眼鏡片的像差。假設希望尺寸更小、重量更輕的HMD 2401使用簡單的測量功能，以防止在安裝自動測量功能時尺寸增加。在一些情況下，與透鏡檢查儀不同，使用簡單的測量功能進行測量無法獲得高精度的像差信息，無法進行高精度像差校正。預先準備的校正表的校正量之間的間隔可能很大，可能不存在校正量與色偏量真正匹配的校正表。然而，即使在這種情況下，HMD2401的配置也可以基于HMD用戶的瞳孔觀察到的色偏量來實現像差校正和微調。因此，HMD 2401能夠將像差校正為落在HMD用戶容許的范圍內。如上所述，第五實施例采用了測量HMD用戶使用的視力校正光學系統(tǒng)(主要是眼鏡片)產生的像差的量的功能?？梢宰詣舆x擇合適的校正表。與第一至第四實施例相比，第五實施例能夠進一步簡化HMD用戶復雜的操作。在第一至第五實施例中，基于HMD用戶觀察到的色偏或使用光學傳感器進行測量觀察到的色偏，來計算HMD的顯示光學系統(tǒng)和HMD用戶使用的視力校正光學系統(tǒng)的組合產生的像差。然而，本發(fā)明并不局限于這些。例如，可以基于HMD用戶的視力校正信息(例如裸眼視力和校正視力、或視力校正光學系統(tǒng)(眼鏡片)的折射率和曲率)的報告來計算像差。在第一至第五實施例中，構成顯示設備的像素的顏色是R、 G、 B三原色，但是并不
局限于這些。然而，不同的顏色可能需要諸如符合該顏色的顏色轉換功能的預處理。還可以對第一至第五實施例中描述的兩個或更多個配置進行組合。在第一至第五實施例中，像差校正主要應用于采用目鏡(ey印iece)放大光學系
統(tǒng)的HMD。然而，本發(fā)明的應用并不局限于此。例如，當將本發(fā)明應用于安裝在數字單鏡頭
照相機、數字視頻照相機等中的EVF時，也可以獲得與上述效果相同的效果。本領域技術人員容易想到將實施例中的各種技術適當地組合以構建新的系統(tǒng)。基
于在此公開的特定實施例的各種組合的系統(tǒng)也落在本發(fā)明的范圍內。根據上述實施例，可以執(zhí)行適合于各觀察者的像差校正，以在具有放大在顯示設備上形成的圖像并允許觀察者進行觀察的顯示光學系統(tǒng)的圖像顯示裝置中呈現像差(色偏)減小的顯示圖像。
(其它實施例) 本發(fā)明的各方面還能夠通過讀出并執(zhí)行記錄在存儲裝置上的用于執(zhí)行上述實施例的功能的程序的系統(tǒng)或設備的計算機(或諸如CPU或MPU的裝置)、以及由系統(tǒng)或設備的計算機例如讀出并執(zhí)行記錄在存儲裝置上的用于執(zhí)行上述實施例的功能的程序來執(zhí)行步驟的方法來實現。鑒于此，例如經由網絡或者從用作存儲裝置的各種類型的記錄介質(例如計算機可讀介質)向計算機提供程序。雖然參照示例性實施例對本發(fā)明進行了說明，但是應當理解，本發(fā)明不限于所公開的示例性實施例。所附權利要求的范圍符合最寬的解釋，以使其涵蓋所有變型、等同結構及功能。
權利要求
一種圖像處理裝置，其用于確定用于校正光學系統(tǒng)所產生的像差的特定觀察者像差校正數據，所述光學系統(tǒng)允許觀察者觀察在顯示器上形成的顯示圖像，該圖像處理裝置包括接收單元，用于接收關于所述觀察者的視力校正光學系統(tǒng)的像差信息；確定單元，用于利用預先準備的像差校正數據以及所述接收單元接收的所述像差信息，來確定特定觀察者像差校正數據。
2. 根據權利要求l所述的圖像處理裝置，所述圖像處理裝置還包括存儲單元，其存儲預先準備的所述像差校正數據。
3. 根據權利要求2所述的圖像處理裝置，其中所述存儲單元與所述確定單元確定的所述特定觀察者像差校正數據相對應地、或者與指定所述確定單元確定的所述特定觀察者校正數據的信息相對應地存儲觀察者標識數據，使得能夠再利用所確定的特定觀察者像差校正數據。
4. 根據權利要求2所述的圖像處理裝置，其中所述存儲單元存儲預先準備的具有不同校正量的多種像差校正數據，并且所述確定單元基于所接收的像差信息選擇所述多種像差校正數據中的一種，由此確定特定觀察者像差校正數據。
5. 根據權利要求2所述的圖像處理裝置，其中所述確定單元利用所述存儲單元中存儲的所述像差校正數據和所述像差信息，生成新的特定觀察者校正數據。
6. 根據權利要求5所述的圖像處理裝置，其中所述存儲單元存儲具有不同校正量的多種像差校正數據，并且所述確定單元基于所接收的像差信息從所存儲的多種校正數據中選擇至少兩種校正數據，并且根據所選擇的校正數據進行插值，由此確定新的特定觀察者校正數據。
7. 根據權利要求1所述的圖像處理裝置，其中所述確定單元確定與所述觀察者的一只眼相對應的特定觀察者校正數據，并且利用該特定觀察者校正數據針對所述觀察者的另一只眼確定特定觀察者校正數據。
8. 根據權利要求1所述的圖像處理裝置，所述圖像處理裝置還包括調整單元，其用于調整所述確定單元確定的所述特定觀察者校正數據。
9. 根據權利要求1所述的圖像處理裝置，其中所述圖像處理裝置包括所述顯示器；所述光學系統(tǒng)，其允許觀察者觀察所述顯示器上的圖像；以及第一圖像生成單元，其用于使所述顯示器至少顯示第一圖像。
10. 根據權利要求9所述的圖像處理裝置，其中所述接收單元從所述觀察者接收代表所述第一圖像在被顯示在所述顯示器上時的顏色分離量的所述像差信息。
11. 根據權利要求10所述的圖像處理裝置，其中所述接收單元接收基于將所述第一圖像的至少一個顏色分離圖像疊加到所述第一圖像的另一顏色分離圖像所需的圖像移位量的像差信息。
12. 根據權利要求1所述的圖像處理裝置，其中所述圖像處理裝置還包括光學傳感器，其用于自動獲得關于所述觀察者佩戴的視力校正光學系統(tǒng)的像差信息，其中所述接收單元從所述光學傳感器接收所述視力校正光學系統(tǒng)的所述像差信息。
13. —種確定用于校正光學系統(tǒng)產生的像差的特定觀察者像差校正數據的方法，所述光學系統(tǒng)允許觀察者觀察在顯示器上形成的顯示圖像，該方法包括以下步驟接收關于所述觀察者的視力校正光學系統(tǒng)的像差信息；利用預先準備的像差校正數據以及所接收的像差信息，來確定特定觀察者校正數據。
14. 一種圖像處理裝置，其用于校正允許觀察者觀察在顯示器上形成的顯示圖像的光學系統(tǒng)產生的像差，該圖像處理裝置包括存儲單元，其存儲針對所述觀察者的視力光學校正系統(tǒng)產生的像差進行校正的像差校正數據；以及校正單元，其利用所存儲的像差校正數據來校正顯示的圖像。
15. —種用于校正允許觀察者觀察在顯示器上形成的顯示圖像的光學系統(tǒng)產生的像差的方法，所述圖像處理方法包括以下步驟取出所存儲的針對所述觀察者佩戴的視力光學校正系統(tǒng)產生的像差進行校正的像差校正數據；以及利用所取出的像差校正數據來校正顯示的圖像。
16. —種圖像處理系統(tǒng)，該圖像處理系統(tǒng)包括圖像顯示裝置，其允許觀察者經由光學系統(tǒng)觀察在顯示器上顯示的顯示圖像；以及圖像處理裝置，其對所述光學系統(tǒng)產生的像差進行校正，所述圖像處理裝置包括存儲單元，其被配置為存儲預先準備的用來校正所述光學系統(tǒng)產生的所述像差的校正數據；獲得單元，其被配置為獲得代表由觀察所述顯示圖像的所述觀察者使用的視力校正光學系統(tǒng)產生的像差的像差信息；確定單元，其被配置為基于預先準備的所述校正數據和所述像差信息，確定用來校正存在于從所述顯示器延伸到所述觀察者的光路中的像差的特定觀察者校正數據；以及校正單元，其被配置為基于所述確定單元確定的所述特定觀察者校正數據，校正其它顯示圖像上的像差，其中所述圖像顯示裝置輸入所述校正單元校正的其它顯示圖像，并在所述顯示器上顯示所述顯示圖像。
全文摘要
本發(fā)明涉及一種圖像處理裝置、圖像處理方法及圖像處理系統(tǒng)。布置分別獲取關于顯示光學系統(tǒng)產生的像差的信息和關于由觀察者使用的視力校正光學系統(tǒng)產生的像差的信息的單元。基于這兩個像差執(zhí)行像差校正。能夠針對各觀察者適當地校正所述顯示光學系統(tǒng)和所述觀察者使用的所述視力校正光學系統(tǒng)的組合產生的像差。
文檔編號G02B27/00GK101726854SQ20091020654
公開日2010年6月9日申請日期2009年10月14日優(yōu)先權日2008年10月14日
發(fā)明者大山賢司, 辻本卓哉申請人:佳能株式會社

完整全部詳細技術資料下載