專利名稱：投影儀裝置和操作檢測方法
技術領域：
本發(fā)明涉及投影儀裝置和操作檢測方法。
背景技術：
通常，用于將投影圖像投影到屏幕上的投影儀裝置是公知的。因為投影儀裝置即使裝置本身是小的，仍然可以顯示大屏幕的圖像，所以投影儀裝置廣泛地用作例如為許多觀眾顯示文檔以使得在會議和講座中容易觀看文檔的工具。在近些年，需要投影儀裝置具有允許在投影圖像中寫入圖片、字符等的功能以及允許容易地操作投影圖像的放大/縮小和前進頁面的功能。由此，正在進行用于實現(xiàn)這樣的功能的技術發(fā)展。 例如，日本專利No. 3950837公開了一種技術，允許在投影儀裝置的投影圖像中寫入圖片和字符。通過日本專利No. 3950837中描述的技術，在白板上投影的投影圖像被攝像機捕獲；具有紅外光接收單元和超聲波接收單元的信號處理器計算具有紅外光發(fā)射單元和超聲波生成單元的電子筆在白板上的位置；并且電子筆在白板上的位置由從攝像機捕獲的圖像計算的投影圖像在白板上的位置標準化，由此能夠精確地獲得電子筆在投影圖像上的位置。然而，通過日本專利No. 3950837中公開的技術，具有紅外光發(fā)射單元和超聲波生成單元的電子筆必須被用于在投影儀裝置的投影圖像中寫入圖片和字符。此外，具有紅外光接收單元和超聲波接收單元的信號處理器必須被預先安裝在其上投影了投影圖像的投影表面上。如上所述，使用日本專利No. 3950837中描述的技術，僅當在預先準備的環(huán)境下使用專門的輸入裝置時才實現(xiàn)允許在投影儀裝置的投影圖像中寫入圖片和字符的功能。由此，該技術具有缺乏多樣性和高裝置成本的缺點。由此，需要一種投影儀裝置和操作檢測方法，其能夠通過檢測投影圖像的操作實現(xiàn)各種功能，而無需使用專門的輸入裝置。

發(fā)明內(nèi)容
本發(fā)明的目的在于至少部分地解決現(xiàn)有技術中的問題。根據(jù)一個實施例，提供了一種投影儀裝置，包括投影單元，用于將投影圖像投影到投影表面上；圖像捕獲單元，用于通過多個成像元件捕獲包括投影表面的成像區(qū)域的圖像；距離獲取單元，基于所述多個成像元件輸出的多個圖像，獲取指示圖像捕獲單元和成像區(qū)域中存在的對象之間距離的距離信息；輸入單元檢測單元，基于距離信息，當對象存在于距投影表面預定距離的區(qū)域中時，將對象檢測為執(zhí)行關于投影圖像的輸入操作的輸入單元；以及分析單元，基于輸入單元在投影圖像上的位置和移動中的至少一個來分析關于投影圖像的輸入操作。根據(jù)另一個實施例，提供了一種操作檢測方法，在投影儀裝置中執(zhí)行，所述投影儀裝置包括用于將投影圖像投影到投影表面上的投影單元和用于通過多個成像元件捕獲包括投影表面的成像區(qū)域的圖像的圖像捕獲單元。所述方法包括基于所述多個成像元件輸出的多個圖像，獲取指示圖像捕獲單元和成像區(qū)域中存在的對象之間距離的距離信息；基于距離信息，當對象存在于距投影表面預定距離的區(qū)域中時，將對象檢測為執(zhí)行關于投影圖像的輸入操作的輸入單元；以及基于輸入單元在投影圖像上的位置和移動中的至少一個來分析關于投影圖像的輸入操作。
當結(jié)合附圖考慮時，通過讀取下面本發(fā)明的優(yōu)選實施例的具體實施方式
可以更好地理解本發(fā)明的上述和其他目的、特征、優(yōu)點、技術和工業(yè)意義。


圖1是根據(jù)實施例的投影儀裝置的前視圖；圖2是根據(jù)實施例的投影儀裝置的內(nèi)部配置的框圖；圖3是示出屏幕上投影的投影圖像的尺寸和立體攝像機的成像區(qū)域的尺寸之間 關系的圖；圖4A和4B是用于說明立體攝像機的配置實例的圖；圖5是示出控制裝置的功能元件的功能框圖；圖6是用于說明使用立體攝像機的距離測量的原理的圖；圖7是用于說明檢測投影圖像中寫入字符或圖片的操作的實例的圖；圖8是用于說明檢測投影圖像中包括的按鈕的操作的實例的圖；圖9是用于說明檢測投影圖像的頁面進展操作的示例的圖；圖10是用于說明檢測投影圖像的放大/縮小操作的實例的圖；圖11是示出控制裝置的時序處理過程的流程圖；圖12是示意性示出現(xiàn)有梯形校正處理的圖；圖13示出了在對應于距離的陰影中立體攝像機的各自焦點的距離測量結(jié)果；以 及圖14是示出整體切除在半導體晶圓上形成的多個成像元件中的兩個的方面的示 意圖。
具體實施方式
下面將參考附圖詳細描述根據(jù)本發(fā)明的投影儀裝置和操作檢測方法的實施例。
圖1是根據(jù)實施例的投影儀裝置I的前視圖；并且圖2是示出根據(jù)實施例的投影儀裝置I的內(nèi)部配置的圖。
根據(jù)實施例的投影儀裝置I以如下方式放置投影儀裝置I的前面(前表面)Ia面向屏幕(投影表面)100。這里，屏幕100是可選的，并且例如房間的墻壁和白板的各種物體可以用作屏幕100。此外，投影儀裝置I連接至外部信息處理裝置，例如個人計算機(下文中被指示為PC 101)，從而通過例如通用串行總線(USB)電纜的專用電纜或通用電纜可雙向通信。投影儀裝置I可以連接至PC 101以通過符合已知射頻通信協(xié)議的射頻通信進行雙向通信。
在投影儀裝置I的前面Ia側(cè)上，如圖1所示布置投影裝置2的投影透鏡2a和立體攝像機3。如圖2所示，在投影儀裝置I內(nèi)部，除了投影裝置2和立體攝像機3之外還提供控制裝置4、存儲裝置5和通信裝置6。
投影裝置2使用投影透鏡2a在控制裝置4的控制下將投影圖像投影到屏幕100上。例如，要由投影裝置2投影在屏幕100上的投影圖像是從PC 101發(fā)送到投影儀裝置I的圖像。這意味著正顯示在PC 101的顯示單元上的圖像被投影裝置2投影到屏幕100上作為投影圖像。為了說明的目的，下文中沿著屏幕100的水平方向的方向(投影儀裝置I的寬度方向)被指示為X方向，沿著屏幕100的垂直方向的方向(投影儀裝置I的高度方向)被指示為Y方向，并且沿著屏幕100和投影儀裝置I彼此面對方向的方向(投影儀裝置I的深度方向)被指示為Z方向。立體攝像機3具有多個成像元件，并且使用該多個成像元件捕獲預定成像區(qū)域的圖像。立體攝像機3的成像區(qū)域是在投影儀裝置I的前面Ia的前面的預定區(qū)域，至少包括屏幕100上投影的投影圖像。圖3是示出屏幕100上投影的投影圖像的尺寸和立體攝像機3的成像區(qū)域的尺寸之間的關系的圖。對于立體攝像機3，設計在成像元件上形成光學圖像的透鏡的視角等，使得可以捕獲比屏幕100上投影的投影圖像的尺寸更大的區(qū)域，考慮了投影圖像的假定尺寸(屏幕100的尺寸)和從屏幕100到放置投影儀裝置I的位置的標準距離。 這里將描述立體攝像機3的配置的具體例子。圖4A和4B是用于說明立體攝像機3的配置的例子的圖；圖4八是立體攝像機3的示意性截面圖；以及圖4B是多個成像元件(在這個例子中兩個成像元件30a和30b)形成的成像元件基板34的平面圖。立體攝像機3具有外殼31、透鏡陣列32、孔徑陣列33、成像元件基板34和電路基板35，如圖4A所示。外殼31在其中容納成像元件基板34和電路基板35。此外，外殼31在其前表面?zhèn)?圖4A中的上側(cè))固定地支撐透鏡陣列32和孔徑陣列33。透鏡陣列32和孔徑陣列33由外殼31在如下狀態(tài)下支撐透鏡陣列32和孔徑陣列33的位置相對于成像元件基板34被固定。立體攝像機3的外殼31以如下方式設置在投影儀裝置I的內(nèi)部立體攝像機3的前表面?zhèn)让嫦蛲队皟x裝置I的前面la。透鏡陣列32由沿著Y方向布置的一對透鏡32a和32b整體形成。例如通過模塑透明樹脂材料來制造透鏡陣列32。透鏡32a是用于在成像元件30a上形成成像區(qū)域的圖像的光學器件。透鏡32b是用于在成像元件30b上形成成像區(qū)域的圖像的光學器件?？讖疥嚵?3具有以如下方式定位在透鏡陣列32上的兩個孔徑透鏡32a從孔徑中的一個曝光，并且透鏡32b從另一個孔徑曝光?？讖疥嚵?3通過由除了兩個孔徑透鏡32a和32b之外的部分反射光而防止光通過除了透鏡32a和32b的部分進入外殼31內(nèi)部。成像元件基板34由位于預定間隔的兩個成像元件30a和30b整體形成。成像元件30a面向透鏡陣列32的透鏡32a，并且成像元件30b面向透鏡陣列32的透鏡32b。透鏡陣列32被定位為將透鏡32a與成像元件30a的中心對齊，并且將透鏡32b與成像元件30b的中心對齊。成像元件30a的中心和成像元件30b的中心之間的距離(即透鏡陣列32的透鏡32a和透鏡32b的光軸之間的距離)被稱為基線長度。在這個實施例中，假設基線長度為大約5到30mm。成像元件30a和30b是二維圖像傳感器，例如通過公知半導體工藝如圖4B所示在半導體晶圓上整體形成的CXD和CMOS。在成像元件30a和30b的每個成像區(qū)域(光接收表面)30al和30bl上，以網(wǎng)格圖案(lattice pattern)布置多個光接收元件(像素)。透鏡陣列32的透鏡32a和透鏡32b具有彼此平行的光軸，并且具有相同的視角。此外，這些透鏡32a和32b具有如下焦距使得從要被成像的物體進入各個透鏡的光在成像元件30a和30b的對應的成像區(qū)域30al和30bl上形成圖像。
在電路基板35上形成了信號處理電路，用于處理來自成像元件30a和30b的輸出信號。例如，電路基板35定位在成像元件基板34的后面(與其上形成成像元件30a和30b 的面相反的面)。在這個實施例中，在立體攝像機3的電路基板35上裝配模擬前端(AFE)電路，用于對從成像元件30a和30b輸出的模擬信號執(zhí)行噪聲減小處理、放大、AD變換等。此外，在本實施例中，溫度傳感器和溫度補償電路提供在電路基板35上。溫度補償電路使用溫度傳感器檢測的值來補償由于溫度改變引起的成像元件30a和30b的輸出誤差。通過溫度補償電路的補償處理，即使當透鏡32a和32b之間的距離(基線長度)由于溫度改變引起的透鏡陣列32的膨脹或收縮而改變時，也可以獲得正確的輸出。
控制裝置4通過使用存儲裝置5執(zhí)行各種計算操作來共同地控制投影儀裝置I的操作。該控制裝置4可以被配置為控制集成電路(1C)，具有用于運行控制程序的CPU、用于處理從立體攝像機3輸出的成像區(qū)域中的圖像信號(數(shù)字數(shù)據(jù))的數(shù)字信號處理器(DSP)、 輸入/輸出接口電路等。
存儲裝置5是控制裝置4用于各種計算的存儲裝置，并且存儲裝置5包括用于臨時存儲圖像的幀存儲器、用作CPU的工作區(qū)域的RAM、用于存儲控制程序和控制使用的各種數(shù)據(jù)的ROM等。
通信裝置6執(zhí)行用于投影儀裝置I的各種控制以與PC 101通信。
圖5是示出控制裝置4的功能元件的功能框圖，其特征在于這個實施例中的投影儀裝置I。圖5示出的各個功能元件可以例如由運行控制程序的控制裝置4的CPU實現(xiàn)。 可選地，各個功能元件的部分和全部可以由專用硬件構(gòu)成，例如專用集成電路(ASIC)和現(xiàn)場可編程門陣列(FPGA)。
控制裝置4檢測操作者關于屏幕100上投影的投影圖像的輸入操作，并且如圖5 所示，控制裝置4包括距離圖像形成單元(距離信息獲取單元)41、候選識別單元42、輸入單元檢測單元43、位置檢測單元44、移動檢測單元45、分析單元46和圖像處理單元47作為用于執(zhí)行與輸入操作相對應的處理的功能元件。除了這些功能之外，控制裝置4還包括使用立體攝像機3的圖像的自動聚焦功能和梯形校正功能，這些功能將在后面描述。
距離圖像形成單元41基于從立體攝像機3的兩個成像元件30a和30b輸出的兩個圖像形成立體攝像機3的成像區(qū)域的距離圖像。關于立體攝像機3的成像區(qū)域中存在的各個對象，距離圖像是指示從作為起始點的立體攝像機3的位置(即放置投影儀裝置I的位置)到各個對象的距離(位置信息)的圖像。在這個實施例中，描述了獲取距離信息作為距離圖像的例子，但是距離信息不局限于此。
例如，距離圖像形成單元41首先通過例如窗關聯(lián)方法的已知方法來確定從兩個成像元件30a和30b輸出的兩個圖像的對應關系。窗關聯(lián)方法是從一個圖像搜索具有與另一個圖像中設置的窗區(qū)域具有高關聯(lián)值的區(qū)域的處理過程。例如，可以使用圖像的亮度信息最為關聯(lián)值。
已經(jīng)確定了從兩個成像元件30a和30b輸出的兩個圖像的對應關系的距離圖像形成單元41根據(jù)下面的原則計算至立體攝 像機3的成像區(qū)域中存在的各個對象(區(qū)域)的距離，并且形成距離圖像。在這個實施例中，在立體攝像機3的成像區(qū)域中存在的對象的距離信息被獲取作為距離圖像，但是也可以使用除了距離圖像之外的信息，只要獲取能夠獲得對象在XY方向的位置和距投影儀裝置I的距離(Z方向上的位置)的信息。圖6是用于說明使用立體攝像機3的距離測量的原理的圖。當對象M存在于立體攝像機3的成像區(qū)域時，對象M的光學圖像(要被成像的對象的圖像)通過透鏡32a形成在成像元件30a上，并且還通過透鏡32b形成在成像元件30b上。當要被成像在成像元件30a上的對象的圖像被指示為ma，并且要被成像在成像元件30b上的對象的圖像被指示為mb時，要被成像在成像元件30a和30b的對象的圖像ma的像素位置和對象的圖像mb的像素位置具有距離差Δ。當透鏡32a和32b的光軸之間的距離(基線長度)被指示為D時，透鏡32a和32b與對象M之間的距離被指示為L，透鏡32a和32b的焦距被指示為f，并且假設值L比值f大足夠多，滿足下面的等式(I)。L=D Xf/Λ(I)在上面的等式(I)中，值D和f是已知的，并且因此可以通過檢測兩個成像元件30a和30b輸出的兩個圖像之差Λ來計算至立體攝像機3的成像區(qū)域中存在的對象M的距離L。例如通過使用上述方法,通過計算與兩個成像元件30a和30b輸出的兩個圖像相對應的各個窗區(qū)域的距離L，距離圖像形成單元41形成距離圖像，指示至立體攝像機3的成像區(qū)域中存在的對象的距離。候選識別單元42通過使用從立體攝像機3的兩個成像元件30a和30b的至少一個輸出的圖像，從立體攝像機3的成像區(qū)域中存在的對象中識別要作為關于屏幕100上投影的投影圖像執(zhí)行輸入操作的輸入單元的候選的對象。在這個實施例中，例如假設與屏幕100接觸或非常接近于屏幕100的操作者的手指作為關于投影圖像執(zhí)行輸入操作的輸入單元。在這種情況下，表征手指的信息，包括手指的形狀(細長的棒形)和手指的顏色(膚色)存儲在存儲裝置5中作為特征值。候選識別單元42分析從立體攝像機3的兩個成像元件30a和30b的至少一個輸出的圖像，并且通過例如已知圖案匹配的方法從該圖像檢測與存儲裝置5中存儲的特征值具有高關聯(lián)性的對象。然后，候選識別單元42通過圖案匹配等將從圖像檢測的對象識別為輸入單元的候選。例如，當手指的特征值被存儲在存儲裝置5中時，候選識別單元42檢測在立體攝像機3的成像區(qū)域中存在的人的手指作為輸入單元的候選。這里，候選識別單元42通過將各種對象的特征值存儲在存儲裝置5中，可以檢測除了操作者的手指之外的對象作為輸入單元的候選，例如具有通常形狀的筆或指針。輸入單元檢測單元43通過使用由距離圖像形成單元41形成的距離圖像，檢測朝向投影儀裝置I距屏幕100預定距離的區(qū)域中存在的對象，作為執(zhí)行關于投影圖像的輸入操作的輸入單元。具體地，輸入單元檢測單元43首先從距離圖像形成單元41形成的距離圖像識別屏幕100，并且計算至屏幕100的距離(在Z方向的位置)。然后，輸入單元檢測單元43從距離圖像搜索在預定距離范圍內(nèi)與距屏幕100的距離存在差異的對象。然后，如果作為搜索結(jié)果獲得的對象的形狀接近于例如操作者手指的預定形狀，則輸入單元檢測單元43檢測該對象作為輸入單元。這里，例如，預定距離約為100到150mm。在用于檢測輸入單元的距離圖像中，對象等的輪廓在許多情況下不是精確的，因為很難精確地關聯(lián)兩個成像元件30a和30b輸出的圖像。此外，因為距離圖像不具有顏色信息，很難僅從距離圖像正確地檢測例如包括操作者手指的輸入單元。由此，輸入單元檢測單元43使用距離圖像搜索距屏幕100預定距離的區(qū)域中存在的對象。如果從距離圖像中獲得恰當?shù)膶ο螅瑒t輸入單元檢測單元43在作為搜索結(jié)果獲得的對象中檢測由候選識別單元42識別為輸入單元的候選的對象作為輸入單元。這里，例如可以使用圖像的XY平面上的坐標位置的信息來關聯(lián)從距離圖像獲得的對象和由候選識別單元42識別為輸入單元的候選的對象。此外，當從距離圖像正確檢測到輸入單元時，輸入單元檢測單元43可以被配置為僅從距離圖像檢測輸入單元。在這種情況下，不需要候選識別單元42。
位置檢測單元44檢測由輸入單元檢測單元43檢測的輸入單元在X方向和Y方向的位置。更具體地，當例如操作者的手指被檢測為輸入單元時，位置檢測單元44檢測指尖在屏幕100上投影的投影圖像的位置。指尖可以從手指的形狀指定。此外，可以從指尖在 XY平面上的位置和投影圖像的位置之間的關系檢測指尖在投影圖像上的位置。
移動檢測單元45使用從立體攝像機3的兩個成像元件30a和30b中的至少一個順序輸出的多個圖像檢測由輸入單元檢測單元43檢測的輸入單元的移動。例如，當操作者的手指被檢測為輸入單元時，移動檢測單元45檢測指尖在屏幕100上投影的投影圖像上的移動。例如通過應用數(shù)字攝像機等中對象追蹤的方法來實現(xiàn)移動檢測單元45的處理。
當輸入單元檢測單元43檢測屏幕100附近出現(xiàn)的手指作為輸入單元時，移動檢測單元45從成 像元件30a或成像元件30b輸出的圖像檢測對應的手指，將對應的手指設置為追蹤目標，并且保持包括例如手指的形狀和顏色的信息(目標信息)。然后，移動檢測單元 45然后使用保持的目標信息從成像元件30a或成像元件30b順序輸出的圖像搜索對應的手指。然后，移動檢測單元45檢測在成像元件30a或成像元件30b順序輸出的圖像之間的 XY平面上手指的位置變化，作為成為輸入單元的手指的移動。
當輸入單元檢測單元43沒有檢測到輸入單元的時候，即當屏幕100附近存在的操作者的手指遠離屏幕100移動以離開如上面描述的例子所述的預定距離的區(qū)域之外時，完成移動檢測單元45的處理。然后，當輸入單元檢測單元43新檢測到輸入單元時，此后移動檢測單元45檢測新的輸入單元的移動。輸入單元檢測單元43的處理和移動檢測單元45 的處理以例如1/30秒至1/60秒的處理周期同步執(zhí)行。
分析單元46基于位置檢測單元44檢測的輸入單元的位置和移動檢測單元45檢測的輸入單元的移動中的至少一個來分析操作者關于屏幕100上投影的投影圖像的輸入操作。此后將示例操作者關于投影圖像的輸入操作的特定例子，但是可以分析各種輸入操作以及下面示例的輸入操作。
分析單元46可以基于例如如圖7所示的被檢測為輸入單元的操作者的手指的移動來檢測在投影圖像中寫入字符或圖片的操作。當操作者的手指處于距屏幕100預定距離的區(qū)域之外時，換句話說，當手指遠離屏幕100時，操作者的手指沒有被檢測為輸入單元。 此后，操作者的手指接近屏幕100以進入預定距離的區(qū)域，操作者的手指被檢測為輸入單元并且開始手指移動的檢測。然后，當手指移動接近屏幕100時，檢測該移動，并且當手指移動遠離屏幕100時，完成該移動的檢測。因為僅當如上所述手指在屏幕100附近時才檢測手指的移動，因此手指指尖位置的軌跡可以被識別為在投影圖像中寫入的字符或圖片。
當分析單元46檢測投影圖像中寫入字符或圖片的操作時，寫入字符或圖片的形狀和寫入位置的信息(坐標)被從分析單元46發(fā)送到圖像處理單元47。圖像處理單元47基于來自分析單元46的信息，將字符或圖片重疊到通信裝置6從PC 101接收的圖像上。然后，其上由圖像處理單元47重疊了字符或圖片的圖像被發(fā)送到投影裝置2。由此，將投影圖像投影到屏幕100上，在投影圖像上對應于操作者的輸入操作寫入字符或圖片。這里，取代圖像處理單元47在來自PC 101的圖像上重疊圖片或字符，字符或圖片的形狀和圖像上寫入位置的信息可以使用執(zhí)行寫入處理的指令而從通信裝置6發(fā)送到PC 101。在這種情況下，其上由PC 101側(cè)重疊了字符或圖片的圖像被發(fā)送到投影儀裝置1，并在其上對應于操作者的輸入操作寫入了字符或圖片的投影圖像被投影到屏幕100上。此外，分析單元46可以基于例如圖8所示被檢測為輸入單元的操作者的手指在投影圖像上的位置，來檢測投影圖像中包括的按鈕的操作。具體地，用于從操作者接收輸入的按鈕被包括在投影圖像中，并且當操作者的指尖在投影圖像上的按鈕位置停留預定時間時，可以識別操作者已經(jīng)操作了按鈕。當分析單元46檢測投影圖像中包括的按鈕的操作時，與按鈕操作相對應的指令被從通信裝置6發(fā)送到PC 101。PC 101執(zhí)行與投影儀裝置I發(fā)送的指令相對應的處理。由此，可以執(zhí)行與操作者在投影圖像上的按鈕操作相對應的處理。此外，分析單元46可以從例如圖9所示被檢測為輸入單元的操作者的手指的移動檢測到投影圖像的頁面進展操作。具體地，當操作者的指尖在屏幕100上快速移動并且位移的距離和方向處于預定范圍內(nèi)時，可以識別操作者進行了投影圖像的頁面進展操作。當分析單元46檢測投影圖像的頁面進展操作時，與頁面進展操作相對應的指令被從通信裝置6發(fā)送到PC 101。PC 101根據(jù)從投影儀裝置I發(fā)送的指令執(zhí)行將要被發(fā)送到頁面投影儀裝置I的圖像切換到下一頁或前一頁的處理。這使得能夠根據(jù)操作者的頁面進展操作進行屏幕100上投影的投影圖像的頁面切換。此外，分析單元46可以從例如圖10所示的被檢測為輸入單元的操作者的兩個手指的移動中檢測投影圖像的放大/縮小操作。具體地，當操作者的兩個手指彼此遠離時，可以識別操作者進行了投影圖像的放大操作。當操作者的兩個手指彼此靠近時，可以識別操作者進行了投影圖像的縮小操作。當分析單元46檢測投影圖像的放大/縮小操作時，與投影圖像的放大/縮小操作相對應的指令被從通信裝置6發(fā)送給PC 101。PC 101根據(jù)從投影儀裝置I發(fā)送的指令執(zhí)行放大/縮小要被發(fā)送給投影儀裝置I的圖像的處理。這使得能夠根據(jù)操作者在投影圖像上的操作來放大/縮小屏幕100上投影的投影圖像。圖11是示出了從檢測操作者關于投影圖像的輸入操作直到由上述控制裝置4的各個功能元件執(zhí)行與輸入操作相對應的處理的時序處理過程的流程圖。此后，在這個流程圖之后描述控制裝置4的處理的總結(jié)。首先，在步驟SlOl中，距離圖像形成單元41基于立體攝像機3的兩個成像元件30a和30b輸出的兩個圖像來形成立體攝像機3的成像區(qū)域的距離圖像。在步驟S102中，輸入單元檢測單元43基于步驟SlOl中距離圖像形成單元41形成的距離圖像計算從投影儀裝置1到其上投影了投影圖像的屏幕100的距離。在步驟S103中，候選識別單元42使用立體攝像機3的兩個成像元件30a和30b中的一個成像元件輸出的圖像從立體攝像機3的成像區(qū)域中存在的對象中識別要成為輸入單元的候選的對象。
在步驟S104中，輸入單元檢測單元43使用在步驟S102中計算的距屏幕100的距離作為參考來識別距屏幕100的位置預定距離的區(qū)域中存在的對象，并且輸入單元檢測單元43在識別的對象中檢測步驟S103中由候選識別單元42識別為輸入單元的候選的對象作為輸入單元。
在步驟S105中，位置檢測單元44檢測輸入單元在投影圖像上的位置，該輸入單元已經(jīng)在步驟S104中由輸入單元檢測單元43檢測到。
在步驟S 106中，移動檢測單元45使用從立體攝像機3的兩個成像元件30a和 30b中的一個成像元件順序輸出的多個圖像來確定在步驟S 104中已經(jīng)由輸入單元檢測單元43檢測的輸入單元是否在投影圖像上移動。并且如果輸入單元在投影圖像上移動(步驟 S106 :是)，則在步驟S107中移動檢測單元45通過追蹤輸入單元經(jīng)過多個圖像來檢測輸入單元的移動。另一方面，如果輸入單元沒有在投影圖像上移動(步驟S106 :否)，則處理跳過步驟S107中的移動檢測而到達步驟S108。
在步驟S108中，分析單元46基于步驟S105中位置檢測單元44檢測的輸入單元的位置和步驟S107中移動檢測單元45檢測的輸入單元的移動中的至少一個，分析操作者關于屏幕100上投影的投影圖像的輸入操作。在步驟S109中，根據(jù)步驟S108中分析單元 46分析的輸入操作的內(nèi)容來執(zhí)行關于投影圖像的處理。
如上所述，根據(jù)該實施例的投影儀裝置I使用立體攝像機3檢測操作者關于投影圖像的輸入操作，并且因此可以正確地檢測操作者的輸入操作。具體地，使用立體攝像機3 的距離圖像，關于立體攝像機3的成像區(qū)域中存在的對象，深度方向(Z方向)中的位置(至對象的距離)以及圖像平面(X和Y方向)的位置都可以被檢測到。由此，在立體攝像機3的成像區(qū)域中存在的對象中，僅處于與其上投影了投影圖像的屏幕100接近的位置處的對象可以被檢測為執(zhí)行關于投影圖像的輸入操作的輸入單元。然后，基于輸入單元在投影圖像上檢測的位置和在X和Y方向上輸入單元的移 動，可以正確地檢測操作者關于投影圖像的輸入操作。
傳統(tǒng)地，不具有立體攝像機而具有單目攝像機的投影儀裝置是公知的。單目攝像機不能檢測成像區(qū)域中存在的對象的距離(深度)，并且不能計算三維坐標位置。由此，在日本專利No. 3950837中描述的技術中，例如，當接觸板(屏幕)時發(fā)射紅外光并生成超聲波的特殊筆被用作輸入單元，使得可以將字符和圖片寫入到投影圖像上。然而，該技術具有多樣性差和高設備成本的缺點，因為必須使用特殊筆以在投影圖像上寫入字符和圖片，并且必須在板上提供用于接收紅外光和接收超聲波的信號處理器。相反地，根據(jù)本實施例的投影儀裝置I可以例如通過操作者的手指在投影圖像上寫入字符和圖片，而不需要使用特殊筆等。此外，根據(jù)本實施例的投影儀裝置I可以恰當?shù)貦z測各種輸入操作，例如包括投影圖像的放大和縮小，這很難由使用這樣的特殊筆的操作實現(xiàn)。
此外，通過從單目攝像機捕獲的圖像中檢測操作者的手指等的位置和移動并且分析關于投影圖像的輸入操作的配置，可能錯誤地檢測具有類似形狀的手指等(如果被包括作為投影圖像中的圖像)作為要執(zhí)行輸入操作的對象，從而執(zhí)行了錯誤的處理。相反地，使用立體攝像機3的距離圖像，可以清楚地辨別在屏幕100上投影為投影圖像的手指和在屏幕100附近執(zhí)行輸入操作的手指，并且由此可以防止如上所述的錯誤檢測。
這里，立體攝像機3的距離圖像在許多情況下具有沒有顏色信息、對象的不精確的輪廓等缺點。由此，很難根據(jù)執(zhí)行關于投影圖像的輸入操作的操作者的個體差異或根據(jù)輸入操作的背景和條件的差異，僅從距離圖像檢測操作者的手指。在這種情況下，可以通過分析從立體攝像機3的成像元件30a和30b中的一個成像元件輸出的圖像以檢測成像區(qū)域中存在的手指，并且通過使用如上所述的距離圖像識別屏幕100附近存在的手指，從而改善檢測精確度。同時，許多投影儀裝置通常具有用于啟動時自動地聚焦于投影圖像的自動聚焦功能、用于校正投影圖像的梯形失真的梯形校正功能等。為了實現(xiàn)如上所述的功能，現(xiàn)有投影儀裝置具有各種傳感器。例如，已知通過使用日本公開專利公開號2003-42733中描述的光學傳感器測量距其上投影了投影圖像的屏幕的距離，并且基于該距離調(diào)節(jié)投影透鏡的位置從而向投影儀裝置提供自動聚焦功能。此外，已知在日本公開專利公開號2000-122617中描述的投影儀裝置的前表面上的不同位置處提供多個距離傳感器，使得控制微計算機基于距離傳感器的檢測結(jié)果計算投影儀裝置關于投影表面的入射角，從而向投影儀裝置提供梯形校正功能。
相反地，因為根據(jù)實施例的投影儀裝置I具有立體攝像機3，可以使用立體攝像機3實現(xiàn)自動聚焦功能和梯形校正功能。這意味著根據(jù)該實施例的投影儀裝置I可以通過使用立體攝像機3的距離圖像檢測至屏幕100的距離和屏幕100關于投影儀裝置I的傾斜，從而實現(xiàn)自動聚焦功能和梯形校正功能。由此不需要分開提供用于實現(xiàn)自動聚焦功能的光學傳感器和用于實現(xiàn)梯形校正功能的多個距離傳感器等。此后，自動聚焦功能和梯形校正功能的具體例子由根據(jù)該實施例的投影儀裝置I實現(xiàn)。例如，在控制裝置4的控制下在啟動投影儀裝置I時，投影儀裝置I的自動聚焦功能被執(zhí)行為一個初始設置操作。當投影儀裝置I上電時，控制裝置4首先激活投影裝置2，并且向投影裝置2提供打開屏幕的圖像，其被預先存儲在存儲裝置5等中。然后，投影裝置
2將打開圖像的投影圖像投影到屏幕100上?？刂蒲b置4還激活立體攝像機3，并且使其開始成像包括屏幕100上投影的打開圖像的投影圖像的成像區(qū)域。例如，打開圖像包括公司標志等。立體攝像機3的成像元件30a和30b分別輸出成像區(qū)域的圖像信號，并且該信號被轉(zhuǎn)換為將被輸入到控制裝置4的數(shù)字數(shù)據(jù)?？刂蒲b置4 (距離圖像形成單元41)使用這些來自立體攝像機3的這些圖像形成距離圖像，并且控制裝置4從距離圖像檢測例如距打開圖像中包括的標志的距離，從而檢測從投影儀裝置I到屏幕100的距離。然后，控制裝置4基于檢測的到屏幕100的距離將驅(qū)動控制信號發(fā)送給投影裝置2。驅(qū)動控制信號用于在光軸方向上移動投影裝置2的投影透鏡2a。投影裝置2將投影透鏡2a移動到與來自控制裝置4的驅(qū)動控制信號相對應的焦點位置。由此，可以在屏幕100上投影焦點對準的投影圖像。通常，當投影圖像的投影角關于屏幕100偏離時，很不幸投影儀裝置投影具有稱為梯形失真(還稱為梯形畸變)的失真的屏幕。由此，通常將兩個距離傳感器布置在投影儀裝置的前表面，從而基于兩個距離傳感器測量的至屏幕100的距離來計算投影儀裝置和屏幕100之間的傾斜角Θ。然后基于計算的傾斜角，通常校正投影的屏幕的梯形失真。圖12是示意性示出現(xiàn)有梯形校正處理的圖。如圖12所示，兩個距離傳感器201和202被布置在投影儀裝置200的前表面?zhèn)壬系木嚯xd處。此時，投影儀裝置200和屏幕 100之間的傾斜角Θ表示為下面的等式(2)，其中從兩個距離傳感器201和202至屏幕100 的距離輸出值被指示為Dl和D2。
tan Θ =(Dl-D2)/d(2)
這樣的現(xiàn)有形式具有如下缺點。即，從兩個距離傳感器201和202的距離輸出值 Dl和D2可以測量僅圍繞X軸的傾斜。為了測量圍繞Y軸的傾斜，必須再提供兩個距離傳感器。此外，兩個距離傳感器201和202的間距d不能大于投影儀裝置200的寬度。由此， 在較大屏幕100中僅在不寬于投影儀裝置200的寬度的窄區(qū)域內(nèi)測量傾斜，并且由此屏幕 100的傾斜作為整體不能被檢測。
在根據(jù)實施例的投影儀裝置I中，立體攝像機3被用于檢測如上所述屏幕100關于投影儀裝置I的傾斜。使用立體攝像機3，通過將立體攝像機3的透鏡32a和32b設計為寬，成像區(qū)域可以是寬的區(qū)域，并且由此可以測量該寬的區(qū)域中的距離。例如，當對角線視角被設置為65度時，可以測量距投影儀裝置I的100英寸(S卩2米)的屏幕100的整個區(qū)域的 距離。由此，與如圖12所示使用投影儀裝置200的前表面上布置的兩個距離傳感器201 和202檢測屏幕100的傾斜角Θ的情況相比，可以在寬得多的區(qū)域中精確地檢測傾斜。
此外，由于立體攝像機3的成像元件30a和30b是二維傳感器，因此可以提供與成像元件30a和30b的像素數(shù)目相對應的多個焦點。例如，當使用尺寸(640X480像素)的視頻圖形陣列(VGA)的成像元件30a和30b并且通過設置8X6個像素作為一個單元來執(zhí)行匹配時，可以提供80X80個焦點。圖13示出了在與距離相對應的陰影中各自80X80個焦點的距離測量結(jié)果。當屏幕100完全不傾斜并且由此屏幕100的表面中的所有距離彼此相等時，表面中的密度如圖13 (b)中所示為均勻的。另一方面，當屏幕100向左或向右傾斜時，如圖13 (a)或(c)所示，密度是與傾斜相對應的不均勻的。
當屏幕100的表面中的每個焦點的距離如上所述是已知的時候，使用下面的等式(3)可以計算屏幕100關于投影儀裝置I的傾斜角Θ。在等式(3)中，LI是從投影儀裝置 I到屏幕100上投影的投影圖像的中心的距離，L2是從投影儀裝置I到屏幕100上投影的投影圖像的邊緣的距離。并且α是立體攝像機3的透鏡32a和32b的視角。
tan Θ = (L2-L1)/L2 X tan ( α/2)(3)
盡管這里僅描述了屏幕100的水平平面中的傾斜，但以類似的方式可以自然地檢測屏幕100的垂直平面中的傾斜。此外，因為使用立體攝像機3在多個焦點處測量距離， 因此當表面中存在稍微不均衡的傾斜時，仍可以檢測屏幕100的表面中該稍微不均衡的傾斜。這里，僅描述對傾斜的檢測，當可以精確地檢測傾斜時，可以以傳統(tǒng)方式類似地精確校正投影圖像的梯形失真。
在根據(jù)該實施例的投影儀裝置I中提供的立體攝像機3中，兩個成像元件30a和 30b如上所述整體形成在成像元件基板34上。例如，如圖14所示，可以通過整體切除通過公知的半導體工藝沿著虛線邊界在半導體晶圓50上形成的多個成像元件30中的兩個來獲得這樣的兩個成像元件30a和30b。
已經(jīng)使用掩膜對半導體晶圓50上的多個成像元件30進行了圖案化，并且由此從多個成像元件30切除的成像元件30a和30b以高精度對齊，使得成像元件30a和30b的像素矩陣彼此平行。此外，因為半導體晶圓50的表面是完全的平面，所以成像元件30a和30b的法線彼此平行。由此，成像元件30a和30b可以被正確地定位，而無需校正成像元件30a和30b的位置偏差和角度偏差的操作。通過使用如上所述具有成像元件30a和30b的立體攝像機3，可以精確地檢測距屏幕100的距離和距屏幕100的近側(cè)成像區(qū)域中存在的對象的距離。此外，在立體攝像機3中提供的成像元件30a和30b的尺寸與用于數(shù)字攝像機等的成像元件的尺寸(大約1/2. 3英寸)相比小得多。例如，可以使用用于移動電話的攝像機模塊的大約1/10英寸的小的成像元件。通常，小尺寸成像元件在暗的地方不能很好工作，因為進入元件的光量是小的，這是小尺寸成像元件的缺點。然而，根據(jù)本實施例的投影儀裝置I中提供的立體攝像機3確保足夠的光量，因為它成像在屏幕上投影了投影圖像的屏幕100。由此，即使當使用小尺寸成像元件時，也可以提供足夠的性能，并且小尺寸成像元件的使用能夠縮小立體攝像機3的尺寸?！ご送?，移動電話的攝像機模塊的成像元件在成本上具有優(yōu)勢，因為它可被大量制造，并且VGA尺寸(640X480像素)的成像元件特別廉價。由此，當通過公知半導體工藝在半導體晶圓50上形成的例如VGA尺寸的多個成像元件中的兩個成像元件被整體切除時，可以以低成本獲得如圖4B所示的整體形成在成像元件基板34上的兩個成像元件30a和30b。由此,還可以減少立體攝像機3的成本。在這個實施例中，立體攝像機3被描述為具有兩個成像元件30a和30b，但是立體攝像機3還可以被配置為具有三個或更多成像元件。在這種情況下，作為半導體晶圓50上形成的多個成像元件的成直線的三個或更多成像元件被整體切除，并且切除的成像元件可以被用作立體攝像機3的成像元件。通過該配置，當位于成直線的三個或更多成像元件的兩端的成像元件之間的距離是基線長度D時，基線長度D可以是大的。由此，從上面的等式
(I)中可以理解到差異Λ (=DXf/L)變?yōu)榇蟮?，并且由此以高精度測量距離。此外，在根據(jù)本實施例的投影儀裝置I中提供的立體攝像機3中，用于在成像元件30a和30b上形成光學圖像的透鏡32a和32b被整體形成為如上所述的透鏡陣列32。這是為了防止兩個透鏡32a和32b分開移動，從而以高精度檢測差異Λ。例如，如果兩個透鏡32a和32b被集成，當兩個透鏡32a和32b中的任一個偏離其位置時，另一個透鏡在相同方向上以相同量偏離其位置，并且因此作為兩個透鏡32a和32b之間的間隔的基線長度D可以被保持恒定。當基線長度D和透鏡焦距f被保持恒定時，從上面的等式(I)可知，差異Λ可以保持恒定。因為根據(jù)本實施例的投影儀裝置I中提供的立體攝像機3如上所述具有集成的成像元件30a和30b和集成的透鏡32a和32b，因此兩個透鏡32a和32b和兩個成像元件30a和30b即使存在震動、溫度變化和時間變化，也總是整體地一體移動。由此，差異△關于震動、溫度變化和時間變化是穩(wěn)定的。由此，可以使用高精度穩(wěn)定地檢測距離。投影儀裝置通常具有大光源，生成熱以明亮地顯示寬屏幕。還提供用于冷卻光源的冷卻風扇。由此，投影儀裝置具有熱和震動，但是根據(jù)本實施例的投影儀裝置I可以正確地檢測距離，因為在投影儀裝置I中使用了具有集成的成像元件30a和30b和集成的透鏡32a和32b的立體攝像機3，并且由此投影儀裝置I關于熱和震動是穩(wěn)定的。在根據(jù)本實施例的投影儀裝置I中，如上所述(參考圖5)的控制裝置4的特征功能配置可以由運行控制程序的控制裝置4的CPU實現(xiàn)。在這種情況下，控制裝置4的CPU 運行的控制程序可以被事先嵌入并提供在例如存儲裝置5包括的ROM中。
由控制裝置4的CPU運行的控制程序可以被配置為具有如下格式的文件可以被安裝或運行，并且在例如⑶-RAM、軟盤、⑶-R、DVD等的可讀記錄介質(zhì)中記錄和提供。此外， 控制裝置4的CPU運行的控制程序可以被配置為存儲在連接至例如因特網(wǎng)的網(wǎng)絡的計算機中，并且通過經(jīng)由網(wǎng)絡下載而被提供。此外，控制裝置4的CPU運行的控制程序可以被配置為經(jīng)由例如因特網(wǎng)的網(wǎng)絡提供或分發(fā)。
控制裝置4的CPU運行的控制程序可以具有模塊配置，包括例如距離圖像形成單元41、候選識別單元42、輸入單元檢測單元43、位置檢測單元44、移動檢測單元45、分析單元46和圖像處理單元47。CPU (處理器)作為實際硬件從ROM讀取控制程序，并且運行控制程序，由此上述各個單元載入到主存儲裝置(例如RAM)，使得距離圖像形成單元41、候選識別單元42、輸入單元檢測單元43、位置檢測單元44、移動檢測單元45、分析單元46和圖像處理單元47形成在主存儲裝置上。
盡管上面描述了本發(fā)明的特定實施例，本發(fā)明不局限于上述實施例，而是當通過元件的改變進行實施時不偏離本發(fā)明的范圍。例如，上述實施例中距離圖像由控制裝置4 形成，但是距離圖像也可以由立體攝像機3通過提供DSP等來處理立體攝像機3上的數(shù)字信號來形成，然后形成的距離圖像可以被發(fā)送給控制裝置4。此外，在上述實施例中操作者關于投影圖像的輸入操作是由投影儀裝置I檢測，但是立體攝像機3的距離圖像可以被發(fā)送給PC 101，并且然后PC 101可以檢測操作者關于投影圖像的輸入操作。
根據(jù)實施例，獲取在包括投影圖像的投影表面的成像區(qū)域中存在的對象的距離信息，如果對象存在于距投影表面預定距離的區(qū)域中，則對象被識別為執(zhí)行投影圖像的輸入操作的輸入單元，并且基于輸入單元的位置和移動中的至少一個分析投影圖像的輸入操作，由此具有如下效果通過檢測對投影圖像的輸入可以實現(xiàn)各種功能而不使用專用的輸入裝置。
盡管為了完整和清楚的公開描述了本發(fā)明的特定實施例，所附的權利要求并不由此受限，而是被構(gòu)建為本領域普通技術人員能夠做出的所有修改和等效構(gòu)建均落入這里所述的基本教導中。
權利要求
1.一種投影儀裝置，包括 投影單元，用于將投影圖像投影到投影表面上； 圖像捕獲單元，用于通過多個成像元件捕獲包括投影表面的成像區(qū)域的圖像； 距離獲取單元，基于所述多個成像元件輸出的多個圖像，獲取指示圖像捕獲單元和成像區(qū)域中存在的對象之間距離的距離信息； 輸入單元檢測單元，基于距離信息，當對象存在于距投影表面預定距離的區(qū)域中時，將對象檢測為執(zhí)行關于投影圖像的輸入操作的輸入單元；以及 分析單元，基于輸入單元在投影圖像上的位置和移動中的至少一個來分析關于投影圖像的輸入操作。
2.根據(jù)權利要求1所述的投影儀裝置，還包括 存儲單元，用于存儲要作為輸入單元的候選的對象的特征值；以及候選識別單元，基于從所述多個成像元件的至少一個成像元件輸出的圖像和特征值，將成像區(qū)域中存在的對象識別為要作為輸入單元的候選的對象， 其中，所述輸入單元檢測單元將由候選識別單元識別并且存在于距投影表面預定距離的區(qū)域中的對象檢測為輸入單元。
3.根據(jù)權利要求1或2所述的投影儀裝置，還包括 移動檢測單元，基于從所述多個成像元件中的至少一個成像元件順序輸出的多個圖像來檢測輸入單元的移動， 其中，所述分析單元基于由移動檢測單元檢測的輸入單元的移動來分析關于投影圖像的輸入操作。
4.根據(jù)權利要求1或2所述的投影儀裝置，其中， 所述圖像捕獲單元包括多個透鏡，分別在所述多個成像元件上形成成像區(qū)域的圖像， 所述多個成像元件整體設置在一個基板上，并且 所述多個透鏡整體形成并且定位為分別面向所述多個成像元件。
5.一種操作檢測方法，在投影儀裝置中執(zhí)行，所述投影儀裝置包括用于將投影圖像投影到投影表面上的投影單元和用于通過多個成像元件捕獲包括投影表面的成像區(qū)域的圖像的圖像捕獲單元，所述方法包括 基于所述多個成像元件輸出的多個圖像，獲取指示圖像捕獲單元和成像區(qū)域中存在的對象之間距離的距離信息； 基于距離信息，當對象存在于距投影表面預定距離的區(qū)域中時，將對象檢測為執(zhí)行關于投影圖像的輸入操作的輸入單元；以及 基于輸入單元在投影圖像上的位置和移動中的至少一個來分析關于投影圖像的輸入操作。
全文摘要
公開了投影儀裝置和操作檢測方法。該投影儀裝置包括投影單元，用于將投影圖像投影到投影表面上；圖像捕獲單元，用于通過成像元件捕獲包括投影表面的成像區(qū)域的圖像；距離獲取單元，基于成像元件輸出的圖像獲取指示圖像捕獲單元和成像區(qū)域中存在的對象之間距離的距離信息；輸入單元檢測單元，基于距離信息，當對象存在于距投影表面預定距離的區(qū)域中時，檢測對象作為執(zhí)行關于投影圖像的輸入操作的輸入單元；以及分析單元，基于輸入單元在投影圖像上的位置和移動中的至少一個分析關于投影圖像的輸入操作。
文檔編號G03B21/14GK103002239SQ20121033699
公開日2013年3月27日 申請日期2012年9月12日 優(yōu)先權日2011年9月14日
發(fā)明者大內(nèi)田茂 申請人:株式會社理光