圖像處理裝置、包括圖像處理裝置的投影儀和投影儀系統(tǒng)、圖像處理方法
【專利摘要】圖像處理裝置包括成像單元，配置為拍攝包括對象的區(qū)域的圖像并且獲取圖像數(shù)據(jù)，其中在所述對象上投影圖像；距離測量單元，配置為基于圖像數(shù)據(jù)計算與對象和成像單元之間的距離有關(guān)的距離數(shù)據(jù)；平面估計單元，配置為基于距離數(shù)據(jù)估計與對象對應(yīng)的平面；以及校正信息計算單元，配置為基于距離數(shù)據(jù)和與平面有關(guān)的平面信息，計算與要投影的圖像的校正有關(guān)的校正信息。
【專利說明】圖像處理裝置、包括圖像處理裝置的投影儀和投影儀系統(tǒng)、圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置、包括該圖像處理裝置的投影儀和投影儀系統(tǒng)以及圖像處理方法。
【背景技術(shù)】
[0002]投影儀是將圖像投影到諸如屏幕之類的對象的設(shè)備。當投影圖像時，投影后的圖像可能取決于投影儀和對象的傾斜角度變得失真為梯形形狀。為了解決投影后的圖像的梯形失真，存在配備有用于預(yù)先校正(變形)要投影的圖像的圖像處理裝置的投影儀。
[0003]存在用于基于投影儀和對象之間的距離以及投影儀和對象的傾斜角度校正要投影的圖像的圖像處理裝置。
[0004]專利文獻I公開這樣的技術(shù)，該技術(shù)將形成預(yù)定圖案的多個對象點投影在投影對象的表面上，并且基于到對象點的距離檢測投影對象和背景(投影對象的輪廓)之間的邊界，并且校正投影圖像(要投影的圖像)以與邊界對應(yīng)。
[0005]當利用投影儀投影圖像時，在很多情形下，圖像在預(yù)定時間段內(nèi)連續(xù)被投影。如果在投影圖像的同時移動對象或者投影儀，則投影儀再次測量距離和傾斜角度以校正投影后的圖像。
[0006]利用專利文獻I中公開的技術(shù)，可以基于到對象的距離執(zhí)行投影后的圖像的梯形校正。然而，為了測量距離，存在這樣的情形，在該情形中，有必要中斷投影儀對圖像的投影，并且再次投影預(yù)定圖案。
[0007]專利文獻1:日本特開專利公開第2005-229415。

【發(fā)明內(nèi)容】

[0008]鑒于上述問題，已經(jīng)做出了本發(fā)明，并且本發(fā)明的至少一個實施例的目的是提供圖像處理裝置、包括該圖像處理裝置的投影儀和投影儀系統(tǒng)以及圖像處理方法，利用其在投影圖像的同時對象和投影儀之間的位置關(guān)系改變的情況下，可以校正投影后的圖像，而不需要中斷投影圖像的操作。
[0009]根據(jù)本發(fā)明的一個方面，提供圖像處理裝置，包括:成像單元，配置為拍攝包括圖像投影在其上的對象的區(qū)域的圖像并且獲取圖像數(shù)據(jù)；距離測量單元，配置為基于圖像數(shù)據(jù)計算與對象和成像單元之間的距離有關(guān)的距離數(shù)據(jù)；平面估計單元，配置為基于距離數(shù)據(jù)估計與對象對應(yīng)的平面；以及校正信息計算單元，配置為基于距離數(shù)據(jù)和與平面有關(guān)的平面信息，計算與要投影的圖像的校正有關(guān)的校正信息。
[0010]根據(jù)本發(fā)明的一個方面，提供圖像處理方法，包括:由成像單元拍攝包括圖像投影在其上的對象的區(qū)域的圖像并且獲取圖像數(shù)據(jù)；基于圖像數(shù)據(jù)計算與對象和成像單元之間的距離有關(guān)的距離數(shù)據(jù)；基于距離數(shù)據(jù)估計與對象對應(yīng)的平面；以及基于距離數(shù)據(jù)和與平面有關(guān)的平面信息，計算與要投影的圖像的校正有關(guān)的校正信息?！緦＠綀D】

【附圖說明】
[0011]圖1是圖像處理裝置的示例的示意圖；
[0012]圖2是圖像處理裝置的功能框圖；
[0013]圖3是估計平面的操作的示例的流程圖；
[0014]圖4A和4B圖示拍攝投影對象的圖像的操作；
[0015]圖5A和5B圖示估計平面的方法；
[0016]圖6是計算校正信息的操作的示例的流程圖；
[0017]圖7圖示從虛擬相機獲取虛擬圖像數(shù)據(jù)的操作；
[0018]圖8A和8B圖示虛擬圖像數(shù)據(jù)；
[0019]圖9A和9B圖示梯形校正轉(zhuǎn)換矩陣的計算；
[0020]圖10是根據(jù)第一實施例的投影儀的示意圖；
[0021]圖11是由根據(jù)第一實施例的投影儀執(zhí)行的投影操作的示例的流程圖；
[0022]圖12A到12C圖示根據(jù)第一實施例的提取投影后的圖像的特征點和對應(yīng)點的示例；
[0023]圖13A到13C圖示根據(jù)第一實施例的要投影的圖像的校正；
[0024]圖14是根據(jù)第二實施例的投影儀的示意圖；
[0025]圖15A到15C圖示根據(jù)第二實施例的點圖案；
[0026]圖16是根據(jù)第三實施例的投影儀的示意圖；
[0027]圖17圖示根據(jù)第三實施例的多邊形網(wǎng)格；
[0028]圖18圖示根據(jù)第三實施例的依據(jù)法向矢量估計平面的方法；
[0029]圖19是根據(jù)第四實施例的投影儀系統(tǒng)的示意圖；以及
[0030]圖20圖示根據(jù)第四實施例的投影圖像的操作。
【具體實施方式】
[0031]參考附圖對本發(fā)明的實施例給出描述。
[0032]由圖像處理裝置描述本發(fā)明的實施例，該圖像裝置用于通過對由拍攝包括對象的區(qū)域的圖像而獲得的圖像執(zhí)行圖像處理，來計算與校正投影后的圖像有關(guān)的信息。
[0033]圖像處理裝置的配置
[0034]圖1是圖像處理裝置的示例的示意圖。
[0035]在圖1中，圖像處理裝置100包括控制單元110、成像單元120、距離測量單元130、平面估計單元140和校正信息計算單元150。
[0036]圖像處理裝置100由成像單元120，通過拍攝包括在其上投影圖像的對象(在下文中，“投影對象”)的區(qū)域的圖像來獲取圖像數(shù)據(jù)。圖像處理裝置100由距離測量單元130計算與成像單元120和投影對象之間的距離有關(guān)的距離數(shù)據(jù)。另外，圖像處理裝置100由平面估計單元140估計與投影對象對應(yīng)的平面，并且基于與估計出的平面和計算出的距離數(shù)據(jù)有關(guān)的信息，計算與要校正的圖像的校正(諸如放大和縮小之類的圖像處理，在下文中“校正”)有關(guān)的信息。
[0037]作為投影對象，使用這樣的對象:圖像可以投影在所述對象上的外部表面上，諸如屏幕、墻和白板。
[0038]控制單元110用于控制整個圖像處理裝置100?？刂茊卧?10基于從外部輸入的信息控制成像單元120等。另外，控制單元110基于從外部輸入的信息控制與由圖像處理裝置100的圖像處理的結(jié)果有關(guān)的信息的輸出。
[0039]成像單元120將包括投影目標的區(qū)域的圖像對焦在成像傳感器上，并且從圖像傳感器的像素輸出信號(電信號)獲取與圖像有關(guān)的圖像數(shù)據(jù)。在本實施例中，成像單元120包括立體相機和成像圖像生成單元。
[0040]立體相機包括兩個成像鏡頭和兩個成像傳感器，并且用兩個成像鏡頭同時拍攝投影對象的兩個圖像。成像鏡頭用于輸入投影對象的圖像在成像傳感器中。成像傳感器具有光接收表面，在該光接收表面上，多個光接收元件以格子布置。成像傳感器將通過成像鏡頭輸入的圖像對焦在其光接收表面上。
[0041]成像圖像生成單元基于成像傳感器的像素輸出信號，生成與包括投影目標的區(qū)域的圖像有關(guān)的圖像數(shù)據(jù)。
[0042]距離測量單元130用于測量圖像處理裝置100 (成像單元120)和投影對象之間的距離。距離測量單元130基于由成像單元120獲取的兩組圖像數(shù)據(jù)，通過三角測量的原理，計算從圖像處理裝置100 (成像單元120)到投影對象的距離。下面給出細節(jié)(測量距離的操作)。
[0043]平面估計單元140基于由距離測量單元130計算的距離數(shù)據(jù)，遞歸地近似與投影對象對應(yīng)的平面。這里，遞歸地近似平面意味著基于多個位置近似地估計平面，并且然后排除離開估計出的平面預(yù)定距離的位置并且再次估計該平面(回歸分析)。下面給出細節(jié)(估計平面的操作)。
[0044]校正信息計算單元150基于由平面估計單元140估計的平面有關(guān)的信息，計算與要投影的圖像的校正有關(guān)的信息。下面給出細節(jié)(計算校正信息的操作)。
[0045]在下面的描述中，作為與圖像有關(guān)的數(shù)據(jù)，“內(nèi)容圖像數(shù)據(jù)Aimg”是與從PC向投影部件(例如，投影儀)輸入的圖像有關(guān)的圖像數(shù)據(jù)。
[0046]“相機圖像數(shù)據(jù)Cimg”是與由成像單元120通過拍攝投影后的內(nèi)容圖像數(shù)據(jù)Aimg的圖像而獲得的圖像有關(guān)的圖像數(shù)據(jù)。相機圖像數(shù)據(jù)Cimg由對電信號(像素輸出信號)執(zhí)行數(shù)字處理生成，其指示由成像單元120的光接收元件接收到的光的亮度。
[0047]“虛擬圖像數(shù)據(jù)Vimg”是與相機圖像數(shù)據(jù)Cimg有關(guān)的圖像數(shù)據(jù)，其中，假設(shè)圖像從投影對象的外部表面(在其上投射圖像的表面)的法線方向(在下文中，“前面方向”)拍攝。虛擬圖像數(shù)據(jù)Vimg基于與由校正信息計算單元150計算出的法線矢量有關(guān)的信息，利用下面描述的透視投影轉(zhuǎn)換矩陣P生成。
[0048]“投影儀圖像數(shù)據(jù)Pimg”是通過校正內(nèi)容圖像數(shù)據(jù)Aimg而獲得的圖像數(shù)據(jù)，用于解決虛擬圖像數(shù)據(jù)Vimg的梯形失真。投影儀圖像數(shù)據(jù)Pimg基于與由校正信息計算單元150計算出的校正有關(guān)的信息，利用下面描述的梯形校正轉(zhuǎn)換矩陣Hpp生成。
[0049]圖像處理裝置的功能
[0050]參考圖2描述圖像處理裝置的功能的示例。圖2是圖像處理裝置的功能框圖。
[0051]如圖2中指示，控制單元110向成像單元120輸出指令開始成像的信號，從而開始圖像處理的操作。[0052]成像單元120用立體相機拍攝包括投影目標的區(qū)域的圖像，以獲取兩組相機圖像數(shù)據(jù)Cimg。成像單元120向距離測量單元130輸出所獲取的相機圖像數(shù)據(jù)Cimg。
[0053]距離測量單元130基于兩組相機圖像數(shù)據(jù)Cimg計算與投影對象的外部表面上的多個位置(在下文中，“對應(yīng)點”)對應(yīng)的距離數(shù)據(jù)。另外，距離測量單元130向平面估計單元140和校正信息計算單元150輸出距離數(shù)據(jù)。距離數(shù)據(jù)是與從圖像處理裝置100到投影對象(對應(yīng)點)的距離有關(guān)的數(shù)據(jù)。下面給出測量距離的方法的細節(jié)(測量距離的操作)。
[0054]平面估計單元140依據(jù)由距離測量單元130計算出的距離數(shù)據(jù)，將回歸平面數(shù)據(jù)計算為與投影目標對應(yīng)的平面。平面估計單元140向校正信息計算單元150輸出回歸平面數(shù)據(jù)?；貧w平面數(shù)據(jù)是與三維空間中包括多個位置的平面有關(guān)的數(shù)據(jù)。下面給出估計方法的細節(jié)(估計平面的操作)。
[0055]校正信息計算單元150基于距離測量單元130的距離數(shù)據(jù)和平面估計單元140的回歸平面數(shù)據(jù)，計算與校正內(nèi)容圖像數(shù)據(jù)Aimg有關(guān)的信息。具體地，校正信息計算單元150基于距離數(shù)據(jù)和回歸平面數(shù)據(jù)，計算下面描述的凸包數(shù)據(jù)Cl (圖SB)。另外，校正信息計算單元150基于凸包數(shù)據(jù)Cl，計算校正內(nèi)容圖像數(shù)據(jù)Aimg所需的梯形校正轉(zhuǎn)換矩陣(在下文中，“與校正有關(guān)的信息”)，以消除(解決)虛擬圖像數(shù)據(jù)Vimg的梯形失真。下面給出計算方法的細節(jié)(計算校正信息的操作)。
[0056]校正信息計算單元150由控制單元110輸出與對投影部件(未示出)的校正有關(guān)的信息。
[0057]測量距離的操作
[0058]給出對由距離測量單元130執(zhí)行的、利用成像單元120的立體相機計算與從成像單元120 (圖像處理裝置100)到對應(yīng)點(投影對象)的距離有關(guān)的距離數(shù)據(jù)的操作的描述。
[0059]立體相機包括第一相機(標準相機)和第二相機(參考相機)。第一相機和第二相機包括第一成像鏡頭和第二成像鏡頭，以及位于第一成像鏡頭和第二成像鏡頭的后面方向(與朝向投影對象的方向相反的方向)的第一成像傳感器和第二成像傳感器。作為成像傳感器，可以使用區(qū)域傳感器、表面?zhèn)鞲衅骱投S傳感器。
[0060]第一成像鏡頭和第二成像鏡頭以預(yù)定間隔D (在下文中，“基礎(chǔ)長度”)平行放置，并且第一成像鏡頭的光軸和第二成像鏡頭的光軸相互平行。另外，第一成像傳感器具有前側(cè)(與后側(cè)相反)表面上的光接收表面，在該光接收表面上對焦對象的圖像。定位第一成像鏡頭的光軸，以匹配第一成像傳感器的光接收表面的對角線的中心。
[0061]通過位移視差Λ，將通過第一成像鏡頭輸入的投影對象的第一圖像和通過第二成像鏡頭輸入的投影對象的第二圖像對焦在各個光接收單元上。成像傳感器執(zhí)行光電轉(zhuǎn)換，以將由第一圖像和第二圖像的光引起的亮度轉(zhuǎn)換為像素輸出信號，并且向距離測量單元130輸出該像素輸出信號。此時，距離測量單元130比較像素輸出信號，并且依據(jù)光接收表面上的光接收元件(像素)的位置(坐標)檢測視差Λ。基于視差Λ、基礎(chǔ)長度D、圖像處理裝置100和投影對象之間的距離L以及各成像鏡頭之間的焦距f，在L>f的情況下建立以下公式(三角測量的原理)。
[0062]公式I
[0063]L=D.f/ Δ
[0064]在該情形下，D和f是已知值。[0065]距離測量單元130基于檢測到的視差Λ利用公式I計算距離L。
[0066]接著，給出對由距離測量單元130執(zhí)行的、計算對應(yīng)點的絕對坐標(XYZ坐標)的操作的詳細描述。假設(shè)X軸是基礎(chǔ)長度D的方向，Y軸是沿著與X軸垂直的成像傳感器的光接收表面的方向，并且Z軸是與X軸和Y軸垂直的方向(立體相機的光軸的方向)。另外，由公式2表達關(guān)于第一相機(下標r)和第二相機(下標I)的光接收表面的相對坐標(xyz坐標)。
[0067]公式2
[0068]mr= (xr, yr)，Hi1= (X1, yx)
[0069]在該情形下，由公式3表達視差Λ。
[0070]公式3
[0071]Δ=χ1Δ-χrΔ
[0072]接著，由公式4表達對應(yīng)點的坐標P (絕對坐標)。
[0073]公式4
[0074]P= (X，Y, Ζ)
[0075]在該情形下，根據(jù)公式I到3，由公式5表達對應(yīng)點的坐標P。
[0076]公式5
【權(quán)利要求】
1.一種圖像處理裝置，包括: 成像單元，配置為拍攝包括對象的區(qū)域的圖像并且獲取圖像數(shù)據(jù)，其中在所述對象上投影圖像； 距離測量單元，配置為基于圖像數(shù)據(jù)，計算與對象和成像單元之間的距離有關(guān)的距離數(shù)據(jù)； 平面估計單元，配置為基于距離數(shù)據(jù)，估計與對象對應(yīng)的平面；以及校正信息計算單元，配置為基于距離數(shù)據(jù)和與平面有關(guān)的平面信息，計算與要投影的圖像的校正有關(guān)的校正信息。
2.如權(quán)利要求1所述的圖像處理裝置，還包括: 位置移動確定單元，配置為確定成像單元和對象的位置之間的位置關(guān)系是否已經(jīng)改變，其中 成像單元以預(yù)定時間間隔拍攝區(qū)域的圖像，并且獲取多個圖像數(shù)據(jù)項， 距離測量單元，基于多個圖像數(shù)據(jù)項計算與預(yù)定時間間隔對應(yīng)的多個第一距離數(shù)據(jù)項， 平面估計單元基于多個第一距離數(shù)據(jù)項估計多個平面， 位置移動確定單元通過在多個平面之中比較一個平面和與預(yù)定時間間隔對應(yīng)的另一平面，確定成像單元和對象的位置之間的位置關(guān)系是否已經(jīng)改變，以及 當位置移動確定單元確定位置關(guān)系已經(jīng)改變時，校正信息計算單元基于已經(jīng)改變的位置關(guān)系計算校正信息。
3.如權(quán)利要求1或2所述的圖像處理裝置，其中 要投影的圖像包括圖案圖像，以及 距離測量單元提取圖案圖像，并且計算與圖案圖像對應(yīng)的距離數(shù)據(jù)。
4.如權(quán)利要求1或2所述的圖像處理裝置，其中 距離測量單元計算與該區(qū)域?qū)?yīng)的多個第二距離數(shù)據(jù)項，以及平面估計單元基于多個第二距離數(shù)據(jù)項計算多個法向矢量，并且基于該多個法向矢量估計平面。
5.一種投影儀，包括: 根據(jù)權(quán)利要求1至4中任一項所述的圖像處理裝置； 投影圖像生成單元，配置為基于校正信息校正要投影的圖像；以及 投影單元，配置為投影已經(jīng)由投影圖像生成單元校正的要投影的圖像。
6.一種投影儀系統(tǒng)，包括: 根據(jù)權(quán)利要求5所述的投影儀，其中 投影圖像生成單元以有線或者無線方式與投影儀通信。
7.一種圖像處理方法，包括: 由成像單元拍攝包括對象的區(qū)域的圖像并且獲取圖像數(shù)據(jù)，其中在所述對象上投影圖像； 基于圖像數(shù)據(jù)計算與對象和成像單元之間的距離有關(guān)的距離數(shù)據(jù)； 基于距離數(shù)據(jù)估計與對象對應(yīng)的平面；以及 基于距離數(shù)據(jù)和與平面有關(guān)的平面信息，計算與要投影的圖像的校正有關(guān)的校正信肩、O
8.如權(quán)利要求7所述的圖像處理方法，還包括: 確定成像單元和對象的位置之間的位置關(guān)系是否已經(jīng)改變，其中 由成像單元拍攝圖像包括以預(yù)定時間間隔拍攝區(qū)域的圖像，并且獲取多個圖像數(shù)據(jù)項， 距離數(shù)據(jù)的計算包括基于多個圖像數(shù)據(jù)項計算與預(yù)定時間間隔對應(yīng)的多個第一距離數(shù)據(jù)項，以及 平面的估計包括基于多個第一距離數(shù)據(jù)項估計與預(yù)定時間間隔對應(yīng)的多個平面， 確定包括通過在多個平面之中比較一個平面和與預(yù)定時間間隔對應(yīng)的另一平面，確定成像單元和對象的位置之間的位置關(guān)系是否已經(jīng)改變，以及 校正信息的計算包括當確定位置關(guān)系已經(jīng)改變時，基于已經(jīng)改變的位置關(guān)系計算校正信息。
9.一種用于使得計算機執(zhí)行根據(jù)權(quán)利要求7或8所述的圖像處理方法的程序。
10.一 種存儲根據(jù)權(quán)利要求9所述的程序的非瞬態(tài)計算機可讀記錄介質(zhì)。
【文檔編號】G03B21/00GK103765870SQ201280039743
【公開日】2014年4月30日 申請日期:2012年8月9日 優(yōu)先權(quán)日:2011年8月18日
【發(fā)明者】住吉信一, 長谷川史裕 申請人:株式會社理光