專利名稱：自適應的不可見結構光技術實現(xiàn)方法
技術領域：
本發(fā)明涉及一種計算機投影的信息嵌入技術領域的方法，具體是一種自適應的不可見結構光技術實現(xiàn)方法。
背景技術：
不可見結構光技術的全稱為"嵌入不可見結構光圖案技術"(EmbeddingImperceptible Structured-Light Patterns Technology), 與傳統(tǒng)的結構光技術相比，此技術特色在于人眼很難察覺到使此技術的結構光圖像，但與投影儀同步運行的高頻攝像機卻可以捕捉并識別嵌在圖像中的結構光圖像信息。由于在高速投影的條件下，人眼是幾乎無法發(fā)覺嵌在原始圖像上的結構光圖案信息。這樣標定投影儀與投影平面相對位置的工作，甚至是獲取整個投影場景3D信息的工作，都可以在不干擾和不影響用戶欣賞數(shù)字投影影像的條件下進行。
經對現(xiàn)有技術文獻的檢索發(fā)現(xiàn)，Cotting等人在《ISMAR》.(《關于增強現(xiàn)實和混合現(xiàn)實的國際研討會議》)(2004年，100 - 109頁)發(fā)表的《.EmbeddingImperceptible Patterns into Projected Images for Simultaneous Acquisitionand Display》(同步顯示和捕獲嵌入在投影圖像中的不可見圖案)上對提出了一種不可見結構光技術方案，他首先實驗測算出DLP投影儀的具體投影時隙，然后在特定的時隙將在二值編碼結構光圖像嵌在指定的色彩通道上?，F(xiàn)有技術中的不可見結構光的解析方法對原始圖像依賴程度很大，不同的原始圖像最終產生的投影效果的質量相差很大，而且解析出來的結構光圖像的精度不夠，誤差較大。所以目前還沒有一項技術能夠對任意圖像的不同特征來自適應地調整嵌入結構光亮度信息的值，并保證最終的投影效果。

發(fā)明內容
本發(fā)明的目的針對上述現(xiàn)有技術中的不足，提出了一種自適應的不可見結構光技術實現(xiàn)方法，本發(fā)明中，不可見結構光可以根據(jù)每個圖像的具體情況自動獲得最優(yōu)的結果，同時將這個自適應的方法運用在像素級別上，計算最合適嵌入結
4構光的顏色通道和亮度值，本發(fā)明分別克服了圖像依賴和精度不足兩大難題。本發(fā)明是通過如下技術實現(xiàn)的，包括如下步驟
步驟一，調整原始圖像亮度空間范圍將原始圖像每一個像素的亮度分別在
RGB各通道上的亮度空間范圍[O， 255]內等比例地縮小10%-15%，處理后得到的
圖像稱之為"偽原始圖像"，本步驟使得原圖像中亮度空間范圍縮小，避免在嵌入不可見結構光的計算過程中亮度值溢出的問題，同時也限定了原圖像的信息損
失；
步驟二，在步驟一所生成的偽原始圖像中像素級自適應嵌入不可見結構光，
包括如下具體步驟
第一步，設定若干個亮度級別，亮度級別的取值范圍為[IO， 50],同時建立一個數(shù)據(jù)存儲結構用來保存每個像素的在RGB各通道上亮度級別數(shù)值；
第二步，從偽原始圖像取出一個像素，獲得RGB各通道上的亮度值，分別作如下處理；
對于該像素在R通道上的亮度值r,嵌入亮度級別的最大值，并進行加減處理，如果加減處理后的結果都不超過[O， 255]，則進入下一個步驟；否則亮度級別的數(shù)值向較小級別調整，亮度級別的最終取值是在設定級別中選取最高的級別，且同時滿足加減處理結果在[O， 255]范圍內的條件，最后R通道在該像素調整后嵌入亮度級別記為AR;
對于該像素在B通道上的亮度值b，嵌入亮度級別的最大值，并進行加減處理，如果加減處理結果都不超過[O， 255]，則進入下一個步驟；否則將亮度級別的值向較小級別調整，亮度級別的最終取值是在設定級別中選取最高的級別，且同時滿足加減處理結果在[O， 255]范圍內的條件，最后R通道在該像素調整后嵌入亮度級別記為AR;
經過上述處理之后得到的圖象分別為嵌入結構光圖像和補償圖像，由于嵌入結構光圖像和補償圖像在R和B通道上的亮度正好是互補的，所以將嵌入結構光圖像和補償圖像這一組圖像，統(tǒng)稱為一組相互補償?shù)膱D像；
第三步，將該像素在R通道和B通道嵌入的亮度級別數(shù)值分別保存在數(shù)據(jù)結構D的對應位置上。本發(fā)明不對G通道上的亮度值進行嵌入A值處理，是因為本發(fā)明所使用的攝像頭對G通道的亮度感光度遠差于R和B通道。
5步驟三，用攝像頭捕捉相互補償?shù)膱D像，對該圖像利用C2P對應映射方法進行像素級自適應解析不可見結構光；
步驟四，用中值過濾器處理解析出來的結構光圖像，去除多余的噪點。所述像素級自適應解析不可見結構光，包括如下步驟第一步，獲得相互補償?shù)膱D像的亮度值；
第二步，利用C2P對應映射方法，將用攝像頭捕捉的嵌入結構光圖像的各個像素坐標乘以單應性矩陣H，矯正出嵌入結構光圖像的投影圖像，將用攝像頭捕捉的補償圖像的各個像素坐標乘以單應性矩陣H，矯正出補償圖像的投影圖像；
第三步，從矯正的嵌入結構光圖像取出一個像素，獲得其在R通道上的亮度cn，和B通道上的亮度cb"同時補償圖像對應位置上的像素，獲得其在R通道上的亮度cr2，和B通道上的亮度cb2;
第四步，判斷保存在數(shù)據(jù)結構D的該像素位置R通道和B通道的嵌入的亮度級別數(shù)值，分別記為Ak和Ab，如果Ar2ab，則采用ab作為判定條件解析出結構光像素，否則以ab作為判定條件解析出結構光像素；
當ar2 Ab吋，p— 、 ， A 、；
L0 (cn —c/"2 2—lx Aflxe)、,， 丄 「1 - c&2 > As x e)
其中，尸為解析出來的結構光像素，l和O分別是二值結構光的取值，l表示白色結構光，0表示黑色，e為系數(shù)常量。
所述C2P對應映射方法，具體如下制作一張與矯正之后的投影圖象的分辨
率相同的黑白棋盤格投影圖像，用攝像頭捕捉這張投影圖像，獲得與攝像機捕獲得圖象解析度相同的攝像機圖像，運用角點檢測算法，分別將投影圖像和攝像機
圖像中的所有棋盤格角點坐標位置求出，將這組坐標值作為數(shù)據(jù)輸入到voidcvFindHomography函數(shù)中(該函數(shù)源自Intel 開源計算機視覺庫0penCV)，獲得單應性矩陣H，單應性矩陣H是一個3X3的矩陣，它用來計算投影圖像和攝像機
「X、
圖像之間的透視變換少V
丄
單應性矩陣H即為C2P對應映射，它將攝像機圖像坐標(u， v)矯正為投影與現(xiàn)有技術相比，本發(fā)明具有如下有益效果-
1、 本發(fā)明中嵌入不可見結構光自適應處理，通過高頻投影儀高速投影時，使得生成的一組相互補償?shù)膱D像在高速交替投影的條件下的亮度效果更接近原圖案，所以讓人眼更加難以察覺；
2、 本發(fā)明中不可見結構光的計算可以根據(jù)每個圖像的具體內容自動計算出最優(yōu)的結果，同時將這個自適應的方法運在像素級上計算最合適嵌入結構光的顏色通道和亮度值，本發(fā)明分別克服了圖像依賴和精度不足兩大難題；
3、 本發(fā)明方法還原出來的結構光圖像和理想結構光圖像進行比對，精度誤差范圍可達到O. 49% 1. 21%。


圖l是本發(fā)明的工作流程圖。
圖2是本發(fā)明方法對圖像一進行處理的結果圖中，(a)為原始圖，(b)為使用自適應方法求出嵌入結構光信息A的圖像，(c) 、 (d)為使用自適應方法得出的不可見結構光圖像，(e)為使用自適應方法解析還原出結構光圖像，(f)為經過中值過濾器處理的最終結構光圖像。
圖3是本發(fā)明方法對圖像二進行處理的結果圖中，(a) 、 (b)為使用自適應方法得出的不可見結構光圖像，(c)、 (d)為用與投影儀同步的高頻攝像頭捕捉的圖像，(e)為使用自適應算法求出嵌入結構光信息A的圖像，(f)為經過中值過濾器處理的最終結構光圖像。
圖4是本發(fā)明方法中C2P對應映射方法使用的黑白棋盤格圖像；
圖中，(a)為分辨率為800X600的黑白棋盤格投影圖像，(b)為用解析度為640 X 480的攝像頭捕捉的該黑白棋盤格圖像。
具體實施例方式
下面結合附圖對本發(fā)明的實施例作詳細說明本實施例在以本發(fā)明技術方案為前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述的實施例。
本實施例中使用dragonfly express攝像頭，圖像捕捉最高頻率為200Hz，畫面的分辨率640X480，彩色，圖像格式為mono8，采用D印thQ投影儀，投影幀速為
7120Hz，最大分辨率為1024X768，對焦距離為l. 5米一2. 0米。本實施例分別對圖2、 圖3兩種圖像進行了處理。
如圖1所示，本實施例包括如下步驟
步驟一，調整原始圖像亮度空間范圍將原始圖像(如圖2 (a))每一個像素 的亮度分別在RGB各通道上的亮度空間范圍[O, 255]內等比例地縮小10%-15%， 處理后得到的圖像稱之為"偽原始圖像"；
步驟一的作用使得原圖像中亮度空間范圍縮小，避免在嵌入不可見結構光的 計算過程中亮度值溢出的問題，同時也限定了原圖像的信息損失；本實施例中可 以保證原圖像中所有像素的亮度值在RGB各通道上嵌入A40的亮度時，亮度值 不會溢出。
步驟二，在步驟一所生成的偽原始圖像中像素級自適應嵌入不可見結構光， 包括如下具體步驟
第一步，設定五個亮度級別，分別為10、 20、 30、 40、 50，并用A來表示這 些值，同時建立一個數(shù)據(jù)存儲結構D用來保存每個像素的在RGB各通道上A值；
第二步，從偽原始圖像取出一個像素，獲得RGB各通道上的亮度值，分別作 如下處理；
對于該像素在R通道上的亮度值r，嵌入A的最大值50，記為AR5。，即進行 r+AR5。， r-AB5。運算，如果r+A,、 r-A 5。都不超過
，則進入下一個步驟； 如果r+A咖、i"-A咖的值超出[O， 255]，則需要將A的值向較小級別調整，并類 似標記為AR4。、 AR3。、 AR2。、 AR1。， A的最終取值是在五個級別中選取最高的級別， 且同時滿足r+A、 r-A的值在[O， 255]范圍內的條件。本步驟實現(xiàn)了根據(jù)偽原始 圖像的內容，嵌入值A自適應計算的過程，最后R通道在該像素調整后A值記 為Ar;
對于該像素在B通道上的亮度值b，嵌入A的最大值50,記為AB5。，即進行 b+AB5。、 b-A咖運算，如果b+AB5。、 b-A腳都不超過[O， 255]，則進入下一個步 驟；否則如果b+AB5。、 b-A,的值超出[O， 255]，則需要將A的值向較小級別調 整，并類似標記為AB4。， AB3。， AB2。， AB1。， A的最終取值是在五個級別中選取最 高的級別，且同時滿足b+A、 b-A的值在[O， 255]范圍內的條件；最后B通道在 該像素調整后A值記為AB;
8上述第三步和第四步中，對偽原始圖像各個像素進行r+A和b+A的處理后 所生成的圖像，稱之為嵌入結構光圖像(如圖2 (c));而進行r-A和b-A的減 法運算處理所生成的圖像，稱之為嵌入結構光圖像的補償圖像，簡稱為補償圖像 (如圖2 (d))，由于嵌入結構光圖像和補償圖像在R和B通道上的亮度正好是互 補的，所以將嵌入結構光圖像和補償圖像這一組圖像，統(tǒng)稱為一組相互補償?shù)膱D 像。
第三步，將上述像素R通道和B通道的嵌入值Ak和AB分別保存在數(shù)據(jù)結構 D的對應位置上(嵌入結構光信息A的圖像如圖2 (b)、圖3 (e))，本實施例 不對G通道上的亮度值進行嵌入A值處理，是因為本實施例所使用的攝像頭對G 通道的亮度感光度遠差于R和B通道。
通過上述三個子步驟，結構光就嵌在原始圖像上了，通過高頻投影儀高速投 影時，由于上述三個子步驟實現(xiàn)的嵌入不可見結構光自適應處理，使得生成的一 組相互補償?shù)膱D像在高速交替投影的條件下的亮度效果更接近原圖案，所以讓人 眼更加難以察覺。
步驟三，用攝像頭捕捉相互補償?shù)膱D像，對該圖像利用C2P對應映射方法進 行像素級自適應解析不可見結構光(如圖2 (e))，包括如下步驟
第一步，計算用攝像頭得到的一組相互補償?shù)膱D像的亮度值；具體為使用 dragonfly express攝像頭，將攝像頭圖像捕捉頻率調整到120Hz，分辨率設定為 640X480 (也可以設為320X480; 800X600; 1024X768，以下都以640X480為 例)；同時將D印thQ投影儀的投影頻率也設定在120Hz，解析度設定為800X600 (也可以設為1024X768，以下都以800X600為例)。在攝像機捕捉的圖像序列 中，每兩張相鄰圖像為一組相互補償?shù)膱D像，分別為嵌入結構光圖像和補償圖像， 本步驟中對圖3(a)、 (b)應用步驟二獲得的兩幅不可見結構光圖像進行解析，(c) (d)分別為攝像頭獲得的圖像。
第二步，利用C2P對應映射方法，將用攝像頭捕捉的嵌入結構光圖像和補償 圖像的各個像素坐標乘以單應性矩陣H，實現(xiàn)對投影圖象的矯正；
所述C2P對應映射方法(單應性矩陣H的求解方法)，具體如下制作一張分 辨率為800X600的黑白棋盤格投影圖像(如圖4所示)，用攝像頭捕捉這張投影 圖像，獲得解析度為640X480的攝像機圖像，運用角點檢測算法，分別將投影圖會得到單應性矩陣H。并使用公式少V
丄丄
像和攝像機圖像中的所有棋盤格角點坐標位置求出，將這組坐標值作為數(shù)據(jù)輸入
到void cvFindHomography函數(shù)中(該函數(shù)源自Inte，開源計算機視覺庫OpenCV)，
，將攝像機圖像坐標(u， v)矯正
為投影儀圖像坐標(x， y)。具體為將用攝像頭捕捉的補償圖像(640X480)的各 個像素坐標乘以單應性矩陣H，矯正出補償圖像的投影圖像(800X600);將用攝 像頭捕捉的嵌入結構光圖像(640X480)的各個像素坐標乘以單應性矩陣H，矯正 出嵌入結構光的投影圖像(800X600);
第三步，在由第二步得到的一組矯正過的相互補償?shù)膱D像(包括矯正的嵌入 結構光圖像和矯正的補償圖像)中，從矯正的嵌入結構光圖像(800X600)取出 一個像素，獲得其在R通道上的亮度和B通道上的亮度cb"同時補償圖像 (800X600)對應位置上的像素，獲得其在R通道上的亮度cr2，和B通道上的亮
度Cb2;
第四步，判斷保存在數(shù)據(jù)結構D的該像素位置R通道和B通道的嵌入值AR 和AB，如果AR2AB，則采用AK作為判定條件，否則以AB作為判定條件；
當AR2 Ab吋
當Ar〈Ab吋
fl - c&2 > As x
L0 (c61-c62 2 _lx Aflxe)
其中，尸為解析出來的結構光像素，l和O分別是二值結構光的取值，l表示 白色結構光，0表示黑色。e為系數(shù)常量，實驗中取經驗值l.O。
步驟四，用中值過濾器處理解析出來的結構光圖像，去除多余的噪點(如圖2 (f)、圖3 (f))。
以誤差的百分比做為精度衡量標準，如果誤差為0%則為最理想情況，利用本 實施例方法還原出來的結構光圖像和理想結構光圖像進行比對，本實施例可達到 的精度誤差范圍為0. 49% 1. 21%。
權利要求
1、一種自適應的不可見結構光技術實現(xiàn)方法，其特征在于，包括如下步驟步驟一，調整原始圖像亮度空間范圍將原始圖像每一個像素的亮度分別在RGB各通道上的亮度空間范圍
內等比例地縮小10％-15％，處理后得到的圖像稱之為偽原始圖像；步驟二，在步驟一所生成的偽原始圖像中像素級自適應嵌入不可見結構光，包括如下具體步驟第一步，設定若干個亮度級別，亮度級別的取值范圍為[10，50]，同時建立一個數(shù)據(jù)存儲結構用來保存每個像素的在RGB各通道上亮度級別數(shù)值；第二步，從偽原始圖像取出一個像素，獲得RGB各通道上的亮度值，分別作如下處理；對于該像素在R通道上的亮度值r，嵌入亮度級別的最大值，并進行加減處理，如果加減處理后的結果都不超過
，則進入下一個步驟；否則亮度級別的數(shù)值向較小級別調整，亮度級別的最終取值是在設定級別中選取最高的級別，且同時滿足加減處理結果在
范圍內的條件，最后R通道在該像素調整后嵌入亮度級別記為ΔR；對于該像素在B通道上的亮度值b，嵌入亮度級別的最大值，并進行加減處理，如果加減處理結果都不超過
，則進入下一個步驟；否則將亮度級別的值向較小級別調整，亮度級別的最終取值是在設定級別中選取最高的級別，且同時滿足加減處理結果在
范圍內的條件，最后R通道在該像素調整后嵌入亮度級別記為ΔB；經過上述處理之后得到的圖象分別為嵌入結構光圖像和補償圖像，由于嵌入結構光圖像和補償圖像在R和B通道上的亮度正好是互補的，所以將嵌入結構光圖像和補償圖像這一組圖像，統(tǒng)稱為一組相互補償?shù)膱D像；第三步，將該像素在R通道和B通道嵌入的亮度級別數(shù)值ΔR、ΔB分別保存在數(shù)據(jù)結構D的對應位置上；步驟三，用攝像頭捕捉相互補償?shù)膱D像，對該圖像利用C2P對應映射方法進行像素級自適應解析不可見結構光；步驟四，用中值過濾器處理解析出來的結構光圖像，去除多余的噪點。
2、 根據(jù)權利要求l所述的自適應的不可見結構光技術實現(xiàn)方法，其特征是，所述像素級自適應解析不可見結構光，包括如下步驟第一步，獲得一組相互補償?shù)膱D像的亮度值；第二步，利用C2P對應映射方法將攝像頭捕捉的嵌入結構光圖像的各個像素坐標乘以單應性矩陣H，矯正出嵌入結構光圖像的投影圖像，將攝像頭捕捉的補償圖像的各個像素坐標乘以單應性矩陣H，矯正出補償圖像的投影圖像；第三步，從矯正的嵌入結構光圖像取出一個像素，獲得其在R通道上的亮度cr"和B通道上的亮度cb,;同時補償圖像對應位置上的像素，獲得其在R通道上的亮度cr2，和B通道上的亮度cb2;第四步，判斷保存在數(shù)據(jù)結構D的該像素位置R通道和B通道的嵌入的亮度級別數(shù)值，分別記為Ah和Ab，如果AR2AB，則采用AK作為判定條件解析出結構光像素，否則以AB作為判定條件解析出結構光像素；<formula>formula see original document page 3</formula>當AR2 Ab吋，；<formula>formula see original document page 3</formula>當Ar〈Ab吋，i其中，尸為解析出來的結構光像素，l和O分別是二值結構光的取值，l表示白色結構光，0表示黑色，e為系數(shù)常量。
3、 根據(jù)權利要求l所述的自適應的不可見結構光技術實現(xiàn)方法，其特征是，所述C2P對應映射方法，具體如下制作一張與矯正之后的投影圖象的分辨率相同的黑白棋盤格投影圖像，用攝像頭捕捉這張投影圖像，獲得與攝像機捕獲得圖象解析度相同的攝像機圖像，運用角點檢測算法，分別將投影圖像和攝像機圖像中的所有棋盤格角點坐標位置求出，將這組坐標值作為數(shù)據(jù)輸入到voidcvFindHomography函數(shù)中，獲得單應性矩陣H，單應性矩陣H是一個3X3的矩陣，它用來計算投影圖像和攝像機圖像之間的透視變換:<formula>formula see original document page 3</formula>單應性矩陣H即為C2P對應映射，它將攝像機圖像坐標(u， v)矯正為投影儀圖像坐標(x， y)。
全文摘要
一種計算機投影的信息嵌入技術領域的自適應的不可見結構光技術實現(xiàn)方法，步驟一，調整原始圖像亮度空間范圍；步驟二，在步驟一所生成的偽原始圖像中像素級自適應嵌入不可見結構光；步驟三，用攝像頭捕捉相互補償?shù)膱D像，對該圖像利用C2P對應映射方法進行像素級自適應解析不可見結構光；步驟四，用中值過濾器處理解析出來的結構光圖像，去除多余的噪點。本發(fā)明獲得的亮度效果更接近原圖案，所以讓人眼更加難以察覺，同時，本發(fā)明分別克服了圖像依賴和精度不足兩大難題。
文檔編號H04N9/77GK101489146SQ20091004501
公開日2009年7月22日 申請日期2009年1月8日 優(yōu)先權日2009年1月8日
發(fā)明者亮 曾, 楊旭波, 王宇超, 肖雙九 申請人:上海交通大學