基于平面幕布的投影圖像實時校正方法
【專利摘要】本發(fā)明公開了一種基于平面幕布的投影圖像實時校正方法，包括以下步驟：S1：在平面幕布上投影原始圖像；S2：利用單目攝像機捕捉投影圖像；S3：對單目攝像機捕捉投影圖像進行三維重建：S4：判斷圖像是否發(fā)生形變；S5：圖像顯示：如果圖像沒有發(fā)生形變，就不需要對圖像進行處理，直接顯示原始圖像；若圖像發(fā)生了形變，則經(jīng)過圖像校正環(huán)節(jié)處理后得到校正后的原始圖像再經(jīng)投影儀投影到幕布上，圖像則顯示正常；基于實時校正，如果沒有終止校正圖像程序，則重復(fù)上述步驟，以達(dá)到對圖像的實時校正。本發(fā)明實現(xiàn)了接收攝像機捕捉圖像信息，分析圖像信息以及對圖像進行處理并顯示。
【專利說明】基于平面幕布的投影圖像實時校正方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于平面幕布的投影圖像實時校正方法。

【背景技術(shù)】
[0002] 現(xiàn)在，投影技術(shù)在教育、培訓(xùn)、娛樂、仿真等領(lǐng)域應(yīng)用越來越熱門，在投影儀使用的 過程中，投影儀位置固定后不能再移動，以保證投影圖像的正確性。但是，在移動的交通工 具中，例如飛機、輪船、大巴車中很難保證投影儀位置不發(fā)生變動，當(dāng)投影儀的位置或投影 角度發(fā)生了變化，就需要人為的去調(diào)整投影儀，以滿足用戶觀看習(xí)慣的需要，這將是一件很 繁瑣的工作。
[0003] 平面投影的實時校正需要一個攝像機作為輔助工具，攝像機的主要工作是獲取當(dāng) 前屏幕的投影信息，即投影圖片的變形度等。由于攝像頭本身的鏡頭畸變、位置和角度會對 所拍攝的圖像產(chǎn)生一定的影響，因此我們所面臨的問題就是：利用一個攝像機所拍攝的圖 像盡可能的恢復(fù)其三維真實信息，以獲取投影屏幕上的實際投影的圖像；以及在得到投影 屏幕上的實際投影圖像后，如何計算此圖像相對于原圖像的變形信息。


【發(fā)明內(nèi)容】

[0004] 為了解決現(xiàn)有技術(shù)存在的不足，本發(fā)明公開了一種基于平面幕布的投影圖像實時 校正方法，通過視覺反饋，對顯示在投影平面幕布的圖像作實時校正。
[0005] 本發(fā)明采用以下具體方案：
[0006] -種基于平面幕布的投影圖像實時校正方法，包括以下步驟：
[0007] Sl :在平面幕布上投影原始圖像；
[0008] S2 :利用單目攝像機捕捉投影圖像；
[0009] S3 :對單目攝像機捕捉投影圖像進行三維重建：
[0010] 根據(jù)攝像機成像原理并利用攝像機內(nèi)部參數(shù)矩陣即攝像機相對于圖像的外部參 數(shù)，其中包括旋轉(zhuǎn)向量及平移向量，還原圖像信息，得到屏幕上實際顯示的圖像A ;
[0011] S4 :判斷圖像是否發(fā)生形變；
[0012] S5:圖像顯示：
[0013] 如果圖像沒有發(fā)生形變，就不需要對圖像進行處理，直接顯示原始圖像；
[0014] 若圖像發(fā)生了形變，則經(jīng)過圖像校正環(huán)節(jié)處理后得到校正后的原始圖像再經(jīng)投影 儀投影到幕布上，圖像則顯示正常；
[0015] 基于實時校正，如果沒有終止校正圖像程序，則重復(fù)上述步驟，以達(dá)到對圖像的實 時校正。
[0016] 所述步驟S3【具體實施方式】為：
[0017] 參考現(xiàn)有的攝像機標(biāo)定算法，對攝像機進行標(biāo)定，得到攝像機內(nèi)部參數(shù)M，畸變系 數(shù)D和外部參數(shù)R、T ;其中，M、D和T分別為3*3矩陣、3*3矩陣和3*1矩陣；
[0018] 根據(jù)M和D消除由攝像機鏡頭本身引起的圖像變形，根據(jù)M、R、T和攝像機的成像 原理以及像機成像公式對圖像做三維重建；其中，M是攝像機內(nèi)部參數(shù)矩陣，D是攝像機畸 變系數(shù)，R是圖像繞坐標(biāo)軸的旋轉(zhuǎn)矩陣，T是平移向量。
[0019] 所述攝像機成像公式為：

【權(quán)利要求】
1. 一種基于平面幕布的投影圖像實時校正方法，其特征在于，包括以下步驟： 51 :在平面幕布上投影原始圖像； 52 :利用單目攝像機捕捉投影圖像； 53 :對單目攝像機捕捉投影圖像進行三維重建： 根據(jù)攝像機成像原理并利用攝像機內(nèi)部參數(shù)矩陣即攝像機相對于圖像的外部參數(shù)，其 中包括旋轉(zhuǎn)向量及平移向量，還原圖像信息，得到屏幕上實際顯示的圖像A ; S4:判斷圖像是否發(fā)生形變； S5 :圖像顯示： 如果圖像沒有發(fā)生形變，就不需要對圖像進行處理，直接顯示原始圖像； 若圖像發(fā)生了形變，則經(jīng)過圖像校正環(huán)節(jié)處理后得到校正后的原始圖像再經(jīng)投影儀投 影到幕布上，圖像則顯示正常； 基于實時校正，如果沒有終止校正圖像程序，則重復(fù)上述步驟，以達(dá)到對圖像的實時校 正。
2. 根據(jù)權(quán)利要求1所述的一種基于平面幕布的投影圖像實時校正方法，其特征在于， 所述步驟S3【具體實施方式】為： 參考現(xiàn)有的攝像機標(biāo)定算法，對攝像機進行標(biāo)定，得到攝像機內(nèi)部參數(shù)M，畸變系數(shù)D 和外部參數(shù)R、T ;其中，M、D和T分別為3*3矩陣、3*3矩陣和3*1矩陣； 根據(jù)M和D消除由攝像機鏡頭本身引起的圖像變形，根據(jù)M、R、T和攝像機的成像原理 以及像機成像公式對圖像做三維重建；其中，M是攝像機內(nèi)部參數(shù)矩陣，D是攝像機畸變系 數(shù)，R是圖像繞坐標(biāo)軸的旋轉(zhuǎn)矩陣，T是平移向量。
3. 根據(jù)權(quán)利要求2所述的一種基于平面幕布的投影圖像實時校正方法，其特征在于， 所述攝像機成像公式為：
(u，v，1)T圖像坐標(biāo)系的齊次坐標(biāo)； (xw，yw，zw，1)T世界坐標(biāo)系的齊次坐標(biāo)； 1 :比例系數(shù)； a :u方向上的歸一化焦距； 3 :v方向上的歸一化焦距； Y :圖像平面不垂直光軸產(chǎn)生的畸變因子； (uQ，Vtl):光學(xué)中心，通常位于圖像中心處，故其值常取分辨率的一半； R :3*3的旋轉(zhuǎn)矩陣； T :三維平移向量； 令：
其中，取Zw = 0。
4. 根據(jù)權(quán)利要求1或2所述的一種基于平面幕布的投影圖像實時校正方法，其特征在 于，所述單目攝像機捕捉投影圖像的三維重建模型為：
5. 根據(jù)權(quán)利要求1所述的一種基于平面幕布的投影圖像實時校正方法，其特征在于， 所述步驟S4中判斷圖像是否發(fā)生形變，包括以下步驟： 541 :提取圖像A和原始圖像特征角點； 542 :計算圖像A和原始圖像的透視變換矩陣； 如果圖像A和原始圖像的透視變換矩陣為單位矩陣，則圖像A沒有發(fā)生形變；否則圖像 A發(fā)生形變。
6. 根據(jù)權(quán)利要求1所述的一種基于平面幕布的投影圖像實時校正方法，其特征在于， 所述步驟S5圖像校正環(huán)節(jié)的流程包括： 550 :單目攝像機獲取的圖像進行標(biāo)定； 551 :檢測圖像特征角點； 552 :計算透視變換矩陣； 553 :對圖像進行投影變換。
7. 根據(jù)權(quán)利要求5或6所述的一種基于平面幕布的投影圖像實時校正方法，其特征在 于，所述檢測圖像特征角點的具體過程包括， 5510 :獲取需要檢測角點的圖像； 5511 :對圖像進行二值化； 5512 :檢測圖像輪廓； 5513 :對圖像進行簡單處理，用白色填充輪廓內(nèi)部，其余部分置為黑色； 5514 :對上述步驟處理的圖像進行多次開運算、閉運算，已消除輪廓邊緣的干擾； 5515 :圖像經(jīng)過上述步驟處理后，使用OpenCv提供的特征角點檢測函數(shù)獲取圖像角 點，判斷角點個數(shù)是否合法，不合法的話，對圖像二值化的閾值、開運算和閉運算次數(shù)、以及 特征角點檢測精度進行調(diào)整，以保證檢測到滿足要求的角點；建立循環(huán)反饋機制，實時調(diào)整 各項參數(shù)，以得到可用性強的特征角點。
8. 根據(jù)權(quán)利要求5或6所述的一種基于平面幕布的投影圖像實時校正方法，其特征在 于，所述透視變換矩陣的【具體實施方式】為： 5421 :獲得圖像A和原始圖像的特征角點后，在兩組特征角點間建立一一對應(yīng)關(guān)系； 5422 :投影儀投影圖像所產(chǎn)生的變形為透視變形，所述透視變形采用透視變換矩陣表 示，計算兩幅圖像的透視變換矩陣采用四對特征角點，從之前獲得的特征角點中選出四對， 進行計算；或者采取多次計算求平均值的方法，每次選取不同的特征角點。
9. 根據(jù)權(quán)利要求5或6所述的一種基于平面幕布的投影圖像實時校正方法，其特征在 于，所述透視變換矩陣是，由圖像A到原始圖像的透視變換矩陣。
【文檔編號】G06T7/00GK104361580SQ201410566509
【公開日】2015年2月18日 申請日期:2014年10月22日 優(yōu)先權(quán)日:2014年10月22日
【發(fā)明者】楊義軍, 趙思偉, 宋天琦, 楊承磊, 孟祥旭, 滕茼, 曾薇 申請人:山東大學(xué)