專利名稱：一種校正圖像桶形失真的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種校正圖像桶形失真的方法和裝置。
背景技術(shù)：
廣角鏡頭由于視角的寬廣而被廣泛地應(yīng)用于攝像領(lǐng)域，但是，應(yīng)用廣角鏡頭時會 存在由鏡頭引起的成像畫面呈桶形膨脹狀的現(xiàn)象，即桶形失真，這種失真會嚴(yán)重影響實際 攝像的效果，因而需要對圖像桶形失真進(jìn)行校正。
目前，校正圖像桶形失真的方法很多，比如，控制點法和模式法等，圖1為現(xiàn)有技 術(shù)圖像桶形失真校正方法實施例的流程圖，該方法包括以下步驟
步驟101 :對發(fā)生桶形失真的圖像進(jìn)行存儲。 在對發(fā)生桶形失真的圖像進(jìn)行校正之前，首先要對所要校正的圖像進(jìn)行存儲，由 于一幅圖像中有很多的像素點，也即圖像的數(shù)據(jù)量很大，因此需要存儲空間比較大的存儲 單元來存儲發(fā)生桶形失真的圖像。
步驟102 :對圖像中的每一個圖像數(shù)據(jù)分別進(jìn)行校正。 鑒于桶形失真圖像本身的特點，對發(fā)生桶形失真的圖像進(jìn)行校正時需要對圖像上 的每一個圖像數(shù)據(jù)分別進(jìn)行校正，具體校正方法如下 假設(shè)(X， Y)是桶形失真圖像中某個圖像數(shù)據(jù)的坐標(biāo)，(Xd， Yd)是圖像的中心坐標(biāo)， (X' ，Y')是對圖像進(jìn)行校正后坐標(biāo)為(X，Y)的圖像數(shù)據(jù)應(yīng)該在的坐標(biāo)，z是(X，Y)到(Xd， Yd)的距離，則有 X' _Xd = (X_Xd)*M(z) (1)
Y' _Yd = (Y_Yd)*M(z) (2)
其中，M(z)是一個與距離z有關(guān)的參數(shù)，令M(z) = l+A化"2，A是一個為負(fù)值的系 數(shù)，它的值是在已知所有坐標(biāo)的前提下通過對公式(1)或(2)逆推得到的。
將M(z) = l+A化"2代入公式(1)和(2)并展開，得到
X' -X = (X_Xd)*A*z~2 (3)
Y' -Y = (Y-Yd)*A*z'2 (4) 其中，所述+表示加號，所述_表示減號，所述*表示乘號，所述'表示乘方號。
對發(fā)生桶形失真的圖像中的圖像數(shù)據(jù)進(jìn)行校正時，將圖像中該圖像數(shù)據(jù)所在的坐 標(biāo)按照式(3)和(4)進(jìn)行計算得到一對新的坐標(biāo)，得到的新的坐標(biāo)上對應(yīng)的圖像數(shù)據(jù)即為 對原始坐標(biāo)上的圖像數(shù)據(jù)進(jìn)行校正后的值。 步驟103 :將所有校正后得到的圖像數(shù)據(jù)串行輸出得到最終所需圖像。 在對發(fā)生桶形失真的圖像進(jìn)行失真校正時，是按照圖像數(shù)據(jù)串行輸入存儲單元中
的順序來對圖像中的每一個圖像數(shù)據(jù)分別進(jìn)行校正的，對每個圖像數(shù)據(jù)分別校正完后，將
校正后得到的圖像數(shù)據(jù)串行輸出得到最終所需圖像，即對發(fā)生桶形失真的圖像進(jìn)行校正后
的圖像。 基于上述方法，圖2為現(xiàn)有技術(shù)圖像桶形失真校正裝置實施例的組成結(jié)構(gòu)示意圖。如圖2所示，該裝置包括 存儲單元21，用于對發(fā)生桶形失真的圖像進(jìn)行存儲。 在對發(fā)生桶形失真的圖像進(jìn)行校正之前，首先要對該圖像進(jìn)行存儲，現(xiàn)有技術(shù)中 由于是對一整幅圖像直接進(jìn)行校正處理，而且圖像的數(shù)據(jù)量很大，因此，需要存儲空間比較 大的存儲單元來對圖像進(jìn)行存儲。 計算單元22，用于對存儲單元21中存儲的圖像進(jìn)行校正。 在對發(fā)生桶形失真的圖像進(jìn)行校正時，需要對圖像中的每一個圖像數(shù)據(jù)分別進(jìn)行 校正，并且對每個圖像數(shù)據(jù)進(jìn)行校正時是按照圖像數(shù)據(jù)串行輸入存儲單元21中的順序來 進(jìn)行的。 輸出單元23，用于將校正后的圖像數(shù)據(jù)進(jìn)行輸出得到最終所需圖像。 將計算單元22中進(jìn)行校正后的圖像數(shù)據(jù)進(jìn)行輸出時，是將校正后得到的每個圖
像數(shù)據(jù)串行輸出的，將全部圖像數(shù)據(jù)進(jìn)行校正完并輸出后，即得到最終所需的校正后圖像。 圖2所示裝置的具體工作流程參照圖1所示方法實施例中的相應(yīng)說明。 通過以上分析可以看出，現(xiàn)有技術(shù)中對圖像桶形失真進(jìn)行校正的方法雖然能夠比
較好地校正圖像桶形失真，但是需要對發(fā)生桶形失真的圖像預(yù)先進(jìn)行存儲，即需要很大的
存儲空間，因此，現(xiàn)有方法都是在存儲空間大的數(shù)字信號處理(DSP)中實現(xiàn)的，具有存儲功
能的cmos圖像傳感器(CIS)成本很低，但存儲空間又太小。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于提供一種校正圖像桶形失真的方法，能夠在減 少存儲空間的基礎(chǔ)上對圖像桶形失真進(jìn)行有效地校正。 本發(fā)明的另一目的在于提供一種校正圖像桶形失真的裝置，能夠在減少存儲空間 的基礎(chǔ)上對圖像桶形失真進(jìn)行有效地校正。 為達(dá)到上述目的，本發(fā)明的技術(shù)方案具體是這樣實現(xiàn)的
—種校正圖像桶形失真的方法，包括 對采集到的圖像插入行列數(shù)據(jù)，得到插入行列數(shù)據(jù)后圖像； 串行輸入所述插入行列數(shù)據(jù)后圖像，并將其中的部分圖像存儲到存儲單元； 對所述存儲單元中的一個圖像數(shù)據(jù)進(jìn)行校正并輸出，繼續(xù)存儲未被存儲的串行輸
入的所述插入行列數(shù)據(jù)后圖像中的圖像數(shù)據(jù)，重復(fù)執(zhí)行本步驟的校正、輸出、繼續(xù)存儲過
程，直至輸出全部插入行列數(shù)據(jù)后圖像中的圖像數(shù)據(jù)，得到校正后圖像。 —種校正圖像桶形失真的裝置，該裝置包括 行列插值單元，用于對從桶形失真的圖像插入行列數(shù)據(jù)后，串行輸入存儲單元；
存儲單元，用于對由行列插值單元得到的插入行列數(shù)據(jù)后的圖像中的部分圖像依 次進(jìn)行存儲； 計算單元，用于對存儲單元中的部分圖像依次進(jìn)行校正；
輸出單元，用于將校正后的圖像進(jìn)行輸出。 由上述的技術(shù)方案可見，本發(fā)明采用的對圖像桶形失真進(jìn)行校正的方法首先對 采集到的圖像插入行列數(shù)據(jù)，之后存儲單元對串行輸入的插入行列數(shù)據(jù)后圖像中的部分圖 像依次進(jìn)行存儲，最后對部分圖像中的矩陣數(shù)據(jù)塊依次進(jìn)行校正得到最終所需的校正后圖像?？梢钥闯觯摲桨覆捎昧艘来螌Υ鎯Φ拇休斎氪鎯卧械牟糠謭D像進(jìn)行校正，而且 是邊存儲、邊校正、邊輸出，由于并不是對數(shù)據(jù)量很大的一整幅圖像中的圖像數(shù)據(jù)全部進(jìn)行 存儲后再校正，因此，應(yīng)用本發(fā)明所述的方法能夠在減少存儲空間的基礎(chǔ)上對圖像桶形失 真進(jìn)行有效地校正。


圖1為現(xiàn)有技術(shù)圖像桶形失真校正方法實施例的流程圖。 圖2為現(xiàn)有技術(shù)圖像桶形失真校正裝置實施例的組成結(jié)構(gòu)示意圖。 圖3為本發(fā)明圖像桶形失真校正方法實施例的流程圖。 圖4為本發(fā)明采用的bayer格式的圖像形式。 圖5為本實施例采用的bayer格式的8*8的圖像。 圖6為本實施例對8*8的圖像插入兩行兩列數(shù)據(jù)后的圖像。 圖7為本實施例對第一個圖像數(shù)據(jù)進(jìn)行校正時所存儲的部分圖像。 圖8為本實施例存儲的第一個部分圖像中的3*3的矩陣數(shù)據(jù)塊。 圖9為本實施例對第一個圖像數(shù)據(jù)進(jìn)行校正后所存儲的部分圖像。 圖10為本實施例幾個部分圖像中的幾個特殊的3*3的矩陣數(shù)據(jù)塊。 圖11為本發(fā)明圖像桶形失真校正裝置實施例的組成結(jié)構(gòu)示意圖。 圖12為桶形失真圖像及采用本實施例的方法對其進(jìn)行校正后的圖像示意圖。
具體實施例方式
為解決現(xiàn)有技術(shù)中存在的問題，本發(fā)明提出一種對圖像桶形失真進(jìn)行校正的方 法，首先對采集到的圖像插入行列數(shù)據(jù)，之后存儲單元對串行輸入的插入行列數(shù)據(jù)后圖像 中的部分圖像依次進(jìn)行存儲，最后對部分圖像中的矩陣數(shù)據(jù)塊依次進(jìn)行校正得到最終所需 的校正后圖像，該方法能夠在減少存儲空間的基礎(chǔ)上對圖像桶形失真進(jìn)行有效地校正。
在介紹具體的實現(xiàn)方案之前，首先介紹一下紅綠藍(lán)(RGB)色彩模型的概念。RGB色 彩模型是工業(yè)界的一種顏色標(biāo)準(zhǔn)，通過對R、 G、 B三個顏色通道進(jìn)行變化以及對它們相互之 間進(jìn)行疊加來得到各種各樣的顏色，所以，對于圖像中的每一個像素點，均可用R、G、B三個 分量(通道)來表示。通常，每個分量的取值范圍為0 255;這樣，當(dāng)R、G、B分量分別取 不同的值時，對應(yīng)表示的顏色也將不同。比如，純紅色的R分量值為255，G分量值和B分量 值均為0 ;亮紅色的R分量值為246， G分量值為20， B分量值為50。 基于上述介紹，本發(fā)明所述方案的具體實現(xiàn)包括對采集到的圖像插入行列數(shù)據(jù)，
得到插入行列數(shù)據(jù)后圖像；串行輸入所述插入行列數(shù)據(jù)后圖像，并將其中的部分圖像存儲
到存儲單元；對所述存儲單元中的一個圖像數(shù)據(jù)進(jìn)行校正并輸出，繼續(xù)存儲未被存儲的串
行輸入的所述插入行列數(shù)據(jù)后圖像中的圖像數(shù)據(jù)，重復(fù)執(zhí)行本步驟的校正、輸出、繼續(xù)存儲
過程，直至輸出全部插入行列數(shù)據(jù)后圖像中的圖像數(shù)據(jù)，得到校正后圖像。 為使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下參照附圖并舉實施例，對
本發(fā)明進(jìn)一步詳細(xì)說明。 圖3為本發(fā)明圖像桶形失真校正方法實施例的流程圖。如圖3所示，包括以下步 驟
步驟301 :采集桶形失真的圖像。 要對圖像桶形失真進(jìn)行校正，首先要采集發(fā)生了桶形失真的圖像，在本實施例中， 可以通過CIS中的圖像采集單元直接采集圖像，也可采用其它的桶形失真圖像的采集方 法。 步驟302 :將采集到的圖像由RGB格式轉(zhuǎn)換為bayer格式。 經(jīng)過步驟301的操作可以采集到發(fā)生了桶形失真的圖像，采集到的圖像可能為 RGB格式的，即每個圖像數(shù)據(jù)均包含了 R、G、B三個分量，也即每個圖像數(shù)據(jù)都包含了三個信 息，因此，對這種格式的圖像進(jìn)行桶形失真校正時需要較大的存儲空間。
為了減少由于RGB格式本身的特點而帶來的存儲空間的浪費，本實施中采用了將 RGB格式的圖像轉(zhuǎn)換為bayer格式的圖像，圖4為本發(fā)明采用的bayer格式的圖像形式。如 圖4所示，在bayer格式的圖像中，每個像素點的信息只有R、 G、 B三個分量中的一個，相比 RGB格式的圖像中每個點的信息均包含了 R、 G、 B三個分量來說，對bayer格式的圖像進(jìn)行 桶形失真校正會減少運(yùn)算時所需要的存儲空間。 如果采集到的圖像為bayer格式的，可以不進(jìn)行該步驟的操作，而將bayer格式的 圖像直接進(jìn)行后續(xù)操作。 在本實施例中，采用了對bayer格式的圖像進(jìn)行校正是利用了 bayer格式的特點 從而進(jìn)一步能減少所需要的存儲空間，實際對圖像桶形失真進(jìn)行校正時也可以省略該步 驟，而直接對采集到的RGB格式的圖像進(jìn)行后續(xù)的操作。
步驟303 :對圖像插入行列數(shù)據(jù)。 在本實施例中，所有圖像均是以串行圖像數(shù)據(jù)流的形式來完成輸入和輸出的，因 此，bayer格式的圖像也是串行輸入、串行輸出的，每個圖像數(shù)據(jù)逐個輸入，首次輸入第一行
第一列中的一個圖像數(shù)據(jù)，然后第二列中的一個圖像數(shù)據(jù)......直到本行最后一列中的
一個圖像數(shù)據(jù)；再對第二行中的每個圖像數(shù)據(jù)依次輸入，接下來第三行......直至最后一
行最后一列中的最后一個圖像數(shù)據(jù)。 圖5為本實施例采用的bayer格式的8*8的圖像。在圖5中，字母部分代表的是 該圖像數(shù)據(jù)的形式，數(shù)字部分代表的是該圖像數(shù)據(jù)在圖像中的坐標(biāo)。圖5中的圖像串行輸 入時，輸入圖像數(shù)據(jù)流的形式為Bll G12 B13 G14 B15 G16 B17 G18 G21 R22 G23......R88。 本實施例中，在對bayer格式的圖像進(jìn)行桶形失真校正之前，還需要對圖像進(jìn)行 插入行列數(shù)據(jù)的操作，對圖像插入行列數(shù)據(jù)是在圖像的中心處插入行列并在所述插入的行 列中插入數(shù)據(jù)。 以下舉例說明對圖像插入行列數(shù)據(jù)的原因以及插入行列數(shù)據(jù)時所采用的方法。
以圖5中的圖像為例，在存儲空間一定的條件下，假設(shè)對坐標(biāo)為(6，7)上的圖像數(shù) 據(jù)G67進(jìn)行校正時，G56已經(jīng)被串行輸入的其它圖像數(shù)據(jù)覆蓋了，而鑒于桶形失真圖像本身 的特點，對于桶形失真的圖像來說，G67很可能被校正為G56，但此時G56已經(jīng)不存在了，這 樣校正后輸出的圖像數(shù)據(jù)會變得不連續(xù)，并且造成了圖像數(shù)據(jù)的丟失。因此，在這種情況 下，只能采取對更多的圖像數(shù)據(jù)進(jìn)行存儲以保證輸出圖像數(shù)據(jù)的連續(xù)性，從而增大了存儲 空間。但是，如果在對圖像進(jìn)行校正之前，已經(jīng)對圖像插入了行列數(shù)據(jù)，那么同樣在對G67 進(jìn)行校正時，由于在圖像中心處插入了行列，此時后續(xù)串行輸入的圖像數(shù)據(jù)可能先輸入到了插入的行列中，即圖像數(shù)據(jù)G56還在存儲單元中，并且保證了輸出圖像數(shù)據(jù)的連續(xù)性，還 充分節(jié)省了存儲空間。 通過上述分析看出，本實施例中，對圖像插入行列數(shù)據(jù)是一種節(jié)省存儲空間的行 之有效的方法。 在圖像的中心處需要插入行列的行列數(shù)由圖像的行列數(shù)決定，具體計算公式為
假設(shè)圖像的尺寸為m^，則圖像上任意一點到圖像中心點的最大距離為 (m/2)'2+(n/2)'2，這些距離最大的點就是圖像的四個頂點，將此距離代入式(3)與式(4)， 得到X' -X = (X-Xd) *A*z ~ 2 = (m/2) *A* ((m/2) ~ 2+ (n/2) ~ 2)，
Y' -Y = (Y-Yd) *A*z ~ 2 = (n/2) *A* ((m/2)~ 2+ (n/2)~ 2)，故，
d_X = I I (m/2) *A* ((m/2) ~2+(n/2) ~2) | | ，
d_Y = I I (n/2) *A* ((m/2) ~2+ (n/2) ~2) | | ， 其中，所述m為圖像總行數(shù)，所述n為圖像總列數(shù)；所述A是一個為負(fù)值的系數(shù)；所 述cLX為插入的行數(shù)，所述cLY為插入的列數(shù)；所述/表示除號，所述I I表示取絕對值，所
述「，表示上取整。 由此，即可得到需要在圖像的中心處插入行列的行列數(shù)和后續(xù)對圖像進(jìn)行校正時 需要計算的矩陣數(shù)據(jù)塊的尺寸，插入的行數(shù)為cLX，列數(shù)為cLY，矩陣數(shù)據(jù)塊的尺寸為(d_ X+l)*(d_Y+l)，即矩陣數(shù)據(jù)塊的尺寸也由圖像的行列數(shù)決定。 圖6為本實施例對8*8的圖像插入兩行兩列數(shù)據(jù)后的圖像。也即在圖5中的圖 像的中心處插入了兩行兩列的數(shù)據(jù)，空白處即為插入的數(shù)據(jù)，所述插入的數(shù)據(jù)可以為任意 的數(shù)據(jù)且該數(shù)據(jù)在后續(xù)對圖像桶形失真進(jìn)行校正的過程中始終為無效的，在本實施例中用 Non來代表插入的數(shù)據(jù)。 經(jīng)過插入行列數(shù)據(jù)后的圖6中的圖像串行輸入時，輸入圖像數(shù)據(jù)流變?yōu)锽ll G12 B13 G14 Non Non B15 G16 B17 G18 G21 R22 G23......R48Non......Non
R51......R88。 步驟304 :對插入行列數(shù)據(jù)后的部分圖像依次進(jìn)行存儲。 插入行列數(shù)據(jù)后圖像串行輸入后，需要將輸入的圖像數(shù)據(jù)存儲起來。在本實施例 中，以圖6中的圖像為例來說明對插入行列數(shù)據(jù)后圖像中的圖像數(shù)據(jù)進(jìn)行存儲的過程。在 圖6中，由于對圖像進(jìn)行的是插入兩行兩列的數(shù)據(jù)，因此，需要計算的矩陣數(shù)據(jù)塊的尺寸為 3*3，故存儲單元至少需要存儲兩行或兩列的圖像數(shù)據(jù)，本實施例中以至少存儲兩行圖像數(shù) 據(jù)為例，首先存儲串行輸入存儲單元的第一行和第二行中所有的圖像數(shù)據(jù)，接著，第三行中 的圖像數(shù)據(jù)串行輸入，在存儲了該行中的B31， G32和B33后，此時，存儲單元中所存儲的圖 像數(shù)據(jù)如圖7所示，圖7為本實施例對第一個圖像數(shù)據(jù)進(jìn)行校正時所存儲的部分圖像。同 樣地，對第一個圖像數(shù)據(jù)Bll進(jìn)行校正時所需要的3*3矩陣數(shù)據(jù)塊內(nèi)的圖像數(shù)據(jù)也都被存 儲下來了 ，此時所存儲的矩陣數(shù)據(jù)塊如圖8所示，圖8為本實施例存儲的第一個部分圖像中 的3*3的矩陣數(shù)據(jù)塊。 對圖像桶形失真進(jìn)行校正時，是在部分圖像的矩陣數(shù)據(jù)塊中進(jìn)行的，首先，對圖像 中坐標(biāo)為(l，l)上的圖像數(shù)據(jù)B11在圖8中所述的矩陣數(shù)據(jù)塊中進(jìn)行校正，并將校正后得 到的圖像數(shù)據(jù)直接進(jìn)行輸出，同時下一個圖像數(shù)據(jù)G34輸入存儲單元中，將G34直接存儲在已經(jīng)校正并輸出后的B11所在的位置即可，此時，存儲單元中所存儲的圖像數(shù)據(jù)如圖9所 示，圖9為本實施例對第一個圖像數(shù)據(jù)進(jìn)行校正后所存儲的部分圖像。之后，在圖9中所包 含的3*3的矩陣數(shù)據(jù)塊中對G12進(jìn)行校正并輸出，同時下一個數(shù)據(jù)B35輸入部分圖像中并 存儲在G12所在的位置中得到第三個部分圖像，按照同樣的方式將每一個圖像數(shù)據(jù)進(jìn)行串 行輸出輸入，即得到進(jìn)行存儲的每一個部分圖像。 所述存儲的部分圖像是一種不規(guī)則的圖像，它的尺寸，也即它所需要的存儲空間 的大小是由圖像的行列數(shù)決定的，部分圖像的尺寸按下式進(jìn)行計算
(d_X* (n+d_Y)) + (d_Y+l)。 需要說明的是，在本實施例中，當(dāng)Bll進(jìn)行完校正后，Bll在以后的圖像桶形失真 校正的過程中不會被用到，因此，將串行輸入未被存儲的下一個圖像數(shù)據(jù)直接存儲在該Bll 所在的位置中將其覆蓋，再重復(fù)執(zhí)行對B11后的圖像數(shù)據(jù)進(jìn)行校正并輸出、再對串行輸入 的圖像數(shù)據(jù)進(jìn)行存儲，這樣可以最大程度地節(jié)省存儲空間。具體的校正方法在下面進(jìn)行詳 細(xì)說明。 本步驟對圖像中的部分圖像進(jìn)行依次存儲可以充分地節(jié)省存儲空間，而且，在后 續(xù)的校正處理過程中，后續(xù)串行輸入的一個圖像數(shù)據(jù)依次占有上次圖像數(shù)據(jù)的位置，并不 需要額外的存儲空間，從而與現(xiàn)有技術(shù)對一整幅圖像中的所有圖像數(shù)據(jù)全部進(jìn)行存儲來 說，大大節(jié)省了存儲空間。 步驟305 :對存儲的部分圖像中的矩陣數(shù)據(jù)塊依次進(jìn)行校正。
該步驟中的具體校正計算過程同步驟102。 對每一個矩陣數(shù)據(jù)塊進(jìn)行校正時是只對該矩陣數(shù)據(jù)塊中的一個圖像數(shù)據(jù)來說的， 以下舉例說明本實施例中的具體校正過程 以圖8中存儲的第一個部分圖像中的3*3的矩陣數(shù)據(jù)塊為例，此時需要校正的圖 像數(shù)據(jù)為B11，B11在圖像中的坐標(biāo)為(1，1)，見圖6，圖像中心的坐標(biāo)為(4，4)，則
z'2 = (1-4) ~2+(1_4) ~2 = 18，將其代入式(3)與式(4)得到，
X' -X = (X_Xd)*A*z~2 = (1_4)*A*18 = _54*A，
Y' -Y = (Y_Yd)*A*z~2 = (1_4)*A*18 = _54*A，
令A(yù)二-l/27，則有
X' -X = 2，
Y' -Y = 2， 即(X，Y)應(yīng)該在的坐標(biāo)為(X' ，Y')，也即(3，3)，對B11進(jìn)行校正后的值為坐標(biāo) (3， 3)上對應(yīng)的圖像數(shù)據(jù)B33的值。 圖10為本實施例幾個部分圖像中的幾個特殊的3*3的矩陣數(shù)據(jù)塊，下面分別以圖 10中的這幾個特殊的矩陣數(shù)據(jù)塊為例對其校正過程進(jìn)行說明。 對圖10(a)來說，此時需要進(jìn)行校正的圖像數(shù)據(jù)為G14，它在圖像中的坐標(biāo)為(1， 4)，見圖6，圖像中心的坐標(biāo)仍為(4，4)，則 z~2 =(卜4) ~2+(4-4) ~2 = 9，將其代入式(3)與式(4)得到，
X' -X = (X-Xd)*A*z~2 = (1-4)*A*18 = _54*A，
Y' -Y = (Y-Yd)*A*z~2 = (4_4)*A*18 = 0，
同樣，令A(yù) = _1/27，則有，
X' -X = 1，
Y' -Y = 0， (X，Y)應(yīng)該在的坐標(biāo)為(X' ，Y')，也即(2，4)，對G14進(jìn)行校正后的值為坐標(biāo)(2，
4) 上的圖像數(shù)據(jù)R24的值，與待處理的圖像數(shù)據(jù)G14不一致了 ，因此需要對R24進(jìn)行插值后 再賦給G14進(jìn)行輸出，這里進(jìn)行插值后的值為(G14+G34)/2。 由此，需要說明的是，由于采用的是bayer格式的圖像，因此當(dāng)對圖像數(shù)據(jù)進(jìn)行校 正時可能會出現(xiàn)校正后的圖像數(shù)據(jù)形式與需要校正的圖像數(shù)據(jù)形式不一致的情況，當(dāng)出現(xiàn) 不一致的情況時，對校正后的圖像數(shù)據(jù)進(jìn)行插值再將插值后的結(jié)果作為對圖像數(shù)據(jù)進(jìn)行校 正的最終結(jié)果進(jìn)行輸出即可。 對于圖10(b)中的B15來說，在未對圖像插入行列數(shù)據(jù)之前，該圖像數(shù)據(jù)與圖 10(a)中的G14是連續(xù)的，為了保證圖像數(shù)據(jù)輸入輸出的連續(xù)性，對B15進(jìn)行校正后的圖像 數(shù)據(jù)也應(yīng)為B的形式，下面具體分析其校正過程。 需要校正的圖像數(shù)據(jù)B15在圖像中的坐標(biāo)為(1，5)，見圖6，圖像中心的坐標(biāo)仍為 (4，4)，則 z~2 = (1-4)~2+(5-4)~2 = IO，將其代入式(3)與式(4)得到，X' -X = (X-Xd)*A*z~2 = (1-4)*A*10 = _30*A，Y' -Y = (Y-Yd)*A*z~2 = (5_4)*A*10 = 10*A， 同樣，令A(yù) = _1/27，則有， X' -X = 30/27， Y' -Y =-10/27， 由于坐標(biāo)均為整數(shù)，因此，需要對分?jǐn)?shù)進(jìn)行取整，這里對其統(tǒng)一進(jìn)行了向零取整的 操作，從而， (X，Y)應(yīng)該在的坐標(biāo)為(X' ，Y')，也即(2，5)，對B15進(jìn)行校正后的值為坐標(biāo)(2，
5) 上的圖像數(shù)據(jù)G25的值，與待處理的圖像數(shù)據(jù)B15不一致了 ，因此需要對G24進(jìn)行插值后 再賦給B15進(jìn)行輸出，這里進(jìn)行插值后的值為(B15+B35)/2。 這樣，保證了對行列插值后的圖像進(jìn)行校正后的圖像數(shù)據(jù)的連續(xù)性。 同樣地，對圖10(c)中的G41和圖10(d)中的B51進(jìn)行校正后的圖像數(shù)據(jù)在縱向
上也是連續(xù)的，對圖10(e)中的G74和圖10(f)中的B75進(jìn)行校正后的圖像數(shù)據(jù)在橫向上
也是連續(xù)的，從而保證了對行列插值后的圖像進(jìn)行校正后輸出的圖像數(shù)據(jù)都是連續(xù)的。 在本實施例中，對每一個圖像數(shù)據(jù)進(jìn)行校正時，都是在其所對應(yīng)的矩陣數(shù)據(jù)塊中
進(jìn)行的，而且在一個矩陣數(shù)據(jù)塊中進(jìn)行校正時只能針對其中的一個圖像數(shù)據(jù)，當(dāng)對該矩陣
數(shù)據(jù)塊中的某一個圖像數(shù)據(jù)校正并輸出后，此時對應(yīng)的矩陣數(shù)據(jù)塊為下一個圖像數(shù)據(jù)輸入
后存儲的部分圖像所對應(yīng)的矩陣數(shù)據(jù)塊，之后再在該矩陣數(shù)據(jù)塊中對其中的某一個圖像數(shù)
據(jù)進(jìn)行校正并輸出，得到另一個部分圖像所對應(yīng)的矩陣數(shù)據(jù)塊，照此過程進(jìn)行到最后一個
圖像數(shù)據(jù)校正后輸出即完成了對部分圖像中的矩陣數(shù)據(jù)塊依次進(jìn)行校正。 步驟306 :將校正后bayer格式的圖像轉(zhuǎn)換為RGB格式的圖像。 對插入行列數(shù)據(jù)后圖像中每一個圖像數(shù)據(jù)進(jìn)行完校正之后，得到的是bayer格式
的圖像，為了進(jìn)行輸出顯示需要將bayer格式的圖像再轉(zhuǎn)換為適合顯示的RGB格式的圖像。 步驟307 :將轉(zhuǎn)換后的RGB格式的圖像串行輸出得到最終所需圖像。
轉(zhuǎn)換為RGB格式的圖像后，將該圖像按照串行形式進(jìn)行輸出即得到了最終所需圖 像，即對發(fā)生桶形失真的圖像進(jìn)行校正后的圖像。 至此，即完成了本發(fā)明所述圖像桶形失真進(jìn)行校正的處理過程。 基于上述方法，圖11為本發(fā)明圖像桶形失真校正裝置實施例的組成結(jié)構(gòu)示意圖。
如圖ll所示，該裝置包括 圖像采集單元lll，用于采集桶形失真的圖像。 要對圖像桶形失真進(jìn)行校正，首先要通過圖像采集單元111采集發(fā)生了桶形失真 的圖像，該單元采集到的圖像可能為RGB格式，也可能為bayer格式，在本實施例中，可以通 過圖像采集單元111直接采集圖像，也可采用其它的桶形失真圖像的采集方法。
第一轉(zhuǎn)換單元112，用于對由圖像采集單元111得到的圖像進(jìn)行RGB格式到bayer 格式的轉(zhuǎn)換，并將轉(zhuǎn)換后的圖像送所述行列插值單元113。 如果通過圖像采集單元111采集到的是RGB格式的桶形失真圖像，由于RGB格式 的圖像中每個圖像數(shù)據(jù)均包含了 R、 G、 B三個分量，也即每個圖像數(shù)據(jù)都包含了三個信息， 因此，對這種格式的圖像進(jìn)行桶形失真校正時需要較大的存儲空間。 為了減少由于RGB格式本身的特點而帶來的存儲空間的浪費，本實施中采用了將
RGB格式的圖像轉(zhuǎn)換為bayer格式的圖像，bayer格式的圖像中，每個像素點的信息只有R、
G、 B三個分量中的一個，相比RGB格式的圖像中每個點的信息均包含了 R、 G、 B三個分量來
說，對bayer格式的圖像進(jìn)行桶形失真校正會減少運(yùn)算時所需要的存儲空間。 在本實施例中，采用了對bayer格式的圖像進(jìn)行校正是利用了 bayer格式的特點
從而進(jìn)一步能減少所需要的存儲空間，實際對圖像桶形失真進(jìn)行校正時也可以省略該單元
的操作，而直接對采集到的RGB格式的圖像輸入后續(xù)處理單元。 行列插值單元113，用于對桶形失真圖像插入行列數(shù)據(jù)后，串行輸入存儲單元 115。 用于對由第一轉(zhuǎn)換單元112中的bayer格式的圖像進(jìn)行插入行列數(shù)據(jù)的操作，對 圖像插入行列數(shù)據(jù)后可以在保證輸入圖像數(shù)據(jù)和輸出圖像數(shù)據(jù)連續(xù)性的前提下，充分節(jié)省 所需要的存儲空間，對圖像插入行列數(shù)據(jù)時是在圖像的中心處插入行列并在所述插入的行 列中插入數(shù)據(jù)來實現(xiàn)的，所述需要插入行列的行列數(shù)由圖像的行列數(shù)決定，具體計算公式 如下 假設(shè)圖像的尺寸為m^，則圖像上任意一點到圖像中心點的最大距離為 (m/2)'2+(n/2)'2，這些距離最大的點就是圖像的四個頂點，將此距離帶入式(3)與式(4)， 得到 <formula>formula see original document page 11</formula>
其中，所述m為圖像總行數(shù)，所述n為圖像總列數(shù)；所述A是一個為負(fù)值的系數(shù)；所 述d_X為插入的行數(shù)，所述d_Y為插入的列數(shù)；所述+表示加號，所述_表示減號，所述*表
示乘號，所述/表示除號，所述~表示乘方號，所述I I表示取絕對值，所述「，表示上取整。
由此，即可得到需要在圖像的中心處插入行列的行列數(shù)和后續(xù)對圖像進(jìn)行校正時需要計算的矩陣數(shù)據(jù)塊的尺寸，插入的行數(shù)為cLX，列數(shù)為cLY，矩陣數(shù)據(jù)塊的行數(shù)為d_ X+l，列數(shù)為cLY+l，總的尺寸為(cLX+l^(cLY+l)，即矩陣數(shù)據(jù)塊的尺寸也由圖像的行列數(shù) 決定。 需要說明的是，如果圖像采集單元lll采集到的圖像為bayer格式，也可以省略該 單元的操作，而直接進(jìn)行后續(xù)單元的操作即可。 控制單元114，用于控制圖像采集單元111中采集桶形失真圖像時的圖像數(shù)據(jù)流 和控制行列插值單元113中插入行列數(shù)據(jù)時需要插入的行列數(shù)。 在本實施中，采用的是對串行輸入的插入行列數(shù)據(jù)后圖像中的部分圖像進(jìn)行存儲 和對部分圖像中的矩陣數(shù)據(jù)塊進(jìn)行校正的方法，因此，需要控制單元114來對輸入的圖像 數(shù)據(jù)流進(jìn)行控制，使得存儲單元中的圖像數(shù)據(jù)能保持一定的數(shù)據(jù)量。 行列插值單元113中需要插入的行列數(shù)也是通過控制單元114來進(jìn)行控制的，控 制單元114首先根據(jù)圖像的尺寸計算出需要在圖像中插入的行列數(shù)，然后按照計算得到的 行列數(shù)來對圖像進(jìn)行行列插值，而且，計算得到的行列是在圖像的中心處進(jìn)行插入的。
存儲單元115，用于對由行列插值單元113得到的插入行列數(shù)據(jù)后圖像中的部分 圖像依次進(jìn)行存儲。 為了對圖像進(jìn)行校正，需要用存儲單元115將該圖像中的部分圖像進(jìn)行存儲。在 該單元中對圖像中的部分圖像依次進(jìn)行存儲可以充分地節(jié)省存儲空間，而且，在后續(xù)的校 正處理過程中，后續(xù)輸入的一個圖像數(shù)據(jù)依次存儲在上次校正后的一個圖像數(shù)據(jù)所在的位 置，并不需要額外的存儲空間，從而與現(xiàn)有技術(shù)對一整幅圖像中的圖像數(shù)據(jù)全部進(jìn)行存儲 來說，大大節(jié)省了存儲空間。 計算單元116，用于對存儲單元115中的存儲的部分圖像依次進(jìn)行校正。 在本實施例中，對每一個圖像數(shù)據(jù)進(jìn)行校正時，都是在其所對應(yīng)的矩陣數(shù)據(jù)塊中
進(jìn)行的，而且在一個矩陣數(shù)據(jù)塊中進(jìn)行校正時只能針對其中的一個圖像數(shù)據(jù)，當(dāng)對該矩陣
數(shù)據(jù)塊中的某一個圖像數(shù)據(jù)校正并輸出后，此時對應(yīng)的矩陣數(shù)據(jù)塊為下一個圖像數(shù)據(jù)輸入
后存儲的部分圖像所對應(yīng)的矩陣數(shù)據(jù)塊，之后再在該矩陣數(shù)據(jù)塊中對其中的某一個圖像數(shù)
據(jù)進(jìn)行校正并輸出，得到另一個部分圖像所對應(yīng)的矩陣數(shù)據(jù)塊，照此過程進(jìn)行到最后一個
圖像數(shù)據(jù)校正后輸出即完成了對部分圖像中的矩陣數(shù)據(jù)塊依次進(jìn)行校正。 需要說明的是，本實施例中，當(dāng)采用對bayer格式的圖像進(jìn)行校正時，可能會出現(xiàn)
校正后的圖像數(shù)據(jù)形式與需要校正的圖像數(shù)據(jù)形式不一致的情況，當(dāng)出現(xiàn)不一致的情況 時，對校正后的圖像數(shù)據(jù)進(jìn)行插值再將插值后的結(jié)果作為對圖像數(shù)據(jù)進(jìn)行校正的最終結(jié)果 進(jìn)行輸出即可。 第二轉(zhuǎn)換單元117，用于對由計算單元116得到的校正后的bayer格式的圖像轉(zhuǎn)換 為RGB格式的圖像，并將轉(zhuǎn)換后的校正后圖像送所述輸出單元118。 由于bayer格式的圖像并不適合輸出顯示，因此，對圖像中每一個坐標(biāo)點上的圖 像數(shù)據(jù)進(jìn)行完校正后，為了進(jìn)行輸出顯示需要將bayer格式的圖像轉(zhuǎn)換為適合輸出的RGB 格式的圖像。 輸出單元118，用于將由轉(zhuǎn)換單元117中得到的RGB格式的圖像進(jìn)行輸出。
轉(zhuǎn)換為RGB格式的圖像后，將該圖像按照串行形式進(jìn)行輸出即得到了最終所需圖 像，即對發(fā)生桶形失真的圖像進(jìn)行校正后的圖像。
12
圖11所示裝置的具體工作流程請參照圖3所示方法實施例中的相應(yīng)說明，此處不 再贅述。 圖12為桶形失真圖像及采用本實施例的方法對其進(jìn)行校正后的圖像示意圖。在 圖12中，虛線為發(fā)生了桶形失真的圖像，從圖中可以看出圖像存在較明顯的桶形失真，實 線為對發(fā)生了桶形失真的圖像進(jìn)行校正后的圖像，經(jīng)過校正后，圖像桶形失真得到了明顯 地消除。 總之，本發(fā)明所述的技術(shù)方案，首先對采集到的圖像插入行列數(shù)據(jù)，之后存儲單元 對串行輸入的插入行列數(shù)據(jù)后圖像中的部分圖像依次進(jìn)行存儲，最后對部分圖像中的矩陣 數(shù)據(jù)塊依次進(jìn)行校正得到最終所需的校正后圖像。可以看出，該方案采用了依次對存儲的 串行輸入存儲單元中的部分圖像進(jìn)行校正，而且是邊存儲、邊校正、邊輸出，由于并不是對 數(shù)據(jù)量很大的一整幅圖像中的圖像數(shù)據(jù)全部進(jìn)行存儲后再校正，因此，應(yīng)用本發(fā)明所述的 方法能夠在減少存儲空間的基礎(chǔ)上對圖像桶形失真進(jìn)行有效地校正。 綜上所述，以上僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護(hù)范圍。 凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的 保護(hù)范圍之內(nèi)。
權(quán)利要求
一種校正圖像桶形失真的方法，其特征在于，該方法包括對采集到的圖像插入行列數(shù)據(jù)，得到插入行列數(shù)據(jù)后圖像；串行輸入所述插入行列數(shù)據(jù)后圖像，并將其中的部分圖像存儲到存儲單元；對所述存儲單元中的一個圖像數(shù)據(jù)進(jìn)行校正并輸出，繼續(xù)存儲未被存儲的串行輸入的所述插入行列數(shù)據(jù)后圖像中的圖像數(shù)據(jù)，重復(fù)執(zhí)行本步驟的校正、輸出、繼續(xù)存儲過程，直至輸出全部插入行列數(shù)據(jù)后圖像中的圖像數(shù)據(jù)，得到校正后圖像。
2. 如權(quán)利要求1所述的方法，其特征在于，所述對采集到的圖像插入行列數(shù)據(jù)之前還 包括將所述采集到的圖像由RGB格式轉(zhuǎn)換為bayer格式的步驟。
3. 如權(quán)利要求1所述的方法，其特征在于，所述采集到的圖像為bayer格式。
4. 如權(quán)利要求2或3所述的方法，其特征在于，對所述bayer格式的圖像插入行列數(shù)據(jù) 是在圖像的中心處插入行列，在所述插入的行列中插入數(shù)據(jù)。
5. 如權(quán)利要求4所述的方法，其特征在于，所述在圖像的中心處插入行列的行列數(shù)由 圖像的行列數(shù)決定，計算公式如下d_X = I I (m/2) *A* ((m/2) ~2+(n/2) ~2) | | ， d_Y = I I (n/2) *A* ((m/2) ~2+(n/2) ~2) | | ，其中，所述m為圖像總行數(shù)，所述n為圖像總列數(shù)；所述A是一個為負(fù)值的系數(shù)；所述 d_X為插入的行數(shù)，所述d_Y為插入的列數(shù)；所述+表示加號，所述*表示乘號，所述/表示除號，所述~表示乘方號，所述I I表示取絕對值，所述「，表示上取整。
6. 如權(quán)利要求5所述的方法，其特征在于，所述部分圖像，其尺寸為(d_X*(n+d_ Y)) + (d_Y+l)。
7. 如權(quán)利要求5所述的方法，其特征在于，所述對所述存儲單元中的一個圖像數(shù)據(jù)進(jìn) 行校正是在所述存儲單元的矩陣數(shù)據(jù)塊中進(jìn)行。
8. 如權(quán)利要求7所述的方法，其特征在于，所述矩陣數(shù)據(jù)塊的尺寸由圖像的行列數(shù)決 定，其尺寸為(d_X+l)*(d_Y+l)。
9. 如權(quán)利要求1所述的方法，其特征在于，所述對所述存儲單元中的一個圖像數(shù)據(jù)進(jìn) 行校正后還進(jìn)一步包括對所述校正后的圖像數(shù)據(jù)進(jìn)行插值。
10. 如權(quán)利要求1所述的方法，其特征在于，還包括將校正后圖像由bayer格式轉(zhuǎn)換為 RGB格式的步驟。
11. 一種校正圖像桶形失真的裝置，其特征在于，該裝置包括 行列插值單元，用于對桶形失真的圖像插入行列數(shù)據(jù)后，串行輸入存儲單元； 存儲單元，用于對由行列插值單元得到的插入行列數(shù)據(jù)后圖像中的部分圖像依次進(jìn)行存儲；計算單元，用于對存儲單元中的部分圖像依次進(jìn)行校正； 輸出單元，用于將校正后的圖像進(jìn)行輸出。
12. 如權(quán)利要求11所述的裝置，其特征在于，該裝置還包括 圖像采集單元，用于采集桶形失真的圖像。
13. 如權(quán)利要求12所述的裝置，其特征在于，該裝置還包括第一轉(zhuǎn)換單元，用于對由圖像采集單元得到的圖像進(jìn)行RGB格式到bayer格式的轉(zhuǎn)換， 并將轉(zhuǎn)換后的圖像送所述行列插值單元。
14. 如權(quán)利要求13所述的裝置，其特征在于，該裝置還包括第二轉(zhuǎn)換單元，用于對由計算單元得到的校正后的圖像進(jìn)行bayer格式到RGB格式的 轉(zhuǎn)換，并將轉(zhuǎn)換后的圖像送所述輸出單元。
15. 如權(quán)利要求12所述的裝置，其特征在于，該裝置還包括控制單元，用于控制圖像采集單元中采集桶形失真圖像的數(shù)據(jù)流和控制行列插值單元 中插入行列數(shù)據(jù)時的行列數(shù)。
全文摘要
本發(fā)明公開了一種校正圖像桶形失真的方法，包括首先對采集到的圖像插入行列數(shù)據(jù)，得到插入行列數(shù)據(jù)后圖像；串行輸入所述插入行列數(shù)據(jù)后圖像，并將其中的部分圖像存儲到存儲單元；對所述存儲單元中的一個圖像數(shù)據(jù)進(jìn)行校正并輸出，繼續(xù)存儲未被存儲的串行輸入的所述插入行列數(shù)據(jù)后圖像中的圖像數(shù)據(jù)，重復(fù)執(zhí)行本步驟的校正、輸出、繼續(xù)存儲過程，直至輸出全部插入行列數(shù)據(jù)后圖像中的圖像數(shù)據(jù)，得到校正后圖像。本發(fā)明同時公開了一種校正圖像桶形失真的裝置。應(yīng)用本發(fā)明所述的方法和裝置能夠在減少存儲空間的基礎(chǔ)上對圖像桶形失真進(jìn)行有效地校正，而且還可以在存儲空間很小但成本很低的CIS中實現(xiàn)對圖像桶形失真的校正，節(jié)約成本。
文檔編號H04N1/387GK101771796SQ20081018915
公開日2010年7月7日 申請日期2008年12月29日 優(yōu)先權(quán)日2008年12月29日
發(fā)明者宋敏, 彭茂, 肖本懿 申請人:比亞迪股份有限公司