專利名稱：生成全景圖像的裝置、方法及由記錄有運(yùn)行該方法的程序的計(jì)算機(jī)可讀取的記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成全景圖像的裝置、方法及由記錄有運(yùn)行該方法的程序的計(jì)算機(jī)可讀取的記錄介質(zhì)。更具體而言，涉及一種生成自然地融合了拼接區(qū)域的圖像的全景圖像的裝置、方法及由記錄有運(yùn)行該方法的程序的計(jì)算機(jī)可讀取的記錄介質(zhì)。
背景技術(shù)：
過(guò)去，通過(guò)基于SLR(Single Lens Reflex，單鏡頭反光)相機(jī)的膠卷型圖像拍攝等古典的裝置及方法生成圖像。但是，最近普遍利用電荷耦合器件(CXD，charge-coupled device)、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS，complementary metal oxide semiconductor)等光學(xué)傳感器來(lái)生成數(shù)碼圖像?；谶@種數(shù)碼光學(xué)裝置的圖像拍攝隨著現(xiàn)代人的文化生活和領(lǐng)域的擴(kuò)大，對(duì)其的利用更加擴(kuò)大，對(duì)于多種輔助拍攝裝置及數(shù)碼圖像的處理裝置等的發(fā)展，隨其發(fā)展得到飛越性的發(fā)展。膠卷型圖像拍攝裝置及數(shù)碼拍攝裝置等圖像拍攝裝置基本上將通過(guò)鏡頭、光圈及快門(mén)等光學(xué)裝置流入的光學(xué)信息顯像到膠卷，或上述光學(xué)傳感器轉(zhuǎn)換生成為電能。但是，這種圖像拍攝裝置不可避免地受到面對(duì)被拍攝體的鏡頭的光角限制。為了克服上述限制而開(kāi)發(fā)有根據(jù)不同用途的多種鏡頭組，但是在鏡頭的物理特性上無(wú)法完全消除其限制。一般來(lái)說(shuō)，全景圖像作為為了克服如上所述的物理限制引起的制約，來(lái)滿足應(yīng)用數(shù)碼圖像的使用人員的增加的多種需求而提出的一個(gè)方案，其表示利用相機(jī)的拍攝技法、 相機(jī)鏡頭的焦點(diǎn)的變化及數(shù)碼圖像處理等，來(lái)擴(kuò)大能夠由鏡頭囊括被拍攝體的區(qū)域的圖像。S卩，將多個(gè)拍攝的圖像以橫向或縱向或它們的組合進(jìn)行連接，形成一個(gè)寬大的圖像，如此形成的圖像被稱為全景圖像。為了生成全景圖像而提出的現(xiàn)有技術(shù)中的方法有如下方法生成通過(guò)多角度存在的多個(gè)相機(jī)拍攝的多個(gè)圖像的方法；在圖像拍攝裝置內(nèi)，物理上調(diào)整鏡頭朝向被拍攝體的角度，生成進(jìn)行角度調(diào)整的圖像并合成為全景圖像的方法等。如上所述的裝置或方法需要有額外的裝備，并較大地受到使用人員的運(yùn)用方法等主觀因素的影響，且對(duì)于當(dāng)前基本上提供圖像拍攝功能的便攜式終端機(jī)的便攜化及小型化需求來(lái)講，可以稱其為不適合的方法。最近，開(kāi)發(fā)出便攜式終端機(jī)中也能夠生成全景圖像的方法及裝置。但是，在這種方法及裝置中，檢測(cè)兩個(gè)以上的圖像的拼接區(qū)域，并以拼接區(qū)域?yàn)榛鶞?zhǔn)結(jié)合為一個(gè)圖像。但是，如上所述結(jié)合的全景圖像存在有不自然的情況較多。其原因可能在于將三維空間的被拍攝體轉(zhuǎn)換為二維圖像的過(guò)程中產(chǎn)生的失真， 即，即使具有相同的長(zhǎng)度，隨著與圖像傳感器的距離增加而縮小顯示的現(xiàn)象。除此之外，可
5能是因?yàn)榕臄z圖像裝置的光學(xué)鏡頭的物理特性，即，直線顯示為曲線的現(xiàn)象。并且，還可能是由于數(shù)碼自動(dòng)相機(jī)的自動(dòng)曝光及自動(dòng)白平衡，使得相同的物體也顯示不同的亮度，或者表現(xiàn)為其它顏色。這種失真及不自然的合成能夠通過(guò)具有高運(yùn)算能力的計(jì)算裝置中運(yùn)行的PC用程序，得到復(fù)原或自然地再轉(zhuǎn)換。但是，具有有限的資源和有限的運(yùn)算能力的便攜式終端機(jī)中難以完整地解決如上的操作。因此，尚未滿足現(xiàn)代人對(duì)能夠方便攜帶的圖像拍攝裝置上容易而簡(jiǎn)便地自然合成全景圖像的方法的需求。

發(fā)明內(nèi)容
為了解決上述問(wèn)題，本發(fā)明的目的在于提供一種自然地融合原圖像之間的拼接區(qū)域，從而生成自然的全景圖像的裝置及方法。并且，為了在計(jì)算機(jī)中實(shí)現(xiàn)如上所述的方法，本發(fā)明的目的在于提供一種記錄有由計(jì)算機(jī)可識(shí)別并運(yùn)行的程序的記錄介質(zhì)。為了達(dá)到上述目的，根據(jù)本發(fā)明的一個(gè)方面的全景圖像生成裝置包括圖像獲取部，其依次獲取多個(gè)圖像；拼接區(qū)域獲取部，作為上述多個(gè)圖像中的某一個(gè)的第一圖像和要與上述第一圖像結(jié)合的第二圖像相互重復(fù)的拼接區(qū)域，獲取具有細(xì)部區(qū)域的上述拼接區(qū)域，上述細(xì)部區(qū)域是與作為上述第二圖像結(jié)合于上述第一圖像的方向的結(jié)合方向垂直地分割而形成的；以及全景生成部，其利用針對(duì)上述細(xì)部區(qū)域進(jìn)行定義的加權(quán)函數(shù)，以上述細(xì)部區(qū)域?yàn)閱挝?，融?blending)而結(jié)合相當(dāng)于上述第一圖像的上述拼接區(qū)域的區(qū)域和相當(dāng)于上述第二圖像的上述拼接區(qū)域的區(qū)域，來(lái)生成全景圖像。根據(jù)上述全景圖像生成裝置的一例，上述全景生成部包括拼接區(qū)域融合部，其利用相當(dāng)于上述第一圖像和上述第二圖像的上述拼接區(qū)域的像素的顏色信息及通過(guò)上述加權(quán)函數(shù)計(jì)算的上述各個(gè)細(xì)部區(qū)域的加權(quán)值，來(lái)計(jì)算融合拼接區(qū)域；以及全景結(jié)合部，其將上述第一圖像的不屬于上述拼接區(qū)域的區(qū)域、上述融合拼接區(qū)域以及上述第二圖像的不屬于上述拼接區(qū)域的區(qū)域結(jié)合為上述全景圖像。上述拼接區(qū)域融合部以上述細(xì)部區(qū)域?yàn)閱挝?，從相?dāng)于上述第二圖像的上述細(xì)部區(qū)域的像素的顏色信息中減去相當(dāng)于上述第一圖像的上述細(xì)部區(qū)域的像素的顏色信息來(lái)計(jì)算顏色信息偏差，上述細(xì)部區(qū)域的加權(quán)值乘以上述顏色信息偏差來(lái)計(jì)算加權(quán)顏色信息偏差，將上述加權(quán)顏色信息偏差加到相當(dāng)于上述第一圖像的上述細(xì)部區(qū)域的像素的顏色信息，由此計(jì)算上述融合拼接區(qū)域。上述拼接區(qū)域融合部以上述細(xì)部區(qū)域?yàn)閱挝?，利用上述?xì)部區(qū)域的加權(quán)值，對(duì)相當(dāng)于上述第一圖像的上述細(xì)部區(qū)域的像素的顏色信息和相當(dāng)于上述第二圖像的上述細(xì)部區(qū)域的像素的顏色信息進(jìn)行加權(quán)平均，來(lái)計(jì)算上述融合拼接區(qū)域。根據(jù)上述全景圖像生成裝置的另一例，上述全景生成部包括圖像線加載部，其沿著上述結(jié)合方向依次加載垂直于上述結(jié)合方向并由上述第一圖像和上述第二圖像的像素構(gòu)成的線；拼接區(qū)域判斷部，其判斷上述線是否屬于上述拼接區(qū)域；全景依次生成部，如果上述線不屬于上述拼接區(qū)域，則將上述線插入到相當(dāng)于上述全景圖像的上述線的位置，如果上述線屬于上述拼接區(qū)域，則加載與上述線拼接的上述第二圖像的拼接線，利用通過(guò)上述加權(quán)函數(shù)計(jì)算的上述線所屬的上述細(xì)部區(qū)域的加權(quán)值，決定上述線和上述拼接線的最終線，將上述最終線插入到相當(dāng)于上述全景圖像的上述線的位置。上述細(xì)部區(qū)域的數(shù)量可以與朝向上述拼接區(qū)域的上述結(jié)合方向的像素?cái)?shù)量相同。 并且，上述細(xì)部區(qū)域的數(shù)量也可以改變。根據(jù)上述全景圖像生成裝置的又一例，上述加權(quán)函數(shù)是如下的單調(diào)遞增函數(shù)當(dāng)上述細(xì)部區(qū)域的數(shù)量為L(zhǎng)時(shí)，將0至L+1的整數(shù)作為輸入變數(shù)，當(dāng)上述輸入變數(shù)為0時(shí)，上述加權(quán)函數(shù)的值為0，當(dāng)上述輸入變數(shù)為L(zhǎng)+1時(shí)，上述加權(quán)函數(shù)的值為1。此時(shí)，上述加權(quán)函數(shù)可以是線性函數(shù)。根據(jù)上述全景圖像生成裝置的再一例，還包括圖像校正部，該圖像校正部選擇具有相當(dāng)于第一圖像和第二圖像的上述拼接區(qū)域的相同位置的規(guī)定數(shù)量的像素，分別計(jì)算上述像素的顏色信息的平均值，使上述平均值的比率乘以屬于上述第一圖像或上述第二圖像的所有像素的顏色信息。此時(shí)，上述比率能夠乘以屬于上述第一圖像或上述第二圖像的所有像素的顏色信息。為了達(dá)到上述目的，根據(jù)本發(fā)明的另一方面的全景圖像生成方法包括如下步驟 圖像獲取步驟，依次獲取多個(gè)圖像；拼接區(qū)域獲取步驟，作為上述多個(gè)圖像中的某一個(gè)的第一圖像和要與上述第一圖像結(jié)合的第二圖像互重復(fù)的拼接區(qū)域，獲取具有細(xì)部區(qū)域的上述拼接區(qū)域，上述細(xì)部區(qū)域是與作為上述第二圖像結(jié)合于上述第一圖像的方向的結(jié)合方向垂直地分割而形成的；以及全景生成步驟，利用針對(duì)上述細(xì)部區(qū)域進(jìn)行定義的加權(quán)函數(shù)，以上述細(xì)部區(qū)域?yàn)閱挝?，融合而結(jié)合相當(dāng)于上述第一圖像的上述拼接區(qū)域的區(qū)域和相當(dāng)于上述第二圖像的上述拼接區(qū)域的區(qū)域，來(lái)生成全景圖像。為了達(dá)到上述目的，根據(jù)本發(fā)明的又一方面的由計(jì)算機(jī)可讀取的介質(zhì)，在計(jì)算機(jī)中記錄用于運(yùn)行上述全景圖像生成方法的程序。在本發(fā)明的全景圖像生成裝置及方法中，應(yīng)用基于像素距離的加權(quán)值，對(duì)作為全景圖像對(duì)象的原圖像的拼接區(qū)域進(jìn)行融合，從而能夠生成自然結(jié)合的全景圖像。并且，鑒于便攜式終端機(jī)的圖像拍攝裝置的特性，對(duì)自動(dòng)變化的曝光及白平衡重新進(jìn)行調(diào)整，從而在除拼接區(qū)域以外的剩余區(qū)域之間也能夠?qū)崿F(xiàn)自然的合成。更進(jìn)一步，根據(jù)本發(fā)明的裝置和方法，即使使用簡(jiǎn)單的計(jì)算過(guò)程和較小的資源也能夠生成自然的全景圖像，因此能夠生成更加適于移動(dòng)終端的硬件環(huán)境的全景圖像。


將通過(guò)參照附圖對(duì)例示性實(shí)施例進(jìn)行的說(shuō)明，使得本發(fā)明的上述特征和優(yōu)點(diǎn)以及其他特征和優(yōu)點(diǎn)更為明確。圖1是根據(jù)本發(fā)明一實(shí)施例的全景圖像生成裝置的框圖；圖2是根據(jù)本發(fā)明一實(shí)施例的圖1的全景圖像生成裝置的全景生成部的框圖；圖3是根據(jù)本發(fā)明另一實(shí)施例的圖1的全景圖像生成裝置的全景生成部的框圖；圖4至圖8是表示為了說(shuō)明本發(fā)明一實(shí)施例的全景圖像生成過(guò)程而提供的示意圖；圖9是根據(jù)本發(fā)明一實(shí)施例的全景圖像生成方法的流程圖；圖10是根據(jù)本發(fā)明一實(shí)施例的圖9的全景圖像生成方法中的全景生成過(guò)程的框圖；圖11是根據(jù)本發(fā)明另一實(shí)施例的圖9的全景圖像生成方法中的全景生成過(guò)程的框圖；圖12是選擇性地包括在圖9的全景圖像生成方法中的圖像校正過(guò)程的流程圖；圖13和圖14是融合發(fā)生之前和之后的全景圖像。
具體實(shí)施例方式以下，參照附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行更加詳細(xì)的說(shuō)明。在此之前，本說(shuō)明書(shū)及權(quán)利要求書(shū)中使用的術(shù)語(yǔ)和單詞不能被限定解釋為通?；蛟~典上的含義，立足于發(fā)明人為了按照最優(yōu)的方法說(shuō)明自己的發(fā)明可以適當(dāng)?shù)囟x術(shù)語(yǔ)的概念的原則，應(yīng)當(dāng)被解釋為符合本發(fā)明的技術(shù)思想的含義和概念。因此，本說(shuō)明書(shū)中記載的各實(shí)施例和附圖中圖示出的結(jié)構(gòu)，是為了向相應(yīng)技術(shù)領(lǐng)域中的普通技術(shù)人員更加完整地說(shuō)明本發(fā)明而提供的。這種實(shí)施例只不過(guò)是例示性的實(shí)施例，并不代表本發(fā)明的全部技術(shù)思想，在本申請(qǐng)的起點(diǎn)上，應(yīng)當(dāng)理解存在有可代替上述實(shí)施例的多種等同物和變形實(shí)施例。在對(duì)本發(fā)明詳細(xì)說(shuō)明之前，對(duì)于說(shuō)明本發(fā)明時(shí)所需的術(shù)語(yǔ)及定義等進(jìn)行簡(jiǎn)單闡述。通常，作為圖像處理的基本的圖像的顏色空間根據(jù)顏色混合的觀點(diǎn)、與人體的視覺(jué)體系的類似性等觀察顏色空間的觀點(diǎn)能夠表現(xiàn)為RGB (紅綠藍(lán))、CMYK (cyan青色、 magenta品紅色、yellow黃色、key black黑色)、HS系列、CIE(國(guó)際發(fā)光照明委員會(huì)， Commission Internationale de' Eclairage)、Y系列等多種空間。通過(guò)簡(jiǎn)單的數(shù)學(xué)變換式將表現(xiàn)為任意的形態(tài)的顏色空間變換為其它顏色空間，這對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)是顯而易見(jiàn)的。并且，輸入圖像由多個(gè)像素的和來(lái)表現(xiàn)，各像素將具有與之相應(yīng)的圖像信息(明度、顏色、彩度等)。通常，圖像信息被區(qū)分為0到255階段并顯示為8位(bit)的信息。但是，根據(jù)應(yīng)用的環(huán)境，圖像信息當(dāng)然可以多樣地變更為10、12位等。因此，作為本發(fā)明的一個(gè)例子表現(xiàn)的一個(gè)顏色空間坐標(biāo)系可以相同或類似地適用于其它顏色空間坐標(biāo)系，輸入圖像中的一個(gè)像素所具有的圖像信息的位(bit)大小，應(yīng)當(dāng)被理解為其只不過(guò)是本發(fā)明的一個(gè)例子。圖1是根據(jù)本發(fā)明一實(shí)施例的全景圖像生成裝置100的框圖。參照?qǐng)D1，本發(fā)明一實(shí)施例的全景圖像生成裝置100包括圖像獲取部110、拼接區(qū)域獲取部120及全景生成部130。全景圖像生成裝置100選擇性地包括圖像校正部140。圖像獲取部110依次獲取要結(jié)合為全景圖像的多個(gè)圖像。依次獲取的圖像是指要合成或結(jié)合的至少2個(gè)原圖像。圖像獲取部110可獲取結(jié)合為水平全景圖像或結(jié)合為垂直全景圖像的圖像?；蛘撸瑘D像獲取部110可依次獲取要結(jié)合為基于水平垂直的組合OX2、2X3、3X3等)的全景圖像的圖像。只是在此情況下，依次獲取的圖像之間可能不會(huì)重疊。即，第一圖像和第三或第四圖像的一部分會(huì)相互重疊。要結(jié)合為全景圖像的多個(gè)圖像可從全景圖像生成裝置100的外部接收，也可以由全景圖像生成裝置100中包括的相機(jī)部(未圖示)直接拍攝并獲取。
對(duì)此參照?qǐng)D4進(jìn)行更加詳細(xì)的說(shuō)明。拼接區(qū)域獲取部120獲取作為由圖像獲取部110依次獲取的多個(gè)圖像中的某一個(gè)圖像的第一圖像和要與第一圖像結(jié)合的第二圖像相互重復(fù)的拼接區(qū)域。為了獲取拼接區(qū)域，提取第一及第二圖像的特征點(diǎn)，通過(guò)提取出的特征點(diǎn)的圖案拼接，使第一及第二圖像的坐標(biāo)相對(duì)應(yīng)。通過(guò)如此對(duì)應(yīng)的坐標(biāo)能夠獲取拼接區(qū)域。拼接區(qū)域被區(qū)分為多個(gè)細(xì)部區(qū)域。細(xì)部區(qū)域的數(shù)量越多，全景圖像將更柔和地進(jìn)行結(jié)合。對(duì)此參照?qǐng)D4進(jìn)行更加詳細(xì)的說(shuō)明。全景生成部130利用對(duì)于各個(gè)細(xì)部區(qū)域進(jìn)行定義的加權(quán)函數(shù)，以細(xì)部區(qū)域?yàn)閱挝?，融合而結(jié)合相當(dāng)于第一圖像和第二圖像的拼接區(qū)域的區(qū)域，來(lái)生成全景圖像。如此生成的全景圖像將柔和地連接第一圖像和第二圖像的顏色信息，以便除了顏色方面以外，在補(bǔ)償失真方面也實(shí)現(xiàn)自然的結(jié)合。對(duì)此參照如下的圖2及圖3進(jìn)行更加詳細(xì)的說(shuō)明。選擇性地包括在全景圖像生成裝置100中的圖像校正部140，選擇具有相當(dāng)于第一圖像和第二圖像的拼接區(qū)域的相同位置的規(guī)定數(shù)量像素，分別計(jì)算被選擇的像素的顏色信息的平均值，計(jì)算出第一平均值和第二平均值，將第一平均值和第二平均值之間的比率反映到屬于第一圖像或第二圖像的所有像素。通過(guò)如上所述進(jìn)行圖像校正，將第一圖像和第二圖像的拍攝瞬間所決定的曝光值及白平衡相互類似地對(duì)準(zhǔn)，從而實(shí)現(xiàn)更加自然的結(jié)合。由于上述圖像校正部140選擇性地包括在全景圖像生成裝置100中，因此應(yīng)當(dāng)注意，在不背離本發(fā)明的保護(hù)范圍的情況下，可以省略圖像校正部140。對(duì)于圖像校正部140將參照?qǐng)D12進(jìn)行更加詳細(xì)的說(shuō)明。圖2是表示本發(fā)明一實(shí)施例的圖1的全景圖像生成裝置100的全景生成部130a 的框圖。參照?qǐng)D2，全景生成部130a包括拼接區(qū)域融合部131及全景結(jié)合部132。拼接區(qū)域融合部131利用相當(dāng)于第一圖像和第二圖像的拼接區(qū)域的像素的顏色信息。并且，拼接區(qū)域融合部131通過(guò)加權(quán)函數(shù)計(jì)算各個(gè)細(xì)部區(qū)域的加權(quán)值，在融合拼接區(qū)域時(shí)利用對(duì)于各個(gè)細(xì)部區(qū)域的加權(quán)值。圖2中根據(jù)本發(fā)明一實(shí)施例，拼接區(qū)域融合部131以細(xì)部區(qū)域?yàn)閱挝?，從相?dāng)于第二圖像的上述細(xì)部區(qū)域的像素的顏色信息中減去相當(dāng)于第一圖像的上述細(xì)部區(qū)域的像素的顏色信息，來(lái)計(jì)算顏色信息偏差。隨后，拼接區(qū)域融合部131將通過(guò)加權(quán)函數(shù)計(jì)算的上述細(xì)部區(qū)域的加權(quán)值乘以顏色信息偏差來(lái)計(jì)算加權(quán)顏色信息偏差。最后，拼接區(qū)域融合部131 將加權(quán)顏色信息偏差加到相當(dāng)于第一圖像的上述細(xì)部區(qū)域的像素的顏色信息，來(lái)計(jì)算融合拼接區(qū)域。拼接區(qū)域融合部131對(duì)屬于所有細(xì)部區(qū)域的所有像素執(zhí)行上述過(guò)程，來(lái)計(jì)算融合拼接區(qū)域。根據(jù)本發(fā)明的另一實(shí)施例，拼接區(qū)域融合部131以細(xì)部區(qū)域?yàn)閱挝?，利用上述?xì)部區(qū)域的加權(quán)值，對(duì)相當(dāng)于第一圖像的上述細(xì)部區(qū)域的像素的顏色信息和相當(dāng)于第二圖像的上述細(xì)部區(qū)域的像素的顏色信息進(jìn)行加權(quán)平均。拼接區(qū)域融合部131將如此加權(quán)平均的值分配為融合拼接區(qū)域的相應(yīng)像素的顏色信息的值。通過(guò)對(duì)屬于所有細(xì)部區(qū)域的所有像素
9執(zhí)行上述過(guò)程，拼接區(qū)域融合部131計(jì)算出融合拼接區(qū)域。對(duì)于該拼接區(qū)域融合部131將參照?qǐng)D4進(jìn)行更加詳細(xì)的說(shuō)明。全景結(jié)合部132結(jié)合第一圖像的不屬于拼接區(qū)域的區(qū)域和融合拼接區(qū)域以及第二圖像的不屬于拼接區(qū)域的區(qū)域。通過(guò)如此的結(jié)合，全景結(jié)合部132將生成全景圖像。圖3是根據(jù)本發(fā)明一實(shí)施例的圖1的全景圖像生成裝置100的全景生成部130b 的框圖。參照?qǐng)D3，全景生成部130b包括圖像線(image line)加載部135、拼接區(qū)域判斷部136及全景依次生成部137。圖像線加載部135依次加載由第一圖像和第二圖像的像素構(gòu)成的線。該線垂直于第一圖像和第二圖像的結(jié)合方向。拼接區(qū)域判斷部136判斷由圖像線加載部135加載的線是否包含于拼接區(qū)域。如果被加載的線不包含于拼接區(qū)域，全景依次生成部137則將被加載的線直接插入到全景圖像的相應(yīng)位置。相反，如果被加載的線包含于拼接區(qū)域，全景依次生成部137則加載與被加載的線對(duì)應(yīng)的要結(jié)合的圖像的拼接線。隨后，對(duì)被加載的線和拼接線進(jìn)行結(jié)合， 此時(shí)，如上所述的方法那樣，利用被加載的線所處的細(xì)部區(qū)域和該細(xì)部區(qū)域的加權(quán)值進(jìn)行結(jié)合。其結(jié)果，將生成最終線。并將生成的最終線插入到全景圖像的相應(yīng)位置。對(duì)此以下參照?qǐng)D4進(jìn)行更加詳細(xì)的說(shuō)明。圖4至圖8是表示用于說(shuō)明根據(jù)本發(fā)明一實(shí)施例的生成全景圖像的過(guò)程的示意圖。參照?qǐng)D1和圖4，其例示性地圖示出從圖像獲取部110依次獲取的多個(gè)圖像中的2 個(gè)圖像302,304ο如上所述，圖像獲取部110依次獲取要結(jié)合為全景圖像的多個(gè)圖像。以下說(shuō)明將第一圖像302和第二圖像304結(jié)合為水平全景圖像的過(guò)程。此時(shí)，第一圖像302是從圖像獲取部110獲取的任意一個(gè)圖像，第二圖像304是為了構(gòu)成全景圖像而要與第一圖像302結(jié)合的圖像。并且，假設(shè)第一圖像302和第二圖像304具有nXm的分辨率。但是，本發(fā)明的技術(shù)思想的范圍并不局限于全景圖像的結(jié)合方向或要結(jié)合的圖像的數(shù)量及大小。拼接區(qū)域獲取部120獲取第一圖像302和第二圖像304相互重復(fù)的拼接區(qū)域。為了獲取拼接區(qū)域，提取第一圖像302和第二圖像304的特征點(diǎn)，例如“312”。特征點(diǎn)是指相比周邊區(qū)域成為特征，以能夠識(shí)別圖像的區(qū)域或點(diǎn)。例如，該特征點(diǎn)為相比周邊亮度高的點(diǎn)、較強(qiáng)的界限交匯的點(diǎn)或與鄰接像素具有規(guī)定大小以上的變化的點(diǎn)。在不背離本發(fā)明保護(hù)范圍的情況下，該特征點(diǎn)可由多種提取方法確定。基于如此提取的特征點(diǎn)312，提取第一圖像302和第二圖像304之間的單應(yīng)性 (homography)來(lái)執(zhí)行多維變形(warping)。單應(yīng)性是指為了結(jié)合第一圖像302和第二圖像 304，將一個(gè)圖像的像素坐標(biāo)系相同地變換為另一圖像的像素坐標(biāo)系。隨后，通過(guò)多維變形來(lái)補(bǔ)償圖像302、304自身具有的失真。例如，將特征點(diǎn)312中的某一個(gè)點(diǎn)作為基準(zhǔn)。求出對(duì)于作為基準(zhǔn)的特征點(diǎn)312的第一圖像302和第二圖像304中的坐標(biāo)。例如，假設(shè)特征點(diǎn)312的第一圖像302中的坐標(biāo)為(xl，yl)，第二圖像304中的坐標(biāo)為(x2，y2)時(shí)，相當(dāng)于第一圖像302的拼接區(qū)域的區(qū)域?qū)⒈粵Q定為(xl-x2, yl-y2)、(xl-x2, m)、(η, yl_y2)、(η, m)。此時(shí)，坐標(biāo)系將圖像的左上端設(shè)定為(1，1)，而將右下端設(shè)定為(n，m)。并且，如圖4所示，在本實(shí)施例的情況下，假設(shè)第二圖像304結(jié)合于第一圖像302的右側(cè)。通過(guò)如上所述的過(guò)程，拼接區(qū)域獲取部120獲取第一圖像302和第二圖像304相互重疊的拼接區(qū)域。也可以選擇性地從圖像生成裝置100的外部接收拼接區(qū)域。例如，全景圖像生成裝置100的拍攝部(未圖示)拍攝第二圖像，以使第一圖像302的一部分與第二圖像304的一部分相互重疊，從而提供預(yù)先決定的拼接區(qū)域308。參照?qǐng)D1和圖5，其圖示出決定了拼接區(qū)域308的第一圖像302和第二圖像304。拼接區(qū)域獲取部120通過(guò)獲取的拼接區(qū)域308可知第一圖像302和第二圖像304 相結(jié)合的方向。在生成水平全景的本例中，如圖5所示，如果拼接區(qū)域308位于第一圖像 302的右側(cè)，可知第二圖像304將要結(jié)合于第一圖像302的右側(cè)，此時(shí)的結(jié)合方向?qū)⑹怯覀?cè)方向。相反，在生成垂直全景的另一例中，如果拼接區(qū)域308位于第一圖像302的下端，可知第二圖像304將要結(jié)合于第一圖像302的下端，此時(shí)的結(jié)合方向?qū)⑹窍聜?cè)方向。圖1和圖5中，假設(shè)拼接區(qū)域308由dXm個(gè)像素構(gòu)成。即，可以理解為拼接區(qū)域 308具有由m個(gè)像素構(gòu)成的d個(gè)縱向線。拼接區(qū)域308以與結(jié)合方向垂直的方向分割拼接區(qū)域308，從而具有多個(gè)細(xì)部區(qū)域314。如果結(jié)合方向?yàn)橛覀?cè)方向，還能通過(guò)縱向分割拼接區(qū)域308來(lái)獲取多個(gè)細(xì)部區(qū)域 314。在圖1和圖5中，假設(shè)拼接區(qū)域308具有L個(gè)細(xì)部區(qū)域314。此時(shí)，由于像素是具有顏色信息的最小單位，因而L不能大于d。如后面所述，作為細(xì)部區(qū)域314的數(shù)量的L是能夠表現(xiàn)為柔和結(jié)合的程度的常數(shù)。 L越大，區(qū)分拼接區(qū)域308的細(xì)部區(qū)域314存在得越多，因而將更加柔和地進(jìn)行結(jié)合。例如， 當(dāng)作為細(xì)部區(qū)域314的數(shù)量的L被設(shè)定為與作為朝向拼接區(qū)域308的結(jié)合方向像素的數(shù)量的d相等時(shí)，使其在給定的圖像302、304之間最為柔和地進(jìn)行結(jié)合。通過(guò)上面的過(guò)程，獲取包括相互要結(jié)合的至少2個(gè)圖像的多個(gè)圖像，并決定上述2 個(gè)圖像相互重復(fù)的拼接區(qū)域。以下，對(duì)全景生成部130進(jìn)行詳細(xì)的說(shuō)明。如上所述，全景生成部130可以是圖2中所示的全景生成部130a，也可以是圖3中所示的全景生成部130b。全景生成部130a對(duì)獲取的拼接區(qū)域執(zhí)行運(yùn)算后，結(jié)合非拼接區(qū)域 306、310和拼接區(qū)域來(lái)生成全景圖像。相反，全景生成部130b依次加載由第一圖像302和第二圖像304的像素構(gòu)成的線并執(zhí)行運(yùn)算，從而依次生成全景圖像。這種方式有利于在畫(huà)面上顯示全景圖像。在對(duì)全景生成部130a、130b進(jìn)行詳細(xì)的說(shuō)明之前，參照?qǐng)D6及圖7，說(shuō)明對(duì)于細(xì)部區(qū)域314進(jìn)行定義的加權(quán)函數(shù)W(X)和通過(guò)該函數(shù)計(jì)算的細(xì)部區(qū)域314的加權(quán)值。各個(gè)細(xì)部區(qū)域314的加權(quán)值通過(guò)加權(quán)函數(shù)W(X)進(jìn)行計(jì)算。加權(quán)函數(shù)W(X)是將從 0到L+1的整數(shù)作為輸入變數(shù)的函數(shù)，具有0以上1以下的值。并且，當(dāng)加權(quán)函數(shù)被輸入為 0時(shí)，具有0值，當(dāng)被輸入為L(zhǎng)+1時(shí)，具有1值。加權(quán)函數(shù)可以是具有隨著輸入次數(shù)增加而增加或者與其相等的值的單調(diào)遞增函數(shù)。例如，加權(quán)函數(shù)W(X)可以是如W(X) =x/(L+l)的線性函數(shù)，根據(jù)拍攝的圖像302、 304的特性，例如焦距、被拍攝體、拍攝裝置、拼接區(qū)域的大小，其可以是其它函數(shù)，例如是w(x) = 0. 5*sin[ π {x/(L+l)_0. 5]+0. 5，w(x) = 0. 5*tan[ π {x/2(L+l)_0. 25}]+0. 5 或是 w(χ) =4{x/(L+l)-0. 5} 3+0. 5 該加權(quán)函數(shù)w(x)由使用人員的選擇進(jìn)行變更。為了減少全景圖像生成裝置的運(yùn)算負(fù)擔(dān)，加權(quán)函數(shù)W(X)被選擇為線性函數(shù)。加權(quán)函數(shù)W(X)的輸入稱為細(xì)部區(qū)域314的編號(hào)，輸入該編號(hào)的結(jié)果為相應(yīng)細(xì)部區(qū)域314的加權(quán)值。例如，對(duì)于第a個(gè)細(xì)部區(qū)域的加權(quán)值是將a作為加權(quán)函數(shù)的輸入時(shí)的加權(quán)函數(shù)W(X)的結(jié)果值，即w (a)。其中，a顯而易見(jiàn)的是1以上L以下，假設(shè)細(xì)部區(qū)域314的編號(hào)由結(jié)合方向來(lái)進(jìn)行設(shè)定。在圖6中所示的例中，最左側(cè)的細(xì)部區(qū)域314為第1個(gè)細(xì)部區(qū)域314，最右側(cè)細(xì)部區(qū)域314為第L個(gè)細(xì)部區(qū)域314。圖2中所示的拼接區(qū)域融合部131對(duì)相當(dāng)于第一圖像302和第二圖像304的拼接區(qū)域308的區(qū)域進(jìn)行融合。拼接區(qū)域融合部131計(jì)算從屬于相當(dāng)于第二圖像304的拼接區(qū)域308的區(qū)域的所有像素的顏色信息值減去屬于相當(dāng)于第一圖像302的拼接區(qū)域308的區(qū)域的所有像素的顏色信息值的顏色信息偏差。例如，如果相當(dāng)于第一圖像302的拼接區(qū)域的特定坐標(biāo)(i，j) 的像素Pl的顏色信息為(!·1^1，131)，與上述特定像素？1對(duì)應(yīng)并相當(dāng)于第二圖像304的拼接區(qū)域的坐標(biāo)(i，j)的像素P2的顏色信息為(r2，g2，b2)時(shí)，顏色信息偏差將是(r2_rl， g2-gl，l32-bl)。此時(shí)，坐標(biāo)(i，j)由局限于拼接區(qū)域的坐標(biāo)系決定，假設(shè)拼接區(qū)域的左上端為(0，0)，拼接區(qū)域的右下端為(d，m)。并且，假設(shè)包括有相當(dāng)于(i，j)的像素(P1，P2)的細(xì)部區(qū)域314的編號(hào)為a，加權(quán)函數(shù)W(X)中輸入a而得出的結(jié)果值，S卩加權(quán)值w (a)乘以顏色信息偏差。其結(jié)果，生成加權(quán)顏色信息偏差，該值為w (a) (r2-rl, g2_gl，l32-bl)。將加權(quán)顏色信息偏差加到相當(dāng)于第一圖像的上述坐標(biāo)(i，j)的像素Pl的顏色信息，生成最終拼接區(qū)域318。相當(dāng)于最終拼接區(qū)域 318 的(i,j)的像素的最終顏色信息，將是(rl+w(a) (r2-rl), gl+w(a) (g2-gl),bl+w(a) (b2-bl))0對(duì)屬于拼接區(qū)域308的所有像素執(zhí)行該過(guò)程，為了減少運(yùn)算，作為加權(quán)函數(shù)的結(jié)果值的加權(quán)值按照相同的細(xì)部區(qū)域314單位執(zhí)行。更具體而言，當(dāng)細(xì)部區(qū)域314的數(shù)量L與朝向細(xì)部區(qū)域314的結(jié)合方向的像素?cái)?shù)量d相等時(shí)，對(duì)應(yīng)由縱向排列的像素構(gòu)成的縱向線中的每個(gè)縱向線，分配加權(quán)值。并且，對(duì)加權(quán)函數(shù)為如W(x) = x/(d+l)的線性函數(shù)的例進(jìn)行說(shuō)明。按照上面的數(shù)學(xué)式，屬于最終拼接區(qū)域318的第i個(gè)線的像素具有(rl+i(r2-rl)/ (d+1)，gl+i (g2-gl) / (d+1)，bl+i (b2-bl) / (d+1))的最終顏色信息。選擇性地，拼接區(qū)域融合部131將屬于相當(dāng)于拼接區(qū)域308的第一圖像302的所有像素的顏色信息值和屬于相當(dāng)于拼接區(qū)域308的第二圖像304的所有像素的顏色信息值，以相應(yīng)像素所屬的細(xì)部區(qū)域314的加權(quán)值進(jìn)行加權(quán)平均，生成最終拼接區(qū)域318的最終顏色信息。例如，拼接區(qū)域308的坐標(biāo)(i，j)的像素的顏色信息由將第一圖像302的坐標(biāo)(i， j)的像素的顏色信息和第二圖像304的坐標(biāo)(i，j)的像素的顏色信息分別以l-w(a)和 w (a)進(jìn)行加權(quán)平均而進(jìn)行計(jì)算。通過(guò)如上所述使用加權(quán)平均，無(wú)需求出屬于第一圖像302和第二圖像304的像素的顏色信息之差，從而減少運(yùn)算量。
12
該過(guò)程也為了減少運(yùn)算，按照加權(quán)函數(shù)的結(jié)果值相同的細(xì)部區(qū)域314單位來(lái)執(zhí)行。為了說(shuō)明本發(fā)明的技術(shù)思想，本說(shuō)明書(shū)中使用RGB色坐標(biāo)系進(jìn)行說(shuō)明，但是應(yīng)當(dāng)注意本發(fā)明并非限定于此。參照?qǐng)D示有第一圖像302和第二圖像304結(jié)合的最終全景圖像的圖8，圖2中所示的全景結(jié)合部132將拼接區(qū)域融合部131中生成的最終拼接區(qū)域318與不相當(dāng)于第一圖像 302的拼接區(qū)域308的區(qū)域306和不相當(dāng)于第二圖像304的拼接區(qū)域308的區(qū)域310進(jìn)行結(jié)合，從而生成全景圖像330。參照?qǐng)D4的第一圖像302和第二圖像304，隨著拍攝位置位于被拍攝體的中心，與被拍攝體靠近的部分，即第一圖像302的右側(cè)和第二圖像304的左側(cè)，相比第一圖像302的左側(cè)和第二圖像304的右側(cè)更大地顯示。因此，第一圖像302中顯示的屋棚以正角傾斜，第二圖像304中顯示的屋棚以負(fù)角傾斜表現(xiàn)。這是起因于將三維空間表現(xiàn)為二維空間所發(fā)生的失真，即，即使是實(shí)際上相等的長(zhǎng)度，根據(jù)與拍攝裝置的鏡頭的距離而不同地表現(xiàn)的顯像。該失真在制作為全景圖像時(shí)，該失真將以X字形態(tài)重疊顯示，或是實(shí)際上連接的線被表現(xiàn)為斷線，從而不自然地進(jìn)行結(jié)合。但是，參照?qǐng)D8的最終拼接區(qū)域318，用“A”標(biāo)記的部分由平滑的曲線彎曲表現(xiàn)。 這是因?yàn)樵诮Y(jié)合第一圖像302和第二圖像304時(shí)利用加權(quán)值，從而顯示為一個(gè)曲線，而不是以X字形態(tài)重疊顯示。在使用具有寬廣的視角的廣角鏡頭的情況下，圖像的周邊部上顯示的直線也將被顯示為曲線，使得該現(xiàn)象被認(rèn)為是自然的。圖13和圖14是經(jīng)由如上所述的融合過(guò)程之前和之后的全景圖像的比較結(jié)果。特別是，在圖14的融合之前的圖中，第一圖像302和第二圖像304結(jié)合的部分由明確的線來(lái)區(qū)分，并相互錯(cuò)開(kāi)地拼接顯示。但是，在融合之后的圖中，可知錯(cuò)開(kāi)拼接的部分變得自然。現(xiàn)在，對(duì)圖3的全景生成部130b進(jìn)行說(shuō)明。參照?qǐng)D3、圖4、圖5及圖8。圖像線加載部135按照線單位依次加載屬于第一圖像302和第二圖像304的所有像素。上述線與第一圖像302和第二圖像304結(jié)合的結(jié)合方向垂直，按照結(jié)合方向順序進(jìn)行加載。參照?qǐng)D5，從由位于第一圖像302的最左側(cè)的m個(gè)像素構(gòu)成的最左側(cè)縱向線開(kāi)始加載，接著加載與之相鄰的右側(cè)縱向線。如果按照如上所述的方式繼續(xù)加載，則會(huì)按照第一圖像302的非拼接區(qū)域306、第一圖像302的拼接區(qū)域308和第二圖像304的拼接區(qū)域 308、第二圖像304的非拼接區(qū)域310的順序進(jìn)行加載。拼接區(qū)域判斷部136判斷圖像線加載部135中加載的線是否屬于拼接區(qū)域308。 對(duì)于拼接區(qū)域308的信息可從圖1中所示的拼接區(qū)域獲取部120獲取。全景依次生成部137根據(jù)拼接區(qū)域判斷部136的判斷結(jié)果，如果被加載的線屬于拼接區(qū)域308，則加載與被加載的線拼接的第二圖像304的拼接線。隨后，將被加載的線和拼接線利用上述線所屬的細(xì)部區(qū)域314的加權(quán)值來(lái)生成最終拼接線。由于利用加權(quán)值運(yùn)算的過(guò)程已在上面進(jìn)行說(shuō)明，在此將省略。隨后，將最終拼接線插入到相當(dāng)于被加載的線的位置，來(lái)生成全景圖像。如果拼接區(qū)域判斷部136判斷為被加載的線不屬于拼接區(qū)域，將其插入到相當(dāng)于被加載的線的位置，來(lái)生成全景圖像。圖像線加載部135在加載屬于第一圖像302的所有像素后，加載第二圖像304的非拼接區(qū)域310。由此，全景生成部130b對(duì)所有像素執(zhí)行上述過(guò)程，來(lái)生成全景圖像330。在生成最終拼接區(qū)域318的同時(shí)，圖3所示的全景生成部130b依次生成全景圖像 330，其運(yùn)算量也不大，并且也不需要大容量的內(nèi)存資源。圖3所示的全景生成部130b尤其有利于將全景圖像330實(shí)時(shí)地顯示在顯示裝置，或是向其它裝置傳輸數(shù)據(jù)。這是因?yàn)樵趯?duì)拼接區(qū)域308進(jìn)行融合的同時(shí)，將融合的部分顯示在顯示器畫(huà)面?，F(xiàn)在，對(duì)圖1中所示的圖像校正部140進(jìn)行說(shuō)明。如圖1所示，圖像校正部140位于拼接區(qū)域獲取部120與全景生成部130之間，在生成全景之前對(duì)圖像進(jìn)行校正。參照?qǐng)D4至圖8，圖像校正部140選擇相當(dāng)于拼接區(qū)域308的第一圖像302和第二圖像304中具有相互拼接的位置的規(guī)定數(shù)量的像素。規(guī)定數(shù)量的像素是拼接區(qū)域308中包含的預(yù)先決定的、例如位于中央的一部分區(qū)域的像素?；蛘呤?，規(guī)定數(shù)量的像素按照預(yù)先決定的數(shù)量隨機(jī)選擇。或者是，規(guī)定數(shù)量的像素是屬于拼接區(qū)域308的所有像素。在理想狀態(tài)下，該像素在第一圖像302和第二圖像304中具有相同的顏色信息。 但是，由于第一圖像302和第二圖像304在不同的時(shí)間進(jìn)行拍攝，無(wú)法準(zhǔn)確地保持一致。因此，拍攝相同的被拍攝體的第一圖像302和第二圖像304之間也將具有不同的曝光值及白平衡。該曝光值及白平衡的差異導(dǎo)致第一圖像302和第二圖像304之間生成規(guī)定的差異。圖像校正部140將被選擇的規(guī)定數(shù)量的像素的顏色信息對(duì)第一圖像302和第二圖像304計(jì)算平均值，計(jì)算出第一顏色平均值及第二顏色平均值。例如，如果顏色信息使用RGB色坐標(biāo)系，被選擇的像素的第一顏色平均值為(R1， Gl，Bi)，第二顏色平均值為(R2，G2，B2)。例如，如果第二圖像304的曝光值大于第一圖像302的曝光值，則第二圖像304則會(huì)相比第一圖像302更亮地表現(xiàn)，第二圖像304的像素將具有相對(duì)更高的顏色信息(例如 RGB)。即，對(duì)于被選擇的像素的第二圖像的顏色信息，R2+G2+B2值將大于作為第一圖像的顏色信息的R1+G1+B1值。并且，如果第二圖像304中的藍(lán)色系列的顏色較多，使圖像影像裝置600將白平衡向藍(lán)色側(cè)移動(dòng)時(shí)，第二圖像304的像素將具有相對(duì)低的藍(lán)顏色信息。即，對(duì)于被選擇的像素的第二圖像的藍(lán)顏色信息即B2值將小于第一圖像的藍(lán)顏色信息即Bl值。圖像校正部140計(jì)算出作為第一顏色平均值和第二顏色平均值之差的顏色偏差或顏色比率。圖4至圖8中，顏色偏差可以是(R1-R2，G1-G2，B1-B2)，顏色比率可以是(R1/R2， G1/G2，B1/B2)?；蛘撸部梢耘c之相反。圖像校正部140將計(jì)算出的顏色偏差或顏色比率反映到屬于第一或第二圖像的所有像素的顏色信息中。如果顏色偏差被定義為(R1-R2，G1-G2，B1_B》，則將上述顏色偏差加到屬于第二圖像304的所有像素的顏色信息中，由此能夠?qū)⒌诙D像304的曝光值及白平衡校正為第一圖像302的曝光值和白平衡水準(zhǔn)。相反，從屬于第一圖像302的所有像素的顏色信息中
14減去上述顏色偏差，由此能夠?qū)⒌谝粓D像302的曝光值及白平衡校正為第二圖像304的曝光值和白平衡水準(zhǔn)。與此相同，在顏色比率為(R1/R2，G1/G2，B1/B2)的情況下，屬于第一圖像302或第二圖像304的所有像素的顏色信息乘以或除以該顏色比率，使得第一圖像302和第二圖像 304的曝光值及白平衡相同地進(jìn)行調(diào)整。在如上所述相同地調(diào)整曝光值和白平衡后，根據(jù)得到校正的第一圖像302或得到校正的第二圖像304生成全景時(shí)，能夠獲取更加自然地結(jié)合的全景。以上利用RGB色坐標(biāo)系進(jìn)行了說(shuō)明，但是本技術(shù)領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明同樣適用于利用其它色坐標(biāo)系的情況?，F(xiàn)在，基于上述內(nèi)容對(duì)全景圖像生成方法進(jìn)行說(shuō)明。圖9是根據(jù)本發(fā)明一實(shí)施例的全景圖像生成方法的流程圖。參照?qǐng)D1和圖9，從圖像獲取部110獲取包括具有相互重復(fù)的區(qū)域的第一圖像和第二圖像的多個(gè)圖像(過(guò)程S10)。由于這部分在上面已進(jìn)行詳細(xì)說(shuō)明，在此省去詳細(xì)的說(shuō)明。隨后，拼接區(qū)域獲取部120獲取第一圖像和第二圖像相互重復(fù)的拼接區(qū)域(過(guò)程 S20)。此時(shí)，拼接區(qū)域具有與作為第二圖像結(jié)合于第一圖像的方向的結(jié)合方向垂直地分割的細(xì)部區(qū)域。由于這部分在上面已進(jìn)行詳細(xì)說(shuō)明，在此省去詳細(xì)的說(shuō)明。隨后，選擇性地，圖像校正部140對(duì)第一圖像或第二圖像進(jìn)行校正(過(guò)程S40)。選擇具有相當(dāng)于第一圖像和第二圖像的拼接區(qū)域的相同位置的規(guī)定數(shù)量的像素， 分別計(jì)算上述像素的顏色信息的平均值，將上述平均值的比率反映到屬于上述第一圖像或上述第二圖像的所有像素。該反映通過(guò)第一圖像或第二圖像乘以或除以上述比率來(lái)實(shí)現(xiàn)。 由于這部分在上面已進(jìn)行詳細(xì)說(shuō)明，在此省去詳細(xì)的說(shuō)明。隨后，在全景生成部130生成結(jié)合第一圖像和第二圖像的全景圖像(過(guò)程S30)。 由于這部分在上面已進(jìn)行詳細(xì)說(shuō)明，在此省去詳細(xì)的說(shuō)明。圖10是表示本發(fā)明第一實(shí)施例的全景圖像生成裝置的全景生成過(guò)程的流程圖。參照?qǐng)D2和圖10，全景生成過(guò)程S30a包括拼接區(qū)域融合過(guò)程S31和全景結(jié)合過(guò)程 S32。拼接區(qū)域融合部131對(duì)相當(dāng)于第一圖像和第二圖像的拼接區(qū)域的區(qū)域進(jìn)行融合， 來(lái)生成融合拼接區(qū)域(過(guò)程S31)。由于這部分在上面已進(jìn)行詳細(xì)說(shuō)明，在此省去詳細(xì)的說(shuō)明。在全景結(jié)合部132將融合拼接區(qū)域與第一圖像和第二圖像的非拼接區(qū)域進(jìn)行結(jié)合，來(lái)生成全景圖像(過(guò)程S32)。由于這部分在上面已進(jìn)行詳細(xì)說(shuō)明，在此省去詳細(xì)的說(shuō)明。圖11是根據(jù)本發(fā)明一實(shí)施例的圖9方法中的全景生成過(guò)程S30的流程圖。參照?qǐng)D3和圖11，全景生成過(guò)程S30b包括圖像加載過(guò)程、拼接區(qū)域判斷過(guò)程及全景依次生成過(guò)程。在圖像加載部135按照線單位依次加載屬于第一圖像和第二圖像的所有像素，從而加載屬于第一圖像和第二圖像的所有像素(過(guò)程S35)。在拼接區(qū)域判斷部136判斷被加載的線是否屬于拼接區(qū)域(過(guò)程S36)。
如果被加載的線屬于拼接區(qū)域，全景依次生成部137則加載與被加載的線拼接的第二圖像的拼接線(過(guò)程S37)。隨后，將被加載的線和拼接線利用加權(quán)值來(lái)生成最終拼接線(過(guò)程S38)。隨后，將最終拼接線插入到相當(dāng)于被加載的線的位置，來(lái)生成全景圖像(過(guò)程 S39)。如果判斷為被加載的線不屬于拼接區(qū)域，全景依次生成部137將該被加載的線插入到相當(dāng)于被加載的線的位置，來(lái)生成全景圖像(S39)。在全景生成過(guò)程S30b中，在加載屬于第一圖像的所有像素后，加載屬于第二圖像的非拼接區(qū)域的所有像素。因此，在此過(guò)程中，對(duì)所有像素執(zhí)行上述過(guò)程，從而生成全景圖像。對(duì)于全景生成過(guò)程S30b參照?qǐng)D3已在上面進(jìn)行詳細(xì)說(shuō)明，在此省去詳細(xì)的說(shuō)明。圖12是選擇性包括在圖9方法中的圖像的校正過(guò)程S40的流程圖。參照?qǐng)D12，圖像的校正過(guò)程S40包括從第一圖像和第二圖像中選擇具有相互拼接位置的規(guī)定數(shù)量的像素的過(guò)程(S42)。收集如此被選擇的像素的顏色信息，計(jì)算出作為第一圖像中選擇的像素的顏色信息的平均值的第一平均值和作為第二圖像中選擇的像素的顏色信息的平均值的第二平均值(過(guò)程S44)。隨后，對(duì)計(jì)算出的第一及第二平均值的偏差或比率進(jìn)行計(jì)算(過(guò)程S46)。將計(jì)算出的平均值的偏差或比率反映到第一圖像或第二圖像(過(guò)程S48)。對(duì)于圖像校正過(guò)程已在上面進(jìn)行詳細(xì)說(shuō)明，在此省去詳細(xì)的說(shuō)明。上述根據(jù)本發(fā)明的全景圖像生成方法可以在由計(jì)算機(jī)可讀取的記錄介質(zhì)中，作為計(jì)算機(jī)可讀取的代碼來(lái)實(shí)現(xiàn)。計(jì)算機(jī)可讀取的記錄介質(zhì)包括存儲(chǔ)有由計(jì)算機(jī)可讀取的數(shù)據(jù)的所有種類的記錄裝置。作為計(jì)算機(jī)可讀取的記錄介質(zhì)，可舉例ROM(只讀存儲(chǔ)器)、RAM(隨機(jī)存儲(chǔ)器)、CD-R0M(只讀光盤(pán))、磁帶、軟盤(pán)、光學(xué)數(shù)據(jù)存儲(chǔ)裝置等，并且還包括以載波(例如通過(guò)因特網(wǎng)傳輸)的形態(tài)來(lái)實(shí)現(xiàn)。并且，由計(jì)算機(jī)可讀取的記錄介質(zhì)被分散到由網(wǎng)絡(luò)連接的計(jì)算機(jī)裝置，以分散方式存儲(chǔ)并運(yùn)行由計(jì)算機(jī)可讀取的代碼。并且，用于實(shí)現(xiàn)上述全景圖像生成方法的功能性(function)的程序、代碼及代碼段(code segment)，可以由本發(fā)明所屬技術(shù)領(lǐng)域的編程人員容易進(jìn)行推導(dǎo)。以上說(shuō)明的本發(fā)明并非限定于前述的實(shí)施例及附圖，在不超出由權(quán)利要求書(shū)決定的本發(fā)明的技術(shù)思想的范圍內(nèi)，可以對(duì)其進(jìn)行多種置換、修改及變形，這些對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)是顯而易見(jiàn)的。產(chǎn)業(yè)上的可利用性本發(fā)明涉及生成全景圖像的裝置、方法及由記錄有運(yùn)行該方法的程序的計(jì)算機(jī)可讀取的記錄介質(zhì)。更具體而言，涉及一種生成自然地融合了拼接區(qū)域的圖像的全景圖像的裝置、方法及由記錄有運(yùn)行該方法的程序的計(jì)算機(jī)可讀取的記錄介質(zhì)。在本發(fā)明的全景圖像生成裝置及方法中，應(yīng)用基于像素距離的加權(quán)值，對(duì)作為全景圖像對(duì)象的原圖像的拼接區(qū)域進(jìn)行融合，從而能夠生成自然結(jié)合的全景圖像。并且，根據(jù)本發(fā)明的裝置和方法，即使使用簡(jiǎn)單的計(jì)算過(guò)程和較小的資源也能夠生成自然的全景圖像，因此能夠生成更加適于移動(dòng)終端的硬件環(huán)境的全景圖像。
權(quán)利要求
1.一種全景圖像生成裝置，其特征在于，包括 圖像獲取部，其依次獲取多個(gè)圖像；拼接區(qū)域獲取部，作為所述多個(gè)圖像中的某一個(gè)的第一圖像和要與所述第一圖像結(jié)合的第二圖像相互重復(fù)的拼接區(qū)域，獲取具有細(xì)部區(qū)域的所述拼接區(qū)域，所述細(xì)部區(qū)域是與作為所述第二圖像結(jié)合于所述第一圖像的方向的結(jié)合方向垂直地分割而形成的；以及全景生成部，其利用針對(duì)所述細(xì)部區(qū)域進(jìn)行定義的加權(quán)函數(shù)，以所述細(xì)部區(qū)域?yàn)閱挝唬?融合而結(jié)合相當(dāng)于所述第一圖像的所述拼接區(qū)域的區(qū)域和相當(dāng)于所述第二圖像的所述拼接區(qū)域的區(qū)域，來(lái)生成全景圖像。
2.根據(jù)權(quán)利要求1所述的全景圖像生成裝置，其特征在于，所述全景生成部包括 拼接區(qū)域融合部，其利用相當(dāng)于所述第一圖像和所述第二圖像的所述拼接區(qū)域的像素的顏色信息及通過(guò)所述加權(quán)函數(shù)計(jì)算的所述各個(gè)細(xì)部區(qū)域的加權(quán)值，來(lái)計(jì)算融合拼接區(qū)域；以及全景結(jié)合部，其將所述第一圖像的不屬于所述拼接區(qū)域的區(qū)域、所述融合拼接區(qū)域以及所述第二圖像的不屬于所述拼接區(qū)域的區(qū)域結(jié)合為所述全景圖像。
3.根據(jù)權(quán)利要求2所述的全景圖像生成裝置，其特征在于，所述拼接區(qū)域融合部以所述細(xì)部區(qū)域?yàn)閱挝唬瑥南喈?dāng)于所述第二圖像的所述細(xì)部區(qū)域的像素的顏色信息中減去相當(dāng)于所述第一圖像的所述細(xì)部區(qū)域的像素的顏色信息來(lái)計(jì)算顏色信息偏差，所述細(xì)部區(qū)域的加權(quán)值乘以所述顏色信息偏差來(lái)計(jì)算加權(quán)顏色信息偏差，將所述加權(quán)顏色信息偏差加到相當(dāng)于所述第一圖像的所述細(xì)部區(qū)域的像素的顏色信息，由此計(jì)算所述融合拼接區(qū)域。
4.根據(jù)權(quán)利要求2所述的全景圖像生成裝置，其特征在于，所述拼接區(qū)域融合部以所述細(xì)部區(qū)域?yàn)閱挝唬盟黾?xì)部區(qū)域的加權(quán)值，對(duì)相當(dāng)于所述第一圖像的所述細(xì)部區(qū)域的像素的顏色信息和相當(dāng)于所述第二圖像的所述細(xì)部區(qū)域的像素的顏色信息進(jìn)行加權(quán)平均，來(lái)計(jì)算所述融合拼接區(qū)域。
5.根據(jù)權(quán)利要求1所述的全景圖像生成裝置，其特征在于，所述全景生成部包括 圖像線加載部，其沿著所述結(jié)合方向依次加載垂直于所述結(jié)合方向并由所述第一圖像和所述第二圖像的像素構(gòu)成的線；拼接區(qū)域判斷部，其判斷所述線是否屬于所述拼接區(qū)域；全景依次生成部，如果所述線不屬于所述拼接區(qū)域，則將所述線插入到相當(dāng)于所述全景圖像的所述線的位置，如果所述線屬于所述拼接區(qū)域，則加載與所述線拼接的所述第二圖像的拼接線，利用通過(guò)所述加權(quán)函數(shù)計(jì)算的所述線所屬的所述細(xì)部區(qū)域的加權(quán)值，決定所述線和所述拼接線的最終線，將所述最終線插入到相當(dāng)于所述全景圖像的所述線的位置。
6.根據(jù)權(quán)利要求1所述的全景圖像生成裝置，其特征在于，所述細(xì)部區(qū)域的數(shù)量與朝向所述拼接區(qū)域的所述結(jié)合方向的像素?cái)?shù)量相同。
7.根據(jù)權(quán)利要求1所述的全景圖像生成裝置，其特征在于，所述細(xì)部區(qū)域的數(shù)量能夠改變。
8.根據(jù)權(quán)利要求1所述的全景圖像生成裝置，其特征在于，所述加權(quán)函數(shù)是如下的單調(diào)遞增函數(shù)當(dāng)所述細(xì)部區(qū)域的數(shù)量為L(zhǎng)時(shí)，將0至L+1的整數(shù)作為輸入變數(shù)，當(dāng)所述輸入變數(shù)為0時(shí)，所述加權(quán)函數(shù)的值為0，當(dāng)所述輸入變數(shù)為L(zhǎng)+1時(shí)，所述加權(quán)函數(shù)的值為1。
9.根據(jù)權(quán)利要求8所述的全景圖像生成裝置，其特征在于，所述加權(quán)函數(shù)是線性函數(shù)。
10.根據(jù)權(quán)利要求1所述的全景圖像生成裝置，其特征在于，還包括圖像校正部，該圖像校正部選擇具有相當(dāng)于第一圖像和第二圖像的所述拼接區(qū)域的相同位置的規(guī)定數(shù)量的像素，分別計(jì)算所述像素的顏色信息的平均值，使所述平均值的比率乘以屬于所述第一圖像或所述第二圖像的所有像素的顏色信息。
11.一種全景圖像生成方法，其特征在于，包括如下步驟 圖像獲取步驟，依次獲取多個(gè)圖像；拼接區(qū)域獲取步驟，作為所述多個(gè)圖像中的某一個(gè)的第一圖像和要與所述第一圖像結(jié)合的第二圖像相互重復(fù)的拼接區(qū)域，獲取具有細(xì)部區(qū)域的所述拼接區(qū)域，所述細(xì)部區(qū)域是與作為所述第二圖像結(jié)合于所述第一圖像的方向的結(jié)合方向垂直地分割而形成的；以及全景生成步驟，利用針對(duì)所述細(xì)部區(qū)域進(jìn)行定義的加權(quán)函數(shù)，以所述細(xì)部區(qū)域?yàn)閱挝唬?融合而結(jié)合相當(dāng)于所述第一圖像的所述拼接區(qū)域的區(qū)域和相當(dāng)于所述第二圖像的所述拼接區(qū)域的區(qū)域，來(lái)生成全景圖像。
12.根據(jù)權(quán)利要求11所述的全景圖像生成方法，其特征在于，所述全景生成步驟包括 拼接區(qū)域融合步驟，利用相當(dāng)于所述第一圖像和所述第二圖像的所述拼接區(qū)域的像素的顏色信息及通過(guò)所述加權(quán)函數(shù)計(jì)算的所述各個(gè)細(xì)部區(qū)域的加權(quán)值，來(lái)計(jì)算融合拼接區(qū)域；以及全景結(jié)合步驟，將所述第一圖像的不屬于所述拼接區(qū)域的區(qū)域、所述融合拼接區(qū)域以及所述第二圖像的不屬于所述拼接區(qū)域的區(qū)域結(jié)合為所述全景圖像。
13.根據(jù)權(quán)利要求12所述的全景圖像生成方法，其特征在于，在所述拼接區(qū)域融合步驟中，以所述細(xì)部區(qū)域?yàn)閱挝?，從相?dāng)于所述第二圖像的所述細(xì)部區(qū)域的像素的顏色信息中減去相當(dāng)于所述第一圖像的所述細(xì)部區(qū)域的像素的顏色信息來(lái)計(jì)算顏色信息偏差，所述細(xì)部區(qū)域的加權(quán)值乘以所述顏色信息偏差來(lái)計(jì)算加權(quán)顏色信息偏差，將所述加權(quán)顏色信息偏差加到相當(dāng)于所述第一圖像的所述細(xì)部區(qū)域的像素的顏色信息，由此計(jì)算所述融合拼接區(qū)域。
14.根據(jù)權(quán)利要求12所述的全景圖像生成方法，其特征在于，在所述拼接區(qū)域融合步驟中，以所述細(xì)部區(qū)域?yàn)閱挝?，利用所述?xì)部區(qū)域的加權(quán)值，對(duì)相當(dāng)于所述第一圖像的所述細(xì)部區(qū)域的像素的顏色信息和相當(dāng)于所述第二圖像的所述細(xì)部區(qū)域的像素的顏色信息進(jìn)行加權(quán)平均，來(lái)計(jì)算所述融合拼接區(qū)域。
15.根據(jù)權(quán)利要求11所述的全景圖像生成方法，其特征在于，所述全景生成步驟包括 圖像加載步驟，沿著所述結(jié)合方向依次加載垂直于所述結(jié)合方向并由所述第一圖像和所述第二圖像的像素構(gòu)成的線；拼接區(qū)域判斷步驟，判斷所述線是否屬于所述拼接區(qū)域；全景依次生成步驟，如果所述線不屬于所述拼接區(qū)域，則將所述線插入到相當(dāng)于所述全景圖像的所述線的位置，如果所述線屬于所述拼接區(qū)域，則加載與所述線拼接的所述第二圖像的拼接線，利用通過(guò)所述加權(quán)函數(shù)計(jì)算的所述線所屬的所述細(xì)部區(qū)域的加權(quán)值，決定所述線和所述拼接線的最終線，將所述最終線插入到相當(dāng)于所述全景圖像的所述線的位置。
16.根據(jù)權(quán)利要求11所述的全景圖像生成方法，其特征在于，所述細(xì)部區(qū)域的數(shù)量與朝向所述拼接區(qū)域的所述結(jié)合方向的像素?cái)?shù)量相同。
17.根據(jù)權(quán)利要求11所述的全景圖像生成方法，其特征在于，所述細(xì)部區(qū)域的數(shù)量能夠改變。
18.根據(jù)權(quán)利要求11所述的全景圖像生成方法，其特征在于，所述加權(quán)函數(shù)是如下的單調(diào)遞增函數(shù)當(dāng)所述細(xì)部區(qū)域的數(shù)量為L(zhǎng)時(shí)，將0至L+1的整數(shù)作為輸入變數(shù)，當(dāng)所述輸入變數(shù)為0時(shí)，所述加權(quán)函數(shù)的值為0，當(dāng)所述輸入變數(shù)為L(zhǎng)+1時(shí)，所述加權(quán)函數(shù)的值為1。
19.根據(jù)權(quán)利要求18所述的全景圖像生成方法，其特征在于，所述加權(quán)函數(shù)是線性函數(shù)。
20.根據(jù)權(quán)利要求11所述的全景圖像生成方法，其特征在于，還包括圖像校正步驟，在該圖像校正步驟中，選擇具有相當(dāng)于第一圖像和第二圖像的所述拼接區(qū)域的相同位置的規(guī)定數(shù)量的像素，分別計(jì)算所述像素的顏色信息的平均值，使所述平均值的比率乘以屬于所述第一圖像或所述第二圖像的所有像素的顏色信息。
全文摘要
本發(fā)明提供生成全景圖像的裝置、方法及由記錄有運(yùn)行該方法的程序的計(jì)算機(jī)可讀取的記錄介質(zhì)。生成全景圖像的裝置包括圖像獲取部，其依次獲取多個(gè)圖像；拼接區(qū)域獲取部，作為所述多個(gè)圖像中的某一個(gè)的第一圖像和要與所述第一圖像結(jié)合的第二圖像相互重復(fù)的拼接區(qū)域，獲取具有細(xì)部區(qū)域的所述拼接區(qū)域，所述細(xì)部區(qū)域是與作為所述第二圖像結(jié)合于所述第一圖像的方向的結(jié)合方向垂直地分割而形成的；以及全景生成部，其利用針對(duì)所述細(xì)部區(qū)域進(jìn)行定義的加權(quán)函數(shù)，以所述細(xì)部區(qū)域?yàn)閱挝唬诤隙Y(jié)合相當(dāng)于所述第一圖像的所述拼接區(qū)域的區(qū)域和相當(dāng)于所述第二圖像的所述拼接區(qū)域的區(qū)域，來(lái)生成全景圖像。
文檔編號(hào)H04N5/225GK102342092SQ201080010317
公開(kāi)日2012年2月1日 申請(qǐng)日期2010年3月5日 優(yōu)先權(quán)日2009年3月5日
發(fā)明者張升鎬 申請(qǐng)人:韓國(guó)科亞電子股份有限公司