專利名稱：用于確定圖像中的失準(zhǔn)的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于確定圖像中的失準(zhǔn)(mis-alignment)的方法和設(shè)備。
背景技術(shù)：
為了制作三維(3D)圖像，有必要獲得同一場(chǎng)景的兩個(gè)鏡頭并且將一個(gè)圖像相對(duì) 于另一圖像略微移置。這意味著，在圖像被移置前有必要仔細(xì)地對(duì)準(zhǔn)圖像。為了實(shí)現(xiàn)該 對(duì)準(zhǔn)，通常使用特殊的相機(jī)機(jī)架(rig)來(lái)捕獲這兩個(gè)鏡頭。3ality生產(chǎn)一種這樣的機(jī)架。然而，由于對(duì)準(zhǔn)處理的復(fù)雜度，這些機(jī)架要用很長(zhǎng)的時(shí)間來(lái)搭建。這是非常不 合需求的，特別是在拍攝進(jìn)度被嚴(yán)密管理的電視直播制作中。此外，這些機(jī)架也很昂貴。通常，3D機(jī)架的成本如此之高以致它們經(jīng)常被節(jié)目 制作方租用而不是購(gòu)買。因此希望在不需要難以搭建并且昂貴的傳統(tǒng)3D機(jī)架的情況下產(chǎn)生所需要的配 準(zhǔn)。本發(fā)明的一個(gè)目的是緩減這些問題。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一個(gè)方面，提供一種確定場(chǎng)景的圖像在一個(gè)方向上的失準(zhǔn)的量 的方法，該圖像由第一相機(jī)捕獲，該方法包括限定該圖像中的第一點(diǎn)與該圖像中的第二點(diǎn)之間的線，所述線在失準(zhǔn)的方向上 延伸；限定該場(chǎng)景中的基準(zhǔn)部分，該圖像將要對(duì)準(zhǔn)基準(zhǔn)部分，場(chǎng)景的基準(zhǔn)部分具有基 準(zhǔn)圖像特性；識(shí)別該圖像中沿所述線的不同點(diǎn)處的圖像特性；以及將沿所述線的每個(gè)點(diǎn)處的圖像特性與基準(zhǔn)圖像特性相比較，并且通過(guò)確定該圖 像中所捕獲的基準(zhǔn)部分和場(chǎng)景中被限定的基準(zhǔn)部分的基準(zhǔn)圖像特性的位置之間的距離來(lái) 確定失準(zhǔn)量。這是有益的，因?yàn)槠涫沟每梢钥焖俚卮_定失準(zhǔn)并且因此使得可以對(duì)圖像進(jìn)行任 意變換來(lái)針對(duì)這樣的失準(zhǔn)進(jìn)行校正，只要其是必要的。該方法還可以包括使用第二相機(jī)捕獲第二圖像，從而第一和第二圖像具有重 疊區(qū)域并且場(chǎng)景中的基準(zhǔn)部分位于重疊區(qū)域中；限定第二圖像中的第一點(diǎn)與第二圖像中 的第二點(diǎn)之間的第二線，第二線在失準(zhǔn)的方向上被繪出并且與基準(zhǔn)部分相交，基準(zhǔn)部分 具有第二基準(zhǔn)圖像特性；識(shí)別第二圖像中沿第二線的不同點(diǎn)處的圖像特性；以及將第一 圖像中沿所述線的每個(gè)點(diǎn)處的圖像特性與第二圖像中沿第二線的每個(gè)點(diǎn)處的圖像特性相 比較，從而失準(zhǔn)的量根據(jù)第一圖像中的基準(zhǔn)圖像特性和第二圖像中的第二基準(zhǔn)圖像特性 的位置之間的位置差被確定。這使得可以測(cè)量?jī)蓚€(gè)圖像之間的失準(zhǔn)。第一或第二圖像中的圖像特性可以通過(guò)對(duì)多個(gè)像素值的插值來(lái)形成。這使得可以校正任意方向上的失準(zhǔn)。插值可以是對(duì)最近的4個(gè)像素值的雙線性插值。該方法還可以包括在第一圖像和第二圖像中顯示極坐標(biāo)模板，極坐標(biāo)模板具有 圓形模板線和徑向(radial)模板線，徑向模板線具有與捕獲該圖像的相機(jī)的光軸相一致的 中心點(diǎn)，第一圖像中第一和第二點(diǎn)之間的線用圓形模板線和徑向模板線中的一個(gè)或多個(gè) 來(lái)限定。這使得可以快速地繪出適當(dāng)?shù)倪吔?。因此，這減少了用于確定失準(zhǔn)量所要花費(fèi) 的時(shí)間。該方法還可以包括確定圍繞第一和第二線的區(qū)域中的各位置處的圖像特性，所 述位置距離捕獲該圖像的相機(jī)的光軸實(shí)質(zhì)上相同的距離。根據(jù)實(shí)施例，提供了一種對(duì)準(zhǔn)圖像的方法，包括用于根據(jù)這些實(shí)施例中任一個(gè)實(shí)施例確定失準(zhǔn)的方法；和變換第一圖像直到所捕獲的部分與基準(zhǔn)部分的圖像特性之間的距離在預(yù)定閾值 以內(nèi)為止。第一圖像可以沿第一和第二點(diǎn)之間的線被變換。第一圖像中的線和第二圖像中的線可以是圓形線并且第一圖像被施加了滾轉(zhuǎn)變 換。第一圖像中的線和第二圖像中的線可以是徑向線，并且第二圖像被沿徑向線的 長(zhǎng)度施加了變換。根據(jù)另一個(gè)方面，提供一種計(jì)算機(jī)程序，包括計(jì)算機(jī)可讀指令，所述指令在被 裝載到計(jì)算機(jī)時(shí)，配置計(jì)算機(jī)來(lái)執(zhí)行根據(jù)本發(fā)明任意實(shí)施例的方法。還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，被配置為存儲(chǔ)計(jì)算機(jī)程序。根據(jù)另一個(gè)方面，提供一種用于確定場(chǎng)景的圖像在一個(gè)方向上的失準(zhǔn)的量的設(shè) 備，所述圖像由第一相機(jī)捕獲，該設(shè)備包括限定器，該限定器可操作用于限定該圖像中的第一點(diǎn)與該圖像中的第二點(diǎn)之間 的線，所述線在失準(zhǔn)的方向上延伸；該限定器還可操作用于限定場(chǎng)景中的基準(zhǔn)部分，該圖像將要對(duì)準(zhǔn)基準(zhǔn)部分，場(chǎng) 景的基準(zhǔn)部分具有基準(zhǔn)圖像特性；識(shí)別器，該識(shí)別器可操作用于識(shí)別該圖像中沿所述線的不同點(diǎn)處的圖像特性； 和比較器，該比較器可操作用于將沿所述線的每個(gè)點(diǎn)處的圖像特性與基準(zhǔn)圖像特 性相比較，并且通過(guò)確定該圖像中所捕獲的基準(zhǔn)部分和該場(chǎng)景中被限定的基準(zhǔn)部分的基 準(zhǔn)圖像特性的位置之間的距離來(lái)確定失準(zhǔn)量。該設(shè)備還可以包括可連接到第二相機(jī)的輸入，第二相機(jī)可操作用于捕獲第二 圖像，從而第一和第二圖像具有重疊區(qū)域并且場(chǎng)景中的基準(zhǔn)部分位于重疊區(qū)域中；該限定器還可操作用于限定在第二圖像中的第一點(diǎn)與第二圖像中的第二點(diǎn)之間 延伸的第二線，第二線在失準(zhǔn)的方向上延伸并且與基準(zhǔn)部分相交，基準(zhǔn)部分具有第二基 準(zhǔn)圖像特性；該識(shí)別器還可操作用于識(shí)別第二圖像中沿第二線的不同點(diǎn)處的圖像特性；以及
該比較器還可操作用于將第一圖像中沿所述線的每個(gè)點(diǎn)處的圖像特性與第二圖 像中沿第二線的每個(gè)點(diǎn)處的圖像特性相比較，從而失準(zhǔn)的量根據(jù)第一圖像中的基準(zhǔn)圖像 特性和第二圖像中的第二基準(zhǔn)圖像特性的位置之間的位置差被確定。第一或第二圖像中的圖像特性可以通過(guò)對(duì)多個(gè)像素值的插值來(lái)形成。插值可以是對(duì)最近的4個(gè)像素值的雙線性插值。該設(shè)備還可以包括顯示器，顯示器可操作用于在第一圖像和第二圖像中顯示極 坐標(biāo)模板，極坐標(biāo)模板具有圓形模板線和徑向模板線，徑向模板線具有與捕獲該圖像的 相機(jī)的光軸相一致的中心點(diǎn)，第一圖像中在第一和第二點(diǎn)之間延伸的線用圓形模板線和 徑向模板線中的一個(gè)或多個(gè)來(lái)限定。確定器可操作用于確定圍繞第一或第二線的區(qū)域中的各位置處的圖像特性，所 述位置距離捕獲圖像的相機(jī)的光軸實(shí)質(zhì)上相近的距離。還提供一種用于對(duì)準(zhǔn)圖像的裝置，包括用于根據(jù)本發(fā)明實(shí)施例地確定失準(zhǔn)的設(shè)備；和變換器，該變換器可操作用于變換第一圖像直到所捕獲的部分與基準(zhǔn)部分的圖 像特性之間的距離低于閾值距離為止。第一圖像可以沿在第一和第二點(diǎn)之間延伸的線被變換。第一圖像中的線和第二圖像中的線可以是圓形線并且第一圖像被施加了滾轉(zhuǎn)變 換。第一圖像中的線和第二圖像中的線可以是徑向線，并且第一圖像被沿徑向線的 長(zhǎng)度施加了變換。還提供一種系統(tǒng)，包括連接到根據(jù)任意實(shí)施例的設(shè)備或根據(jù)任意實(shí)施例的裝置 的第一和第二相機(jī)。


從以下可以結(jié)合附圖閱讀的說(shuō)明性實(shí)施例的詳細(xì)描述中，本發(fā)明的以上和其它 目的、特征和優(yōu)勢(shì)將顯而易見，其中圖1示出根據(jù)本發(fā)明實(shí)施例用于捕獲在生成三維圖像時(shí)使用的圖像的系統(tǒng)；圖2示出在圖1的系統(tǒng)中使用的工作站；圖3示出使用多個(gè)圖2的工作站的圖1的系統(tǒng)；圖4示出與圖2的工作站一起使用的界面的呈現(xiàn)；圖5示出圖2的用戶控制系統(tǒng)中設(shè)置模式的呈現(xiàn)；圖6A到圖6D示出根據(jù)本發(fā)明實(shí)施例用于確定滾轉(zhuǎn)畸變的量的跡線模式的呈 現(xiàn)；圖7A到圖7D示出根據(jù)本發(fā)明實(shí)施例用于確定透鏡畸變的量的跡線模式的呈 現(xiàn)；以及圖8示出極坐標(biāo)模板。
具體實(shí)施例方式參考圖1，示出用于捕獲在生成3D圖像中使用的場(chǎng)景圖像的系統(tǒng)100。系統(tǒng)100具有相機(jī)機(jī)架(rig) 115，相機(jī)機(jī)架115上安裝兩個(gè)相機(jī)105。這些相機(jī)可以是攝像機(jī)或 照相機(jī)。盡管圖1中未示出，但是每個(gè)相機(jī)相對(duì)于彼此的偏轉(zhuǎn)(yaw)可以改變。具體 地，當(dāng)被安裝在機(jī)架115上時(shí)，每個(gè)相機(jī)105的俯仰(pitch)和滾轉(zhuǎn)(roll)通常相對(duì)于彼 此是固定的。然而，每個(gè)相機(jī)105的偏轉(zhuǎn)可以被相互獨(dú)立地調(diào)節(jié)。這使得相機(jī)105 “前 束”(toe-in)可以改變。在被適當(dāng)?shù)劓i定(即，固定于機(jī)架115)時(shí)，機(jī)架115的偏轉(zhuǎn)、 俯仰和滾轉(zhuǎn)可以一致地移動(dòng)。機(jī)架115的位置可以用轉(zhuǎn)動(dòng)臂120適當(dāng)?shù)劓i定。根據(jù)本發(fā)明實(shí)施例，每個(gè)相機(jī)105的輸出饋送(feed)被饋送到工作站200中。 在圖1中，這些輸出被標(biāo)為a和b。每個(gè)相機(jī)105的輸出饋送包括圖像數(shù)據(jù)。然而，也 可以從每個(gè)相機(jī)饋送其它數(shù)據(jù)。例如，也可以從每個(gè)相機(jī)饋送元數(shù)據(jù)。元數(shù)據(jù)可以涉及 相機(jī)設(shè)置，例如，每個(gè)相機(jī)的光圈設(shè)置、聚焦長(zhǎng)度和/或縮放。另外，元數(shù)據(jù)可以包括 有關(guān)相機(jī)操作者或出色取景標(biāo)兵(shotmarker)等的信息。在該實(shí)施例中，每個(gè)相機(jī)105 的輸出饋送可以使用電線或通過(guò)網(wǎng)絡(luò)來(lái)連接。實(shí)際上，相機(jī)105和工作站200之間的連 接可以是無(wú)線的。這意味著，工作站200可以遠(yuǎn)離相機(jī)機(jī)架115。另外，用戶終端125也連接到工作站200。用戶終端125允許用戶在對(duì)準(zhǔn)處理 (稍后說(shuō)明)期間控制工作站200。工作站200也有許多輸出饋送。在具體實(shí)施例中， 如稍后將說(shuō)明的，存在4個(gè)輸出饋送，然而，本發(fā)明不限于此并且也可以使用比4更少或 更多的輸出饋送。參考圖2，示出根據(jù)本發(fā)明實(shí)施例的工作站200。根據(jù)本發(fā)明實(shí)施例的工作站 200包含基于cell處理器的體系架構(gòu)(由索尼、東芝和IBM設(shè)計(jì))，這被專門設(shè)計(jì)用于應(yīng) 付大量的數(shù)據(jù)處理。這尤其適合圖像處理任務(wù)。工作站200具有兩個(gè)輸入饋送；一個(gè) 輸入饋送來(lái)自一個(gè)相機(jī)105(在圖2中標(biāo)記為“左i/p”和“右i/p”)。如在圖1和圖 2中所述，工作站200有4個(gè)輸出饋送；經(jīng)校正的左輸出饋送、經(jīng)校正的右輸出饋送、立 體聲監(jiān)視器輸出饋送和波形監(jiān)視器輸出饋送。稍后將描述這些。另外，在圖2中示出與 用戶終端125的連接。將了解，輸入饋送和輸出饋送的這種配置意味著每對(duì)相機(jī)(即，針對(duì)每一對(duì)左 右兩個(gè)相機(jī))設(shè)置一個(gè)工作站。該配置可以擴(kuò)展。具體地，如果還可使用高清晰度-串 行數(shù)據(jù)接口(HD-SDI)卡，則該配置可以擴(kuò)展為支持雙鏈路4:4:4輸出。該種類型的輸出 對(duì)于顯示立體聲輸出饋送的立體圖(anaglyph)輸出特別有用。稍后，將參考圖4到圖6 來(lái)描述工作站200的操作。參考圖3，示出具有多個(gè)使用單鏈路HD-SDI的工作站的系統(tǒng)300。在該布置 中，示出兩個(gè)工作站200A和200B。然而，在實(shí)施例中，本發(fā)明完全可擴(kuò)展來(lái)從任意數(shù) 目的相機(jī)對(duì)接收輸入。第一工作站200A擁有來(lái)自第一和第二相機(jī)對(duì)的輸入。換而言之， 存在到第一工作站200A中的4個(gè)分開的相機(jī)饋送。類似地，第二工作站200B擁有來(lái)自 第三和第四相機(jī)對(duì)的輸入。第一工作站200A的輸出饋送是第一相機(jī)對(duì)的輸出經(jīng)校正的左饋送和第一相機(jī)對(duì) 的輸出經(jīng)校正的右饋送。另外，還從第一工作站200A提供第二相機(jī)對(duì)的輸出經(jīng)校正的左 饋送和第二相機(jī)對(duì)的輸出經(jīng)校正的右饋送。類似地，第二工作站200B的輸出饋送是第三 相機(jī)對(duì)的輸出經(jīng)校正的左饋送和第三相機(jī)對(duì)的輸出經(jīng)校正的右饋送。另外，還從第二工 作站200B提供第四相機(jī)對(duì)的輸出經(jīng)校正的左饋送和第四相機(jī)對(duì)的輸出經(jīng)校正的右饋送。
第一和第二工作站200A和200B的這些輸出饋送被饋送到交叉點(diǎn)交換器 (XPT) 305。XPT 305可以要么是交叉點(diǎn)要么是包括交叉點(diǎn)的交換器。本領(lǐng)域技術(shù)人員將 了解，交叉點(diǎn)使得任意輸入可以被映射到任意輸出，并且交換器使得在改變輸入到輸出 的映射時(shí)可以施加效果。所以，可以利用擦拭或淡入效果來(lái)改變輸出相機(jī)對(duì)。另外，XPT 305提供了左輸出饋送和右輸出饋送。XPT 305基于XPT305的操作 者所進(jìn)行的選擇來(lái)選擇來(lái)自用于監(jiān)視的相機(jī)對(duì)之一的輸出饋送。然而，也可以改為是用 戶終端125控制XPT 305。換而言之，XPT305的操作者或用戶終端125中的任一者可以 選擇相機(jī)對(duì)中的哪些將被顯示在左右監(jiān)視器上并且XPT 305選擇來(lái)自合適的相機(jī)對(duì)的經(jīng) 校正的左右饋送。左右輸出饋送和左右輸出監(jiān)視器饋送被饋送到監(jiān)視工作站310中。監(jiān)視工作站 310基于Cell處理器，因?yàn)镃ell處理器特別適合處理上述圖像處理任務(wù)。監(jiān)視工作站310的輸出是節(jié)目立體聲監(jiān)視器輸出、預(yù)覽立體聲監(jiān)視器輸出和節(jié) 目/預(yù)覽波形或立體聲監(jiān)視器輸出。技術(shù)人員將了解，節(jié)目立體聲監(jiān)視器輸出是被發(fā)送 用于廣播的直播饋送，預(yù)覽立體聲監(jiān)視器輸出是使得可以“離播地”(off-air)嘗試不同 效果的直播饋送版本，并且節(jié)目/預(yù)覽波形是包含節(jié)目立體聲監(jiān)視器輸出和預(yù)覽立體聲 監(jiān)視器輸出任一者的雙路饋送(dual feed)。在圖3中所描述的實(shí)施例的可替換實(shí)施例中，可以使用雙鏈路HDSDI來(lái)替代單 鏈路 HD-SDI。輸入相機(jī)饋送是高清晰度的，并且具體地是1920x1080像素分辨率的幀率為 23.98 逐行分段幀(Progressive Segmented Frame，PsF)、24PsF> 25Psf> 29.97PsF> 3OPsF 50隔行(i)、59.94i或60i中的一種。將了解，也可以支持50逐行(P)、59.94P和60P, 但是在該情況中，每個(gè)工作站200A和200B將由于工作站200中HD-SDI輸入的數(shù)目而 只能支持一個(gè)相機(jī)對(duì)。另外，將了解，相機(jī)數(shù)目的增大將增大所需要的處理功率?？商?換地，輸入相機(jī)饋送可以具有1280x720像素的分辨率，具有50P、59.94或60P之一。由 監(jiān)視工作站310提供的輸出饋送可以是與輸入相機(jī)饋送的類型相同的類型。然而，這不 是必須的。實(shí)際上，輸出饋送可以是與輸入相機(jī)饋送的類型不同的類型。例如，輸出饋 送可以被下轉(zhuǎn)換(downconvert)成可以記錄到記錄介質(zhì)上的低分辨率圖像。這對(duì)于“急 速”編輯(“rush” edit)可能是有用的，通過(guò)“急速”編輯，對(duì)所捕獲的素材執(zhí)行粗裁 (rough cut)來(lái)確保所有所需要的鏡頭已經(jīng)被捕獲?，F(xiàn)在將描述根據(jù)本發(fā)明實(shí)施例的對(duì)準(zhǔn)處理。該處理使得來(lái)自相機(jī)對(duì)的左右相機(jī) 的輸出饋送可以被對(duì)準(zhǔn)，即便安裝在相機(jī)機(jī)架115上的左右相機(jī)105沒有被完全對(duì)準(zhǔn)也可 以如此。將明白，由于對(duì)準(zhǔn)處理需要像素特性信息，所以來(lái)自左右相機(jī)的輸出饋送可能 在對(duì)準(zhǔn)處理開始之前經(jīng)歷色彩匹配。如果3D機(jī)架包括波束分裂器則尤其如此。盡管不 是必須，但是色彩匹配確保在進(jìn)行位置對(duì)準(zhǔn)處理之前，每個(gè)輸出的相機(jī)饋送中的同源像 素(homologous pixel)的色彩特性相匹配。這可以提高圖像被對(duì)準(zhǔn)的準(zhǔn)確度。為了執(zhí)行 色彩匹配，在對(duì)準(zhǔn)之前，用戶將在左右輸出相機(jī)饋送圖像上標(biāo)識(shí)出至少一個(gè)區(qū)域，這至 少一個(gè)區(qū)域應(yīng)當(dāng)嚴(yán)格色彩匹配。根據(jù)該信息，用戶可以確定要對(duì)該區(qū)域以及對(duì)整個(gè)圖像 施加的色彩匹配的水平。這是通過(guò)使用專門的用戶界面來(lái)調(diào)節(jié)一種或兩種色彩的參數(shù)來(lái) 實(shí)現(xiàn)的。在本發(fā)明的實(shí)施例中，用戶使用三個(gè)控制集來(lái)控制色彩匹配；每個(gè)控制集針對(duì)R、G和B特性中的一個(gè)。這三種類型的控制在廣播視頻處理領(lǐng)域中是已知的，在這里 將不再進(jìn)一步描述。此外，盡管在實(shí)施例中，該控制器被集成到用戶終端中，但是本發(fā) 明不限于此。實(shí)際上，可以構(gòu)想到這樣的控制器可以與終端分離?！┥钜驯淮_定，則這給出對(duì)由左右相機(jī)捕獲的色彩之間的差的指示并且從 而可以應(yīng)用于來(lái)自輸出饋送的所有圖像。在色彩校正之后，來(lái)自相機(jī)對(duì)中的左相機(jī)的經(jīng)校正的輸出饋送被顯示為401。類 似地，來(lái)自同一相機(jī)對(duì)中的右相機(jī)的經(jīng)校正的輸出饋送被顯示為402。用戶終端125的 用戶選擇所顯示的經(jīng)校正的左相機(jī)饋送401中的區(qū)域404并且選擇所顯示的經(jīng)校正的右相 機(jī)饋送402中的區(qū)域403。由于所選擇的區(qū)域403和404將被用于對(duì)準(zhǔn)左右圖像401和 402，所以所選擇的區(qū)域應(yīng)當(dāng)包括場(chǎng)景中既被左相機(jī)又被右相機(jī)捕獲的特征。在具體實(shí)施 例中，由于既被左相機(jī)又被右相機(jī)捕獲的場(chǎng)景非常相似，所以存在許多既被左相機(jī)又被 右相機(jī)捕獲的特征。然而，如果既被左相機(jī)又被右相機(jī)捕獲的場(chǎng)景在它們的視野中只有 很小的重疊區(qū)域，則所選擇的區(qū)域應(yīng)當(dāng)至少包括該重疊的一部分。來(lái)自左相機(jī)的經(jīng)校正的輸出饋送401的被選區(qū)域404’被顯示在來(lái)自左相機(jī)的 經(jīng)校正的輸出饋送401的下面。另外，來(lái)自右相機(jī)的經(jīng)校正的輸出饋送402的被選區(qū)域 403’被顯示在來(lái)自右相機(jī)的經(jīng)校正的輸出饋送402的下面。所顯示的被選區(qū)域403’和 404，是被進(jìn)行了放大的被選區(qū)域403和404的版本。換而言之，被選區(qū)域401和402 中的每一個(gè)被進(jìn)行數(shù)字放大并且經(jīng)放大區(qū)域的結(jié)果被顯示在所顯示的被選區(qū)域403’和 404，中，其中所顯示的被選區(qū)域403，和404，分別在來(lái)自左相機(jī)和右相機(jī)的經(jīng)校正的 輸出饋送的下面。通過(guò)進(jìn)行放大，被選區(qū)域的尺寸增大并且容易由用戶觀察。在來(lái)自左相機(jī)的經(jīng)校正輸出饋送的所顯示被選區(qū)域404’內(nèi)的第一區(qū)域404A和 第二區(qū)域404B以及在來(lái)自右相機(jī)的經(jīng)校正輸出饋送的所顯示被選區(qū)域403’內(nèi)的第一區(qū) 域403A和第二區(qū)域403B通過(guò)用戶終端125來(lái)確定。顯然，兩個(gè)第一區(qū)域403A和404A 選擇垂直像素列的范圍，并且第二區(qū)域403B和404B選擇水平像素行的范圍。然而，本 發(fā)明不限于此。第一區(qū)域403A和404A以及第二區(qū)域403B和404B都可以選擇任意方向 的采樣點(diǎn)的范圍。實(shí)際上，這些方向不必相同。在顯示400上，提供顯示波形的部分410。在波形顯示部分410中，顯示第一波 形415和第二波形417。這些波形一般顯示像素特性，例如，像素或像素群組內(nèi)的紅、 綠、藍(lán)(RGB)分量。然而，本發(fā)明不限于此。實(shí)際上，這些波形可以顯示像素或像素 群組的任意特性，例如，亮度水平、色差水平(Cr、Cb水平)等。在實(shí)施例中，第一波 形415顯示多個(gè)跡線(trace)的疊加，其中，每個(gè)跡線對(duì)應(yīng)于在圖4的χ方向上延伸的所 選擇的像素行之一。第一波形415的χ軸上的每個(gè)點(diǎn)對(duì)應(yīng)于沿第二區(qū)域404Β的χ軸的像 素位置。所顯示的這條線是紅色的并且在第一波形中具有點(diǎn)404C。疊加其上的是示出通過(guò)對(duì)區(qū)域403Β執(zhí)行類似的技術(shù)所生成的波形的線。所顯示 的這條線是青色的并且在第一波形中具有點(diǎn)403C。這里應(yīng)當(dāng)注意，第一波形中的這兩條 線是不同顏色的，以能夠相互區(qū)分。然而，也可以在這些線重疊的地方，顯示第三種顏 色(在實(shí)施例中，為白色)。第二波形417顯示多個(gè)跡線的疊加，其中，每個(gè)跡線對(duì)應(yīng)于在圖4的y方向上延 伸的所選擇的像素行之一。第二波形417的y軸上的每個(gè)點(diǎn)對(duì)應(yīng)于沿第一區(qū)域404A的y軸延伸的所選擇的像素行之一。該跡線是紅色的并且在第二波形中具有點(diǎn)404D。疊加其上的是示出針對(duì)第二區(qū)域403B的類似跡線的線。該跡線是青色的并且具 有點(diǎn)403D。任意兩種不同顏色都可以用來(lái)區(qū)分這些線，并且可以用第三種顏色(在實(shí)施 例中，為白色)來(lái)顯示共同的跡線。在點(diǎn)403C和404C處，可以看到非常相似的像素特性。實(shí)際上，點(diǎn)403C對(duì)應(yīng)于 第二放大區(qū)域403，的場(chǎng)景中的按鈕403E。類似地，點(diǎn)404C對(duì)應(yīng)于被放大的第一區(qū)域 404’的場(chǎng)景中的按鈕404E。這些按鈕是由左相機(jī)和右相機(jī)捕獲的場(chǎng)景內(nèi)的相同特征。 然而，從第一波形415來(lái)看，很顯然點(diǎn)403C和404C在χ方向上不位于相同位置。這意 味著，來(lái)自左相機(jī)401的經(jīng)校正的輸出饋送和來(lái)自右相機(jī)402的經(jīng)校正的輸出饋送沒有被 完全對(duì)準(zhǔn)。換而言之，來(lái)自左相機(jī)401的經(jīng)校正的輸出饋送和來(lái)自右相機(jī)402的經(jīng)校正 的輸出饋送不完全重疊。實(shí)際上，通過(guò)以這種疊加方式提供第一波形，可以確定來(lái)自左 相機(jī)401的經(jīng)校正的輸出饋送對(duì)準(zhǔn)來(lái)自右相機(jī)402的經(jīng)校正的輸出饋送的右方。類似地，點(diǎn)403D和404D示出非常相似的像素特性。實(shí)際上，點(diǎn)403D對(duì)應(yīng)于 第一區(qū)域404中的按鈕404F。類似地，點(diǎn)404D對(duì)應(yīng)于第二區(qū)域403中的按鈕403F。換 而言之，線403D和404D表示由左相機(jī)和右相機(jī)捕獲的場(chǎng)景內(nèi)的相同特征。然而，從第 二波形417可見，顯然點(diǎn)403D和404D在y方向上不位于相同位置。因此，按鈕403F 和404F在y方向上未完全對(duì)準(zhǔn)。這意味著，來(lái)自左相機(jī)401的經(jīng)校正的輸出饋送和來(lái)自 右相機(jī)402的經(jīng)校正的輸出饋送在y方向上未完全對(duì)準(zhǔn)。實(shí)際上，通過(guò)以這種疊加方式 提供第二波形417，可以確定來(lái)自左相機(jī)的經(jīng)校正的輸出饋送未被對(duì)準(zhǔn)并且實(shí)際上在來(lái)自 右相機(jī)402的經(jīng)校正的輸出饋送的下方。實(shí)際上，如前所述，第一波形415中χ方向上的每個(gè)點(diǎn)對(duì)應(yīng)于第二區(qū)域403B和 404B的χ方向上的像素位置，并且第二波形417的y方向上的每個(gè)點(diǎn)對(duì)應(yīng)于第一區(qū)域 403A和404A的y方向上的像素位置。這意味著，通過(guò)得知點(diǎn)403C和404C之間的距 離，可以確定在來(lái)自左相機(jī)401的經(jīng)校正的輸出與來(lái)自右相機(jī)402的經(jīng)校正的輸出之間在 χ方向上的偏移。類似地，通過(guò)得知點(diǎn)403D和404D之間的距離，可以確定在來(lái)自左相 機(jī)401的經(jīng)校正的輸出與來(lái)自右相機(jī)402的經(jīng)校正的輸出之間在y方向上的偏移。這意 味著，通過(guò)簡(jiǎn)單地分析點(diǎn)403C和404C之間以及點(diǎn)403D和404D之間的距離，就可以確 定來(lái)自左相機(jī)401的經(jīng)校正的輸出和來(lái)自右相機(jī)402的經(jīng)校正的輸出在特定方向上何時(shí)被 充分對(duì)準(zhǔn)。將了解，在經(jīng)校正的輸出在特定方向上偏移預(yù)定距離的情況下，對(duì)準(zhǔn)可能是充 分的。例如，當(dāng)拍攝3D連續(xù)鏡頭(footage)時(shí)，有必要在y方向上對(duì)準(zhǔn)圖像的同時(shí)將經(jīng) 校正的輸出在χ方向上偏移預(yù)定量。然而，對(duì)于圖像拼接，希望在χ方向和y方向上都 完全對(duì)準(zhǔn)圖像。本發(fā)明不限于3D或圖像拼接，并且也可以構(gòu)想到任意方向上的任意水平 的對(duì)準(zhǔn)。例如，在圖像穩(wěn)定化中，完全對(duì)準(zhǔn)是有用的。此外，還可以對(duì)準(zhǔn)在不同時(shí)刻拍 攝的圖像?？梢允褂迷撔畔?lái)調(diào)節(jié)位于相機(jī)機(jī)架115上的相機(jī)105的對(duì)準(zhǔn)。為了這樣做， 將由工作站200生成控制伺服電機(jī)的適當(dāng)信息并且將其饋送給伺服控制器(未示出)。 此外，該信息可以提供給手動(dòng)機(jī)架操作員。然而，為了降低機(jī)架115的成本和設(shè)計(jì)復(fù)雜 度，在實(shí)施例中，可以變換來(lái)自左或右相機(jī)401或402的經(jīng)校正的輸出圖像來(lái)實(shí)現(xiàn)這樣的對(duì)準(zhǔn)?，F(xiàn)在，將描述來(lái)自左相機(jī)401的經(jīng)校正的輸出饋送的該變換。盡管，僅描述一個(gè) 輸出饋送的變換，但是本發(fā)明不限于此并且任意一個(gè)或兩個(gè)圖像都可以被變換。相機(jī)可以進(jìn)行的三種移動(dòng)是偏轉(zhuǎn)(繞著圖4的χ方向旋轉(zhuǎn))、俯仰(繞著圖4的 y方向旋轉(zhuǎn))和滾轉(zhuǎn)(繞著相機(jī)的光軸旋轉(zhuǎn))?？梢栽趤?lái)自相機(jī)的輸出饋送中復(fù)制相機(jī)的 這種移動(dòng)。為了這樣做，使用4x4矩陣中的旋轉(zhuǎn)、縮放、變換和投影的集合來(lái)變換輸出 饋送。這種類型的變換有時(shí)稱為模型視圖投影矩陣(model view projection matrix)。該變 換需要左相機(jī)和右相機(jī)的視野。如前所述，可以確定來(lái)自左相機(jī)401的輸出饋送位于來(lái)自右相機(jī)402的輸出饋送 的右方。為了對(duì)此進(jìn)行校正，并且如果需要，對(duì)左相機(jī)401的輸出饋送施加將左相機(jī)401 的輸出向右移動(dòng)的偏轉(zhuǎn)變換。還可以構(gòu)想到平面移位。在來(lái)自左相機(jī)401的輸出饋送被 變換之后，點(diǎn)403C和404C之間的距離被測(cè)量。如果點(diǎn)403C和404C之間的距離處在某 一閾值(例如，對(duì)于3D連續(xù)鏡頭是所希望的瞳孔間距離士 1像素)或者該閾值以下，則 偏轉(zhuǎn)變換停止。然而，如果點(diǎn)403C和404C之間的距離在閾值之上，則偏轉(zhuǎn)變換繼續(xù)。此外，如上所述，在實(shí)施例中，由于知道區(qū)域404B和403B的寬度(S卩，χ方向 上的長(zhǎng)度)，知道波形415的長(zhǎng)度(即，該波形表示多少像素)，并且通過(guò)確定點(diǎn)403C和 404C之間的距離知道相機(jī)的視野(或等同的信息)，所以可以確定恰當(dāng)?shù)貙?duì)準(zhǔn)經(jīng)校正的輸 出饋送需要多少偏轉(zhuǎn)變換。相比于迭代方法，這增大了對(duì)準(zhǔn)進(jìn)行的速度。在圖像在χ方向上被恰當(dāng)?shù)貙?duì)準(zhǔn)之后，來(lái)自左相機(jī)401的經(jīng)校正的輸出饋送被施 加俯仰變換來(lái)將該饋送向上移。這是因?yàn)閬?lái)自左相機(jī)的輸出饋送被對(duì)準(zhǔn)在來(lái)自右相機(jī)的 輸出饋送下方。在來(lái)自左相機(jī)401的輸出饋送被變換之后，點(diǎn)403D和404D之間的距離 被測(cè)量。如果點(diǎn)403D和404D之間的距離處在某一閾值(例如，完全對(duì)準(zhǔn)士 1像素)或 該閾值以下，則俯仰變換停止。然而，如果點(diǎn)403D和404D之間的距離在閾值之上，則 俯仰變換繼續(xù)。此外，在實(shí)施例中，知道區(qū)域404Α和403Α的高度(即，y方向上的長(zhǎng)度)，知 道波形417的長(zhǎng)度(即，該波形表示多少像素)并且通過(guò)確定兩個(gè)點(diǎn)403D和404D之間 的距離知道相機(jī)的視野(或等同信息)。因此，可以確定要恰當(dāng)?shù)貙?duì)準(zhǔn)輸出饋送需要多少 俯仰變換。相比于迭代方法，這增大了對(duì)準(zhǔn)進(jìn)行的速度。這里應(yīng)當(dāng)注意，盡管以上恰當(dāng)?shù)膶?duì)準(zhǔn)是通過(guò)在對(duì)一個(gè)圖像施加水平偏移之后施 加垂直偏移來(lái)執(zhí)行的，但是本發(fā)明不限于此。例如，可能需要對(duì)來(lái)自相機(jī)的輸出饋送施 加滾轉(zhuǎn)旋轉(zhuǎn)校正。這將去除對(duì)任一相機(jī)施加的任意不正確的滾轉(zhuǎn)角度。稍后，將參考圖 6A來(lái)描述涉及滾轉(zhuǎn)旋轉(zhuǎn)的校正的本發(fā)明實(shí)施例。此外，如以上所述，對(duì)準(zhǔn)處理假定兩個(gè) 相機(jī)的聚焦長(zhǎng)度相同。然而，在不能使用俯仰、偏轉(zhuǎn)和滾轉(zhuǎn)校正來(lái)獲得對(duì)準(zhǔn)的情況中， 施加縮放校正。這通過(guò)縮放一個(gè)或兩個(gè)圖像來(lái)實(shí)現(xiàn)。如果必要，在各個(gè)不同的聚焦長(zhǎng)度 時(shí)，進(jìn)行施加俯仰、偏轉(zhuǎn)和滾轉(zhuǎn)校正的處理。除了第一和第二波形415和417以外，還提供矢量顯示器420。矢量顯示器420 是已知的并且繪出色度信息。在本發(fā)明實(shí)施例中的矢量顯示器420上，示出在第一波形 上繪出的像素的色度信息。通過(guò)繪制色度信息，可以執(zhí)行色彩匹配。所以，通過(guò)在場(chǎng)景 中選擇應(yīng)當(dāng)具有相同顏色的一個(gè)或多個(gè)特征，可以更改由任意相機(jī)捕獲的特征的色彩特 性直到矢量顯示器420上的色彩相同為止。
另外還顯示第一監(jiān)視器輸出406和第二監(jiān)視器輸出405。第一監(jiān)視器輸出406示 出來(lái)自左相機(jī)的輸出饋送401和來(lái)自右相機(jī)的輸出饋送402的立體圖呈現(xiàn)。在第二監(jiān)視 器405中示出放大區(qū)域403和404的立體圖呈現(xiàn)。在第一監(jiān)視器輸出406附近提供按鈕425(或按鈕已經(jīng)被按壓的指示器)，按鈕 425使得可以顯示來(lái)自左右相機(jī)的輸出饋送401和402之間的差而不是立體圖呈現(xiàn)。在第 二監(jiān)視器輸出405附近設(shè)置了類似的按鈕430，其示出第一區(qū)域403和第二區(qū)域404之間 的差的呈現(xiàn)。將了解，在左右相機(jī)被對(duì)準(zhǔn)時(shí)，即，來(lái)自左右相機(jī)的圖像輸出被對(duì)準(zhǔn)時(shí)， 輸出饋送之間的差將為0。換而言之，監(jiān)視器輸出將是灰色的。然而，當(dāng)圖像未被完美 地對(duì)準(zhǔn)時(shí)，在每個(gè)像素處將顯示差分值。該差分值將在第一監(jiān)視器405上被呈現(xiàn)為指示 出對(duì)準(zhǔn)不正確的區(qū)域的有色陰影。因此，差分特征提供附加檢查來(lái)確保使用波形部分410 所確定的對(duì)準(zhǔn)是正確的。盡管以上提及的是作為具體顏色的差分信號(hào)，但是本發(fā)明不限 于此。實(shí)際上，可以構(gòu)想到指示正的或負(fù)的差分值的任意顏色。在確定圖像被正確對(duì)準(zhǔn)之后，從左右相機(jī)饋送輸出的圖像被縮放來(lái)確保使由之 前的調(diào)節(jié)造成的任意空白區(qū)域消失并且輸出饋送填滿可用的畫面尺寸。在來(lái)自左相機(jī)和右相機(jī)的輸出饋送正被對(duì)準(zhǔn)時(shí)，用戶有權(quán)使用設(shè)置畫面。該設(shè) 置畫面在單獨(dú)的計(jì)算機(jī)上運(yùn)行。然而，其也可以由工作站200運(yùn)行，盡管其通?？梢栽?單獨(dú)的屏幕上觀察。在圖5中示出設(shè)置畫面的呈現(xiàn)。設(shè)置畫面500用來(lái)控制對(duì)準(zhǔn)，而且 還包括左右相機(jī)515的圖形表示。其向用戶提供觀想相機(jī)布置的機(jī)會(huì)。另外，存在彼此 疊加的左右相機(jī)的圖形表示520。此外，在區(qū)域505中示出在對(duì)準(zhǔn)過(guò)程期間確定的并且由 用戶終端125控制的變換參數(shù)。這些參數(shù)可以由用戶手動(dòng)調(diào)節(jié)，如果他們需要對(duì)對(duì)準(zhǔn)后 的圖像施加某些特殊的效果(例如，增大的前束)的話。通過(guò)調(diào)節(jié)相機(jī)對(duì)前束或水平平 面移位，明顯的3D收斂被改變。這有將對(duì)象相對(duì)于將要顯示所產(chǎn)生的圖像的屏幕的平面 向前或向后移動(dòng)的效果。此外，在恰當(dāng)?shù)貙?duì)準(zhǔn)圖像來(lái)拍攝3D圖像的情況中，有必要讓?duì)址较蛏系膱D像之 間具有位移來(lái)生成3D圖像。對(duì)對(duì)準(zhǔn)的校正可以使用用戶區(qū)域505來(lái)觀想。最終，表示 對(duì)左右相機(jī)施加的變換的網(wǎng)格也被顯示。這是有用的，因?yàn)槠涫沟糜脩艨梢源_定哪種變 換已經(jīng)被施加于圖像來(lái)校正對(duì)準(zhǔn)。實(shí)際上，應(yīng)當(dāng)注意，變換復(fù)制相機(jī)的移動(dòng)，而不是復(fù) 制圖像將在其上被觀察的平面的移動(dòng)。由于預(yù)期將只有很小的校正將被施加于圖像來(lái)恰 當(dāng)?shù)貙?duì)準(zhǔn)圖像，所以，這些不容易被系統(tǒng)的用戶辨別。因此，在網(wǎng)格上施加夸大變換的 權(quán)重，使得用戶可以容易地觀察變換。此外，應(yīng)當(dāng)注意，提供這，用戶容易確定相機(jī)對(duì) 準(zhǔn)得很不好并且它們應(yīng)當(dāng)被手動(dòng)調(diào)節(jié)并且該校正處理應(yīng)重新開始。這對(duì)于減少用來(lái)恰當(dāng) 地對(duì)準(zhǔn)圖像要花費(fèi)的時(shí)間是有用的。盡管已經(jīng)參考恰當(dāng)?shù)貙?duì)準(zhǔn)圖像說(shuō)明了以上內(nèi)容使得可以從已對(duì)準(zhǔn)的圖像來(lái)制作 3D圖像，但是本發(fā)明不限于此。實(shí)際上，存在其中兩個(gè)或更多圖像的對(duì)準(zhǔn)非常有用的許 多應(yīng)用。例如，在圖像拼接(其中，從多個(gè)合成圖像制成全景圖)中，有必要確保重疊 的區(qū)域是對(duì)準(zhǔn)的。在該情況中，對(duì)準(zhǔn)每個(gè)圖像的不同部分是特別有用的。例如，對(duì)準(zhǔn)不 同圖像的不同區(qū)域的各個(gè)部分是有用的。所以，在圖像拼接的情況中，將在一個(gè)圖像的 最左側(cè)的區(qū)域與在另一圖像的最右側(cè)的區(qū)域?qū)?zhǔn)是有用的。換而言之，將圖像的相互重 疊的區(qū)域完全對(duì)準(zhǔn)是有用的。
如前所述，在本發(fā)明的實(shí)施例中，可以針對(duì)滾轉(zhuǎn)畸變和透鏡畸變進(jìn)行校正。在 圖4中，每個(gè)圖像的兩個(gè)區(qū)域被選擇。這些圖像通過(guò)分析區(qū)域內(nèi)的像素特性來(lái)對(duì)準(zhǔn)。圖 6A到圖6D描述了更容易針對(duì)滾轉(zhuǎn)畸變和透鏡畸變進(jìn)行校正的另一實(shí)施例。圖6A示出沒有滾轉(zhuǎn)畸變的圖像。圖6B示出被施加了 20°逆時(shí)針滾轉(zhuǎn)畸變的和 圖6A—樣的圖像。在圖像600A中，內(nèi)圓形跡線605A和外圓形跡線610A被選擇，而 在滾轉(zhuǎn)畸變的圖像600B中，內(nèi)圓形跡線605B和外圓形跡線610B被選擇。內(nèi)圓形跡線 和外圓形跡線是被分析的半徑范圍的邊界。兩個(gè)圖像中的圓形跡線與場(chǎng)景中的相同特征 相交，即，圖像600A中的網(wǎng)615A和滾轉(zhuǎn)畸變的圖像600B中的615B的第一部分，和圖 像600A中的網(wǎng)620A和滾轉(zhuǎn)畸變的圖像600B中的620B的第二部分。從圖6A和圖6B可見，在內(nèi)圓形跡線和外圓形跡線之間存在寬度為50像素的區(qū) 域(內(nèi)圓形跡線具有距圖像中心100像素的半徑，并且外圓形跡線具有距圖像中心150像 素的半徑)。并且，在圖6A和圖6B中可見，圖像600A和600B分別被水平線625A和 625B對(duì)半分開。該筆直的水平線是徑向特征并且定義0°。此外，該直線穿過(guò)捕獲該圖 像的相機(jī)的光軸，盡管不一定如此。圖6C示出與圍繞圖像600A中的內(nèi)外圓形跡線之間的區(qū)域內(nèi)的圓周的采樣點(diǎn)的 圖像特性相對(duì)應(yīng)的波形，并且圖6D示出與圍繞圖像600B中的內(nèi)外圓形跡線之間的區(qū)域 內(nèi)的圓周的采樣點(diǎn)的圖像特性相對(duì)應(yīng)的波形。這是波形650D。另外，在圖6D中，圖 6C的波形650C被繪制在相同的軸上。這使得容易在波形之間進(jìn)行比較。具體地，波形由指定范圍中的不同半徑處許多單個(gè)的跡線的疊加組成。單個(gè) 的跡線是針對(duì)沿那個(gè)半徑的圓形路徑以等間距的點(diǎn)采樣的像素的像素特性相對(duì)角度的線 圖。在采樣點(diǎn)不是精確地落在像素位置上的地方，取最接近的4個(gè)像素并且特性被進(jìn)行 雙線性插值來(lái)估計(jì)那個(gè)采樣點(diǎn)處的特性。以與上述方式類似的方式，圖像特性是每個(gè)像 素的RGB值，盡管也可以構(gòu)想到諸如Cr，Cb值之類的任意恰當(dāng)?shù)奶匦曰虿煌牧硪惶?性。在實(shí)施例中，由于圖像由像素組成并且內(nèi)外的跡線是圓形的，所以圖像中特性 被測(cè)量的點(diǎn)不一定位于像素點(diǎn)處。更具體地，在實(shí)施例中，由于圖像由正交網(wǎng)格上的像 素組成，并且像素采樣點(diǎn)在極坐標(biāo)網(wǎng)格上，于是圖像中特性被測(cè)量的點(diǎn)不一定處于像素 點(diǎn)處。因此，采樣點(diǎn)處的特性必須要么從最近的像素位置插值或從最近的4個(gè)像素位置 進(jìn)行雙線性插值或用其它措施插值。從0°開始，每個(gè)半徑處的每個(gè)采樣點(diǎn)的圖像特性的值被測(cè)量。在環(huán)繞圖像600A的所有值都已經(jīng)被計(jì)算之后，生成波形650C。波形650C實(shí) 際上是不同半徑的許多跡線的疊加。從波形650C可見，點(diǎn)655C和660C特別顯眼。它 們分別對(duì)應(yīng)于圖像600A中的網(wǎng)615A和620A的部分。從χ軸可見，點(diǎn)655C大約5°而 點(diǎn)660C大約185°。對(duì)滾轉(zhuǎn)畸變的圖像600Β執(zhí)行類似的過(guò)程。這樣的分析產(chǎn)生圖6D中所示的波形 650D。從圖6D中可見，點(diǎn)660D對(duì)應(yīng)于圖像600Β中的部分620Β而點(diǎn)655D對(duì)應(yīng)于圖 像600Β中的部分615Β。在圖6D中，顯而易見點(diǎn)660D位于約165°而點(diǎn)655D位于約 345°。通過(guò)比較波形650C和650D，顯而易見圖像600Β是圖像600Α的滾轉(zhuǎn)畸變的版 本并且滾轉(zhuǎn)畸變量是20°。而且，通過(guò)比較波形650C和650D，顯然滾轉(zhuǎn)是逆時(shí)針方向的。盡管已經(jīng)參考測(cè)量?jī)蓚€(gè)圖像之間的滾轉(zhuǎn)畸變描述了前述滾轉(zhuǎn)畸變校正，但是也 可以確定單個(gè)相機(jī)上的滾轉(zhuǎn)畸變。為了實(shí)現(xiàn)這一點(diǎn)，如果場(chǎng)景中的特征處在已知的角 度，則可以使用以上技術(shù)來(lái)測(cè)量所捕獲的圖像中該特征的角度。通過(guò)測(cè)量圖像中該特征 的角度，可以確定相機(jī)的滾轉(zhuǎn)量。一旦滾轉(zhuǎn)畸變被計(jì)算出，則可以將滾轉(zhuǎn)畸變變換施加于圖像來(lái)針對(duì)滾轉(zhuǎn)畸變進(jìn) 行校正。這可以通過(guò)施加逐行校正來(lái)迭代地校正直到跡線匹配為止。參考圖7A，示出沒有透鏡畸變的棋盤形圖案700A。在該圖案中，畫出第一徑 向線705A和第二徑向線710A。這提供用于透鏡畸變分析的邊界線。第一徑向線705A 和第二徑向線710A橫跨圖案700A并且穿過(guò)圖像700A的中心。該情況中該圖像的中心 是相機(jī)715A的光軸，但是本發(fā)明不限于此。實(shí)際上，技術(shù)人員將了解，圖像的中心可以 在圖像700A的任意適當(dāng)?shù)狞c(diǎn)處。或者，圖像中的任意點(diǎn)可以用作徑向線從其延伸的點(diǎn)。在圖7C中示出與沒有透鏡畸變的棋盤形圖案700A相對(duì)應(yīng)的波形750C。該波 形由指定范圍中不同角度的許多單個(gè)的跡線的疊加組成。單個(gè)的跡線是針對(duì)沿那個(gè)角度 的徑向路徑(radial path)在等間距的點(diǎn)處采樣的像素的像素特性相對(duì)距圖像中心的距離的 線圖。由于采樣點(diǎn)是極坐標(biāo)的并且像素布置在正交網(wǎng)格中，所以采樣點(diǎn)未嚴(yán)格匹配像素 位置。在采樣點(diǎn)沒有精確地落在像素位置的情況中，取最接近的4個(gè)像素并且特性被進(jìn) 行雙線性插值來(lái)估計(jì)那個(gè)采樣點(diǎn)處的特性。然而，構(gòu)想到諸如鄰接插值之類的其它插值 方法。如以上關(guān)于圖6A到圖6D所說(shuō)明的，由于線705A和710A不一定是筆直的，所 以在離開中心715的位置處的圖像特性值被計(jì)算出作為最接近的4個(gè)像素的雙線性插值。 還如上所述，每個(gè)位置的圖像特性被繪制在波形上。換而言之，線705A和710A之間每 個(gè)位置的圖像特性被繪制在波形750C上。在圖7C中可見，755C處的波形類似于方波脈沖群。這是由于線705A和710A之 間的距離很小并且棋盤形圖案具有不同的白色和黑色的塊，在線705A和710A之間的距 離較小的情況下，這些塊看起來(lái)像從中心開始以相同的距離從黑色變?yōu)榘咨?。然而，?向圖像700A的外部，線705A和710A之間的距離增大。這意味著，在區(qū)域760C中，跨 許多不同的像素位置發(fā)生從黑色向白色的改變。這導(dǎo)致具有許多不同轉(zhuǎn)變的區(qū)域760C。圖7B讓圖7A的棋盤形圖像被施加大量負(fù)的透鏡畸變。這示出為圖像700B。 第一線705B和第二線710B被繪出橫跨圖像700B。與圖7A類似，第一線705B和第二 線710B在點(diǎn)715B處穿過(guò)圖像的中心。第一和第二線705B和710B的位置與圖7A中的 圖像700A中的相同。在圖7D中示出與圖像700B相對(duì)應(yīng)的波形。以與關(guān)于圖7C描述的方式類似的 方式，在圖7D中，部分755D類似圖7C中的部分755C。這是因?yàn)?，在接近圖像700B 的中心715B時(shí)第一線705B和710B之間的距離很小。圖7C和圖7D的波形通常會(huì)被繪 制在相同軸上這樣容易進(jìn)行比較。然而，朝向圖像700B的外部區(qū)域，透鏡畸變具有“擠壓”圖像的效果。換而言 之，黑白轉(zhuǎn)變之間的像素?cái)?shù)隨著接近圖像700B的邊緣而減小。這可以在圖7D中看到。 如前所述，部分755D類似于圖7C中相對(duì)應(yīng)的部分755C。然而，在部分760D中，黑白轉(zhuǎn)變之間的距離在它們變得越接近的范圍內(nèi)改變。盡管未被示出，但是如果在該圖像中 存在較大程度的正的透鏡畸變，這也將是可辨識(shí)的。具有正的透鏡畸變，圖像也看起來(lái) “被擠壓”。此外，如在之前的示例中一樣，由于圖7D的χ軸表示圖像中的位置，所以可以 識(shí)別施加于圖像700B的透鏡畸變量。這使得可以容易地確定所需要的校正量。顯然，盡管以上內(nèi)容提及取圍繞圓形路徑和沿徑向路徑的采樣點(diǎn)，但是技術(shù)人 員將了解，可以構(gòu)想到既圍繞圓形路徑又沿徑向路徑的采樣點(diǎn)。圖8示出可以施加于圖像來(lái)輔助兩個(gè)圖像的對(duì)準(zhǔn)的極坐標(biāo)跡線模板800。極坐 標(biāo)跡線800包括外圓形跡線810和內(nèi)圓形跡線820，其示出圓周波形中各個(gè)跡線的半徑的 范圍和徑向波形中各個(gè)跡線的角度的范圍。它們包圍的區(qū)域與前述被選擇的區(qū)域404A和 404B類似。這使得兩個(gè)有大小的圓形跡線中的一個(gè)能夠被施加于兩個(gè)圖像。這用來(lái)針 對(duì)旋轉(zhuǎn)誤差進(jìn)行校正，如參考圖6A到圖6D所述的。另外，提供在外圓形跡線810的中 心處相交的徑向線825。這兩條徑向線使得能夠校正透鏡畸變，如參考圖7A到圖7D所 述的。應(yīng)當(dāng)注意，盡管在圖中既示出了極坐標(biāo)線又示出了徑向線，但是極坐標(biāo)和/或徑 向線中任一者可以顯示在模板上并且進(jìn)行恰當(dāng)?shù)男Ｕ?。已?jīng)參考工作站和用戶終端描述了前述實(shí)施例。然而，本發(fā)明可以以不同方式 實(shí)施。例如，工作站和用戶終端可以集成到包括所有必要的用戶輸入設(shè)備的一個(gè)產(chǎn)品。 此外，本發(fā)明的實(shí)施例可以是包含計(jì)算機(jī)可讀指令的計(jì)算機(jī)程序。此外，計(jì)算機(jī)程序可 以包含在信號(hào)中，這些信號(hào)可以通過(guò)網(wǎng)絡(luò)(例如互聯(lián)網(wǎng))轉(zhuǎn)送，或者存儲(chǔ)在諸如光盤之類 的存儲(chǔ)介質(zhì)上。最終，本發(fā)明可以實(shí)施為包含計(jì)算機(jī)程序的存儲(chǔ)介質(zhì)。
權(quán)利要求
1.一種確定場(chǎng)景的圖像在一個(gè)方向上的失準(zhǔn)量的方法，所述圖像由第一相機(jī)捕獲， 該方法包括限定所述圖像中的第一點(diǎn)與所述圖像中的第二點(diǎn)之間的線，所述線在失準(zhǔn)的方向上 延伸；限定所述場(chǎng)景中的基準(zhǔn)部分，所述圖像將要對(duì)準(zhǔn)所述基準(zhǔn)部分，所述場(chǎng)景的基準(zhǔn)部 分具有基準(zhǔn)圖像特性；識(shí)別所述圖像中沿所述線的不同點(diǎn)處的圖像特性；將沿所述線的每個(gè)點(diǎn)處的圖像特性與所述基準(zhǔn)圖像特性相比較，并且通過(guò)確定所述 圖像中所捕獲的基準(zhǔn)部分和所述場(chǎng)景中被限定的基準(zhǔn)部分的基準(zhǔn)圖像特性的位置之間的 距離來(lái)確定失準(zhǔn)量；以及在所述圖像中限定圓形采樣路徑和徑向采樣路徑中的至少一者，其中，所述圓形采 樣路徑限定在所述第一點(diǎn)和第二點(diǎn)之間的圓形采樣路徑并且所述徑向采樣路徑具有與所 述圖像中相對(duì)應(yīng)的點(diǎn)相一致的中心點(diǎn)并且沿從該中心點(diǎn)開始的徑向線延伸，所述圖像中 的所述第一點(diǎn)和第二點(diǎn)之間的線由所述圓形采樣路徑或所述徑向采樣路徑中的一個(gè)或多 個(gè)來(lái)限定。
2.根據(jù)權(quán)利要求1所述的方法，還包括使用第二相機(jī)捕獲第二圖像，從而所述第一圖像和第二圖像具有重疊區(qū)域并且所述 場(chǎng)景中的基準(zhǔn)部分位于所述重疊區(qū)域中；限定所述第二圖像中的第一點(diǎn)與所述第二圖像中的第二點(diǎn)之間的第二線，所述第二 線在失準(zhǔn)的方向上被繪出并且與所述基準(zhǔn)部分相交，所述基準(zhǔn)部分具有第二基準(zhǔn)圖像特 性；識(shí)別所述第二圖像中沿所述第二線的不同點(diǎn)處的圖像特性；以及將所述第一圖像中沿所述線的每個(gè)點(diǎn)處的圖像特性與所述第二圖像中沿所述第二線 的每個(gè)點(diǎn)處的圖像特性相比較，從而失準(zhǔn)量根據(jù)所述第一圖像中的基準(zhǔn)圖像特性和所述 第二圖像中的第二基準(zhǔn)圖像特性的位置之間的位置差被確定。
3.根據(jù)權(quán)利要求1的任一者所述的方法，其中所述第一圖像或第二圖像中的圖像特性 通過(guò)對(duì)多個(gè)像素值的插值來(lái)形成。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述插值是對(duì)最近的4個(gè)像素值的雙線性插值。
5.根據(jù)權(quán)利要求1所述的方法，包括在所述第一圖像中顯示極坐標(biāo)模板和/或徑向模 板，所述極坐標(biāo)模板具有圓形模板線和徑向模板線，所述徑向模板線具有與每個(gè)不同圖 像中的相對(duì)應(yīng)的點(diǎn)相一致的中心點(diǎn)并且沿著從中心點(diǎn)開始的徑向線延伸，所述第一圖像 中所述第一點(diǎn)和第二點(diǎn)之間的線由所述圓形模板線和/或所述徑向模板線中的一個(gè)或多 個(gè)來(lái)限定。
6.根據(jù)權(quán)利要求1所述的方法，包括確定圍繞所述第一線或第二線的區(qū)域中的各位置 處的圖像特性，所述位置距離捕獲所述圖像的相機(jī)的光軸實(shí)質(zhì)上相近的距離。
7.根據(jù)權(quán)利要求1所述的方法，其中，所述徑向線穿過(guò)的中心點(diǎn)是捕獲所述圖像的相 機(jī)的光軸。
8.根據(jù)權(quán)利要求1所述的方法，其中，所述圓形采樣路徑的中心對(duì)應(yīng)于捕獲所述圖像的相機(jī)的光軸。
9.根據(jù)權(quán)利要求1所述的方法，包括對(duì)照沿所述采樣路徑的每個(gè)采樣點(diǎn)的位置繪制沿 所述采樣路徑的所述每個(gè)采樣點(diǎn)處的圖像屬性的值。
10.—種對(duì)準(zhǔn)圖像的方法，包括如之前任一權(quán)利要求所述的確定失準(zhǔn)的方法；和變換所述第一圖像直到所捕獲的部分與所述基準(zhǔn)部分的圖像特性之間的距離在預(yù)定 閾值以內(nèi)為止。
11.根據(jù)權(quán)利要求10所述的方法，其中，所述第一圖像沿所述第一點(diǎn)和所述第二點(diǎn)之 間的線被變換。
12.根據(jù)權(quán)利要求11所述的方法，其中，所述第一圖像中的線和所述第二圖像中的線 是圓形線并且所述第一圖像被施加了滾轉(zhuǎn)變換。
13.根據(jù)權(quán)利要求11所述的方法，其中，所述第一圖像中的線和所述第二圖像中的線 是徑向線，并且所述第二圖像被沿所述徑向線的長(zhǎng)度施加了變換。
14.一種計(jì)算機(jī)程序，包括計(jì)算機(jī)可讀指令，所述指令在被裝載到計(jì)算機(jī)時(shí)，配置所 述計(jì)算機(jī)來(lái)執(zhí)行根據(jù)權(quán)利要求1所述的方法。
15.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，被配置為存儲(chǔ)根據(jù)權(quán)利要求14所述的計(jì)算機(jī)程序。
16.一種用于確定場(chǎng)景的圖像在一個(gè)方向上的失準(zhǔn)量的設(shè)備，所述圖像由第一相機(jī)捕 獲，該設(shè)備包括限定器，所述限定器可操作用于限定所述圖像中的第一點(diǎn)與所述圖像中的第二點(diǎn)之 間的線，所述線在失準(zhǔn)的方向上延伸；所述限定器還可操作用于限定所述場(chǎng)景中的基準(zhǔn)部分，所述圖像將要對(duì)準(zhǔn)所述基準(zhǔn) 部分，所述場(chǎng)景的基準(zhǔn)部分具有基準(zhǔn)圖像特性；識(shí)別器，所述識(shí)別器可操作用于識(shí)別所述圖像中沿所述線的不同點(diǎn)處的圖像特性；比較器，所述比較器可操作用于將沿所述線的每個(gè)點(diǎn)處的圖像特性與所述基準(zhǔn)圖像 特性相比較，并且通過(guò)確定所述圖像中所捕獲的基準(zhǔn)部分和所述場(chǎng)景中被限定的基準(zhǔn)部 分的基準(zhǔn)圖像特性的位置之間的距離來(lái)確定失準(zhǔn)量；以及限定器，該限定器在所述圖像中限定圓形采樣路徑或徑向采樣路徑中的至少一者， 其中，所述圓形采樣路徑限定在所述第一點(diǎn)和第二點(diǎn)之間的圓形采樣路徑并且所述徑向 采樣路徑具有與所述圖像中相對(duì)應(yīng)的點(diǎn)相一致的中心點(diǎn)并且沿從該中心點(diǎn)開始的徑向線 延伸，所述圖像中的所述第一點(diǎn)和第二點(diǎn)之間的線由所述圓形采樣路徑或所述徑向采樣 路徑中的一個(gè)或多個(gè)來(lái)限定。
17.根據(jù)權(quán)利要求16所述的設(shè)備，還包括可連接到第二相機(jī)的輸入，所述第二相機(jī)可操作用于捕獲第二圖像，從而所述第一 圖像和第二圖像具有重疊區(qū)域并且所述場(chǎng)景中的基準(zhǔn)部分位于所述重疊區(qū)域中；所述限定器還可操作用于限定在所述第二圖像中的第一點(diǎn)與所述第二圖像中的第二 點(diǎn)之間延伸的第二線，所述第二線在失準(zhǔn)的方向上延伸并且與所述基準(zhǔn)部分相交，所述 基準(zhǔn)部分具有第二基準(zhǔn)圖像特性；所述識(shí)別器可操作用于識(shí)別所述第二圖像中沿所述第二線的不同點(diǎn)處的圖像特性；以及所述比較器可操作用于將所述第一圖像中沿所述線的每個(gè)點(diǎn)處的圖像特性與所述第 二圖像中沿所述第二線的每個(gè)點(diǎn)處的圖像特性相比較，從而失準(zhǔn)量根據(jù)所述第一圖像中 的基準(zhǔn)圖像特性和所述第二圖像中的第二基準(zhǔn)圖像特性的位置之間的位置差被確定。
18.根據(jù)權(quán)利要求16所述的設(shè)備，其中所述第一圖像或第二圖像中的圖像特性通過(guò)對(duì) 多個(gè)像素值的插值來(lái)形成。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其中所述插值是對(duì)最近的4個(gè)像素值的雙線性插值。
20.根據(jù)權(quán)利要求16所述的設(shè)備，包括顯示器，所述顯示器可操作用于在所述第一圖 像中顯示極坐標(biāo)模板和/或徑向模板中的至少一者，所述極坐標(biāo)模板具有圓形模板線和 徑向模板線，所述徑向模板線具有與每個(gè)不同圖像中的相對(duì)應(yīng)的點(diǎn)相一致的中心點(diǎn)并且 沿著從中心點(diǎn)開始的徑向線延伸，所述第一圖像中所述第點(diǎn)一和第二點(diǎn)之間的線由所述 圓形模板線或所述徑向模板線中的一個(gè)或多個(gè)來(lái)限定。
21.根據(jù)權(quán)利要求16所述的設(shè)備，其中，所述確定器可操作用于確定圍繞所述第一線 或第二線的區(qū)域中的各位置處的圖像特性，所述位置距離捕獲所述圖像的相機(jī)的光軸實(shí) 質(zhì)上相近的距離。
22.根據(jù)權(quán)利要求16所述的設(shè)備，其中，所述徑向線從其發(fā)射的點(diǎn)是捕獲所述圖像的 相機(jī)的光軸。
23.根據(jù)權(quán)利要求16所述的設(shè)備，其中所述圓形采樣路徑的中心對(duì)應(yīng)于所述相機(jī)的光軸ο
24.根據(jù)權(quán)利要求16所述的設(shè)備，還包括繪制器，所述繪制器可操作用于對(duì)照沿所 述采樣路徑的每個(gè)采樣點(diǎn)的位置繪制沿所述采樣路徑的所述每個(gè)采樣點(diǎn)處的圖像屬性的值。
25.—種用于對(duì)準(zhǔn)圖像的裝置，包括用于如權(quán)利要求16所述地確定失準(zhǔn)的設(shè)備；和變換器，所述變換器可操作用于變換所述第一圖像直到所捕獲的部分與所述基準(zhǔn)部 分的圖像特性之間的距離低于閾值距離為止。
26.根據(jù)權(quán)利要求25所述的裝置，其中，所述第一圖像沿所述第一點(diǎn)和所述第二點(diǎn)之 間的線被變換。
27.根據(jù)權(quán)利要求25所述的裝置，其中，所述第一圖像中的線和所述第二圖像中的線 是圓形線并且所述第一圖像被施加了滾轉(zhuǎn)變換。
28.根據(jù)權(quán)利要求26所述的裝置，其中，所述第一圖像中的線和所述第二圖像中的線 是徑向線，并且所述第一圖像被沿所述徑向線的長(zhǎng)度施加了變換。
29.一種系統(tǒng)，包括連接到根據(jù)權(quán)利要求16所述的設(shè)備的第一相機(jī)和第二相機(jī)。
全文摘要
本發(fā)明公開了用于確定圖像中的失準(zhǔn)的方法和設(shè)備。該方法確定場(chǎng)景的圖像在一個(gè)方向上的失準(zhǔn)量，該圖像由第一相機(jī)捕獲。該方法包括以下步驟限定該圖像中的第一點(diǎn)與該圖像中的第二點(diǎn)之間的線，所述線在失準(zhǔn)的方向上延伸；限定該場(chǎng)景中的基準(zhǔn)部分，該圖像將要對(duì)準(zhǔn)所述基準(zhǔn)部分，場(chǎng)景的基準(zhǔn)部分具有基準(zhǔn)圖像特性；識(shí)別該圖像中沿所述線的不同點(diǎn)處的圖像特性；和將沿所述線的每個(gè)點(diǎn)處的圖像特性與基準(zhǔn)圖像特性相比較，并且通過(guò)確定該圖像中所捕獲的基準(zhǔn)部分和場(chǎng)景中被限定的基準(zhǔn)部分的基準(zhǔn)圖像特性的位置之間的距離來(lái)確定失準(zhǔn)量。
文檔編號(hào)G06T7/60GK102013104SQ201010276390
公開日2011年4月13日 申請(qǐng)日期2010年9月6日 優(yōu)先權(quán)日2009年9月4日
發(fā)明者理查德·札瑞德·庫(kù)珀 申請(qǐng)人:索尼公司