些操作步驟，因?yàn)樗惴ū旧聿皇呛芫邆湫路f性。圖像特征點(diǎn)的提取與匹配；特征點(diǎn)的類別以及特征點(diǎn)提取的方法有很多種，例如Harris角點(diǎn)，SIFT, SURF, FAST等。這些方法都可以檢測(cè)做到合適的特征點(diǎn)，并能夠通過(guò)對(duì)于特征點(diǎn)的描述，匹配到兩兩畫面中的相對(duì)應(yīng)特征點(diǎn)，以為后面的圖像配準(zhǔn)和拼接做準(zhǔn)備。
[0038]圖像配準(zhǔn)、拼接、融合；具體來(lái)講，基于得到的圖像特征點(diǎn)匹配對(duì)，計(jì)算得到前后相機(jī)的相對(duì)位置關(guān)系，以及畫面的重疊區(qū)域，即Ifront= K[R|T]K ，其中Ifrant與I badi表示通過(guò)特征點(diǎn)提取找到的前后置相機(jī)畫面的特征點(diǎn)匹配對(duì)，K表示的是相機(jī)的內(nèi)部參數(shù)，包括相機(jī)的焦距，相機(jī)傳感器中心相對(duì)鏡頭光軸的偏移量以及鏡頭的畸變參數(shù)等，而[R|T]則是需用計(jì)算的相機(jī)相對(duì)位置關(guān)系，這個(gè)相對(duì)位置關(guān)系，描述成旋轉(zhuǎn)和平移的數(shù)學(xué)模型。因?yàn)榍昂笾孟鄼C(jī)的空間位置是固定的，所以一般情況下(例如鏡頭不松動(dòng)等)，相對(duì)變換矩陣[R|T]也是固定的。這使得在實(shí)際產(chǎn)品中，只需要在第一次對(duì)不同設(shè)備相機(jī)的相對(duì)位置[RIT]進(jìn)行測(cè)量矯正，之后一直使用同一個(gè)變換矩陣進(jìn)行配準(zhǔn)就可以了，不需要每次運(yùn)行都進(jìn)行特征點(diǎn)的提取、篩選、匹配以及圖像的配準(zhǔn)等操作；拼接算法則是基于確定后的圖像重合情況將畫面重疊區(qū)域移動(dòng)到一起，最后通過(guò)圖像融合將兩張圖像之間的重疊區(qū)域過(guò)度平滑。
[0039]本發(fā)明有一個(gè)配套的軟件系統(tǒng)，主要負(fù)責(zé)前后置相機(jī)的控制、相機(jī)數(shù)據(jù)(實(shí)時(shí)畫面、最終拍攝的照片和視頻流)的獲取，圖像矯正，圖像質(zhì)量修正，曝光及對(duì)比度調(diào)整，圖像特征點(diǎn)的提取、篩選及匹配，圖像配準(zhǔn)、拼接、融合，以及全景圖像及視頻的壓縮及存儲(chǔ)等。因?yàn)楸景l(fā)明是基于移動(dòng)平臺(tái)的，所以軟件會(huì)是一個(gè)獨(dú)立的應(yīng)用軟件(Applicat1n)的形式。
[0040]如圖2所示，本發(fā)明實(shí)施例的基于移動(dòng)平臺(tái)的全景拍攝系統(tǒng)包括:兩個(gè)魚眼鏡頭和一個(gè)加固機(jī)構(gòu)。加固件的作用是將兩個(gè)魚眼鏡頭分別固定在前后置相機(jī)上，為了保證成像質(zhì)量，兩個(gè)鏡頭的光軸需要與相機(jī)的光軸重合。為了保證結(jié)構(gòu)穩(wěn)定，加固件首先需要緊緊包裹在手機(jī)或平板上，可以通過(guò)架子或者保護(hù)套的形式固定；加固件要求不能遮擋前后置鏡頭的視野。兩個(gè)魚眼鏡頭為了固定的穩(wěn)定性，可以通過(guò)螺紋固定在加固件上。
[0041]兩個(gè)魚眼鏡頭通過(guò)加固機(jī)構(gòu)安裝在移動(dòng)平臺(tái)(手機(jī)或者平板)的前置攝像頭和后置攝像頭上。
[0042]前置攝像頭和后置攝像頭為多個(gè)則可以加裝到其主拍攝相機(jī)(也就是負(fù)責(zé)成像的相機(jī))上，兩個(gè)魚眼鏡頭視場(chǎng)角Field of ￥丨6?$0￥)，包括水平？0￥、垂直？0￥、對(duì)角FoV均大于180°，保證相機(jī)能將所有的場(chǎng)景畫面包含進(jìn)來(lái)，并能保證兩個(gè)相機(jī)拍攝的畫面有一定的重疊區(qū)域?，F(xiàn)在手機(jī)或平板的相機(jī)規(guī)格非常多樣化，所以為了保證所得到的畫面能滿足后期圖像拼接的要求，鏡頭需要可變焦距。具體可以有幾種方案:a)鏡頭本身具備變焦能力，需要手動(dòng)調(diào)節(jié)焦距山)鏡頭本身具備變焦能力，自動(dòng)調(diào)節(jié)焦距；c)通過(guò)轉(zhuǎn)接件本文不涉及具體轉(zhuǎn)接件的設(shè)計(jì)，只是提出這樣的方案可能性，轉(zhuǎn)接件的作用和參考設(shè)計(jì)可參見DSLR的相關(guān)部件設(shè)計(jì)，例如http://vintaRe-camera-lenses.com/rolle1-qbm-adaptermide/來(lái)改變整體鏡頭焦距，需要手動(dòng)更換轉(zhuǎn)接件。對(duì)于采用可變焦魚眼鏡頭的方案，調(diào)整鏡頭焦距，達(dá)到每個(gè)相機(jī)所拍攝畫面的水平FoV、垂直FoV均大于180。為止，以確保能將全部的場(chǎng)景畫面記錄下來(lái)。
[0043]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于移動(dòng)平臺(tái)的全景拍攝方法，其特征在于，所述基于移動(dòng)平臺(tái)的全景拍攝方法包括: 打開前置相機(jī)和后置相機(jī)，讀取前置相機(jī)和后置相機(jī)拍攝的圖片或視頻流以及實(shí)時(shí)的預(yù)覽視頻流； 對(duì)兩路圖像分別作處理，包括圖像矯正，色彩調(diào)整，噪點(diǎn)消除，曝光及對(duì)比度調(diào)整；圖像矯正是去除部分畸變以及Lens Shading，色彩校正是對(duì)于色溫的調(diào)整，噪點(diǎn)消除涉及圖像傳感器固有噪聲，以及圖像數(shù)據(jù)讀取時(shí)的噪聲消除； 圖像特征點(diǎn)的提取、篩選及匹配；特征點(diǎn)提取算法檢測(cè)到特征點(diǎn)的位置，并通過(guò)對(duì)特征點(diǎn)的描述，匹配到該點(diǎn)在另一幅畫面中相對(duì)應(yīng)的特征點(diǎn)，為后面的圖像配準(zhǔn)和拼接做準(zhǔn)備; 圖像配準(zhǔn)、拼接、融合:基于得到的圖像特征點(diǎn)匹配對(duì)，計(jì)算得到前后相機(jī)的相對(duì)位置關(guān)系，以及畫面的重疊區(qū)域，即Ifrant= K[R|T]K ，其中Ifrant與I badi表示通過(guò)特征點(diǎn)提取找到的前后置相機(jī)畫面的特征點(diǎn)匹配對(duì)，K表示的是相機(jī)的內(nèi)部參數(shù)，包括相機(jī)的焦距，相機(jī)傳感器中心相對(duì)鏡頭光軸的偏移量以及鏡頭的畸變參數(shù)，而[RlT]則是需用計(jì)算的相機(jī)相對(duì)位置關(guān)系，這個(gè)相對(duì)位置關(guān)系，描述成旋轉(zhuǎn)和平移的數(shù)學(xué)模型，相對(duì)變換矩陣[R|T]是固定的；拼接算法則是基于確定后的圖像重合情況將畫面重疊區(qū)域移動(dòng)到一起，最后通過(guò)圖像融合將兩張圖像之間的重疊區(qū)域過(guò)度平滑； 全景圖像及視頻的壓縮及存儲(chǔ)；圖像渲染顯示到移動(dòng)設(shè)備的屏幕上。2.一種如權(quán)利要求1所述基于移動(dòng)平臺(tái)的全景拍攝方法的全景拍攝系統(tǒng)，其特征在于，所述全景拍攝系統(tǒng)包括: 讀取模塊，用于讀取前置相機(jī)和后置相機(jī)拍攝的圖片或視頻流以及實(shí)時(shí)的預(yù)覽視頻流； 圖像處理模塊，用于對(duì)兩路圖像分別作處理，包括圖像矯正，色彩調(diào)整，噪點(diǎn)消除，曝光及對(duì)比度調(diào)整； 特征點(diǎn)處理模塊，用于圖像特征點(diǎn)的提取、篩選及匹配；特征點(diǎn)提取算法檢測(cè)到特征點(diǎn)的位置，并通過(guò)對(duì)特征點(diǎn)的描述，匹配到該點(diǎn)在另一幅畫面中相對(duì)應(yīng)的特征點(diǎn)，為后面的圖像配準(zhǔn)和拼接做準(zhǔn)備； 特征點(diǎn)匹配模塊，用于圖像配準(zhǔn)、拼接、融合；基于得到的圖像特征點(diǎn)匹配對(duì)，計(jì)算得到前后相機(jī)的相對(duì)位置關(guān)系，以及畫面的重疊區(qū)域；拼接算法則是基于確定后的圖像重合情況將畫面重疊區(qū)域移動(dòng)到一起，最后通過(guò)圖像融合將兩張圖像之間的重疊區(qū)域過(guò)度平滑； 存儲(chǔ)模塊，用于全景圖像及視頻的壓縮及存儲(chǔ)； 顯示模塊，用于圖像渲染顯示到移動(dòng)設(shè)備的屏幕上。3.如權(quán)利要求2所述的全景拍攝系統(tǒng)，其特征在于，所述圖像處理模塊包括: 圖像矯正單元，用于去除部分畸變以及Lens Shading ； 色彩校正單元，用于對(duì)色溫的調(diào)整； 噪點(diǎn)消除單元，用于對(duì)圖像傳感器固有噪聲，以及圖像數(shù)據(jù)讀取時(shí)的噪聲消除。4.如權(quán)利要求2所述的全景拍攝系統(tǒng)，其特征在于，所述全景拍攝系統(tǒng)進(jìn)一步包括:兩個(gè)魚眼鏡頭和一個(gè)加固機(jī)構(gòu)； 兩個(gè)魚眼鏡頭通過(guò)螺紋安裝在手機(jī)或者平板的前置攝像頭和后置攝像頭上。5.一種使用權(quán)利要求1所述基于移動(dòng)平臺(tái)的全景拍攝方法的智能終端。
【專利摘要】本發(fā)明公開了一種基于移動(dòng)平臺(tái)的全景拍攝方法，包括：打開前置相機(jī)和后置相機(jī)；讀取前置相機(jī)和后置相機(jī)拍攝的圖片或視頻流以及實(shí)時(shí)的預(yù)覽視頻流；對(duì)兩路圖像分別作處理，包括圖像矯正，色彩調(diào)整，噪點(diǎn)消除，曝光及對(duì)比度調(diào)整；圖像特征點(diǎn)的提取、篩選及匹配；圖像配準(zhǔn)、拼接、融合；全景圖像及視頻的壓縮及存儲(chǔ)；圖像渲染顯示到手機(jī)屏幕上。系統(tǒng)包括：兩個(gè)魚眼鏡頭和一個(gè)加固機(jī)構(gòu)；兩個(gè)魚眼鏡頭通過(guò)加固機(jī)構(gòu)安裝在手機(jī)或者平板的前置攝像頭和后置攝像頭上。本發(fā)明提出了一種基于移動(dòng)平臺(tái)拍攝全景圖像以及視頻的方法，較好地解決了現(xiàn)有全景拍攝方法存在成本高、拍攝過(guò)程繁瑣、需要獨(dú)立拍攝設(shè)備、無(wú)法錄制全景視頻的問(wèn)題。
【IPC分類】H04N5/232, H04N5/225, H04M1/02, H04M1/725
【公開號(hào)】CN105376471
【申請(qǐng)?zhí)枴緾N201510956633
【發(fā)明人】景好
【申請(qǐng)人】景好
【公開日】2016年3月2日
【申請(qǐng)日】2015年12月21日