一種3d圖像拼接方法及裝置制造方法
【專利摘要】本發(fā)明涉及圖像拼接【技術(shù)領(lǐng)域】，尤其涉及一種3D圖像拼接方法及裝置。該方法包括：獲取目標(biāo)監(jiān)測區(qū)域的已布點(diǎn)攝像機(jī)拍攝的待拼接圖像，拼接圖像兩兩之間具有設(shè)定比例的重疊區(qū)域；確定待拼接圖像中的圖像特征點(diǎn)的位置對應(yīng)關(guān)系；利用圖像特征點(diǎn)的全局方位信息確定幾何投影平面；根據(jù)圖像特征點(diǎn)的位置對應(yīng)關(guān)系，將所有待拼接圖像投影到幾何投影平面，確定全局圖架構(gòu)；根據(jù)圖像特征點(diǎn)的全局坐標(biāo)進(jìn)行圖像融合，得到三維全景圖像。本發(fā)明的該3D圖像拼接方法及裝置，能夠快速進(jìn)行目標(biāo)監(jiān)測區(qū)域的圖像拼接實(shí)現(xiàn)3D場景展示，有效克服了現(xiàn)有的逆向三維建模工作量大、周期長、模型難以復(fù)用的缺點(diǎn)，使得本發(fā)明方案，更能滿足用戶進(jìn)行三維場景展現(xiàn)的實(shí)際需求。
【專利說明】一種3D圖像拼接方法及裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像拼接【技術(shù)領(lǐng)域】，具體而言，涉及一種3D圖像拼接方法及裝置。

【背景技術(shù)】
[0002] 目前，多利用攝像設(shè)備對重點(diǎn)場所、重點(diǎn)設(shè)備進(jìn)行監(jiān)控。采用攝像設(shè)備監(jiān)控獲取的 圖像均為二維圖像，且每臺監(jiān)控設(shè)備僅能獲取監(jiān)控場所或設(shè)備的部分圖像，不便于用戶對 監(jiān)控場所或設(shè)備進(jìn)行全景監(jiān)測。例如，在變電站的監(jiān)控中，布置了數(shù)十臺攝像機(jī)，分別監(jiān)控 不同的物理和場景對象，如何進(jìn)行基于三維全景可視化的變電站場景展現(xiàn)與監(jiān)測是電力用 戶的業(yè)務(wù)需求之一。
[0003] 現(xiàn)有的三維全景可視化場景展現(xiàn)與監(jiān)測的方法主要是三維巡視、仿真培訓(xùn)和設(shè)備 資產(chǎn)管理等，在實(shí)現(xiàn)過程中多采用逆向三維建模手段，包括：對已有的監(jiān)測設(shè)備或場景的實(shí) 體模型進(jìn)行拍照或掃描，得到監(jiān)測模型圖像；在三維環(huán)境中，基于監(jiān)測模型圖像建立三維數(shù) 字模型；將獲取的監(jiān)測場景的監(jiān)測圖像投影到三維數(shù)字模型中，進(jìn)行三維全景可視化展現(xiàn)。
[0004] 上述的方法雖然能夠?qū)崿F(xiàn)三維場景的可視化，但因?yàn)楸O(jiān)測場所或設(shè)備的不同，例 如每個變電站都有不同類型的設(shè)備和獨(dú)特的空間分布特征，若都采用上述三維逆向建模的 方法進(jìn)行三維場景的展現(xiàn)，需要對每個設(shè)備、場所進(jìn)行建模，導(dǎo)致三維逆向建模工作量大、 周期長、模型難以復(fù)用，不能滿足用戶三維場景展現(xiàn)的實(shí)際需求。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提供一種3D圖像拼接方法及裝置，以解決上述的問題。
[0006] 在本發(fā)明的實(shí)施例中提供了一種3D圖像拼接方法，包括：獲取目標(biāo)監(jiān)測區(qū)域的已 布點(diǎn)攝像機(jī)拍攝的待拼接圖像，所述待拼接圖像兩兩之間具有設(shè)定比例的重疊區(qū)域；確定 所述待拼接圖像中的圖像特征點(diǎn)的位置對應(yīng)關(guān)系；利用所述圖像特征點(diǎn)的全局方位信息確 定幾何投影平面；根據(jù)所述圖像特征點(diǎn)的所述位置對應(yīng)關(guān)系，將所有所述待拼接圖像投影 到所述幾何投影平面，確定全局圖架構(gòu)；根據(jù)所述圖像特征點(diǎn)的全局坐標(biāo)進(jìn)行圖像融合，得 到三維全景圖像。
[0007] 優(yōu)選地，該方法還包括：獲取所述目標(biāo)監(jiān)測區(qū)域的已布點(diǎn)攝像機(jī)的攝像機(jī)信息，所 述攝像機(jī)信息包括：攝像機(jī)個數(shù)、攝像機(jī)類型及攝像機(jī)物理參數(shù)。
[0008] 優(yōu)選地，所述確定所述待拼接圖像中的圖像特征點(diǎn)的位置對應(yīng)關(guān)系，包括：基于尺 度不變特征轉(zhuǎn)換SIFT算法提取所述待拼接圖像中的圖像特征點(diǎn)；采用特征點(diǎn)自適應(yīng)匹配 方法對所述圖像特征點(diǎn)進(jìn)行匹配，得到特征點(diǎn)對；基于外極線約束幾何模型和攝像機(jī)成像 原理計算所述特征點(diǎn)對之間的位置關(guān)系。
[0009] 優(yōu)選地，所述采用特征點(diǎn)自適應(yīng)匹配方法對所述圖像特征點(diǎn)進(jìn)行匹配，得到特征 點(diǎn)對，包括：根據(jù)所述圖像特征點(diǎn)的橫坐標(biāo)或縱坐標(biāo)把所述重疊區(qū)域均勻分布；兩兩計算 所述圖像特征點(diǎn)的特征向量的歐氏距離，將所述歐氏距離小于設(shè)定的閾值的特征點(diǎn)匹配加 入特征點(diǎn)對。
[0010] 優(yōu)選地，所述基于外極線約束幾何模型和攝像機(jī)成像原理計算特征點(diǎn)對之間的位 置關(guān)系，包括：基于RANSAC算法估算關(guān)于特征點(diǎn)對的基本矩陣；通過外極線約束幾何模型 約束所述基本矩陣的估算結(jié)果，并聯(lián)立攝像機(jī)成像原理，計算所述圖像特征點(diǎn)對的位置關(guān) 系。
[0011] 優(yōu)選地，所述利用所述圖像特征點(diǎn)的全局方位信息確定幾何投影平面，包括：基于 圖像特征點(diǎn)到幾何投影平面距離最小的原則，采用最小二乘法擬合所述幾何投影平面。
[0012] 優(yōu)選地，所述根據(jù)所述圖像特征點(diǎn)的全局坐標(biāo)進(jìn)行圖像融合，得到三維全景圖像， 包括：采用柱面正射投影，將所述待拼接圖像投影到柱面全局坐標(biāo)中，基于所述圖像特征點(diǎn) 與柱面之間的映射關(guān)系進(jìn)行圖像融合。
[0013] 本發(fā)明實(shí)施例還提供了一種3D圖像拼接裝置，包括：圖像獲取裝置，用于獲取目 標(biāo)監(jiān)測區(qū)域的已布點(diǎn)攝像機(jī)拍攝的待拼接圖像，所述拼接圖像兩兩之間具有設(shè)定比例的重 疊區(qū)域；位置關(guān)系確定模塊，用于確定所述待拼接圖像中的圖像特征點(diǎn)的位置對應(yīng)關(guān)系； 投影模塊，用于利用所述圖像特征點(diǎn)的全局方位信息確定幾何投影平面；根據(jù)所述圖像特 征點(diǎn)的所述位置對應(yīng)關(guān)系，將所有所述待拼接圖像投影到所述幾何投影平面，確定全局圖 架構(gòu)；圖像融合模塊，用于根據(jù)所述圖像特征點(diǎn)的全局坐標(biāo)進(jìn)行圖像融合，得到三維全景圖 像。
[0014] 優(yōu)選地，所述位置關(guān)系確定模塊，包括：圖像特征點(diǎn)提取子模塊，用于基于尺度不 變特征轉(zhuǎn)換SIFT算法提取所述待拼接圖像中的圖像特征點(diǎn)；匹配子模塊，用于采用特征點(diǎn) 自適應(yīng)匹配方法對所述圖像特征點(diǎn)進(jìn)行匹配，得到特征點(diǎn)對；位置關(guān)系確定子模塊，用于基 于外極線約束幾何模型和攝像機(jī)成像原理計算所述特征點(diǎn)對之間的位置關(guān)系。
[0015] 本發(fā)明實(shí)施例的3D圖像拼接方法及裝置，利用已布點(diǎn)攝像機(jī)獲取的圖像作為待 拼接圖像，通過待拼接圖像中的圖像特征點(diǎn)的位置對應(yīng)關(guān)系在幾何投影平面中進(jìn)行投影、 拼接，利用該方法無需預(yù)先建立目標(biāo)監(jiān)測區(qū)域的模型，能夠快速進(jìn)行目標(biāo)監(jiān)測區(qū)域的圖像 拼接實(shí)現(xiàn)3D場景展示，有效克服了現(xiàn)有的逆向三維建模工作量大、周期長、模型難以復(fù)用 的缺點(diǎn)，使得本發(fā)明的方法及裝置，更能滿足用戶進(jìn)行三維場景展現(xiàn)的實(shí)際需求。
[0016] 另外，本方法中，為了達(dá)到真實(shí)展現(xiàn)場景或設(shè)備的目的，基于圖像特征點(diǎn)全局框架 圖的正投影方法，不會出現(xiàn)累積誤差所造成圖像失真變形的情況，可以達(dá)到真實(shí)模擬場景 的需求。

【專利附圖】

【附圖說明】
[0017] 圖1示出了本發(fā)明實(shí)施例中3D圖像拼接方法的一種流程圖；
[0018] 圖2示出了本發(fā)明實(shí)施例中3D圖像拼接方法的另一種流程圖；
[0019] 圖3示出了本發(fā)明實(shí)施例中外極線約束幾何模型；
[0020] 圖4示出了本發(fā)明實(shí)施例中3D圖像拼接裝置的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0021] 下面通過具體的實(shí)施例子并結(jié)合附圖對本發(fā)明做進(jìn)一步的詳細(xì)描述。
[0022] 本發(fā)明基于目標(biāo)監(jiān)測區(qū)域（例如變電站）三維可視化的應(yīng)用需求，研究與目標(biāo)監(jiān) 測區(qū)域視頻監(jiān)控系統(tǒng)相結(jié)合的三維全景可視化方法，提出基于攝像機(jī)粗精度監(jiān)控方位實(shí)時 監(jiān)控圖像獲取，運(yùn)用自適應(yīng)圖像特征點(diǎn)匹配技術(shù)計算匹配點(diǎn)對，估算匹配點(diǎn)基本矩陣，在此 基礎(chǔ)上基于外極線約束和攝像機(jī)成像原理計算匹配點(diǎn)對之間的位置關(guān)系；利用特征點(diǎn)對應(yīng) 關(guān)系進(jìn)行圖像的正射投影，將待拼接圖像投影到全局圖中，對圖像進(jìn)行融合，從而構(gòu)建具 有真實(shí)場景的實(shí)時三維全景圖像。
[0023] 基于上述思想，本發(fā)明實(shí)施例提供了一種3D圖像拼接方法，如圖1所示，主要處理 步驟包括：
[0024] 步驟Sll :獲取目標(biāo)監(jiān)測區(qū)域的已布點(diǎn)攝像機(jī)拍攝的待拼接圖像，待拼接圖像兩 兩之間具有設(shè)定比例的重疊區(qū)域；
[0025] 步驟S12:確定待拼接圖像中的圖像特征點(diǎn)的位置對應(yīng)關(guān)系；
[0026] 步驟S13:利用圖像特征點(diǎn)的全局方位信息確定幾何投影平面；
[0027] 步驟S14:根據(jù)圖像特征點(diǎn)的位置對應(yīng)關(guān)系，將所有待拼接圖像投影到幾何投影 平面，確定全局圖架構(gòu)；
[0028] 步驟S15:根據(jù)圖像特征點(diǎn)的全局坐標(biāo)進(jìn)行圖像融合，得到三維全景圖像。
[0029] 利用該方法無需預(yù)先建立目標(biāo)監(jiān)測區(qū)域的模型，能夠快速進(jìn)行目標(biāo)監(jiān)測區(qū)域的圖 像拼接實(shí)現(xiàn)3D場景展示，有效克服了現(xiàn)有的逆向三維建模工作量大、周期長、模型難以復(fù) 用的缺點(diǎn)，使得本發(fā)明的方法，更能滿足用戶進(jìn)行三維場景展現(xiàn)的實(shí)際需求。
[0030] 另外，本方法中，為了達(dá)到真實(shí)展現(xiàn)場景或設(shè)備的目的，基于圖像特征點(diǎn)全局框架 圖的正投影方法，不會出現(xiàn)累積誤差所造成圖像失真變形的情況，可以達(dá)到真實(shí)模擬場景 的需求。
[0031] 如圖2所示，本發(fā)明還提供了一種基于上述思想的優(yōu)選實(shí)施方法，該方法主要包 括：
[0032] 步驟S21:實(shí)時獲取待監(jiān)測區(qū)域已布點(diǎn)攝像機(jī)拍攝的待拼接圖像。
[0033] 在監(jiān)測區(qū)域中，已布點(diǎn)有攝像機(jī)。通過布點(diǎn)的攝像機(jī)能夠?qū)崟r獲取到監(jiān)測區(qū)域的 監(jiān)測圖像。
[0034] 對于已布點(diǎn)攝像機(jī)獲取的待拼接圖像，兩兩之間具有設(shè)定比例的重疊區(qū)域，優(yōu)選 地，待拼接圖像兩兩之間至少具有20%的重疊區(qū)域。
[0035]另外，該方法中預(yù)先獲取有已布點(diǎn)攝像機(jī)的攝像機(jī)信息，具體攝像機(jī)信息可以包 括攝像機(jī)個數(shù)、攝像機(jī)類型和攝像機(jī)物理參數(shù)。對于攝像機(jī)類型，其可以選擇范圍包括球 機(jī)、槍機(jī)、高清攝像機(jī)等；攝像機(jī)參數(shù)包括：攝像機(jī)位置、攝像機(jī)的焦距、光軸方向、變倍值、 成像元件尺寸及分辨率等。
[0036] 步驟S22:基于SIFT算法提取待拼接圖像中的圖像特征點(diǎn)。
[0037] 其中，通過SIFT算法提取待拼接圖像中的圖像特征點(diǎn)的步驟包括：
[0038]1)、尺度空間極值點(diǎn)的檢測；在尺度空間通過高斯微分函數(shù)來檢測潛在的對于尺 度和旋轉(zhuǎn)不變的興趣點(diǎn)；
[0039] 2)、關(guān)鍵點(diǎn)定位；在興趣點(diǎn)位置上，確定關(guān)鍵點(diǎn)的位置和尺度；
[0040]3)、關(guān)鍵點(diǎn)方向確定；基于圖像局部的梯度方向，給每個關(guān)鍵點(diǎn)分配方向；
[0041] 4)、計算關(guān)鍵點(diǎn)的描述子；在每個關(guān)鍵點(diǎn)的領(lǐng)域內(nèi)測量圖像局部的梯度，最終用一 個特征向量來表達(dá)。
[0042] 上述確定出的關(guān)鍵點(diǎn)即待拼接圖像中的圖像特征點(diǎn)。
[0043] 步驟S23:采用特征點(diǎn)自適應(yīng)匹配方法，快速判斷對圖像特征點(diǎn)是否匹配，如果匹 配，則進(jìn)行步驟S24,否則，重復(fù)步驟S23直至找到所有圖像特征點(diǎn)的位置關(guān)系。
[0044] 對于每個圖像特征點(diǎn)，其描述子是一個128維的特征向量。兩幀圖像中相匹配的 關(guān)鍵點(diǎn)是最相關(guān)的，所以歐氏距離最短的，基于此，本步驟中快速判斷對圖像特征點(diǎn)是否匹 配的方法包括：
[0045] 首先假設(shè)特征點(diǎn)對在兩幅圖的重疊區(qū)域上是均勻分布的，利用橫坐標(biāo)或縱坐標(biāo)把 重疊區(qū)域平均分配，通過計算兩個圖像特征點(diǎn)的特征向量的歐氏距離，將距離小于設(shè)定的 閾值的圖像特征點(diǎn)匹配加入特征點(diǎn)對；從特征點(diǎn)對集合中按歐氏距離從小到大的順序取出 特征點(diǎn)個數(shù)，即滿足特征點(diǎn)對平均分布的要求，又最大化特征點(diǎn)的匹配程度。
[0046] 其中，計算兩個特征點(diǎn)之間的歐氏距離公式為：
[0047]

【權(quán)利要求】
1. 一種3D圖像拼接方法，其特征在于，包括： 獲取目標(biāo)監(jiān)測區(qū)域的已布點(diǎn)攝像機(jī)拍攝的待拼接圖像，所述待拼接圖像兩兩之間具有 設(shè)定比例的重疊區(qū)域； 確定所述待拼接圖像中的圖像特征點(diǎn)的位置對應(yīng)關(guān)系； 利用所述圖像特征點(diǎn)的全局方位信息確定幾何投影平面； 根據(jù)所述圖像特征點(diǎn)的所述位置對應(yīng)關(guān)系，將所有所述待拼接圖像投影到所述幾何投 影平面，確定全局圖架構(gòu)； 根據(jù)所述圖像特征點(diǎn)的全局坐標(biāo)進(jìn)行圖像融合，得到三維全景圖像。
2. 根據(jù)權(quán)利要求1所述的3D圖像拼接方法，其特征在于，該方法還包括：獲取所述目 標(biāo)監(jiān)測區(qū)域的已布點(diǎn)攝像機(jī)的攝像機(jī)信息，所述攝像機(jī)信息包括：攝像機(jī)個數(shù)、攝像機(jī)類型 及攝像機(jī)物理參數(shù)。
3. 根據(jù)權(quán)利要求1所述的3D圖像拼接方法，其特征在于，所述確定所述待拼接圖像中 的圖像特征點(diǎn)的位置對應(yīng)關(guān)系，包括： 基于尺度不變特征轉(zhuǎn)換SIFT算法提取所述待拼接圖像中的圖像特征點(diǎn)； 采用特征點(diǎn)自適應(yīng)匹配方法對所述圖像特征點(diǎn)進(jìn)行匹配，得到特征點(diǎn)對； 基于外極線約束幾何模型和攝像機(jī)成像原理計算所述特征點(diǎn)對之間的位置關(guān)系。
4. 根據(jù)權(quán)利要求3所述的3D圖像拼接方法，其特征在于，所述采用特征點(diǎn)自適應(yīng)匹配 方法對所述圖像特征點(diǎn)進(jìn)行匹配，得到特征點(diǎn)對，包括： 根據(jù)所述圖像特征點(diǎn)的橫坐標(biāo)或縱坐標(biāo)把所述重疊區(qū)域均勻分布； 兩兩計算所述圖像特征點(diǎn)的特征向量的歐氏距離，將所述歐氏距離小于設(shè)定的閾值的 圖像特征點(diǎn)匹配加入特征點(diǎn)對。
5. 根據(jù)權(quán)利要求3所述的3D圖像拼接方法，其特征在于，所述基于外極線約束幾何模 型和攝像機(jī)成像原理計算特征點(diǎn)對之間的位置關(guān)系，包括： 基于RANSAC算法估算關(guān)于特征點(diǎn)對的基本矩陣； 通過外極線約束幾何模型約束所述基本矩陣的估算結(jié)果，并聯(lián)立攝像機(jī)成像原理，計 算所述特征點(diǎn)對的位置關(guān)系。
6. 根據(jù)權(quán)利要求1所述的3D圖像拼接方法，其特征在于，所述利用所述圖像特征點(diǎn)的 全局方位信息確定幾何投影平面，包括： 基于圖像特征點(diǎn)到幾何投影平面距離最小的原則，采用最小二乘法擬合所述幾何投影 平面。
7. 根據(jù)權(quán)利要求1所述的3D圖像拼接方法，其特征在于，所述根據(jù)所述圖像特征點(diǎn)的 全局坐標(biāo)進(jìn)行圖像融合，得到三維全景圖像，包括： 采用柱面正射投影，將所述待拼接圖像投影到柱面全局坐標(biāo)中，基于所述圖像特征點(diǎn) 與柱面之間的映射關(guān)系進(jìn)行圖像融合。
8. -種3D圖像拼接裝置，其特征在于，包括： 圖像獲取裝置，用于獲取目標(biāo)監(jiān)測區(qū)域的已布點(diǎn)攝像機(jī)拍攝的待拼接圖像，所述拼接 圖像兩兩之間具有設(shè)定比例的重疊區(qū)域； 位置關(guān)系確定模塊，用于確定所述待拼接圖像中的圖像特征點(diǎn)的位置對應(yīng)關(guān)系； 投影模塊，用于利用所述圖像特征點(diǎn)的全局方位信息確定幾何投影平面；根據(jù)所述圖 像特征點(diǎn)的所述位置對應(yīng)關(guān)系，將所有所述待拼接圖像投影到所述幾何投影平面，確定全 局圖架構(gòu)； 圖像融合模塊，用于根據(jù)所述圖像特征點(diǎn)的全局坐標(biāo)進(jìn)行圖像融合，得到三維全景圖 像。
9.根據(jù)權(quán)利要求8所述的3D圖像拼接裝置，其特征在于，所述位置關(guān)系確定模塊，包 括： 圖像特征點(diǎn)提取子模塊，用于基于尺度不變特征轉(zhuǎn)換SIFT算法提取所述待拼接圖像 中的圖像特征點(diǎn)； 匹配子模塊，用于采用特征點(diǎn)自適應(yīng)匹配方法對所述圖像特征點(diǎn)進(jìn)行匹配，得到特征 點(diǎn)對； 位置關(guān)系確定子模塊，用于基于外極線約束幾何模型和攝像機(jī)成像原理計算所述特征 點(diǎn)對之間的位置關(guān)系。
【文檔編號】G06T15/00GK104318604SQ201410567869
【公開日】2015年1月28日 申請日期:2014年10月21日 優(yōu)先權(quán)日:2014年10月21日
【發(fā)明者】胡娟, 顏江, 馮宇 申請人:四川華雁信息產(chǎn)業(yè)股份有限公司