專利名稱：基于小波神經(jīng)網(wǎng)絡(luò)的增強現(xiàn)實圖像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，具體說就是一種基于小波神經(jīng)網(wǎng)絡(luò)的增強現(xiàn)實圖像方法。
背景技術(shù)：
虛擬內(nèi)窺鏡(VirtualEndoscope),又可稱作計算內(nèi)窺鏡(Computed Endoscope),就是利用計算機處理三維圖像數(shù)據(jù)，達到或接近普通醫(yī)用內(nèi)窺鏡的視覺效果。虛擬內(nèi)窺鏡不僅可以用于實際觀察或仿真預(yù)演，還可以在很多場合直接代替真實的內(nèi)窺鏡。虛擬內(nèi)窺鏡的研究在過去十年得到迅猛發(fā)展，主要是因為圖像融合及虛擬現(xiàn)實技術(shù)已逐漸成熟。由 于虛擬場景是由CT/MRI圖像構(gòu)建，而實際的內(nèi)窺鏡要與之配準就涉及到多體圖像融合問題，即將同一對象的不同介質(zhì)圖像協(xié)同地混合在一起來揭示更清晰的信息。雖然現(xiàn)在有許多不同介質(zhì)如超聲波、X光、CT、MRI、PET、SPET等都可以獲取醫(yī)學圖像，但是如何定量地測量各種圖像之間的相互關(guān)系以及如何進行優(yōu)勢互補則需要數(shù)據(jù)融合來解決。比如MRI和CT圖像可以高清晰地顯示結(jié)構(gòu)信息，PET和SPET則以低分辨率方式提供功能信息。MRI/CT圖像與PET/SPET圖像融合后就可綜合這兩方面的信息而更好地定量分析。又比如，MRI圖像與CT圖像融合可以同時展現(xiàn)高密質(zhì)的骨骼結(jié)構(gòu)以及疏密質(zhì)軟纖維信息。最簡單直接的圖像融合方法是采取線性變換，如強度-色調(diào)飽和變換。Sharma采用主元分析(PCA)獲得兩幅圖像的變化參數(shù)后，將目標圖像加權(quán)疊加到源圖像。這類方法的效果不理想，這是因為兩幅圖像的特征不一定是同時出現(xiàn)的，所以在融合后的圖像上會以降低對比度的方式或機械疊加的方式呈現(xiàn)。研究表明，人類的視覺系統(tǒng)對不同尺度大小的邊緣特別敏感，兩幅圖像的尺寸和分辨率必須相同才能被正確地配準與融合，而上述的線性變換方法沒有考慮到這一特點。目前最成功的圖像融合方法是時-頻分析法。這種方法實際是將圖像分解成高通系數(shù)與低通系數(shù)的表示，在高頻和低頻部分融合后，經(jīng)過逆變換生成最終結(jié)果。最常用的時-頻分析法是小波變換，它在每一級將圖像分解成低-低、低-高、高-低、高-高四個空間頻率帶。低-低帶包含了平均的圖像信息，高頻帶則包含了方向或邊緣信息。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于小波神經(jīng)網(wǎng)絡(luò)的增強現(xiàn)實圖像方法。本發(fā)明的目的是這樣實現(xiàn)的步驟如下步驟一基于小波神經(jīng)網(wǎng)絡(luò)的圖像配準分別利用Radon變換及高斯型拉普拉斯濾波確定兩幅圖像之間的旋轉(zhuǎn)與尺度關(guān)系，在對源圖像進行平移、旋轉(zhuǎn)及尺度變換之后，同時對源圖像及目標圖像提取小波特征并計算匹配度；步驟二 基于虛擬內(nèi)窺鏡的增強現(xiàn)實圖像系統(tǒng)集成虛擬場景是利用拍攝的CT切片圖像重建出內(nèi)部組織的三維結(jié)構(gòu)，現(xiàn)實場景是內(nèi)窺鏡圖像，將現(xiàn)實場景與虛擬場景進行圖像配準，然后將融合后的圖像顯示在增強現(xiàn)實頭盔系統(tǒng)上，從而形成一個有透視能力的虛擬內(nèi)窺鏡；步驟三數(shù)據(jù)集測試與動物實驗將已集成的系統(tǒng)應(yīng)用于人工合成的手寫字符集以及公開的基準數(shù)據(jù)庫，經(jīng)過數(shù)據(jù)分析和改進算法后，將這種增強現(xiàn)實內(nèi)窺鏡圖像系統(tǒng)用于動物實驗。本發(fā)明是一種時-頻分析法，通過提取圖像的小波特征來實現(xiàn)配準。小波神經(jīng)網(wǎng)結(jié)合了小波變換的時-頻特性以及 神經(jīng)網(wǎng)絡(luò)的學習優(yōu)化機制，能更快速準確地實現(xiàn)圖像配準。本課題旨在利用增強現(xiàn)實的技術(shù)構(gòu)建一個具有透視能力的虛擬內(nèi)窺鏡，使得使用者能看到被覆蓋在表層以下的組織。而實現(xiàn)這一系統(tǒng)的關(guān)鍵技術(shù)是虛擬場景與現(xiàn)實場景的圖像配準。即系統(tǒng)的準確性與實時性都取決于虛擬場景與現(xiàn)實場景進行圖像配準的精度與速度。所以，本發(fā)明的研究集中在基于并行Radon變換的圖像平移、旋轉(zhuǎn)及尺度關(guān)系，并利用小波神經(jīng)網(wǎng)的函數(shù)近似與自適應(yīng)學習能力來匹配兩幅圖像。該項方法的研究還可以用于管道機器人視覺導(dǎo)航，這將是下一代智能機器人的標準配備，市場前景極為廣闊。此外本項研究還可以擴展開發(fā)出全自主運作、具有精確定位和目標識別功能的機器人，它不僅可用于工業(yè)生產(chǎn)和日常的生活，還可以用于偵察敵情及抗震救災(zāi)。
具體實施例方式下面舉例對本發(fā)明作進一步說明。實施例I :本發(fā)明一種基于小波神經(jīng)網(wǎng)絡(luò)的增強現(xiàn)實圖像方法，步驟如下步驟一基于小波神經(jīng)網(wǎng)絡(luò)的圖像配準分別利用Radon變換及高斯型拉普拉斯濾波確定兩幅圖像之間的旋轉(zhuǎn)與尺度關(guān)系，在對源圖像進行平移、旋轉(zhuǎn)及尺度變換之后，同時對源圖像及目標圖像提取小波特征并計算匹配度；步驟二 基于虛擬內(nèi)窺鏡的增強現(xiàn)實圖像系統(tǒng)集成虛擬場景是利用拍攝的CT切片圖像重建出內(nèi)部組織的三維結(jié)構(gòu)，現(xiàn)實場景是內(nèi)窺鏡圖像，將現(xiàn)實場景與虛擬場景進行圖像配準，然后將融合后的圖像顯示在增強現(xiàn)實頭盔系統(tǒng)上，從而形成一個有透視能力的虛擬內(nèi)窺鏡；步驟三數(shù)據(jù)集測試與動物實驗將已集成的系統(tǒng)應(yīng)用于人工合成的手寫字符集以及公開的基準數(shù)據(jù)庫，經(jīng)過數(shù)據(jù)分析和改進算法后，將這種增強現(xiàn)實內(nèi)窺鏡圖像系統(tǒng)用于動物實驗。實施例2 :本發(fā)明一種基于小波神經(jīng)網(wǎng)絡(luò)的增強現(xiàn)實圖像方法，步驟如下(I)基于小波神經(jīng)網(wǎng)進行圖像配準采用計算每幅圖像的絕對尺度參數(shù)來獲得相對縮放比例；通過分析Radon空間獲得圖像之間的相對旋轉(zhuǎn)角度；最后通過小波神經(jīng)網(wǎng)找到兩幅圖像的最佳匹配值。在多尺度圖像分析法中，尺度-空間表示法描述的是某一特定點周圍的局部圖像結(jié)構(gòu)。通過對圖像中若干個點進行尺度歸一的高斯型拉普拉斯算子運算(Laplacian ofGaussian, LoG),進而經(jīng)過表決確定整幅圖像的尺度。利用快速的并行Radon變換方法，合并多個不同系數(shù)的傅立葉變換獲得多個頻譜集。這種方法不僅不需要傳統(tǒng)的補零處理，還可以并行運算，在速度和精度上都有顯著提高。給定兩幅圖像，分別生成頻譜圖，運用投影定理將直角坐標系映射至極坐標，再對各角度的投影作一維傅立葉逆變換從而形成Radon空間上的正弦圖，然后分析兩幅圖像之間的旋轉(zhuǎn)關(guān)系。圖像跟蹤的第一步是找到視頻序列中各幀間的對應(yīng)。在本方法中，我們關(guān)注基于固有三維像素特征的配準方法，該方法直接作用于圖像灰度值，無需對圖像進行人工預(yù)處理。習慣上，上述對應(yīng)即指計算從兩幅圖像中抽取特征的變化。基于亮度的方法易受光照變化干擾。此時，在內(nèi)窺鏡成像中普遍采用適用于光照變化的紋理信息。為降低亮度變化的干擾，我們在關(guān)注亮度變化的同時，擬采 用特征區(qū)域的空間信息來進行相似性估計。利用小波的尺度特性和神經(jīng)網(wǎng)絡(luò)的高效學習機制，小波網(wǎng)絡(luò)一誕生即成為強健的工具用于許多領(lǐng)域。如在小波網(wǎng)絡(luò)理論中一樣，Gabor奇函數(shù)被寫成平移、旋轉(zhuǎn)和擴張的編碼。在本方法中，考慮連續(xù)函數(shù)空間上的緊致性，我們采用常見的Gabor奇函數(shù)和偶函數(shù)。首先，我們引入Gabor分析作為信號處理和通信的工具。Gabor將擴展信號f視為如下序列f (X) = Σ cmnexp {i2 31 mbx} g(x-na)。其中g(shù)(x_na)是高斯函數(shù)。在采用Gabor函數(shù)作為網(wǎng)絡(luò)的母函數(shù)之前，我們先關(guān)注幀特性。給定參數(shù)和函數(shù)，1(沢)中形如{el2lIb(mx+ny)g(x-ka, y-la)z 的一巾貞稱為 Gabor 巾貞。當 ab 彡 I 時，Gabor 巾貞退化為中的一幀。當且僅當ab = I時，Gabor幀為ReiZs基。(我們僅將兩個一維Gabor相乘以獲得二維Gabor巾貞)。我們將用Gabor濾波技術(shù)中的函數(shù)定義Gabor幀，如式(I)所示
cos (2;r/nfoc) cos (之咖辦)
{hnmu} =\g(x-ka,y-la).s\n{2nmbx) cos{2nnby)
sin (Inmbx) sin (lnnby)
V7 V ^ β >J n,mtkJeZ
(I)—旦獲得Gabor似然函數(shù)幀，小波神經(jīng)網(wǎng)絡(luò)即可建立。我們將釆用下述結(jié)構(gòu)作為近似函數(shù)
Hx^y)=Hw>hi{x^y)+s^ Σ w^mkAmId+g'n’m’kJ
(2)更進一步地，我們需要定義用于網(wǎng)絡(luò)的Gabor函數(shù)采樣并作如下參數(shù)選擇。為獲得Gabor濾波技術(shù)的頻率，我們采用6 = /I。其中，L為圖像寬度，a = L/2。因此，函數(shù)集的頻率為
丨么2么3>^”··}
(3)我們得到了式⑵的采樣，并將其合一以近似對式(2)的和。其中hi(x，y)是小波函數(shù)。Wi為權(quán)值,豆為附加參數(shù)，N為網(wǎng)絡(luò)中的函數(shù)個數(shù)。
Gabor小波神經(jīng)網(wǎng)絡(luò)的構(gòu)造實際上是一個尋優(yōu)過程第一，如何選擇最小數(shù)目的小波，這不僅會降低計算開銷，而且會降低大量參數(shù)計算帶來的潛在錯誤。第二，如何表示原圖像與目標圖像的最佳匹配度。小波神經(jīng)網(wǎng)的優(yōu)化標準是最小化最終預(yù)測誤差(Final Prediction Error7FPE),其定義如下
■⑷忐&辦冰7。細]2Pl · I ”=1
(4)其中，np為回歸量的個數(shù)，IQ(x，y)為訓(xùn)練點(x，y)的期望輸出，Nt = M2為訓(xùn)練數(shù)據(jù)的長度(窗口尺寸MXM)。最后，我們需要訓(xùn)練網(wǎng)絡(luò)。訓(xùn)練任務(wù)規(guī)劃如下。在感興趣區(qū)域(窗口尺寸MXM) 中，存在一個采樣點用于網(wǎng)絡(luò)訓(xùn)練。我們需要給出可用于精確亮度函數(shù)近似的權(quán)值，如式(2)所示。為此，我們最小化與權(quán)值相關(guān)的目標函數(shù)，當最小化完成時，得到如下近似IQ(x，y) ^ ξ (χ，y)。小波神經(jīng)網(wǎng)的構(gòu)造如圖2所示。采用選中窗口的像素坐標作為輸入，Gabor函數(shù)作為隱含層的神經(jīng)元，我們獲得式(3)的和，它就是原圖像的最近似輸出。然后計算目標圖像與此近似輸出的最小均方誤差\^I{x + l,y + k)-4(x+l,y + k)^(5)
22其中，(x, y)為目標圖像I(x，y)窗口的中心。(2)基于虛擬內(nèi)窺鏡的增強現(xiàn)實圖像系統(tǒng)集成。AREIGS系統(tǒng)包括四個主要部分①跟蹤、檢測、成像(TDI)單元，②頭盔式立體顯示儀，③圖形工作站，和④用于研究室實驗的內(nèi)窺鏡系統(tǒng)。其中TDI單元用于三維追蹤、三維表面檢測和立體成像；顯示單元可在不引起外科醫(yī)生感覺不適的情況下提供逼真的視覺影像。工作站用于現(xiàn)實變形的預(yù)測，圖形生成，實時視頻采集和實時混合視頻輸出。最后把TDI單元安裝在推車上一個被動手臂上，并連接系統(tǒng)其他部分；這樣可以方便使用者在手術(shù)室的移動TDI，并進行定位。(3) AREIGS系統(tǒng)的實驗我們采取循序漸進的方法實驗測試系統(tǒng)性能，即先利用人工合成的數(shù)據(jù)，再利用公開的數(shù)據(jù)測試配準，最后做動物實驗。人工合成數(shù)據(jù)我們將對已有的大規(guī)模手寫漢字字符集進行隨機參數(shù)的平移、旋轉(zhuǎn)及尺度縮放。由于字符圖像數(shù)據(jù)樣本集中的各線段端點位置已知，特別適合圖像配準問題的性能測試。實驗中，我們采用HITPU數(shù)據(jù)庫，它由哈爾濱工業(yè)大學與香港理工大學聯(lián)合采集，共收集收集了 3755個漢字類別的200個不同人書寫的手寫字符。實施例3 :采取以下三大步驟來完成該項目，即基于小波神經(jīng)網(wǎng)絡(luò)的圖像配準、增強現(xiàn)實內(nèi)窺鏡圖像引導(dǎo)系統(tǒng)的集成、數(shù)據(jù)集測試及動物實驗。系統(tǒng)集成后的實驗與前兩個步驟又是一個雙向交互的過程。一方面，通過已實現(xiàn)的圖像配準算法與虛擬內(nèi)窺鏡系統(tǒng)得到實驗結(jié)果；另一方面，通過對實驗數(shù)據(jù)的分析去改進算法及系統(tǒng)。第一步基于小波神經(jīng)網(wǎng)絡(luò)的圖像配準。圖像配準的最關(guān)鍵技術(shù)就是如何確定兩幅圖像之間的平移、旋轉(zhuǎn)及尺度關(guān)系。在本課題中，我們分別利用Radon變換及高斯型拉普拉斯濾波確定兩幅圖像之間的旋轉(zhuǎn)與尺度關(guān)系。在對源圖像進行平移、旋轉(zhuǎn)及尺度變換之后，同時對源圖像及目標圖像提取小波特征并計算匹配度。第二步基于虛擬內(nèi)窺鏡的增強現(xiàn)實圖像引導(dǎo)系統(tǒng)集成。在本方案中，虛擬場景是利用拍攝的CT切片圖像重建出內(nèi)部組織的三維結(jié)構(gòu)，現(xiàn)實場景是內(nèi)窺鏡圖像。將現(xiàn)實場景與虛擬場景進行圖像配準，然后將融合后的圖像顯示在增強現(xiàn)實頭盔系統(tǒng)上，從而形成一個有透視能力的虛擬內(nèi)窺鏡。第三步數(shù)據(jù)集測試與動物實驗。將已集成的系統(tǒng)應(yīng)用于人工合成的手寫字符集以及公開的基準數(shù)據(jù)庫。經(jīng)過數(shù)據(jù)分析和改進算法后，將這種增強現(xiàn)實內(nèi)窺鏡圖像引導(dǎo)系 統(tǒng)用于動物實驗。
權(quán)利要求
1.一種基于小波神經(jīng)網(wǎng)絡(luò)的增強現(xiàn)實圖像方法，其特征在于步驟如下 步驟一基于小波神經(jīng)網(wǎng)絡(luò)的圖像配準 分別利用Radon變換及高斯型拉普拉斯濾波確定兩幅圖像之間的旋轉(zhuǎn)與尺度關(guān)系，在對源圖像進行平移、旋轉(zhuǎn)及尺度變換之后，同時對源圖像及目標圖像提取小波特征并計算匹配度； 步驟二 基于虛擬內(nèi)窺鏡的增強現(xiàn)實圖像系統(tǒng)集成 虛擬場景是利用拍攝的CT切片圖像重建出內(nèi)部組織的三維結(jié)構(gòu)，現(xiàn)實場景是內(nèi)窺鏡圖像，將現(xiàn)實場景與虛擬場景進行圖像配準，然后將融合后的圖像顯示在增強現(xiàn)實頭盔系統(tǒng)上，從而形成一個有透視能力的虛擬內(nèi)窺鏡； 步驟三數(shù)據(jù)集測試與動物實驗 將已集成的系統(tǒng)應(yīng)用于人工合成的手寫字符集以及公開的基準數(shù)據(jù)庫，經(jīng)過數(shù)據(jù)分析和改進算法后，將這種增強現(xiàn)實內(nèi)窺鏡圖像引導(dǎo)系統(tǒng)用于動物實驗。
全文摘要
本發(fā)明提供一種基于小波神經(jīng)網(wǎng)絡(luò)的增強現(xiàn)實圖像引導(dǎo)方法。步驟包括分別利用Radon變換及高斯型拉普拉斯濾波確定兩幅圖像之間的旋轉(zhuǎn)與尺度關(guān)系，在對源圖像進行平移、旋轉(zhuǎn)及尺度變換之后，同時對源圖像及目標圖像提取小波特征并計算匹配度；虛擬場景是利用手術(shù)前拍攝的CT切片圖像重建出內(nèi)部組織的三維結(jié)構(gòu)，現(xiàn)實場景是內(nèi)窺鏡圖像，將現(xiàn)實場景與虛擬場景進行圖像配準，然后將融合后的圖像顯示在增強現(xiàn)實頭盔系統(tǒng)上，從而形成一個有透視能力的虛擬內(nèi)窺鏡。本發(fā)明是一種時-頻分析法，通過提取圖像的小波特征來實現(xiàn)配準。小波神經(jīng)網(wǎng)結(jié)合了小波變換的時-頻特性以及神經(jīng)網(wǎng)絡(luò)的學習優(yōu)化機制，能更快速準確地實現(xiàn)圖像配準。
文檔編號G06T5/50GK102842122SQ20121022830
公開日2012年12月26日 申請日期2012年6月21日 優(yōu)先權(quán)日2012年6月21日
發(fā)明者石大明, 唐降龍, 鄭麗穎, 程丹松, 趙旭東 申請人:哈爾濱工業(yè)大學