本發(fā)明涉及一種超光譜反射率重建方法，具體涉及一種基于rgb圖像的超光譜反射率重建算法，屬于計算攝像學(xué)領(lǐng)域。

背景技術(shù)：

超光譜成像技術(shù)不同于傳統(tǒng)的彩色圖像成像技術(shù)，它獲取的圖像通常包括幾十或幾百個窄波段通道，遠多于傳統(tǒng)彩色圖像的3通道或4通道。這種技術(shù)獲取到的圖像通常被稱為數(shù)據(jù)立方體，相比于傳統(tǒng)圖像只具有空間維度，它具有空間、光譜共三個維度。

超光譜成像技術(shù)具有廣泛的應(yīng)用場景。這種技術(shù)在計算機視覺領(lǐng)域可用于目標分割、追蹤以及識別，早期主要應(yīng)用于遙感，但是近年來也被越來越多的應(yīng)用于商業(yè)市場以及生物技術(shù)、生命科學(xué)和醫(yī)學(xué)領(lǐng)域等。

傳統(tǒng)的超光譜成像技術(shù)通常利用光柵、棱鏡等器件的分光性能，通過多次曝光采集多個狹窄波段范圍的圖像。這種過程常常較為耗時，使用的硬件也通常價格昂貴，且需要進行精確的標定過程。

近年來，超光譜成像技術(shù)也被應(yīng)用于多媒體技術(shù)中，例如彩色圖像的重光照技術(shù)。在一種未知光照下的彩色圖像，通過重光照過程可以得到在另一種已知光照下的彩色圖像。由于重光照技術(shù)主要追求的是視覺效果，相對于傳統(tǒng)應(yīng)用，重光照技術(shù)對超光譜成像的準確度要求較低，而對實時性要求較高。

已有技術(shù)中具有兩種類型的超光譜反射率重建方法：第一種方法采集場景的超光譜圖像，根據(jù)已知的場景光照求解超光譜反射率，這種方法要求場景光照已知，需要在暗室中用特殊光源對場景進行照射并進行采集，對設(shè)備和環(huán)境的要求高，且超光譜圖像的采集通常需要比較長的時間。第二種方法利用稀疏表達技術(shù)，使用超光譜反射率的訓(xùn)練集得到單個稀疏字典，隨后采集場景的rgb圖像，對每個像素點的超光譜反射率進行估計，這種方法的缺點是精度相對低，但是無需特殊設(shè)備，并且重建速度通常較快。

根據(jù)多媒體應(yīng)用對超光譜反射率重建算法的要求，需要一種基于場景rgb圖像的算法，能夠以較快的重建速度、較低的設(shè)備要求達到更高的重建精度。

技術(shù)實現(xiàn)要素：

針對已有技術(shù)中基于rgb圖像的超光譜反射率重建算法的缺點，本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法要解決的技術(shù)問題是提供一種超光譜反射率重建方法，在不需要特殊設(shè)備、具有較快重建速度的前提下提高重建精度。

為達到以上目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法，分為訓(xùn)練階段和使用階段。訓(xùn)練階段在超光譜圖像反射率的訓(xùn)練集中，把超光譜反射率映射到rgb顏色空間，并根據(jù)rgb的值求解每個像素的色度；根據(jù)每個像素的色度對像素進行聚類；對每個聚類中的像素反射率使用字典學(xué)習(xí)得到反射率的稀疏字典；把稀疏字典映射到rgb空間得到rgb字典。使用階段對采集的rgb圖像進行白平衡；求解白平衡后圖像每個像素點的色度，并根據(jù)色度尋找每個像素點所屬聚類；對于每個聚類中的像素點，使用該聚類的rgb字典進行有約束稀疏編碼；根據(jù)聚類的反射率字典和稀疏編碼，重建像素的超光譜反射率。

本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法，分為訓(xùn)練和使用兩個階段，包括如下步驟：

步驟一：訓(xùn)練階段用于根據(jù)像素色度得到聚類以及每個聚類的稀疏字典和rgb稀疏字典；

步驟1.1：對訓(xùn)練集中像素點的超光譜反射率使用映射函數(shù)進行顏色空間映射，得到像素點對應(yīng)的色度。

對訓(xùn)練集合中的所有超光譜反射率像素點，使用如公式(1)所示的映射函數(shù)映射到rgb空間，再使用如公式(2)所示的映射函數(shù)從rgb空間映射到色度空間：

y＝cs(1)

其中y是一個3行m列的實矩陣，是向量化表示的rgb空間像素集合，它的每一列表示一個3通道的像素點。c是一個3行b列的實矩陣，表示b個光譜通道到rgb通道的變換矩陣。s是一個b行m列的實矩陣，是向量化表示的超光譜像素反射率集合。q∈{r,g,b}表示3個顏色通道，表示第m個像素點在q通道的像素值，表示第m個像素點在q通道的色度值。

步驟1.2：根據(jù)色度值，使用聚類算法對所有的像素點進行聚類。

所述的聚類算法優(yōu)選：k-均值聚類，譜聚類，層次聚類，模糊聚類，dbscan聚類。

步驟1.3：使用字典學(xué)習(xí)得到步驟1.2中每個聚類的稀疏字典。

對每一個聚類中的像素點使用如公式(3)所示的優(yōu)化方程進行稀疏字典學(xué)習(xí)。

其中：tk是第k個聚類中像素點反射率的向量表示，dk是所求稀疏字典，bk是稀疏編碼且滿足bk≥0,dk≥0，||·||f表示矩陣的弗羅賓尼斯(frobenius)范數(shù)，||·||1表示矩陣的1范數(shù)。

字典學(xué)習(xí)方法優(yōu)選：k-svd算法，最佳方向(mod)法，在線字典學(xué)習(xí)(odl)法，主成分分析(pca)法，頂點成分分析(vca)法。

步驟1.4：對步驟1.3中的稀疏字典使用顏色空間映射得到對應(yīng)rgb字典。

將步驟1.3中獲得的每個聚類的反射率字典，通過如公式(4)所示的映射函數(shù)映射到rgb空間：

hk＝cdk(4)

其中hk是第k個聚類的rgb字典。

步驟二：使用階段利用步驟一中得到的聚類和稀疏字典、rgb字典，重建像素的超光譜反射率。

步驟2.1：對彩色相機采集到的rgb圖像進行白平衡處理。

所述的白平衡處理方法優(yōu)選：灰度世界(grey-world)法，最大rgb(max-rgb)法，灰色陰影(shadesofgrey)法，灰色邊緣(grey-edge)法。

步驟2.2：對白平衡后的rgb圖像使用如公式(2)所示方法得到每個像素點對應(yīng)色度。

步驟2.3：根據(jù)步驟2.2得到的色度計算每個像素點所屬聚類。

計算圖像中每個像素的色度與訓(xùn)練得到的每個聚類中心色度的距離，尋找距離最小的聚類作為該像素所屬聚類。

距離定義優(yōu)選：歐式距離，曼哈頓距離，切比雪夫距離，閔可夫斯基距離，標準化歐氏距離，馬氏距離，夾角余弦，海明距離，杰卡德距離，相關(guān)系數(shù)，信息熵。

步驟2.4：根據(jù)步驟2.3得到的聚類以及每個聚類的rgb字典求解稀疏編碼。

對于步驟2.3中每個聚類中的像素點，使用rgb字典進行有約束稀疏編碼，稀疏編碼通過公式(5)中的優(yōu)化方程進行求解：

其中，ak表示第k個聚類中像素的稀疏編碼且滿足ak>0，代表第k個聚類中超光譜反射率的均值，uk中每一列對應(yīng)yk中每個像素的非局部特征。該非局部特征計算方法如公式(6)所示：

其中，dkαm,n表示空間坐標m在集合ωm中的一個相似像素點，集合ωm表示m的空間鄰域，wm,n表示權(quán)重，wm,n的計算方法如公式(7)所示：

其中，w表示標準化因子，h是一個預(yù)定義的標量，表示中心為m的rgb圖像塊。

公式(5)的優(yōu)化方程求解方法優(yōu)選：正交匹配追蹤(omp)算法，最小角回歸(lars)算法，迭代軟閾值(ista)算法，交替方向乘子(admm)算法。

步驟2.5：根據(jù)步驟2.4中的稀疏編碼和步驟一中得到的稀疏字典，利用公式(8)重建光譜反射率。

sk＝dkak(8)

有益效果：

1、本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法，由于步驟一根據(jù)像素色度特征得到了多個稀疏字典，稀疏字典的表達能力高于已有技術(shù)中的單個稀疏字典，因此重建精度高于已有技術(shù)中基于rgb圖像的超光譜反射率重建方法。

2、本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法，由于步驟2.4使用了非局部特征，利用了場景光譜反射率在空間中的連續(xù)性，提高了稀疏編碼的準確度，因此重建精度高于已有技術(shù)中基于rgb圖像的超光譜反射率重建方法。

3、本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法，由于步驟2.4考慮了相似色度的像素具有相似的超光譜反射率這一特征，提高了稀疏編碼的準確度，因此重建精度高于已有技術(shù)中基于rgb圖像的超光譜反射率重建方法。

4、本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法，由于步驟2.1只需要采集rgb圖像，而已有技術(shù)中基于超光譜圖像和已知光照的反射率重建方法需要采集超光譜圖像，因此本發(fā)明的采集過程更簡單、采集速度更快。

附圖說明

圖1是本發(fā)明中基于rgb圖像的超光譜反射率重建方法的流程圖。

圖2是使用本發(fā)明的超光譜反射率重建方法進行rgb圖像重光照的示意圖。

圖3是本發(fā)明中超光譜反射率重建方法的流程示意圖。

具體實施方式

為了更好的說明本發(fā)明的目的和優(yōu)點，下面結(jié)合附圖和實例對發(fā)明內(nèi)容做進一步說明。

實施例1：

本實施例公開的一種基于rgb圖像的超光譜反射率重建方法，分為訓(xùn)練階段和使用階段。訓(xùn)練階段在超光譜圖像反射率的訓(xùn)練集中，把超光譜反射率映射到rgb顏色空間，并根據(jù)rgb的值求解每個像素的色度；根據(jù)每個像素的色度對像素進行聚類；對每個聚類中的像素反射率使用字典學(xué)習(xí)得到反射率的稀疏字典；把稀疏字典映射到rgb空間得到rgb字典。使用階段對采集的rgb圖像進行白平衡；求解白平衡后圖像每個像素點的色度，并根據(jù)色度尋找每個像素點所屬聚類；對于每個聚類中的像素點，使用該聚類的rgb字典進行有約束稀疏編碼；根據(jù)聚類的反射率字典和稀疏編碼，重建像素的超光譜反射率。本實施例的流程圖如圖1所示。

傳統(tǒng)的rgb相機拍攝的彩色圖像，通常被視為對超光譜圖像在光譜域的下采樣。這個下采樣操作通常用rgb相機的光譜響應(yīng)曲線表示，相機光譜響應(yīng)曲線常被相機廠商提供在工業(yè)相機的技術(shù)說明中。場景的超光譜圖像由場景的超光譜反射率以及場景光決定。因此，如果假設(shè)場景中的光照均勻，且場景中的物體都具有朗伯表面，那么rgb相機拍攝的圖像可以表示為：y＝cls，其中y表示rgb圖像，c表示rgb相機的光譜響應(yīng)曲線，l表示場景光照，s表示場景的超光譜反射率。在rgb相機的光譜響應(yīng)曲線和場景的超光譜反射率已知的情況下，可以對場景進行任意的重光照，得到目標重光照rgb圖像。本實施例的方法假設(shè)rgb相機的光譜響應(yīng)曲線已知，根據(jù)場景的rgb圖像對場景超光譜反射率進行估計，從而實現(xiàn)重光照過程。rgb圖像重光照過程的流程示意圖如圖2所示。

近年來的研究表明，場景中任何像素的反射率都可以用少量基(basis)的線性組合近似表示。因此，場景的超光譜反射率可以表示為：s＝da，其中d通常稱為稀疏字典，它的每一列被稱為字典信號(signature)，a通常稱為稀疏編碼，它的每一列都是“稀疏”的，即只有少量幾個元素不為0。

現(xiàn)有技術(shù)中的超光譜反射率重建方法，根據(jù)以上分析，在超光譜反射率的訓(xùn)練集中得到一個稀疏字典，再對場景中的每一個像素進行稀疏編碼的求解。這種針對獨立像素點的求解方法忽略了以下事實：反射率在一定空間范圍內(nèi)通常是連續(xù)變化的；如果像素點在rgb空間中顏色相近，那么它們的反射率也應(yīng)該具有高相似性。本實施例中的超光譜反射率重建方法綜合了已有技術(shù)中基于稀疏表達的技術(shù)，同時利用了像素的空間連續(xù)性、rgb空間顏色與光譜反射率的對應(yīng)關(guān)系，從而提高了超光譜反射率的重建精度，也提高了重光照等多媒體應(yīng)用的視覺效果，本實施例的超光譜反射率重建過程如圖3所示。本實施例的詳細內(nèi)容如下。

本實施例公開的一種基于rgb圖像的超光譜反射率重建方法，分為訓(xùn)練和使用兩個階段，包括如下步驟：

步驟一：訓(xùn)練階段用于根據(jù)像素色度得到聚類以及每個聚類的稀疏字典和rgb稀疏字典；

步驟1.1：對訓(xùn)練集中像素點的超光譜反射率使用映射函數(shù)進行顏色空間映射，得到像素點對應(yīng)的色度。

對訓(xùn)練集合中的所有超光譜反射率像素點，使用如公式(1)所示的映射函數(shù)映射到rgb空間，再使用如公式(2)所示的映射函數(shù)從rgb空間映射到色度空間：

y＝cs(1)

其中y是一個3行m列的實矩陣，是向量化表示的rgb空間像素集合，它的每一列表示一個3通道的像素點。c是一個3行b列的實矩陣，表示b個光譜通道到rgb通道的變換矩陣。s是一個b行m列的實矩陣，是向量化表示的超光譜像素反射率集合。q∈{r,g,b}表示3個顏色通道，表示第m個像素點在q通道的像素值，表示第m個像素點在q通道的色度值。

步驟1.2：根據(jù)色度值，使用聚類算法對所有的像素點進行聚類。

所述的聚類算法優(yōu)選：k-均值聚類(詳見hartiganja,wongma.algorithmas136:ak-meansclusteringalgorithm[j].journaloftheroyalstatisticalsociety.seriesc(appliedstatistics),1979,28(1):100-108.)，譜聚類，層次聚類，模糊聚類，dbscan聚類。

步驟1.3：使用字典學(xué)習(xí)得到步驟1.2中每個聚類的稀疏字典。

對每一個聚類中的像素點使用如公式(3)所示的優(yōu)化方程進行稀疏字典學(xué)習(xí)。

其中：tk是第k個聚類中像素點反射率的向量表示，dk是所求稀疏字典，bk是稀疏編碼且滿足bk≥0,dk≥0，||·||f表示矩陣的弗羅賓尼斯(frobenius)范數(shù)，||·||1表示矩陣的1范數(shù)。

字典學(xué)習(xí)方法優(yōu)選：k-svd算法(詳見aharonm,eladm,brucksteina.k-svd:analgorithmfordesigningovercompletedictionariesforsparserepresentation[j].ieeetransactionsonsignalprocessing,2006,54(11):4311-4322.)，最佳方向(mod)法，在線字典學(xué)習(xí)(odl)法，主成分分析(pca)法，頂點成分分析(vca)法。

步驟1.4：對步驟1.3中的稀疏字典使用顏色空間映射得到對應(yīng)rgb字典。

將步驟1.3中獲得的每個聚類的反射率字典，通過如公式(4)所示的映射函數(shù)映射到rgb空間：

hk＝cdk

其中hk是第k個聚類的rgb字典。

步驟二：使用階段利用步驟一中得到的聚類和稀疏字典、rgb字典，重建像素的超光譜反射率。

步驟2.1：對彩色相機采集到的rgb圖像進行白平衡處理。

所述的白平衡處理方法優(yōu)選：灰度世界(grey-world)法，最大rgb(max-rgb)法，灰色陰影(shadesofgrey)法，灰色邊緣(grey-edge)法。白平衡方法的原理詳見(vandeweijerj,geverst,gijsenija.edge-basedcolorconstancy[j].ieeetransactionsonimageprocessing,2007,16(9):2207-2214.)

步驟2.2：對白平衡后的rgb圖像使用如公式(2)所示方法得到每個像素點對應(yīng)色度。

步驟2.3：根據(jù)步驟2.2得到的色度計算每個像素點所屬聚類。

計算圖像中每個像素的色度與訓(xùn)練得到的每個聚類中心色度的距離，尋找距離最小的聚類作為該像素所屬聚類。

距離定義優(yōu)選：歐式距離，曼哈頓距離，切比雪夫距離，閔可夫斯基距離，標準化歐氏距離，馬氏距離，夾角余弦，海明距離，杰卡德距離，相關(guān)系數(shù)，信息熵。

步驟2.4：根據(jù)步驟2.3得到的聚類以及每個聚類的rgb字典求解稀疏編碼。

對于步驟2.3中每個聚類中的像素點，使用rgb字典進行有約束稀疏編碼，稀疏編碼通過公式(5)中的優(yōu)化方程進行求解：

其中，ak表示第k個聚類中像素的稀疏編碼且滿足ak>0，代表第k個聚類中超光譜反射率的均值，uk中每一列對應(yīng)yk中每個像素的非局部特征。該非局部特征計算方法如公式(6)所示：

其中，dkαm,n表示空間坐標m在集合ωm中的一個相似像素點，集合ωm表示m的空間鄰域，wm,n表示權(quán)重，wm,n的計算方法如公式(7)所示：

其中，w表示標準化因子，h是一個預(yù)定義的標量，表示中心為m的rgb圖像塊。

公式(5)的優(yōu)化方程求解方法優(yōu)選：正交匹配追蹤(omp)算法，最小角回歸(lars)算法，迭代軟閾值(ista)算法，交替方向乘子(admm)算法(詳見daubechiesi,defrisem,demolc.aniterativethresholdingalgorithmforlinearinverseproblemswithasparsityconstraint[j].communicationsonpureandappliedmathematics,2004,57(11):1413-1457.)。

步驟2.5：根據(jù)步驟2.4中的稀疏編碼和步驟一中得到的稀疏字典，利用公式(7)重建光譜反射率。

sk＝dkak

以上所述的具體描述，對發(fā)明的目的、技術(shù)方案和有益效果進行了進一步詳細說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限定本發(fā)明的保護范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。