一種高光譜圖像本質(zhì)分解和圖像分割方法
【專利摘要】本發(fā)明提出一種高光譜圖像本質(zhì)分解和圖像分割方法，具體步驟為：S1:將人造光源下的自然物體的高光譜圖像分解為四種獨立本質(zhì)成分：光源信息、幾何信息、材料特性、高光信息，并對其進行數(shù)學關(guān)系表述；S2:獲取自然場景中多種不同材質(zhì)物體的高光譜圖像，對圖像進行如步驟S1的本質(zhì)分解，并建立基于標定數(shù)據(jù)的高光譜圖像本質(zhì)分解數(shù)據(jù)庫；S3:提取步驟S1中獲得的獨立本質(zhì)成分中的材料特性，采用無監(jiān)督學習方法進行高光譜圖像分割。本發(fā)明能夠有效降低非平行光源和復雜幾何紋理等影響，獲得更好的圖像分割效果；并為其他可視化研究如物體追蹤、場景光源重建等提供數(shù)據(jù)獲取方法和標定數(shù)據(jù)庫(Ground Truth)支持。
【專利說明】
-種高光譜圖像本質(zhì)分解和圖像分割方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及圖像處理領(lǐng)域，特別設(shè)及一種基于標定數(shù)據(jù)的高光譜圖像本質(zhì)分解和 圖像分割方法。
【背景技術(shù)】
[0002] 高光譜成像技術(shù)一直廣泛用于遙感成像，利用成像光譜儀W納米級光譜分辨率， 通過幾十個光譜波段同時對地表物體進行成像，獲取其連續(xù)光譜信息，從而實現(xiàn)地表物體 空間信息和光譜信息的同步獲取。但是不同于平行太陽光下的遙感成像，自然場景下近景 物體包含幾何紋理、交叉反射、復雜人造光源等復雜本質(zhì)成分，因此如何有效獲取自然近景 物體的高光譜信息是一個很重要的科學問題。從運一問題出發(fā)，對于自然場景下的高光譜 圖像處理研究得到了廣泛的關(guān)注并產(chǎn)生了很多實用的技術(shù)方法，應(yīng)用于材料、環(huán)境、視覺等 諸多領(lǐng)域。
[0003] 隨著高光譜成像技術(shù)的快速發(fā)展及其廣泛應(yīng)用，越來越多針對現(xiàn)實生活視覺應(yīng)用 的光譜成像逐漸大眾化，其相對于傳統(tǒng)基于紅、綠、藍Ξ通道成像技術(shù)具有更豐富的多光譜 通道，能夠獲取更多的圖像本質(zhì)信息，從而進一步應(yīng)用于圖像分割、識別和追蹤等。近年來， 高光譜圖像分割技術(shù)也由于機器學習的興起而日益受到關(guān)注，但是近景圖像中的復雜光源 影響和物體表面紋理特征使得基于無監(jiān)督學習的高光譜圖像分割受到較大干擾。傳統(tǒng)研究 方法依舊沿用遙感成像的一致光源假設(shè)，忽略近場光源影響，并且將幾何紋理、復雜陰影、 材料反射和高光統(tǒng)歸于材料特性，運些外界干擾信息極大破壞了高光譜圖像分割的精確 度，其結(jié)果甚至差于依賴色彩敏感度的RGB圖像分割。

【發(fā)明內(nèi)容】

[0004] 為了得到高光譜圖像的本質(zhì)信息，將環(huán)境干擾降到最低，本發(fā)明提出了一種高光 譜圖像本質(zhì)分解和圖像分割方法。
[0005] 為達到上述目的，本發(fā)明采用的技術(shù)方案為：
[0006] -種高光譜圖像本質(zhì)分解和圖像分割方法，包括步驟如下：
[0007] S1:分別將兩種人造光源下的自然物體的高光譜圖像分解為四種獨立本質(zhì)成分： 光源信息、幾何信息、材料特性、高光信息，所述四種獨立本質(zhì)成分滿足W下數(shù)學關(guān)系：
[000引 Ι(χ，λ) = ?Χλ)*3(χ)*Κ(χ，λ)+Η(χ，λ)
[0009] 其中Ι(χ，λ)為自然物體的高光譜原始數(shù)據(jù)，L(A)為人造光源的光譜強度曲線，即 為光源信息;s(x)為物體的灰度陰影圖像，即為幾何信息;Κ(χ，λ)為物體去除表面幾何紋理 后的光譜反射特性，即為材料特性;Η(χ，λ)為自然物體在光照環(huán)境下發(fā)生的鏡面反射的光 譜曲線，即為物體表面高光信息；
[0010] S2:獲取自然場景中多種不同材質(zhì)物體的高光譜圖像，然后對每一幅圖像進行如 同步驟S1的本質(zhì)分解，并作為標定數(shù)據(jù)，建立基于標定數(shù)據(jù)的高光譜圖像本質(zhì)分解數(shù)據(jù)庫；
[0011] S3:提取步驟S1中獲得的獨立本質(zhì)成分中的材料特性，采用無監(jiān)督學習方法進行 高光譜圖像分割。
[0012] 步驟S1中，采用交叉偏振法和噴漆覆蓋方法進行分解，具體步驟如下：
[0013] 1)將白色的油漆噴覆在白色的平坦表面上，由高光譜相機分別獲取兩種人造光源 和平坦表面上油漆的光譜曲線，光源光譜即為表示光源信息的獨立本質(zhì)成分;2)使用交叉 偏振法，即將偏振濾波片分別放置于光譜相機和光源處并使其相互垂直，從而分離出在兩 種人造光源下，所拍攝物體分別對應(yīng)的朗伯散射和高光反射兩種獨立成分;3)采用噴漆覆 蓋方法，即將步驟1)中所述油漆均勻噴覆在拍攝物體的表面，去除物體本身的紋理變化影 響W及步驟1)中的光源成分，從而從步驟2)的朗伯散射中進一步分解出材料特性和幾何紋 理兩種獨立本質(zhì)成分;4)通過上述步驟1)至3)，最終可W分解出自然物體高光譜圖像的光 源信息、幾何信息、材料特性和高光信息四種獨立本質(zhì)成分。
[0014] 本發(fā)明通過采用基于標定數(shù)據(jù)的方法對高光譜圖像進行本質(zhì)分解W及圖像分割， 可W去除光照、幾何、鏡面反射等干擾信息，獲取高光譜圖像的多維本質(zhì)特征，對表征材料 特性的獨立成分進行圖像分割，從而有效降低近景高光譜圖像中非平行光源和復雜幾何紋 理等影響，獲得遠高于傳統(tǒng)高光譜圖像分割方法的圖像分割效果;并且為其他可視化研究 如物體追蹤、場景光源重建等提供數(shù)據(jù)獲取方法和標定數(shù)據(jù)數(shù)據(jù)庫支持。除此之外，利用本 方法將高光譜圖像分解出的各獨立成分也都有巨大的應(yīng)用前景，如場景光源重建，Ξ維建 模等。
【附圖說明】
[0015] 圖1為本發(fā)明一種高光譜圖像本質(zhì)分解和圖像分割方法的流程圖。
[0016] 圖2為本發(fā)明實施例中所使用光源和噴漆的光譜曲線信息；圖（a)(b)中的上圖分 別為LED光源和艦鶴燈光源，下圖分別為對應(yīng)的光譜曲線圖，圖（C)中的上圖為噴漆在兩種 光源下分別進行拍攝，下圖為去除光源干擾得到的光譜特性曲線。
[0017] 圖3為本發(fā)明實施例的高光譜圖像本質(zhì)分解結(jié)果的灰度可視化表示；（a)為原圖 01'1邑；[]1日1，（13)朗伯散射山；1^化3日，（(3)幾何紋理311日(1；[叫，（(1)材料特性'日；1^1日(31：日]1。日和（6)高 光信息 specularity。
[0018] 圖4為本發(fā)明所建立的高光譜圖像本質(zhì)分解數(shù)據(jù)庫的灰度可視化表示；圖中的7行 分別對應(yīng)的物體為(a)魔方、（b)多啦A夢、（C)石膏雕塑、（d)貓頭鷹、（e)桃子、（f)兔子、（g) 大白；圖中5列從左到右分別為原圖、朗伯散射、幾何紋理、材料特性、高光信息。
[0019] 圖5為本發(fā)明實施例的高光譜圖像分割與傳統(tǒng)光譜圖像分割結(jié)果比較示意圖；（a) 為本發(fā)明分割方法(b)為傳統(tǒng)光譜圖像分割方法；（a)和(b)圖中，上幅圖為L邸光源，下幅圖 為艦鶴燈光源。
【具體實施方式】
[0020] 圖1為本發(fā)明一種高光譜圖像本質(zhì)分解和圖像分割方法的流程圖。包括W下步驟：
[0021] 步驟S101，提出一種高光譜圖像本質(zhì)分解方法思路:將自然物體的高光譜圖像分 解為四種獨立本質(zhì)分解成分，并對其進行數(shù)學關(guān)系表述。
[0022] 具體地，該方法旨在對高光譜圖像中的光譜成分進行分析，分解出各個獨立成分： 光源信息（Illumination)、幾何信息（Shading)、材料特性（Ref lectance)、高光信息 (Specularity)。從而去除其相互干擾。首先，通過高分辨率光譜相機捕獲的自然物體的高 光譜圖像可W分解為朗伯散射(Lambertian diffuse)和高光反射（specularity；)H(x，λ)兩 個獨立成分，高光部分表示物體表面發(fā)生鏡面反射的光線束;其次，朗伯散射成分可W進一 步分解為Ξ種本質(zhì)成分:光源信息（Illumination)La)、表示物體幾何紋理信息的灰度陰 影圖像(Shading) s(x)和反應(yīng)物體材質(zhì)信息的反射特性(Reflectance )R(x, λ)。本高光譜本 質(zhì)分解方法中各獨立成分的數(shù)學關(guān)系表述為：
[0023] (1)
[0024] 步驟S102,根據(jù)S101的思路，采用交叉偏振法和噴漆覆蓋方式獲取兩種人造光源 下高光譜圖像的各本質(zhì)分解成分。高光譜圖像的獲取包括所拍攝物體的高光譜圖像、光源 的高光譜圖像和白色噴漆的高光譜圖像。
[0025] 具體而言，將傳統(tǒng)遙感光譜成像中的平行太陽光假設(shè)擴展至任意光照條件，通過 物理標記過程獲取所拍攝物體的各個獨立本質(zhì)成分，該過程使用了交叉偏振法和噴漆覆蓋 方式。
[00%] 在本發(fā)明的一個實施例中，選取兩種典型人造光源:5500k色溫的白光L抓和3500k 色溫的暖色調(diào)艦鶴燈ITL。直接將兩種光源暴露于光譜相機下，獲取其光譜信息レ圖2(a) (b)分別為LED和艦鶴燈兩種光源各自的光譜曲線。選取一種白色噴漆，將其均勻噴附于白 紙上，用光譜相機直接對其進行拍攝，獲取其光譜信息1。11。由于該白紙表面的平坦特性，其 幾何成分shading可W認為是均一的，且不含有高光成分。對于白紙上的每個像素，其材料 特性光譜可W表示為： 柳打]
(2)
[0028] 圖2(c)即為噴漆在兩種光源下分別進行拍攝后去除光源干擾得到的光譜特性曲 線。如圖2(c)所示，噴漆的光譜特性曲線不受光照環(huán)境的影響，兩種人造光源下噴漆的光譜 特性完全一致。
[0029] 通過使用高分辨率光譜相機，分別對上述兩種人造光源下的自然物體進行光譜數(shù) 據(jù)拍攝，獲取其在450-700nm波段的高光譜圖像lorig。
[0030] 通過使用交叉偏振法，將偏振濾波片分別放置于光譜相機和光源處并使其相互垂 直，再次進行光譜圖像拍攝，獲取的圖像即為物體的朗伯散射Idiff。從而原圖像被分解為朗 伯散射Idiff和高光Ispec:
[0031] Ispec=Iorig-Idiff (3)
[0032] 將拍攝物體表面進行均勻噴漆，去除物體本身的紋理變化影響，并繼續(xù)使用交叉 偏振法去除高光成分影響，再進行重新拍攝。噴漆后的圖像即為物體的幾何信息，標注為 Ishad。根據(jù)上述數(shù)學關(guān)系表述，則Ishad和Idiff之間存在如下關(guān)系：
[003；3] Ishad = L*s〇bj*R〇ii (4)
[0034] Idiff = L*s〇bj*R〇bj (5)
[0035] 其中Robj和Roil分別表示原物體和噴漆后物體的材料特性，油漆的材料特性Roil不 可忽略，因為其光譜不是嚴格的平行白光光譜；SdW表示物體的幾何信息。結(jié)合式(4)和式 (5)，可W得到物體的材料特性項RdW和幾何紋理項SDbj:
[0038] 在場景搭建過程中，為了降低不同物體間的交叉反射影響，場景周圍用黑布完全 覆蓋，整個拍攝過程都在暗室中進行。圖3為本發(fā)明實施例的高光譜圖像本質(zhì)分解結(jié)果的灰 度可視化表示。如圖3所示，將標記物體的各本質(zhì)分解成分進行灰度圖像可視化表示，可W 很明顯的看出圖（d)材料特性中完全去除了物體的幾何紋理信息。
[0039] 步驟S103,對自然場景中多種不同材質(zhì)的物體進行拍攝，建立首個基于標定數(shù)據(jù) 的高光譜圖像本質(zhì)分解數(shù)據(jù)庫。
[0040] 具體地，對現(xiàn)實場景中常見的材料進行拍攝，包括塑料(多啦A夢、魔方和大白）、陶 瓷(貓頭鷹和兔子）、纖維素(桃子及硫酸巧化合物(石膏雕塑），分別對W上物體進行本 質(zhì)圖像分解過程，從而建立首個基于標定數(shù)據(jù)的高光譜圖像本質(zhì)分解數(shù)據(jù)庫，供后續(xù)圖像 處理或場景光源重建等使用。
[0041] 圖4為根據(jù)本發(fā)明所建立的首個高光譜圖像本質(zhì)分解數(shù)據(jù)庫的灰度可視化表示。 對每一個物體，都在兩種光照環(huán)境下進行:5500Κ的Lm)和3500K的艦鶴燈。通過將光源放置 在拍攝場景的不同位置，可W為標定數(shù)據(jù)(Ground化uth)的捕捉創(chuàng)造不同的光照條件，從 而獲得物體不同角度的各本質(zhì)分解成分。
[0042] 步驟S 104,根據(jù)上述高光譜圖像本質(zhì)分解方法，提取獨立成分材料特性 (Ref lectance)R〇bj，為了去除人工標記影響，采用無監(jiān)督學習中的Kmeans聚類方法進行圖 像分割，并與原光譜圖像分割結(jié)果進行比較，確認其優(yōu)勢。
[0043] 具體地，對表征物體材料特性的獨立成分Reflectance進行Kmeans聚類分割，再直 接對原光譜圖像進行Kmeans聚類，將兩個分割結(jié)果進行比較和分析。
[0044] 在本發(fā)明的一個實施例中，通過在兩種人造光源Lm)和艦鶴燈下分別對實物桃子 的獨立成分材質(zhì)特性進行Kmeans聚類分割，并進行灰度可視化顯示;再對桃子兩份未經(jīng)處 理的原光譜數(shù)據(jù)進行Kmeans聚類和灰度可視化顯示，分別獲取兩種不同光源下的原光譜圖 像和本質(zhì)分解后反映材料特性光譜數(shù)據(jù)的分割結(jié)果并進行比較。圖5為根據(jù)本發(fā)明一個實 施例的高光譜圖像分割與傳統(tǒng)光譜圖像分割結(jié)果比較示意圖。如圖5(a)所示，光譜獨立成 分Reflec化nee在Lm)和艦鶴燈兩種光源下都分割極好;如圖5(b)所示，原光譜數(shù)據(jù)在Lm)光 源下分割較好，但是在艦鶴燈下分割較差，物體表面存在明顯的陰影，該物體因此被錯分為 兩種不同材質(zhì)。
[0045] 根據(jù)本發(fā)明實施例的方法，通過采用標定數(shù)據(jù)的高光譜圖像本質(zhì)分解和圖像分割 方法，從而得到高光譜圖像的各獨立本質(zhì)成分，進一步獲得遠高于傳統(tǒng)光譜分割的圖像分 割效果。
【主權(quán)項】
1. 一種高光譜圖像本質(zhì)分解和圖像分割方法，其特征在于，包括步驟如下： S1:分別將兩種人造光源下的自然物體的高光譜圖像分解為四種獨立本質(zhì)成分:光源 信息、幾何信息、材料特性、高光信息，所述四種獨立本質(zhì)成分滿足以下數(shù)學關(guān)系： I(x，A)=L(A)*s(x)*R(x，A)+H(x，A) 其中Ι(χ，λ)為自然物體的高光譜原始數(shù)據(jù)，L(A)為人造光源的光譜強度曲線，即為光 源信息；s(x)為物體的灰度陰影圖像，即為幾何信息;R(x，A)為物體去除表面幾何紋理后的 光譜反射特性，即為材料特性;Η(χ，λ)為自然物體在光照環(huán)境下發(fā)生的鏡面反射的光譜曲 線，即為物體表面高光信息； S2:獲取自然場景中多種不同材質(zhì)物體的高光譜圖像，然后對每一幅圖像進行如同步 驟S1的本質(zhì)分解，并作為標定數(shù)據(jù)，建立基于標定數(shù)據(jù)的高光譜圖像本質(zhì)分解數(shù)據(jù)庫； S3:提取步驟S1中獲得的獨立本質(zhì)成分中的材料特性，采用無監(jiān)督學習方法進行高光 譜圖像分割。2. 如權(quán)利要求1所述的一種高光譜圖像本質(zhì)分解和圖像分割方法，其特征在于，步驟S1 中，采用交叉偏振法和噴漆覆蓋方法進行分解，具體步驟如下： 1) 將白色的油漆噴覆在白色的平坦表面上，由高光譜相機分別獲取兩種人造光源和平 坦表面上油漆的光譜曲線，光源光譜即為表示光源信息的獨立本質(zhì)成分； 2) 使用交叉偏振法，即將偏振濾波片分別放置于光譜相機和光源處并使其相互垂直， 從而分離出在兩種人造光源下，所拍攝物體分別對應(yīng)的朗伯散射和高光反射兩種獨立成 分； 3) 采用噴漆覆蓋方法，即將步驟1)中所述油漆均勻噴覆在拍攝物體的表面，去除物體 本身的紋理變化影響以及步驟1)中的光源成分，從而從步驟2)的朗伯散射中進一步分解出 材料特性和幾何紋理兩種獨立本質(zhì)成分； 4) 通過上述步驟1)至3)，最終可以分解出自然物體高光譜圖像的光源信息、幾何信息、 材料特性和高光信息四種獨立本質(zhì)成分。3. 如權(quán)利要求1或2所述的一種高光譜圖像本質(zhì)分解和圖像分割方法，其特征在于，所 述無監(jiān)督學習方法采用Kmeans聚類方法。
【文檔編號】G06T7/40GK106067171SQ201610355413
【公開日】2016年11月2日
【申請日】2016年5月26日 公開號201610355413.0, CN 106067171 A, CN 106067171A, CN 201610355413, CN-A-106067171, CN106067171 A, CN106067171A, CN201610355413, CN201610355413.0
【發(fā)明人】曹汛, 趙楊, 朱維新, 紀小麗
【申請人】南京大學