控制高光譜圖像的分辨率的方法
【專利摘要】一種控制來自圖像傳感器的高光譜圖像的分辨率的方法，所述圖像傳感器包括像素和定義每個像素內(nèi)的子像素的至少一個濾波器，所述方法包括:在具有行和列子像素的陣列的圖像傳感器上定義窗口;基于所述高光譜圖像的至少一個預(yù)定義參數(shù)，對所述窗口內(nèi)的子像素進行加權(quán)，以確定針對預(yù)定義參數(shù)的所述陣列的加權(quán)平均值;將所述窗口移動預(yù)定數(shù)目的行或列;對所述圖像傳感器上的所有可能的窗口重復(fù)所述加權(quán)和移動步驟;以及基于加權(quán)平均值處理所述高光譜圖像。
【專利說明】控制高光譜圖像的分辨率的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種控制高光譜圖像的分辨率的方法。
【背景技術(shù)】
[0002]常規(guī)成像系統(tǒng)以及高光譜成像系統(tǒng)都采集并記錄多個不同光譜帶中的電磁能量。通過將光譜帶信息組合成一個或許多通道以形成圖像的灰度或彩色表示，來顯示產(chǎn)生的圖像。高光譜圖像(HSI)裝置是一類同時記錄眾多空間圖片元素(稱為圖像傳感器上的像素)的許多離散光譜帶或顏色的能量的光譜儀。標(biāo)準(zhǔn)的寬帶成像器對一個寬光譜內(nèi)的所有檢測到的入射能量記錄每個像素的一個值，并通過二維陣列的檢測器創(chuàng)建兩個空間維度的圖像。HSI裝置與標(biāo)準(zhǔn)的寬帶成像器的不同之處在于，創(chuàng)建具有附加的光譜維度的圖像。每個HSI像素可以具有十個到幾百個記錄波長值。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的一個方面涉及一種控制來自圖像傳感器的高光譜圖像的分辨率的方法，所述圖像傳感器包括像素和定義每個像素內(nèi)的子像素(subpixel)的至少一個濾波器。所述方法包括:在包括行和列子像素的陣列的圖像傳感器上定義窗口；基于所述高光譜圖像的一個或多個預(yù)定義參數(shù)，對所述窗口內(nèi)的子像素進行加權(quán)(weighting),以確定對于預(yù)定義參數(shù)的所述陣列的加權(quán)平均值；將所述窗口移動預(yù)定數(shù)目的行或列，其中，所述預(yù)定數(shù)目小于所述陣列中相應(yīng)的行或列的數(shù)目；對所述圖像傳感器上的所有可能的窗口重復(fù)加權(quán)和移動步驟；以及基于加權(quán)平均值處理所述高光譜圖像。
[0004]作為優(yōu)選，所述至少一個預(yù)定義參數(shù)為紅色、綠色和藍(lán)色光譜帶中至少一個的強度值。
[0005]作為優(yōu)選，所述至少一個預(yù)定義參數(shù)為所有紅色、綠色和藍(lán)色光譜帶的強度值。
[0006]作為優(yōu)選，所述至少一個濾波器為拜耳濾波器。
[0007]作為優(yōu)選，所述至少一個預(yù)定義參數(shù)為連續(xù)光譜帶的強度值。
[0008]作為優(yōu)選，所述強度值是由16個光譜帶確定的。
[0009]作為優(yōu)選，所述至少一個濾波器為包括微透鏡陣列(microlens array)的小透鏡(Ienslets)的高光譜濾波器。
【專利附圖】

【附圖說明】
[0010]在附圖中:
[0011]圖1是圖解說明通過高光譜數(shù)據(jù)立方體，通常已知的對高光譜圖像采樣的示意圖
/Jn ο
[0012]圖2是圖解說明根據(jù)本發(fā)明的實施例對從高光譜數(shù)據(jù)立方體得到的高光譜圖像進行上采樣(upsampling)的方法的流程圖。
[0013]圖3是圖解說明對圖2的方法中通過高光譜數(shù)據(jù)立方體得到的高光譜圖像的第一像素進行上采樣的示意圖示。
[0014]圖4是圖解說明對圖2的方法中通過高光譜數(shù)據(jù)立方體得到的高光譜圖像的第二像素進行上采樣的示意圖示。
[0015]圖5是圖解說明對圖2的方法中通過高光譜數(shù)據(jù)立方體得到的高光譜圖像的第三像素進行上采樣的示意圖示。
[0016]圖6是圖解說明對圖2的方法中通過高光譜數(shù)據(jù)立方體得到的高光譜圖像的第四像素進行上采樣的示意圖示。
[0017]圖7是圖解說明對在圖2的方法中通過高光譜數(shù)據(jù)立方體得到的高光譜圖像進行完整上采樣的示意圖示。
【具體實施方式】
[0018]在背景部分以及下文的描述中，出于解釋目的，列出了各種具體細(xì)節(jié)以便提供對本文中描述的技術(shù)的徹底理解。然而，對本領(lǐng)域技術(shù)人員而言顯然沒有這些具體細(xì)節(jié)也可以實施這些示例性實施例。在其它實例中，以圖形方式顯示了結(jié)構(gòu)和裝置以便便于對示例性實施例的描述。
[0019]參照附圖，描述這些示例性實施例。這些圖圖示了實現(xiàn)本文中描述的模塊、方法或計算機程序產(chǎn)品的特定實施例的一些細(xì)節(jié)。然而，這些圖示不應(yīng)當(dāng)理解為強加圖中可能出現(xiàn)的任何限制。方法和計算機程序產(chǎn)品可以提供于任何機器可讀介質(zhì)上以用來完成他們的操作?？梢允褂矛F(xiàn)有的計算機處理器，或者通過為此目的或其它目的包括的專用計算機處理器，或者通過硬件系統(tǒng)來實施這些實施例。
[0020]如上文指出的，本文中描述的實施例可以包括計算機程序產(chǎn)品，計算機程序產(chǎn)品包括用于執(zhí)行或者具有其上存儲的機器可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的機器可讀介質(zhì)。這種機器可讀介質(zhì)可以是任意可用介質(zhì)，它可以通過通用或?qū)Ｓ糜嬎銠C或具有處理器的其它機器訪問。作為示例，這種機器可讀介質(zhì)可包括RAM，ROM, EPROM, EEPROM, CD-ROM或其它光盤存儲器，磁盤存儲器或其它磁存儲裝置，或者可以用來執(zhí)行或存儲所需的形式為機器可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的程序代碼，并可以由通用或?qū)Ｓ糜嬎銠C或具有處理器的其它機器訪問的任意其它介質(zhì)。當(dāng)信息通過網(wǎng)絡(luò)或其它通信連接(或者硬連線、無線或者是硬連線或無線的組合)傳送或提供給機器時，機器適當(dāng)?shù)貙⑦B接視為機器可讀介質(zhì)。因此，任何這類連接被適當(dāng)?shù)胤Q作機器可讀介質(zhì)。上述的組合也包括在機器可讀介質(zhì)的范圍內(nèi)。機器可執(zhí)行指令包括，例如指令和數(shù)據(jù)，其引起通用計算機、專用計算機或?qū)Ｓ锰幚頇C執(zhí)行一個特定功能或功能組。
[0021]在方法步驟的一般背景下描述這些實施例，在一個實施例中，這些方法步驟可以通過程序產(chǎn)品實現(xiàn)，程序產(chǎn)品包括機器可執(zhí)行指令，諸如形式為例如由聯(lián)網(wǎng)環(huán)境中的機器執(zhí)行的程序模塊的程序代碼。通常，程序模塊包括具有執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定的抽象數(shù)據(jù)類型的技術(shù)效果的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等。機器可執(zhí)行指令，相關(guān)的數(shù)據(jù)結(jié)構(gòu)以及程序模塊代表用于執(zhí)行本文中公開的方法步驟的程序代碼的示例。這種可執(zhí)行指令或關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)的特定順序表示用于實現(xiàn)在這些步驟中描述的功能的相應(yīng)行為的例子。
[0022]可以在聯(lián)網(wǎng)環(huán)境中使用與具有處理器的一個或多個遠(yuǎn)程計算機的邏輯連接來實現(xiàn)這些實施例。邏輯連接可包括局域網(wǎng)(LAN)和廣域網(wǎng)(WAN)，他們在這里作為例子而不是作為限制列出。這種聯(lián)網(wǎng)環(huán)境在辦公或企業(yè)計算機網(wǎng)絡(luò)、企業(yè)內(nèi)部網(wǎng)和因特網(wǎng)是常見的，可以使用各種不同的通信協(xié)議。本領(lǐng)域技術(shù)人員會認(rèn)識到這種聯(lián)網(wǎng)計算環(huán)境通常包括許多類型的計算機配置，包括個人計算機、手持裝置、多處理器系統(tǒng)、微處理器類型或可編程消費電子，網(wǎng)絡(luò)PC、微型計算機、主機計算機等。
[0023]還可以在分布式計算環(huán)境中實施這些實施例，在分布式計算環(huán)境中，任務(wù)是通過通信網(wǎng)絡(luò)鏈接(通過硬鏈接、無線鏈接或通過硬鏈接或無線鏈接的組合)的本地和遠(yuǎn)程處理裝置執(zhí)行的。在分布式計算環(huán)境中，程序模塊可位于本地和遠(yuǎn)程存儲裝置中。
[0024]用于實現(xiàn)示例性實施例的全部或一部分的示例性系統(tǒng)可包括形式為計算機的通用計算裝置，包括處理單元、系統(tǒng)存儲器和系統(tǒng)總線，系統(tǒng)總線將包括系統(tǒng)存儲器的各個系統(tǒng)組件耦連到處理單元。系統(tǒng)存儲器可包括只讀存儲器(ROM)和隨機存取存儲器(RAM)。計算機還可包括用于讀寫磁硬盤的磁硬盤驅(qū)動器，用于讀寫可移動磁盤的磁盤驅(qū)動器和用于讀寫可移動光盤(諸如CD-ROM或其它光介質(zhì))的光盤驅(qū)動器。驅(qū)動器和驅(qū)動器關(guān)聯(lián)的機器可讀介質(zhì)提供機器可執(zhí)行指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和用于計算機的其它數(shù)據(jù)的非易失性存儲。
[0025]在實施例中公開的方法的技術(shù)效果包括通過現(xiàn)有信息提高圖像的空間分辨率，這與提高傳感器的范圍，特別是當(dāng)結(jié)合傳感器使用對象檢測和跟蹤方法時有直接相互關(guān)聯(lián)。同樣，所述方法通過更加有效地使用系統(tǒng)所收集的數(shù)據(jù)提高了現(xiàn)有的光譜復(fù)合圖像技術(shù)。這種技術(shù)可以用在通過光譜立方體陣列生成復(fù)合圖像的任意系統(tǒng)上。在光譜立方體陣列系統(tǒng)上實施這種技術(shù)會將傳感器的空間分辨率提高與光譜立方體維度相同的因數(shù)。
[0026]圖1是圖解說明通過高光譜數(shù)據(jù)立方體12得到高光譜圖像14的全色表示的已知采樣的示意圖示。由高光譜數(shù)據(jù)立方體12形成的高光譜圖像14的全色表示是通過將從HSI裝置的像素收集的所有光譜帶的數(shù)據(jù)組合成單個陣列而形成的寬帶圖像。高光譜數(shù)據(jù)立方體12包括來自HSI裝置的圖像傳感器上的像素的值的陣列，這里，每個像素，諸如高光譜數(shù)據(jù)立方體12的22包括子像素陣列,在此實施例中數(shù)目為9,標(biāo)識為1-9,諸如，16,18,20。每個子像素，諸如像素22中的16，18，20表示特定的光譜帶，并包含于單個像素22內(nèi)。應(yīng)理解，取決于特定應(yīng)用，每個像素可以有更多或更少的子像素。由子像素表示的光譜帶可以是高光譜數(shù)據(jù)立方體12的9個光譜帶,或HSI裝置(如來自Surface Optics公司的S0C710)的16個光譜帶或與已知的拜耳濾波器(Bayer filter)的紅色、藍(lán)色和綠色對應(yīng)的三個不同的光譜帶，不過，取決于特定實施的需要，其它的光譜帶濾波器配置(包括由子像素表示的光譜帶對于一個像素中的多個子像素是相同的配置)是可行的。
[0027]高光譜數(shù)據(jù)立方體12通過轉(zhuǎn)換方法24被轉(zhuǎn)換成高光譜圖像14的全色表示，轉(zhuǎn)換方法24將給定的高光譜像素22的所有子像素(在此實施例中是1-9)的值轉(zhuǎn)換成單個全色像素28的值。在此實施例中，像素22中的9個子像素各自包括表示唯一波長強度的值，編號為I到9，并通過轉(zhuǎn)換方法24進行組合。對高光譜數(shù)據(jù)立方體12中的所有高光譜像素重復(fù)用來組合每個高光譜像素22的所有子像素值的轉(zhuǎn)換方法24，在此實施例中，每個像素的中心位于與波長5 (16，26，44，46，48，50，52，54)對應(yīng)的子像素，并包括與波長5和8個最近的子像素對應(yīng)的子像素。
[0028]用來形成單個全色像素28的值的一種轉(zhuǎn)換方法24是對高光譜像素22的所有9個子像素的值取平均。通過使用規(guī)定的轉(zhuǎn)換方法24對高光譜數(shù)據(jù)立方體12中的數(shù)據(jù)采樣，高光譜圖像14將具有與高光譜數(shù)據(jù)立方體12相同的分辨率或像素數(shù)。以與波長5對應(yīng)的子像素(16，26，27，44，46，48，50，52，54)為中心的高光譜數(shù)據(jù)立方體12的每個像素將被采樣，以生成單個全色像素，諸如28和30。
[0029]圖2是圖解說明根據(jù)本發(fā)明的實施例控制從高光譜數(shù)據(jù)立方體得到的高光譜圖像的分辨率的上采樣方法80的流程圖。使用方法80，高光譜圖像的每個全色像素可通過采樣的高光譜數(shù)據(jù)立方體的子像素的采樣子集來生成，而不考慮高光譜數(shù)據(jù)立方體的像素的邊界。方法80可包括步驟:定義窗口(步驟82)，對于給定窗口位置，對窗口中的子像素值進行加權(quán)(步驟86)，給輸出高光譜圖像分配加權(quán)平均值(步驟88)，從第一窗口位置開始(步驟84)通過迭代窗口位置的集合，并遞增連續(xù)的窗口位置(步驟90)來重復(fù)地加權(quán)和移動窗口的子像素，直到已經(jīng)處理完所有的窗口位置(步驟92)。
[0030]上采樣方法80的第一步可以是定義窗口 82，在圖像處理中也稱為掩模(mask)或模板(template)，以確定高光譜數(shù)據(jù)立方體的哪些子像素可以用來計算產(chǎn)生高光譜圖像的像素的值。窗口在所包括的子像素的數(shù)目和位置方面可以與像素的大小相同。然而，取決于實現(xiàn)方式，可以使用任意大小的窗口。窗口可以包括比像素中所包含的子像素多或少的子像素，并且可以是與定義像素的子像素集合的形狀完全不同的形狀。例如，包括矩形布置子像素的窗口可應(yīng)用于由具有正方形布置子像素的像素組成的高光譜數(shù)據(jù)立方體。
[0031]窗口可應(yīng)用到第一窗口位置(步驟84)，之后對窗口中的子像素值進行加權(quán)(步驟86)。在每個窗口位置，可以對每個窗口子像素的值應(yīng)用加權(quán)過程。以數(shù)學(xué)方式，這可以表示為:
【權(quán)利要求】
1.一種控制來自圖像傳感器的高光譜圖像的分辨率的方法，所述圖像傳感器包括像素和定義每個像素內(nèi)的子像素的至少一個濾波器，所述方法包括: 在包括行和列子像素的陣列的圖像傳感器上定義窗口； 基于所述高光譜圖像的至少一個預(yù)定義參數(shù)，對所述窗口內(nèi)的子像素進行加權(quán)，以確定針對所述至少一個預(yù)定義參數(shù)的所述陣列的加權(quán)平均值； 將所述窗口移動預(yù)定數(shù)目的行或列，其中，所述預(yù)定數(shù)目小于所述陣列中相應(yīng)行或列的數(shù)目； 對所述圖像傳感器上的所有可能的陣列重復(fù)加權(quán)步驟和移動步驟，并基于加權(quán)平均值處理所述高光譜圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述至少一個預(yù)定義參數(shù)為紅色、綠色和藍(lán)色光譜帶中至少一個的強度值。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于:所述至少一個預(yù)定義參數(shù)為所有紅色、綠色和藍(lán)色光譜帶的強度值。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述至少一個濾波器為拜耳濾波器。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述至少一個預(yù)定義參數(shù)為連續(xù)光譜帶的強度值。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于:所述強度值是由16個光譜帶確定的。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述至少一個濾波器為包括微透鏡陣列的小透鏡的高光譜濾波器。
【文檔編號】G06T7/00GK103679758SQ201310384617
【公開日】2014年3月26日 申請日期:2013年8月29日 優(yōu)先權(quán)日:2012年8月29日
【發(fā)明者】E.D.比勒, S.A.M.拉西尼, B.T.奧基平蒂 申請人:通用電氣航空系統(tǒng)有限責(zé)任公司