標記邊緣以增強ir成像的可見光圖像的制作方法
【專利說明】標記邊緣以増強IR成像的可見光圖像
背景
[0001]熱成像照相機用于各種各樣的情景。例如，在對設(shè)備進行熱檢查的維護檢查過程中經(jīng)常使用熱成像照相機。除了其他類型的設(shè)備以外，示例設(shè)備可以包括旋轉(zhuǎn)機床、配電板、或成排的斷路器。熱檢查可以檢測設(shè)備熱點，如過熱的機床或電氣組件，從而在更大的問題形成之前幫助保證及時維修或替換過熱的設(shè)備。
[0002]取決于照相機的配置，熱成像照相機還可以生成同一物體的可見光圖像。照相機可以例如以協(xié)調(diào)的方式顯示紅外圖像和可見光圖像，以幫助操作員解釋熱成像照相機生成的熱圖像。與通常提供不同物體之間的良好的對比度的可見光圖像不同，與現(xiàn)實世界場景相比，經(jīng)常難于識別和區(qū)分熱圖像中的不同特征。出于這種原因，操作員可以依賴可見光圖像來幫助解釋和聚焦熱圖像。例如，使可見光圖像和熱圖像重疊和/或組合可以為操作員提供某種指導(dǎo)。然而，在某些情景下，仍然會難于區(qū)分熱圖像中的物體的邊緣和邊界。
概述
[0003]本發(fā)明的各方面涉及熱圖像的邊緣檢測和顯示。本發(fā)明的各實施例可以包括一種具有指令的非瞬態(tài)計算機可讀介質(zhì)，這些指令致使處理器執(zhí)行用于生成強調(diào)邊緣的顯示圖像的方法。例如，處理器可以接收包括多個VL像素的可見光(VL)圖像數(shù)據(jù)和包括多個IR像素的紅外(IR)圖像數(shù)據(jù)。一個或多個IR像素可以包括一個或多個相應(yīng)的VL像素。
[0004]該處理器可以分析目標場景的VL圖像數(shù)據(jù)并檢測該VL圖像數(shù)據(jù)內(nèi)的邊緣。可以用各種各樣的方式中的任意方式執(zhí)行邊緣檢測。該處理器可以確定哪些VL像素與所檢測到的邊緣相對應(yīng)并且認為這種像素是VL邊緣像素。該處理器可以進一步生成具有與一個或多個VL像素相對應(yīng)的多個顯示像素的顯示圖像。顯示像素通?？梢园╒L像素、IR像素或VL像素和IR像素的組合。
[0005]可以生成顯示像素，這樣使得這些顯示像素中的某些包括與相應(yīng)的IR像素相關(guān)聯(lián)的IR圖像數(shù)據(jù)。這種像素可以例如被呈現(xiàn)為VL像素和IR像素的混合體或者專門包括IR圖像數(shù)據(jù)。與VL邊緣像素相對應(yīng)的顯示像素可以包括預(yù)先確定的顏色但不包括與相應(yīng)IR像素相關(guān)聯(lián)的IR圖像數(shù)據(jù)，以便強調(diào)該顯示圖像數(shù)據(jù)中的邊緣的位置?？梢杂枚喾N方式執(zhí)行為顯示像素分配預(yù)先確定的顏色。例如，生成顯示圖像數(shù)據(jù)可以包括用該預(yù)先確定的顏色替換所有VL邊緣像素并顯示包括該預(yù)先確定的顏色的這種像素作為相應(yīng)的顯示像素。在其他實施例中，可以用該預(yù)先確定的顏色替換與VL邊緣像素相對應(yīng)的IR像素以創(chuàng)建經(jīng)修改的IR圖像數(shù)據(jù)。IR圖像數(shù)據(jù)與VL圖像數(shù)據(jù)的后續(xù)混合可以產(chǎn)生與VL邊緣像素相對應(yīng)的顯示像素，這些顯示像素包括與VL圖像數(shù)據(jù)混合的預(yù)先確定的顏色。
[0006]在某些實施例中，可以基本上實時地生成顯示圖像數(shù)據(jù)并將其顯示在顯示器上。相應(yīng)地，本發(fā)明的實施例可以包括能夠進行以下各項中的任一項或所有項的顯示系統(tǒng):接收VL圖像和相應(yīng)的IR圖像、檢測VL圖像數(shù)據(jù)中的邊緣像素和生成并顯示其中強調(diào)邊緣的顯示圖像、向IR圖像提供添加的背景。這種顯示系統(tǒng)可以包括熱成像照相機，該熱成像照相機包括被配置成用于分別檢測目標場景的IR圖像和VL圖像的IR照相機模塊和VL照相機模塊。
[0007]使用者可以修改本發(fā)明的各方面。例如，在某些實施例中，使用者可以操控邊緣檢測過程以便檢測更多或更少邊緣。這種操控可以包括調(diào)節(jié)邊緣檢測過程中所使用的邊緣檢測靈敏度閾值。使用者可以調(diào)節(jié)在創(chuàng)建一個或多個顯示像素時VL圖像數(shù)據(jù)和IR圖像數(shù)據(jù)之間的混合量。在某些實施例中，使用者可以選擇預(yù)先確定的顏色以便自定義強調(diào)IR圖像中的邊緣。相應(yīng)地，本發(fā)明的各方面可以包括從使用者界面接收一項或多項輸出以便以使用者定義的方式執(zhí)行邊緣檢測和/或顯示。
附圖簡要說明
[0008]圖1是示例熱成像照相機的透視正視圖。
[0009]圖2是圖1中的示例熱成像照相機的透視后視圖。
[0010]圖3是功能框圖，展示了圖1和圖2中的熱成像照相機的示例組件。
[0011]圖4是過程流程圖，展示了用于將所檢測到的邊緣信息結(jié)合到包括紅外數(shù)據(jù)的顯示圖像內(nèi)的一般方法。
[0012]圖5是過程流程圖，展示了生成并修改顯示圖像的示例性操作。
[0013]圖6A至圖6F展示了目標場景的各種顯示圖像。
詳細說明
[0014]以下詳細描述在性質(zhì)上是示例性的而不旨在以任何方式限制本發(fā)明的范圍、實用性或配置。而是，以下描述為實現(xiàn)本發(fā)明的各實施例提供了某些實踐說明。為所選擇的元件提供了結(jié)構(gòu)、材料、尺寸和制造工藝的示例，并且所有其他元件采用本發(fā)明領(lǐng)域的普通技術(shù)人員已知的結(jié)構(gòu)、材料、尺寸和制造工藝。本領(lǐng)域的技術(shù)人員將認識到所述示例中的許多示例具有各種各樣的合適的替代方案。
[0015]熱成像照相機可以用于在觀察下檢測包括一個或多個物體的場景上的熱量圖案(heat pattern)。該熱成像照相機可以檢測場景發(fā)出的紅外福射并將該紅外福射轉(zhuǎn)換成指示熱量圖案的紅外圖像。在某些實施例中，該熱成像照相機還可以采集來自場景的可見光并且將該可見光轉(zhuǎn)換成可見光圖像。取決于該熱成像照相機的配置，該照相機可以包括用于將紅外輻射聚焦在紅外傳感器上的紅外光學(xué)器件和用于將可見光聚焦在可見光傳感器上的可見光光學(xué)器件。
[0016]各實施例提供了用于使用平均技術(shù)產(chǎn)生噪聲降低的熱圖像的方法和系統(tǒng)。為了進一步提高圖像質(zhì)量并且消除可能由于平均(例如，模糊、重影等)引起的問題，在平均之前對熱圖像執(zhí)行圖像對準過程。
[0017]圖1和圖2分別示出了示例熱成像照相機100的正視透視圖和后視透視圖，該照相機包括外殼102、紅外透鏡組104、可見光透鏡組106、顯示器108、激光器110、以及觸發(fā)控件112。外殼102將熱成像照相機100的各組件罩住。熱成像照相機100的底部部分包括用于通過一只手持住并操作該照相機的手提把手。紅外透鏡組104從場景接收紅外輻射并將該輻射聚焦在紅外傳感器上以便生成場景的紅外圖像?？梢姽馔哥R組106從場景接收可見光并將該可見光聚焦在可見光傳感器上以便生成同一場景的可見光圖像。響應(yīng)于按下觸發(fā)控件112，熱成像照相機100采集可見光圖像和/或紅外圖像。此外，熱成像照相機100控制顯示器108顯示該照相機生成的紅外圖像和可見光圖像，例如，以便幫助操作員對場景進行熱檢查。熱成像照相機100還可以包括與紅外透鏡組104耦合的聚焦機構(gòu)，該聚焦機構(gòu)被配置成用于移動該紅外透鏡組中的至少一個透鏡以便調(diào)節(jié)該熱成像照相機生成的紅外圖像的焦點。
[0018]在操作時，熱成像照相機100通過從場景接收紅外波長光譜中發(fā)出的能量并對該紅外能量進行處理來檢測場景中的熱量圖案以生成熱圖像。熱成像照相機100還可以通過接收可見光波長光譜中的能量并對該可見光能量進行處理來生成同一場景的可見光圖像，從而生成可見光圖像。如以下更詳細描述的，熱成像照相機100可以包括被配置成用于采集場景的紅外圖像的紅外照相機模塊和被配置成用于采集同一場景的可見光圖像的可見光照相機模塊。該紅外照相機模塊可以接收透過紅外透鏡組104投射的紅外輻射并從其中生成紅外圖像數(shù)據(jù)。該可見光照相機模塊可以接收透過可見光透鏡組106投射的光輻射并從其中生成可見光數(shù)據(jù)。
[0019]在某些示例中，熱成像照相機100基本上同時(例如，在同一時間)收集或采集紅外能量和可見光能量，這樣使得該照相機生成的可見光圖像和紅外圖像在基本上同一時間具有同一場景。在這些示例中，熱成像照相機100生成的紅外圖像指示在具體時期場景內(nèi)的局部溫度，而該照相機生成的可見光圖像指示同一時期的同一場景。在其他示例中，熱成像照相機可以在不同時期從場景采集紅外能量和可見光能量。
[0020]可見光透鏡組106包括將可見光能量聚焦在可見光傳感器上以便生成可見光圖像的至少一個透鏡?？梢姽馔哥R組106定義穿過該透鏡組中的至少一個透鏡的曲率中心的可見光光軸?？梢姽饽芰客渡渫ㄟ^該透鏡的前面并聚焦在該透鏡的相對面上?？梢姽馔哥R組106可以包括單個透鏡或串聯(lián)安排的多個透鏡(例如，兩個、三個、或更多個透鏡)。此夕卜，可見光透鏡組106可以具有固定焦點或者可以包括用于改變可見光光學(xué)器件的焦點的調(diào)焦機構(gòu)。在可見光透鏡組106包括調(diào)焦機構(gòu)的示例中，該調(diào)焦機構(gòu)可以是手動調(diào)節(jié)機構(gòu)或自動調(diào)節(jié)機構(gòu)。
[0021]紅外透鏡組104還包括將將紅外能量聚焦在紅外傳感器上以便生成熱圖像的至少一個透鏡。紅外透鏡組104定義穿過該組件的透鏡曲率中心的紅外光軸。在操作過程中，紅外能量直接透過該透鏡的前面并聚焦在該透鏡的相對面上。紅外透鏡組104可以包括單個透鏡或可以串聯(lián)安排的多個透鏡(例如，兩個、三個、或更多個透鏡)。
[0022]如以上簡要描述的，熱成像照相機100包括用于調(diào)節(jié)該照相機采集的紅外圖像的焦點的聚焦機構(gòu)。在圖1和圖2中所示的示例中，熱成像照相機100包括聚焦環(huán)114。聚焦環(huán)114操作性地耦合(例如，機械地和/或電耦合)至紅外透鏡組104中的至少一個透鏡并且被配置成用于將該至少一個透鏡移動至不同焦點位置以便使熱成像照相機100所采集的紅外圖像聚焦?？梢岳@著外殼102的至少一部分手動地轉(zhuǎn)動聚焦環(huán)114以便將移動該聚焦環(huán)操作性地耦合至的至少一個透鏡。在某些示例中，聚焦環(huán)114還操作性地耦合至顯示器108，這樣使得聚焦環(huán)114的轉(zhuǎn)動引起同時顯示在顯示器108上的可見光圖像的至少一部分和紅外圖像的至少一部分相對于彼此移動。在不同示例中，熱成像照相機100可以包括以除了聚焦環(huán)114以外的配置實現(xiàn)的手動調(diào)焦機構(gòu)，或者在其他實施例中可以僅保持固定焦點。
[0023]在某些示例中，除了或代替手動調(diào)焦機構(gòu)，熱成像照相機100可以包括自動調(diào)焦機構(gòu)。自動調(diào)焦機構(gòu)可以操作性地耦合至紅外透鏡組104中的至少一個透鏡并且被配置成用于例如響應(yīng)于來自熱成像照相機100的指令自動地將該至少一個透鏡移動至不同的焦點位置。在這種示例的一項應(yīng)用中，熱成像照相機100可以使用激光器110來電子地測量目標場景中的物體與該照相機之間的距離，該距離被稱為目標距離。然后，熱成像照相機100可以控制該自動調(diào)焦機構(gòu)將紅外透鏡組104中的至少一個透鏡移動至與熱成像照相機100所確定的目標距離相對應(yīng)的焦點位置。該焦點位置可以對應(yīng)于目標距離數(shù)據(jù)，因為該焦點位置可以被配置成用于將目標場景中的物體置于所確定的焦點距離。在某些示例中，操作員可以例如通過轉(zhuǎn)動聚焦環(huán)114來手動地強行改變該自動調(diào)焦機構(gòu)所設(shè)置的焦點位置。
[0024]在熱成像照相機100的操作過程中，操作員可能想要觀看該照相機生成的場景的熱圖像和/或同一場景的可見光圖像。