本發(fā)明總體上涉及用于熱圖像處理的方法和對(duì)應(yīng)的熱相機(jī)。

背景技術(shù)：

1、熱相機(jī)用于各種監(jiān)視應(yīng)用中，并且能夠?qū)?chǎng)景進(jìn)行熱成像以及進(jìn)行遠(yuǎn)程溫度測(cè)量。在一些安裝中，使用熱相機(jī)來(lái)監(jiān)視溫度以進(jìn)行早期火災(zāi)檢測(cè)和/或檢測(cè)對(duì)象的過(guò)熱。當(dāng)捕獲包括熱對(duì)象的場(chǎng)景的熱圖像時(shí)，從熱對(duì)象接收的輻射可能由于熱相機(jī)中的內(nèi)部反射而導(dǎo)致熱對(duì)象的幻像形式的圖像偽影。值得注意的是，反射可能發(fā)生在熱相機(jī)的前蓋玻璃和熱圖像傳感器之間。熱對(duì)象的這種反射可以導(dǎo)致清晰且良好聚焦的幻像。因此，對(duì)于操作者和許多類型的基于自動(dòng)圖像處理的分析，幻像可能很難與實(shí)際的熱對(duì)象區(qū)分?；孟襁€可以使場(chǎng)景內(nèi)的其他感興趣對(duì)象模糊。

2、一種用于減少內(nèi)部反射的常規(guī)技術(shù)是為熱成像系統(tǒng)的光學(xué)元件提供抗反射涂層。然而，抗反射涂層在抑制由熱對(duì)象引起的強(qiáng)反射方面可能具有有限的有效性。熱相機(jī)在抗反射涂層的波長(zhǎng)范圍內(nèi)的靈敏度也降低。us2022/0326514a1公開了另一種技術(shù)，用于使用彎曲的保護(hù)窗或?yàn)V波器來(lái)散焦或衰減所反射的輻射，從而減少不期望的反射。然而，這些方法涉及將特別適配的光學(xué)元件添加到熱相機(jī)，這可能使制造復(fù)雜化并且導(dǎo)致成本增加。另一個(gè)缺點(diǎn)是，在成像系統(tǒng)中引入附加的光學(xué)元件可能影響由熱相機(jī)接收的所有輻射，并且因此降低圖像質(zhì)量，在沒(méi)有出現(xiàn)幻像的風(fēng)險(xiǎn)的情況下也是如此。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的一目的是提供一種用于抑制熱圖像中的熱對(duì)象的幻像的方法，該方法不需要添加任何特別適配的光學(xué)元件，并且該方法進(jìn)一步適于所監(jiān)視的場(chǎng)景的熱動(dòng)力學(xué)。進(jìn)一步和可選的目的可以從以下理解。

2、根據(jù)本發(fā)明的第一方面，提供了一種用于熱圖像處理的方法，該方法包括：

3、獲得由熱相機(jī)獲取并描繪場(chǎng)景的熱圖像；

4、基于熱圖像的像素強(qiáng)度獲得頻率分布；

5、處理頻率分布以確定頻率分布是否包括由場(chǎng)景中的熱對(duì)象引起的峰，峰與場(chǎng)景的熱背景的間隔大于強(qiáng)度閾值；以及

6、響應(yīng)于確定頻率分布包括與熱背景的間隔大于強(qiáng)度閾值的峰，處理熱圖像以抑制熱圖像中的熱對(duì)象的幻像，其中幻像由來(lái)自熱相機(jī)中的熱對(duì)象的輻射的內(nèi)反射引起，并且其中熱圖像的處理包括：

7、估計(jì)形成幻像的幻像像素的位置；以及

8、通過(guò)調(diào)整幻像像素的強(qiáng)度來(lái)抑制熱圖像中的幻像。

9、因此，第一方面的方法使得能夠基于由來(lái)自熱對(duì)象的輻射引起的峰(下文中稱為“熱對(duì)象峰”)是否存在于頻率分布中并且與場(chǎng)景的熱背景(即，熱背景輻射)的間隔大于強(qiáng)度閾值(其可以被稱為“幻像抑制閾值”)來(lái)選擇性地或有條件地抑制幻像。因此，本發(fā)明至少部分地基于這樣的認(rèn)識(shí)，即，熱對(duì)象和熱背景的相對(duì)溫度可以用作熱圖像中是否存在任何明顯的幻像的可靠預(yù)測(cè)。在不存在與熱背景的間隔大于強(qiáng)度閾值的熱對(duì)象峰的情況下，確定場(chǎng)景內(nèi)的溫差太小而不能促使使熱圖像受到幻像抑制。因此，如果確定頻率分布不包括具有高于熱背景的間隔超過(guò)強(qiáng)度閾值的熱對(duì)象峰，則可以確定不需要對(duì)熱圖像執(zhí)行幻像抑制。

10、在場(chǎng)景包括與熱背景相比具有相對(duì)較小的溫差的熱對(duì)象的情況下，頻率分布可能仍然呈現(xiàn)熱對(duì)象峰，然而與熱背景的間隔小于強(qiáng)度閾值。盡管在這種情況下熱對(duì)象仍然可能產(chǎn)生幻像，但是由于熱對(duì)象而被添加到幻像像素的附加強(qiáng)度可能太小，以至于對(duì)于處理熱圖像的自動(dòng)圖像處理算法或?qū)τ谟^看熱圖像的操作者來(lái)說(shuō)，沒(méi)有引起混淆的風(fēng)險(xiǎn)。

11、因此，響應(yīng)于確定頻率分布包括與熱背景的間隔大于強(qiáng)度閾值的熱對(duì)象峰，熱圖像經(jīng)受幻像抑制以生成經(jīng)處理的熱圖像。否則，可以確定熱圖像不受到幻像抑制。在第一種情況下，幻像抑制可以生成經(jīng)處理的熱圖像，其例如可以被轉(zhuǎn)發(fā)到下游圖像處理管線以用于進(jìn)一步的圖像處理。在第二種情況下，可以將熱圖像轉(zhuǎn)發(fā)到下游圖像處理管線，而不使熱圖像經(jīng)受幻像抑制。

12、這意味著，在場(chǎng)景包括導(dǎo)致與熱背景的間隔大于強(qiáng)度閾值的熱對(duì)象峰的熱對(duì)象的場(chǎng)景中，該方法包括：

13、獲得由熱相機(jī)獲取并描繪包括熱對(duì)象的場(chǎng)景的熱圖像；

14、基于熱圖像的像素強(qiáng)度獲得頻率分布；

15、處理頻率分布以確定頻率分布包括與場(chǎng)景的熱背景的間隔大于強(qiáng)度閾值的峰，其中峰由熱對(duì)象引起；以及

16、響應(yīng)于確定頻率分布包括與熱背景的間隔大于強(qiáng)度閾值的峰，處理熱圖像以抑制熱圖像中的熱對(duì)象的幻像，其中幻像由來(lái)自熱相機(jī)中的熱對(duì)象的輻射的內(nèi)反射引起，并且其中熱圖像的處理包括：

17、估計(jì)形成幻像的幻像像素的位置；以及

18、通過(guò)調(diào)整幻像像素的強(qiáng)度來(lái)抑制熱圖像中的幻像。

19、相反地，在場(chǎng)景不包括引起與熱背景的間隔大于強(qiáng)度閾值的熱對(duì)象峰的熱對(duì)象的場(chǎng)景中，該方法包括：獲得由熱相機(jī)獲取并描繪場(chǎng)景的熱圖像；基于熱圖像的像素強(qiáng)度獲得頻率分布；處理頻率分布以確定頻率分布不包括與場(chǎng)景的熱背景的間隔超過(guò)強(qiáng)度閾值的峰；以及響應(yīng)于確定頻率分布不包括與熱背景的間隔大于強(qiáng)度閾值的峰，確定不對(duì)熱圖像執(zhí)行任何幻像抑制(例如，將(所獲得的)熱圖像轉(zhuǎn)發(fā)到下游圖像處理管線而不使熱圖像經(jīng)受幻像抑制)。

20、通過(guò)響應(yīng)于確定頻率分布包括與熱背景的間隔大于強(qiáng)度閾值的熱對(duì)象峰而使熱圖像受到幻像抑制，可以獲得視覺(jué)上改善的熱圖像，其更好地反映溫度的實(shí)際分布。抑制幻像可以進(jìn)一步降低由于幻像被解釋為場(chǎng)景中不期望升高溫度的位置處的熱對(duì)象而引起的錯(cuò)誤警報(bào)的風(fēng)險(xiǎn)。另外，可以降低幻像擾亂基于圖像分析的自動(dòng)監(jiān)視算法的風(fēng)險(xiǎn)，例如對(duì)象跟蹤。

21、該方法的基于頻率分布和像素的處理提供了一種可靠且計(jì)算高效的方式來(lái)確定是否執(zhí)行幻像抑制而無(wú)需求助于對(duì)象檢測(cè)算法。相反，該方法可以使用簡(jiǎn)單的算法來(lái)實(shí)現(xiàn)，這有助于在熱圖像處理系統(tǒng)的處理設(shè)備(例如fpga)中的計(jì)算效率的實(shí)現(xiàn)。

22、一旦基于閾值比較檢測(cè)到抑制幻像的需要，就可以估計(jì)幻像的位置，其中可以通過(guò)調(diào)整幻像像素的強(qiáng)度來(lái)抑制幻像。下面將闡述用于調(diào)整像素強(qiáng)度的各種實(shí)施方式。然而，通常，調(diào)整可以包括根據(jù)描繪熱對(duì)象的像素(即，“熱對(duì)象像素”)的強(qiáng)度來(lái)減小幻像像素的強(qiáng)度(值)。

23、“熱對(duì)象”在這里是指具有相對(duì)于場(chǎng)景的熱背景升高的溫度的對(duì)象(即，物理對(duì)象)。熱對(duì)象可以特別地指具有超過(guò)熱背景的輻射率的對(duì)象(即，朝向熱相機(jī)的對(duì)象)。

24、“像素強(qiáng)度”(可互換地稱為“像素值”)在這里是指熱圖像中的像素的強(qiáng)度(或值)。對(duì)于熱圖像，像素的強(qiáng)度反映在該像素處從場(chǎng)景接收的輻射。因此，強(qiáng)度與溫度成比例。強(qiáng)度也可被解釋為在像素處從場(chǎng)景接收到的ir輻射量或輻射通量。

25、“基于像素強(qiáng)度的頻率分布”在這里是指表示在熱圖像中出現(xiàn)不同像素強(qiáng)度(或像素值)的數(shù)量的統(tǒng)計(jì)分布。頻率分布因此可以指示場(chǎng)景中的輻射或溫度的頻率分布。頻率分布也可以稱為直方圖。頻率分布可以指示像素強(qiáng)度的絕對(duì)頻率或相對(duì)頻率。頻率分布可以是“分箱的”，即，可以指示關(guān)于跨像素強(qiáng)度的范圍定義的像素強(qiáng)度的多個(gè)箱(即，類別或子范圍)的頻率，因?yàn)檫@可以減少方法所需的計(jì)算資源。

26、“頻率分布中的峰”在這里是指頻率超過(guò)預(yù)定義最小頻率的像素強(qiáng)度或至少預(yù)定義數(shù)量的連續(xù)像素強(qiáng)度的間隔(例如，頻率分布的一個(gè)或多個(gè)箱或子范圍)。

27、在一些實(shí)施方式例中，處理頻率分布包括：在頻率分布中檢測(cè)由熱對(duì)象引起的峰(第一峰)和由場(chǎng)景的熱背景引起的另一峰(第二峰)，并且確定第一峰與第二峰之間的間隔是否超過(guò)強(qiáng)度閾值。

28、場(chǎng)景中的背景輻射通常被限制在頻率分布內(nèi)的某個(gè)間隔(絕對(duì)位置取決于絕對(duì)溫度)，因此，與熱對(duì)象一樣，在頻率分布中產(chǎn)生第二峰(下文中稱為“背景峰”)。因此，將熱對(duì)象峰(第一峰)和背景峰(第二峰)的間隔與強(qiáng)度閾值進(jìn)行比較提供了確定是否執(zhí)行幻像抑制的方便且計(jì)算高效的方式。這里注意到，術(shù)語(yǔ)“第一”和“第二”僅僅是為了便于參考相應(yīng)的峰而引入的標(biāo)記，而不表示峰的任何順序或顯著性。實(shí)際上，將在比另一/第二峰(背景峰)更高的像素強(qiáng)度處發(fā)現(xiàn)第一峰(熱對(duì)象峰)。

29、在一些實(shí)施例方式中，熱圖像包括原始熱圖像數(shù)據(jù)，并且頻率分布是原始熱圖像數(shù)據(jù)的像素強(qiáng)度的頻率分布。因此，頻率分布可以表示原始熱圖像數(shù)據(jù)非線性化之前的像素強(qiáng)度。從熱圖像傳感器捕獲的原始熱圖像數(shù)據(jù)(可互換地稱為“原始信號(hào)”)的非線性化可以產(chǎn)生具有壓縮動(dòng)態(tài)范圍的變換圖像數(shù)據(jù)，其更適合于由人觀看并且在圖像處理鏈中更向下處理的資源密集性更低。然而，非線性化的副作用是像素強(qiáng)度的變化分布。因此，在從非線性化圖像數(shù)據(jù)計(jì)算的頻率分布中的熱對(duì)象峰和熱背景之間的關(guān)系可能偏離場(chǎng)景內(nèi)的實(shí)際相對(duì)溫度。因此，通過(guò)處理原始熱圖像數(shù)據(jù)的像素強(qiáng)度的頻率分布，可以在將這種失真引入熱數(shù)據(jù)之前，在處理鏈中較早地執(zhí)行幻像檢測(cè)。該方法可以包括從熱相機(jī)接收包括原始熱圖像數(shù)據(jù)的熱圖像，以及從原始熱圖像數(shù)據(jù)的像素強(qiáng)度計(jì)算頻率分布。

30、在一些實(shí)施方式中，方法還包括：獲得熱相機(jī)的噪聲水平估計(jì)；以及基于噪聲水平估計(jì)來(lái)確定強(qiáng)度閾值。熱相機(jī)的噪聲水平設(shè)置下限，低于該下限，幻像可能無(wú)法與熱背景區(qū)分開。因此，熱相機(jī)的噪聲水平代表用于確定強(qiáng)度/幻像抑制閾值的保守基礎(chǔ)。

31、在一些實(shí)施方式中，熱相機(jī)的噪聲水平估計(jì)是從熱相機(jī)的噪聲濾波器的噪聲閾值得出的，或者是基于由熱相機(jī)獲取的場(chǎng)景的輔助熱圖像的集合來(lái)估計(jì)的。因此，在熱監(jiān)視過(guò)程期間，可以動(dòng)態(tài)地設(shè)置強(qiáng)度閾值，并且因此使閾值適應(yīng)場(chǎng)景中的實(shí)際條件。強(qiáng)度閾值可特別地基于噪聲水平估計(jì)和場(chǎng)景的估計(jì)平均像素強(qiáng)度來(lái)確定，例如基于噪聲水平估計(jì)與估計(jì)平均像素強(qiáng)度的比率。

32、在一些實(shí)施例方式中，強(qiáng)度閾值是預(yù)定的強(qiáng)度閾值(即，強(qiáng)度閾值的值是預(yù)定的)。強(qiáng)度閾值可以例如被設(shè)置為對(duì)應(yīng)于熱對(duì)象和熱背景之間的溫差，在該溫差之上已知或預(yù)期出現(xiàn)強(qiáng)幻像。

33、在一些實(shí)施方式中，該方法還包括通過(guò)識(shí)別熱圖像中的與由熱對(duì)象引起的頻率分布中的峰相對(duì)應(yīng)的像素，估計(jì)熱圖像中描繪熱對(duì)象的熱對(duì)象像素的位置；

34、其中，熱圖像中的幻像像素的位置基于熱對(duì)象像素的所估計(jì)的位置來(lái)估計(jì)。

35、在識(shí)別了熱對(duì)象峰之后，熱圖像中的引起熱對(duì)象峰的熱對(duì)象像素可以被識(shí)別為具有與峰相對(duì)應(yīng)的強(qiáng)度(例如，落在峰內(nèi))的像素。知道了熱相機(jī)的成像屬性(例如，通過(guò)在部署之前表征熱相機(jī)而獲得)，可以從熱對(duì)象像素的位置估計(jì)幻像像素預(yù)期出現(xiàn)的位置。(估計(jì)的)熱對(duì)象像素描繪熱對(duì)象，從而形成熱對(duì)象圖像。熱對(duì)象像素因此可以可互換地稱為(估計(jì)的)熱對(duì)象圖像的像素。

36、在一些實(shí)施方式例中，熱對(duì)象像素是熱圖像中的像素，屬于至少閾值數(shù)量的鄰近像素的集合并且具有落入由熱對(duì)象引起的頻率分布中的峰內(nèi)的強(qiáng)度。因此，可以使位置估計(jì)對(duì)單個(gè)像素或小像素簇的出現(xiàn)不太敏感，單個(gè)像素或小像素簇具有在熱對(duì)象峰內(nèi)的強(qiáng)度，其太小而不能激發(fā)抑制，或者不是由熱對(duì)象引起的。

37、在一些實(shí)施方式中，使用將熱對(duì)象像素的位置映射到幻像像素的所估計(jì)的位置的預(yù)定義變換來(lái)估計(jì)幻像像素的位置。該映射可以基于或表示熱相機(jī)的光學(xué)系統(tǒng)的成像屬性。使用預(yù)定變換函數(shù)估計(jì)幻像的位置使得能夠?qū)崿F(xiàn)計(jì)算上高效的實(shí)現(xiàn)，從而避免了對(duì)更復(fù)雜的圖像分析和數(shù)據(jù)擬合方法的需要。

38、在一些實(shí)施方式例中，映射使得幻像像素對(duì)應(yīng)于熱對(duì)象像素的點(diǎn)反射。也就是說(shuō)，可以通過(guò)將熱對(duì)象像素的所估計(jì)的位置相對(duì)于熱圖像中的點(diǎn)進(jìn)行反轉(zhuǎn)來(lái)估計(jì)熱圖像中的幻像的位置。當(dāng)幻像是由于涉及熱圖像傳感器的內(nèi)部反射而產(chǎn)生時(shí)，這種類型的變換函數(shù)能夠找到幻像的位置。來(lái)自熱圖像傳感器本身的反射可能是幻像的主要貢獻(xiàn)者，并且傾向于導(dǎo)致熱對(duì)象(雖然具有降低的強(qiáng)度)的良好聚焦的倒像(即，鏡像)形式的幻像。通過(guò)定義映射使得幻像像素對(duì)應(yīng)于熱對(duì)象像素相對(duì)于熱圖像的中心像素的點(diǎn)反射，可以實(shí)現(xiàn)在大量場(chǎng)景中幻像像素的位置的可靠估計(jì)。

39、在一些實(shí)施方式例中，估計(jì)熱對(duì)象像素的位置包括確定每個(gè)熱對(duì)象像素的像素坐標(biāo)，并且其中估計(jì)幻像像素的位置包括使用預(yù)定義的變換將每個(gè)熱對(duì)象像素的像素坐標(biāo)映射到對(duì)應(yīng)的幻像像素的像素坐標(biāo)。因此，每個(gè)熱對(duì)象像素可以被映射或關(guān)聯(lián)到空間上對(duì)應(yīng)的幻像像素。

40、在一些實(shí)施方式中，估計(jì)熱對(duì)象像素的位置包括確定熱對(duì)象像素的圍合的像素坐標(biāo)，以及

41、其中，估計(jì)幻像像素的位置包括使用預(yù)定義變換將熱對(duì)象像素的圍合的像素坐標(biāo)映射到幻像像素的圍合的對(duì)應(yīng)像素坐標(biāo)，其中幻像像素是位于幻像像素的所確定的圍合內(nèi)的像素。

42、通過(guò)這種方法，可以通過(guò)使用預(yù)定義變換映射熱對(duì)象像素的包圍來(lái)估計(jì)幻像像素的位置(例如，使得熱對(duì)象像素的包圍的像素坐標(biāo)通過(guò)點(diǎn)反射被映射到幻像像素的包圍的坐標(biāo))。由于涉及較少的計(jì)算，這可以實(shí)現(xiàn)比每個(gè)個(gè)體的熱對(duì)象像素的表達(dá)映射在計(jì)算上更高效的對(duì)幻像像素的位置的估計(jì)。

43、在一些實(shí)施例方式中，抑制熱圖像中的幻像包括通過(guò)減去熱對(duì)象像素強(qiáng)度的分?jǐn)?shù)(fraction)來(lái)調(diào)整幻像像素的強(qiáng)度。由于熱對(duì)象的內(nèi)部反射而添加到幻像像素的附加強(qiáng)度因此可以被減去。有利地，在熱圖像包括原始熱圖像數(shù)據(jù)的實(shí)施方式中，可以對(duì)原始熱圖像數(shù)據(jù)中的幻像像素的強(qiáng)度施加抑制。

44、在一些實(shí)施方式中，分?jǐn)?shù)是預(yù)定值。這使得能夠簡(jiǎn)單且計(jì)算有效地實(shí)現(xiàn)幻像抑制。抑制仍然可以是有效的，因?yàn)榭梢灶A(yù)期每個(gè)幻像像素的強(qiáng)度可以被衰減到相同的程度，而不管其對(duì)應(yīng)的熱對(duì)象像素的強(qiáng)度。

45、在一些實(shí)施方式中，熱對(duì)象像素強(qiáng)度是落在由熱對(duì)象引起的峰內(nèi)的強(qiáng)度。由于峰的強(qiáng)度反映了熱對(duì)象像素的強(qiáng)度，這使得能夠有效地抑制幻像。

46、在一些實(shí)施方式中，從每個(gè)幻像像素減去代表性熱對(duì)象像素強(qiáng)度的分?jǐn)?shù)。因此，每個(gè)幻像像素的強(qiáng)度可以衰減相同的量。這使得能夠在計(jì)算上高效地實(shí)現(xiàn)幻像抑制。

47、在一些實(shí)施方式中，代表性熱對(duì)象像素強(qiáng)度對(duì)應(yīng)于由熱對(duì)象引起的峰的平均值、中值或最高頻率強(qiáng)度。這些度量都表示熱對(duì)象像素強(qiáng)度的有用的單值表示。

48、在一些實(shí)施方式中，從每個(gè)幻像像素減去相應(yīng)的空間對(duì)應(yīng)的熱對(duì)象像素強(qiáng)度的分?jǐn)?shù)。因此，可以根據(jù)每個(gè)幻像像素的空間對(duì)應(yīng)的熱圖像像素的強(qiáng)度來(lái)調(diào)整施加到每個(gè)幻像像素的強(qiáng)度衰減量。這可以允許即使在相對(duì)寬的熱對(duì)象峰(對(duì)應(yīng)于熱對(duì)象的空間變化溫度)的情況下也能進(jìn)行有效的幻像抑制。這些實(shí)施方式可以有利地與包括確定每個(gè)熱對(duì)象像素的像素坐標(biāo)的實(shí)施方式結(jié)合使用，其中通過(guò)使用預(yù)定義變換將每個(gè)熱對(duì)象像素的像素坐標(biāo)映射到對(duì)應(yīng)的幻像像素的像素坐標(biāo)來(lái)估計(jì)幻像像素的位置，其中可以建立熱對(duì)象像素和幻像像素之間的一對(duì)一映射。在這種情況下，各個(gè)幻像像素的“空間上對(duì)應(yīng)的熱對(duì)象像素”可以指映射到幻像像素的熱圖像像素。

49、根據(jù)第二方面，提供了一種用于熱成像的方法，包括：通過(guò)熱相機(jī)獲取場(chǎng)景的熱圖像；以及使用根據(jù)第一方面或其任何實(shí)施方式例的方法處理熱圖像。

50、根據(jù)第三方面，提供了一種包括計(jì)算機(jī)程序代碼部分的計(jì)算機(jī)程序產(chǎn)品，計(jì)算機(jī)程序代碼部分被配置為當(dāng)由處理裝置執(zhí)行時(shí)執(zhí)行根據(jù)第一方面或其任何實(shí)施方式的方法。

51、根據(jù)第四方面，提供了一種包括處理裝置的熱相機(jī)，處理裝置被配置為執(zhí)行根據(jù)第一方面或其任何實(shí)施方式例的方法。

52、第二、第三和第四方面的特征在于與根據(jù)第一方面的本發(fā)明相同或等同的益處。關(guān)于第一方面描述的任何功能可以在系統(tǒng)中具有對(duì)應(yīng)的特征，反之亦然。