本發(fā)明涉及一種圖像處理裝置、一種圖像處理方法以及一種程序。

背景技術：

在相關技術中，由紅外相機捕獲的圖像已經用于駕駛輔助和其他用途。具體而言，通過使用近紅外線或短波紅外線來捕獲圖像可以獲得相對清晰的圖像，甚至在諸如晚上或惡劣天氣等較差條件下也是如此。一般而言，通過接收來自相機發(fā)射的紅外線的反射光來捕獲近紅外線或短波紅外線的圖像(例如，參見專利文獻1)。

引文列表

專利文獻

專利文獻1：jp2009-130709a

技術實現要素：

技術問題

一般而言，需要提供不受干擾影響的穩(wěn)定圖像，以便將紅外圖像呈現給用戶或者用于執(zhí)行識別處理，諸如，基于紅外圖像的人識別或物體識別。

因此，本公開提出能夠提供穩(wěn)定的紅外圖像的一種新穎且改良的圖像處理裝置、一種圖像處理方法以及一種程序。

問題的解決方案

根據本公開，提供一種圖像處理裝置，其包括：獲取單元，其獲取紅外圖像；以及控制單元，其可變地控制由獲取單元獲取的紅外圖像的目標波長，并且取決于目標波長控制紅外圖像的灰度。

根據本公開，提供一種圖像處理方法，其包括：由圖像處理裝置獲取紅外圖像；可變地控制所獲取的紅外圖像的目標波長；以及取決于目標波長控制紅外圖像的灰度。

根據本公開，提供一種程序，所述程序使控制圖像處理裝置的計算機起到下列項的作用：獲取單元，其獲取紅外圖像；以及控制單元，其可變地控制由獲取單元獲取的紅外圖像的目標波長，并且取決于目標波長控制紅外圖像的灰度。

本發(fā)明的有益效果

根據本公開，有可能提供如上文所述的穩(wěn)定紅外圖像。

應注意，上述效果未必是限制性的。連同或代替上述效果，可以實現本說明書中描述的任何效果或者可從本說明書中得到的其他效果。

附圖說明

[圖1]圖1是示出取決于波長的紅外(ir)圖像的各種用途的說明性圖解。

[圖2]圖2是示出通過使用具有特定波長的紅外線而獲得的紅外圖像的特定實例的說明性圖解。

[圖3]圖3是示出通過使用具有與圖2的實例不同的波長的紅外線而獲得的紅外圖像的特定實例的說明性圖解。

[圖4]圖4是示出根據本公開的實施例的圖像處理裝置的硬件配置的特定實例的說明性圖解。

[圖5]圖5是示出根據本公開的實施例的圖像處理裝置的邏輯功能配置的特定實例的說明性圖解。

[圖6]圖6是示出發(fā)射的紅外線的目標波長的切換的特定實例的說明性圖解。

[圖7]圖7是示出發(fā)射的紅外線的目標波長的切換的特定實例的說明性圖解。

[圖8]圖8是示出針對多個波長候選中的每個提前確定的濾波器系數的濾波器系數表的特定實例的說明性圖解。

[圖9]圖9是示出針對多個波長候選和參考波長的組合中的每個提前確定的濾波器系數的濾波器系數表的特定實例的說明性圖解。

[圖10]圖10是示出用于由轉換單元執(zhí)行的濾波器計算的濾波器的濾波器抽頭的特定實例的說明性圖解。

[圖11]圖11是示出根據本公開的實施例的由圖像處理裝置執(zhí)行的處理流程的特定實例的流程圖。

[圖12]圖12是示出根據本公開的實施例的由圖像處理裝置執(zhí)行的像素值轉換處理流程的特定實例的流程圖。

[圖13]圖13是示出根據第一更改實例的由圖像處理裝置執(zhí)行的處理流程的特定實例的流程圖。

[圖14]圖14是示出根據第二更改實例的由圖像處理裝置執(zhí)行的像素值轉換處理流程的特定實例的流程圖。

具體實施方式

在下文中，將參考附圖詳細描述本公開的一個或多個實施例。在本說明書和附圖中，用相同的參考編號表示基本上具有相同功能和結構的結構元件，并且省略這些結構元件的重復說明。

將按下列順序給出描述。

1.前言

2.根據本公開的實施例的圖像處理裝置

2-1.硬件配置

2-2.功能配置

2-3.操作

2-3.更改實例

3.總結

<1.前言>

圖1是示出取決于波長的紅外(ir)圖像的各種用途的說明性圖解。圖1的水平方向對應于紅外線的波長，并且波長從左側到右側增加。波長等于或小于0.7μm的光束是可見光束，并且人類視覺能感覺到這個可見光束。波長在0.7μm到1.0μm范圍內的紅外線被分類成近紅外線(nir)。近紅外線可以用于夜視、透視、光通信和測距。波長在1.0μm到2.5μm范圍內的紅外線被分類成短波紅外線(swir)。短波紅外線也可以用于夜視和透視。使用近紅外線或短波紅外線的夜視裝置首先將紅外線發(fā)射到附近，并且接收發(fā)射光，從而獲得紅外圖像。波長在2.5μm到4.0μm范圍內的紅外線被分類成中波紅外線(mwir)。由于物質獨有的吸收光譜出現在中波紅外線的波長范圍內，因此，中波紅外線可以用于識別物質。中波紅外線也可以用于熱成像。波長等于或大于4.0μm的紅外線被分類成遠紅外線(fir)。遠紅外線可以用于夜視、熱成像和加熱。來自物質的黑體輻射發(fā)射的紅外線對應于遠紅外線。因此，使用遠紅外線的夜視裝置可以通過捕獲來自物質的黑體輻射而獲得紅外圖像，無需發(fā)射紅外線。圖1中示出的波長范圍的邊界值只是實例。將紅外線分類的邊界值有各種定義，并且在任何定義下都可以實現之后將描述的根據本公開的技術的優(yōu)點。

圖1中例示的各種類型的紅外線之中的nir和swir用于在諸如晚上或惡劣天氣等較差條件下獲得清晰的圖像。代表性用途之一是車載裝置，并且nir或swir圖像為駕駛員提供補充視圖，諸如，夜晚視圖、后視圖或周圍視圖。nir或swir圖像也可以用于識別可包括諸如行人、路標或障礙物等物體的主題，并且將駕駛輔助信息呈現給駕駛員。一般而言，捕獲nir或swir圖像的紅外相機在成像時將紅外線發(fā)射到附近，如上文所述。

然而，在多個紅外相機同時捕獲圖像的場景下，從某一相機發(fā)射的紅外線可能對其他相機捕獲的圖像產生干擾。當兩個相向的車輛同時用相同的目標波長捕獲紅外圖像時，例如，存在所捕獲的圖像中強烈地捕獲了從對方車輛發(fā)射的光的風險，并且難以區(qū)分圖像中最初捕獲到的周圍物體。專利文獻1提議將從單獨車輛的紅外相機發(fā)射的紅外線和由相機接收的紅外線的偏振方向限制在特定方向，以便消除此類風險。然而，只限制偏振方向實際上僅僅避免了只有約3個相機的圖像捕獲的競爭(例如，縱向、橫向和傾斜方向上的偏振)。

因此，已經考慮使這些紅外相機使用相互不同的目標波長的方法，以便在更多紅外相機同時捕獲圖像的場景下避免圖像捕獲的競爭。屬于nir或swir的紅外線的波長區(qū)域可以分成至少十個或更多類型的目標波長，但取決于成像裝置的配置。因此，與基于偏振方向分開的情況相比，在基于目標波長分開的情況下，有可能以并行的方式捕獲圖像而沒有使更多的紅外相機彼此競爭。這樣的方法也可用于在人群中由智能手機捕獲紅外圖像的場景，以及在許多車輛行駛的繁忙道路上由車載裝置進行的圖像捕獲。

假設多個紅外相機也在移動，那么有必要隨時間推移而動態(tài)地切換單獨相機的目標波長，以便適當地分開紅外相機。當目標波長切換時，切換之前和之后的紅外圖像的灰度(表示例如陰影或色調的像素值的大小)中可能出現不自然的變化。

圖2和圖3是示出通過使用具有相互不同的波長的紅外線而獲得的紅外圖像的特定實例的說明性圖解。在圖2和圖3中，應用于相應部分的圖案的差異表示像素值的差異。圖2中示出的紅外圖像im01是由車輛中設置的紅外相機對在道路上行駛的該車輛的正面成像獲得的。紅外圖像im01的目標波長是1.8μm。可以假設下列情況：通過使用波長為1.8μm的紅外線來捕獲圖像的迎面而來的汽車c1隨后進入上述紅外相機的視角中，所述波長與上述目標波長相同，如圖3所示。在這種情況下，有可能通過切換上述紅外相機的目標波長來防止由迎面而來的汽車c1發(fā)射的發(fā)射光b1被上述紅外相機執(zhí)行的圖像捕獲而獲得的紅外圖像強烈地捕獲。在一個實例中，圖3中示出的紅外圖像im01的目標波長是0.8μm。紅外圖像im02中沒有強烈地捕獲從迎面而來的汽車c1發(fā)射的波長為1.8μm的光b1。然而，如可以從圖2與圖3之間的比較理解，在切換上述紅外相機的目標波長之前和之后，紅外圖像的灰度中出現了不自然的變化?；叶鹊倪@種意外變化也破壞了圖像的穩(wěn)定性，并且不利地影響用戶對物體的視覺識別或者后面的識別處理中的人或物體的識別。因此，本說明書中將提議能夠提供更穩(wěn)定的紅外圖像的機制。

<2.根據本公開的實施例的圖像處理裝置>

[2-1.硬件配置]

首先將描述根據本公開的實施例的圖像處理裝置1的硬件配置實例。圖4是示出根據本公開的實施例的圖像處理裝置1的硬件配置的特定實例的說明性圖解。如圖4所示，圖像處理裝置1包括紅外相機102、輸入接口104、存儲器106、顯示器108、通信接口110、存儲設備112、處理器114和總線116。

(紅外相機)

紅外相機102是通過使用紅外線來捕獲圖像并且獲得原始圖像的成像模塊。紅外相機102具有感測紅外線的成像元件的隊列和將紅外光發(fā)射到裝置的附近的發(fā)光元件。例如，紅外相機102通過響應于諸如用戶輸入等觸發(fā)或以定期的方式從發(fā)光元件發(fā)射紅外線并且接收由物體或其背景反射的紅外線來獲得原始圖像。由紅外相機102獲得的一系列的原始圖像形成視頻圖像。由紅外相機102獲得的原始圖像可以是已經經過初步處理(諸如，信號放大或去噪)的圖像。

例如，紅外相機102可以具有光學濾波器，所述光學濾波器只讓波長屬于特定通頻帶的紅外線穿過。在這種情況下，成像元件接收已經穿過光學濾波器的紅外線。在之后描述的實例中，光學濾波器是能夠可變地控制通頻帶的可變?yōu)V波器?？梢酝ㄟ^操作(旋轉、移動等)具有通過膜的基底來改變可變?yōu)V波器的通頻帶，所述通過膜(例如)取決于位置而傳輸具有不同波長的光。除了紅外線之外，紅外相機102還可以檢測可見光。發(fā)光元件以包括目標波長的輻射頻帶來發(fā)射紅外線。發(fā)光元件的輻射頻帶由之后將描述的控制單元152控制。

(輸入接口)

輸入接口104由用戶用來操作圖像處理裝置1或將信息輸入到圖像處理裝置1。例如，輸入接口104可以包括輸入裝置，諸如，觸摸傳感器、小鍵盤、按鈕或開關。輸入接口104可以包括用于聲音輸入的麥克風和聲音識別模塊。輸入接口104可以包括接收由用戶從遠程裝置選擇的命令的遠程控制模塊。

(存儲器)

存儲器106是存儲介質，可以包括隨機存取存儲器(ram)和只讀存儲器(rom)。存儲器106耦合到處理器114，并且存儲用于由處理器114執(zhí)行處理的程序和數據。

(顯示器)

顯示器108是具有用于顯示圖像的屏幕的顯示模塊。例如，顯示器108可以是液晶顯示器(lcd)或有機發(fā)光二極管(oled)。

(通信接口)

通信接口110是在圖像處理裝置1與其他裝置之間中繼通信的模塊。通信接口110根據任意無線通信協(xié)議或有線通信協(xié)議來建立通信連接。

(存儲設備)

存儲設備112是積累可以包括紅外圖像的圖像數據或者存儲可以用于紅外圖像數據的數據庫的存儲裝置。存儲設備112中嵌入存儲介質，諸如，半導體存儲器或硬盤。本說明書中描述的程序和數據可以從圖像處理裝置1外部的數據源(例如，數據服務器、網絡存儲設備或外部存儲器)獲取。

(處理器)

處理器114是處理模塊，諸如，中央處理單元(cpu)或數字信號處理器(dsp)。處理器114使通過執(zhí)行存儲器106或另一存儲介質中存儲的程序來操作從而提供更穩(wěn)定的紅外圖像的功能。

(總線)

總線116將紅外相機102、輸入接口104、存儲器106、顯示器108、通信接口110、存儲設備112和處理器114連接到彼此。

[2-2.功能配置]

在前一部分中，描述了根據本公開的實施例的圖像處理裝置1的硬件配置。接下來，將參考圖5到圖10來描述根據本公開的實施例的圖像處理裝置1的邏輯功能配置。

圖5是示出通過使圖4中示出的圖像處理裝置1的部件彼此協(xié)同工作而實現的邏輯功能配置的實例的框圖。如圖5所示，圖像處理裝置1包括控制單元152、獲取單元154、存儲單元156和轉換單元158。

(控制單元)

控制單元152控制圖像處理裝置1的紅外圖像的成像、圖像處理、顯示和記錄。例如，控制單元152使轉換單元158轉換由紅外相機102捕獲的紅外圖像的灰度(如有必要的話)，并且使顯示器108在其屏幕上顯示具有經過穩(wěn)定的灰度的圖像。替代于在屏幕上顯示紅外圖像(或除此之外)，控制單元152可以輸出紅外圖像以便在之后的階段進行處理，這在附圖中未示出。本文中描述的之后階段的處理可以包括用于識別人(行人等)或者識別物體(另一車輛、路標、障礙物等)的識別處理，以用于駕駛輔助或提供安全信息。控制單元152可以使存儲單元156存儲具有經過穩(wěn)定的灰度的圖像。

在實施例中，控制單元152可變地控制將由獲取單元154獲取的紅外圖像的目標波長，以便避免圖像因多個紅外相機同時捕獲圖像而變得不穩(wěn)定?？刂茊卧?52可以基于(例如)經由通信接口110從其他裝置接收的信息來識別在圖像處理裝置1的附近使用的紅外線的波長。本文中描述的其他裝置可以是具有單獨紅外相機的其他圖像處理裝置(例如，車載裝置)，或者可以是集中地管理(例如)特定區(qū)域中的成像操作的管理裝置(例如，路邊裝置)?？刂茊卧?52可以通過分析獲取單元154所獲取的紅外圖像來識別在附近使用的紅外線的波長。當獲取單元154中設置的目標波長與附近使用的紅外線的波長一致，或者與附近使用的紅外線的波長的類似程度使得紅外線不利地影響彼此時，控制單元152切換將由獲取單元154獲取的紅外圖像的目標波長。通常，目標波長可以從提前存儲在存儲單元156中的多個波長候選中選擇。

在第一實例中，紅外圖像的目標波長的可變控制由控制單元152切換設于紅外相機102中的光學濾波器的通頻帶來執(zhí)行。在第一實例中，控制單元152使光學濾波器(可變?yōu)V波器)的基底進行操作，使得具有切換之后的目標波長的紅外線穿過濾波器的通過膜，并且入射在成像元件上。

在第二實例中，紅外圖像的目標波長的可變控制由控制單元152使獲取單元154將目標波長的分量與通過對物體成像而獲得的原始圖像分開來執(zhí)行。在第二實例中，原始圖像從感測相互不同的波長分量(不僅可以包括紅外分量而且包括可見光分量)的多個成像元件的隊列輸出。已知的是，由于波長分量影響彼此，因此，多個波長分量與此原始圖像的像素值混合。因此，獲取單元154通過對原始圖像去馬賽克并且響應于來自控制單元152的指令而執(zhí)行預定濾波器計算來將目標波長的分量與原始圖像分開，其中多個波長分量混合。

第一實例和第二實例可以組合。在這種情況下，獲取單元154基于已經穿過紅外相機102的光學濾波器的紅外線來將目標波長的波長分量與原始圖像分開。通過這種方式，有可能獲取紅外圖像，其中不同于目標波長并且對應于干擾的波長的分量減少。

此外，控制單元152取決于目標波長設置控制紅外線從紅外相機102的發(fā)射。具體而言，控制單元152使紅外相機102的發(fā)光元件以包括目標波長的輻射頻帶發(fā)射紅外線，所述目標頻帶被設置成不同于附近使用的波長。圖6和圖7是示出所發(fā)射的紅外線的目標波長的切換的特定實例的說明性圖解。在圖6的實例中，目標波長是從十個波長候選l1到l10中選擇的單個波長。例如，目標波長在時間t1處是波長l5，并且發(fā)光元件發(fā)射具有目標波長l5的紅外線。即使附近的裝置在從時間t1到時間t2的期間內發(fā)射具有從l1到l4或從l6到l10中的任何波長的紅外線，由獲取單元154獲取的紅外圖像也不受發(fā)射影響。之后，目標波長在時間t2處變成波長l1。即使附近的裝置在時間t2之后的特定期間內發(fā)射具有波長l5的紅外線，由獲取單元154獲取的紅外圖像也不受發(fā)射影響。

目標波長不限于圖6中的實例，并且可以包括多個波長，而不是單個波長。在圖7的實例中，目標波長是從十個波長候選l1到l10中選擇的三個波長。例如，目標波長在時間處t3是l2、l5和l10，并且多個發(fā)光元件分別發(fā)射具有目標波長l2、l5和l10的紅外線。之后，目標波長在時間t4處變成波長l1、l3和l8。多個發(fā)光元件在時間t4處分別發(fā)射具有目標波長l1、l3和l8的紅外線。替代于使多個發(fā)光元件同時發(fā)射具有相互不同目標波長的紅外線，每一單個發(fā)光元件可以相繼發(fā)射具有相互不同目標波長的紅外線。

在實施例中，控制單元152取決于目標波長控制紅外圖像的灰度。具體而言，當目標波長不同于參考波長時，控制單元152控制紅外圖像的灰度，以便減少紅外圖像的灰度從以參考波長獲取的圖像的變化。例如，控制單元152通過使轉換單元158使用取決于目標波長的轉換控制信息來轉換紅外圖像的像素值而控制紅外圖像的灰度。之后將詳細描述由轉換單元158執(zhí)行的紅外圖像的像素值的轉換。

參考波長可以提前定義?？刂茊卧?52可以動態(tài)地設置參考波長。例如，在開始捕獲一系列圖像(也就是，視頻圖像)時的目標波長可以自動地設置為參考波長。參考波長可以由用戶經由用戶接口進行設置。例如，控制單元152可以經由輸入接口104和顯示器108提供用戶接口，以用于允許用戶從提前存儲在存儲單元中的參考波長的多個候選中選擇參考波長。參考波長的設置值存儲在存儲單元156中。不僅在切換目標波長時，而且在改變參考波長時，控制單元152可以取決于改變之后的參考波長調整紅外圖像的灰度。

(獲取單元)

獲取單元154獲取紅外圖像并且將獲取的紅外圖像輸出到轉換單元158。在上述第一實例中，獲取單元154獲取紅外相機102獲得的原始圖像作為紅外圖像。本文中描述的原始圖像是這樣的圖像：其中紅外相機102的光學濾波器已經大大減少了具有目標波長之外的波長的分量。由于當目標波長切換時，光學濾波器的通頻帶切換到對應于新目標波長的頻帶，因此，獲取單元154可以獲取具有新目標波長的紅外圖像。

在上述第二實例中，獲取單元154通過將目標波長的分量與紅外相機102獲取的原始圖像分開來獲取具有目標波長的紅外圖像。例如，獲取單元154通過對紅外相機102所獲取的原始圖像去馬賽克并且執(zhí)行預定濾波器計算來將目標波長的分量與原始圖像分開，其中多個波長分量混合。例如，濾波器計算的參數可以通過學習處理而提前確定。

獲取單元154可以獲取存儲在存儲設備112中的紅外圖像。獲取單元154可以經由通信接口110從另一裝置獲取紅外圖像。由獲取單元154獲取的紅外圖像可以是已經經過初步處理(諸如，信號放大和去噪)的圖像。獲取單元154可以對來自壓縮并編碼的編碼流的紅外圖像進行解碼。

(存儲單元)

存儲單元156存儲在轉換單元158執(zhí)行紅外圖像的像素值的轉換以及控制單元152執(zhí)行各種控制時將參考的數據。

例如，存儲單元156存儲目標波長和參考波長的設置值。目標波長和參考波長的設置值可以被控制單元152改變。存儲單元156提前存儲可以被控制單元152選作目標波長或參考波長的多個波長候選。

存儲在存儲單元156中的用于轉換像素值的數據可以包括針對目標波長的多個波長候選中的每個提前確定的濾波器系數。圖8是示出針對多個波長候選中的每個提前確定的濾波器系數的濾波器系數表的特定實例的說明性圖解。圖8中的實例基于下列假設：用于轉換像素值的濾波器由圍繞聚焦像素p5的3×3網格形狀的空間濾波器抽頭p1到p9形成，如圖10所示。圖8中示出的濾波器系數表50存儲針對目標波長的第i個波長候選li將乘以第j個濾波器抽頭pj的濾波器系數值kj,i。濾波器系數表50用于參考波長固定的實例。圖10中示出的濾波器抽頭僅僅是實例。當然可以使用更多或更少的濾波器抽頭，或者可以使用具有不同像素位置的濾波器抽頭。濾波器抽頭的配置可以根據目標波長而不同。

圖9是示出針對多個波長候選和參考波長的組合中的每個提前確定的濾波器系數的濾波器系數表的特定實例的說明性圖解。圖9中的實例也基于下列假設：用于轉換像素值的濾波器由圍繞聚焦像素p5的3×3網格形狀的空間濾波器抽頭p1到p9形成，如圖10所示。圖9中示出的濾波器系數表60存儲針對目標波長的第i個波長候選li和第k個波長候選lk(i≠k)將乘以第j個濾波器抽頭pj的濾波器系數值kj,i,k。濾波器系數表60用于參考波長可變的實例。

圖8和圖9中示出的濾波器系數可以(例如)通過學習處理而提前確定。在用于確定濾波器系數的先前學習中，準備大量成對的目標波長的多個波長候選的紅外圖像和對應的教示圖像。本文中描述的對應教示圖像可以提前經過調整以具有與當以參考波長對相同物體成像時所獲得的紅外圖像的灰度級類似的灰度級的圖像(教示圖像可以是具有參考波長的紅外圖像本身)。隨后，根據諸如boosting等現有算法或支持向量機來確定用于將相應紅外圖像的灰度級轉換成類似于具有參考波長的紅外圖像的灰度級的濾波器系數。

此外，存儲單元156可以存儲由獲取單元154獲取的紅外圖像或者具有由轉換單元158轉換的像素值的紅外圖像。

(轉換單元)

轉換單元158通過使用取決于目標波長的轉換控制信息來轉換紅外圖像的像素值。例如，轉換控制信息包括濾波器系數的集合。那么，轉換單元158通過使用從存儲單元156獲取的濾波器系數在紅外圖像上執(zhí)行濾波器計算來轉換紅外圖像的像素值。

具體而言，轉換單元158通過針對紅外圖像的相應聚焦像素構建如圖19所示的濾波器抽頭并且將存儲在濾波器系數表50或濾波器系數表60中的濾波器系數應用于濾波器抽頭來執(zhí)行濾波器計算。例如，當在參考波長固定的實例中，目標波長是l3時，轉換單元158可以將濾波器系數表50中示出的濾波器系數k1,3到k9,3用于濾波器計算。當在參考波長可變的實例中，目標波長和參考波長分別是l2和l1時，轉換單元158可以將濾波器系數表60中示出的濾波器系數k1,2,1到k9,2,1用于濾波器計算。

轉換單元158輸出紅外圖像，其中由于對控制單元152和存儲單元156的濾波器計算，已經轉換了像素值。當目標波長等于參考波長時，轉換單元158不轉換紅外圖像的像素值。在這種情況下，轉換單元158可以將從獲取單元154輸入的紅外圖像直接輸出到控制單元152和存儲單元156。轉換單元158可以只轉換紅外圖像的一部分的像素值。例如，轉換單元158可以使紅外圖像中的用戶關注的特定區(qū)域中的灰度穩(wěn)定(例如，成像出行人的活體區(qū)域或者成像出另一車輛等的物體區(qū)域)，方式是只轉換該特定區(qū)域中的像素值。

[2-3.操作]

接下來，將參考圖11到圖12來描述根據本公開的實施例的由圖像處理裝置1執(zhí)行的處理流程。

圖11是示出根據本公開的實施例的由圖像處理裝置1執(zhí)行的處理流程的特定實例的流程圖。如圖11所示，控制單元152首先確定在該時點設置的目標波長是否要切換成另一波長(步驟s102)。如果確定要切換目標波長(步驟s102/是)，那么控制單元152改變目標波長的設置值(步驟s104)。例如，控制單元152可以切換紅外相機102的光學濾波器的通頻帶，或者可以改變將由獲取單元154分開的波長分量的設置。相反，如果確定波長不要切換(步驟s102/否)，那么跳過步驟s104。接下來，控制單元152使紅外相機102以包括目標波長的輻射頻帶發(fā)射紅外線(步驟s106)。隨后，獲取單元154獲取具有目標波長的紅外圖像(步驟s108)并且將紅外圖像輸出到轉換單元158。接下來，控制單元152確定目標波長是否不同于參考波長(步驟s110)。如果確定目標波長并非不同于參考波長(步驟s110/否)，那么轉換單元158將由獲取單元154獲取的紅外圖像輸出到控制單元152和存儲單元156，而無需轉換紅外圖像的像素值。相反，如果確定目標波長不同于參考波長(步驟s110/是)，那么轉換單元158執(zhí)行像素值轉換處理(步驟s112)。隨后，轉換單元158將已經減少因目標波長的變化而產生的灰度變化的紅外圖像輸出到控制單元152和存儲單元156。之后，在下一幀上重復上述處理。

圖12是示出圖11中的步驟s112中執(zhí)行的像素值轉換處理流程的特定實例的流程圖。如圖12所示，轉換單元158首先從存儲單元156中獲取與該時點的目標波長的設置值(以及如有必要的話，參考波長的設置值)對應的濾波器系數的集合(步驟s152)。接下來，轉換單元158選擇紅外圖像中的一個像素作為聚焦像素(步驟s154)，并且通過使用濾波器系數而在聚焦像素上執(zhí)行濾波器計算(步驟s156)。隨后，如果還有尚未完成像素值轉換的像素(步驟s158/否)，那么轉換單元158選擇下一像素作為聚焦像素并且在該聚焦像素上重復上述處理。相反，如果已經對所有的像素完成像素值轉換(步驟s158/是)，那么像素值轉換處理結束。

根據上述實施例，控制單元152可變地控制由獲取單元154獲取的紅外圖像的目標波長，以便不同于在附近發(fā)射的紅外線的波長。這防止從其他紅外相機發(fā)射的紅外線被所獲得的紅外圖像捕獲。根據本公開的實施例的圖像處理裝置1，控制單元152取決于目標波長控制紅外圖像的灰度。這使得可能將更穩(wěn)定的紅外圖像呈現給用戶或者輸出更穩(wěn)定的紅外圖像以供之后的階段處理，而不會受諸如切換目標波長等干擾的影響。

根據上述實施例，控制單元152控制紅外圖像的灰度，以便在目標波長不同于參考波長時減少紅外圖像的灰度從以參考波長獲取的圖像的變化。這可以抑制用戶對物體的視覺識別或者后面的識別處理中的人或物體識別的不利影響，而這種不利影響是由目標波長切換之后和之后的灰度的意外變化造成的。

根據某一實施例，控制單元152通過使轉換單元158使用取決于目標波長的轉換控制信息來轉換紅外圖像的像素值而控制紅外圖像的灰度。因此，即使當在目標波長切換之前和之后獲得的紅外圖像的灰度意外變化時，也有可能在圖像獲取之后減小該變化。根據轉換像素值的這種方法，有可能以相對低的成本來實施控制灰度的機制，因為不需要光學或機械地控制成像模塊來控制灰度。

在某一實例中，轉換單元158通過使用經由學習處理而提前確定的濾波器系數在紅外圖像中執(zhí)行濾波器計算來轉換紅外圖像的像素值。因此，歸因于在轉換之后對灰度的控制，有可能提供圖像內容失真較少的合理紅外圖像。

在某一實例中，轉換單元158將針對多個相應波長候選而提前確定的濾波器系數用于濾波器計算。與動態(tài)計算轉換控制信息的方法相比，這使得轉換單元158在目標波長被切換時能夠更快速地獲取濾波器系數。因此，轉換單元158有可能以更少的延遲來轉換像素值。

在某一實例中，轉換單元158將針對多個波長候選和參考波長的組合中的每個而提前確定的濾波器系數用于濾波器計算。這使得轉換單元158甚至在不僅目標波長而且參考波長被動態(tài)切換時能夠更快速地獲取適當的濾波器系數并且轉換紅外圖像的像素值，從而在轉換之后提供合理的紅外圖像。

[2-4.更改實例]

這部分將描述上述實施例的一些更改實例。

(第一更改實例)

第一更改實例是與控制紅外圖像的灰度的方法相關的更改實例。在第一更改實例中，轉換單元158可以從圖像處理裝置1的配置中省略。

在第一更改實例中，控制單元152通過取決于目標波長而控制在紅外相機處接收的紅外線的量來控制紅外圖像的灰度。具體而言，當目標波長被切換時，控制單元152基于變化之后的設置值的目標波長來確定紅外相機102的控制量，并且基于所確定的控制量使紅外相機102對物體成像。例如，由控制單元152確定的紅外相機102的控制量可以是紅外相機102的曝光時間的調整量或者是由紅外相機102發(fā)射的紅外線的強度量。此類控制量可以針對目標波長的每個候選(或者目標波長與參考波長的候選之間的每個組合)而提前確定，以便減少紅外圖像的灰度變化，并且此類控制量可以存儲在存儲單元156中。獲取單元143將所獲取的紅外圖像輸出到控制單元152和存儲單元156。

下文將參考圖13來描述根據第一更改實例的由圖像處理裝置1執(zhí)行的處理流程。

圖13是示出根據第一更改實例的由圖像處理裝置1執(zhí)行的處理流程的特定實例的流程圖。如圖13所示，控制單元152首先確定在該時點設置的目標波長是否要切換成另一波長(步驟s102)。如果確定要切換目標波長(步驟s102/是)，那么控制單元152改變目標波長的設置值(步驟s104)。相反，如果確定目標波長不要切換(步驟s102/否)，那么跳過步驟s104。接下來，控制單元152確定目標波長是否不同于參考波長(步驟s210)。如果確定目標波長不同于參考波長(步驟s210/是)，那么控制單元152取決于目標波長(或者目標波長和參考波長的組合)確定紅外相機102的控制量(步驟s212)。相反，如果確定目標波長并非不同于參考波長(步驟s210/否)，那么跳過步驟s212。接下來，如有必要的話，控制單元152使紅外相機102根據在步驟s212中確定的控制量來發(fā)射紅外線(步驟s206)，并且使獲取單元154通過紅外相機102的圖像捕獲來獲取紅外圖像(步驟s208)。隨后，獲取單元154將所獲取的紅外圖像輸出到控制單元152和存儲單元156。之后，在下一幀上重復上述處理。

根據第一更改實例，控制單元152通過取決于目標波長而控制在成像單元處接收的紅外線的量來控制紅外圖像的灰度，如上文所述。因此，有可能在不需要之后轉換像素值的情況下減小用于紅外相機的圖像捕獲的紅外線的目標波長切換之前和之后的灰度的變化。

(第二更改實例)

前一部分中描述了紅外圖像的像素值由使用濾波器系數的濾波器計算進行轉換的實例。在第二更改實例中，紅外圖像的相應像素值由更簡單的方法轉換。

在第二更改實例中，取決于目標波長的轉換控制信息包括共同應用于多個像素的單個轉換放大率，并且轉換單元158通過將紅外圖像的相應像素值乘以轉換放大率來轉換紅外圖像的相應像素值。例如，轉換單元158基于目標波長切換之前和之后的灰度平均值的比率來計算轉換放大率。相反，轉換放大率可以針對目標波長的每個候選(或者目標波長和參考波長的候選的每個組合)而提前確定。

下文將描述根據第二更改實例的由圖像處理裝置1執(zhí)行的處理流程。根據第二更改實例的由圖像處理裝置1執(zhí)行的處理流程不同于上文在像素值轉換處理中參考圖11描述的處理流程(步驟s112)。下文將參考圖14來描述根據第二更改實例的由圖像處理裝置1執(zhí)行的像素值轉換處理流程。

圖14是示出根據第二更改實例的像素值轉換處理流程的特定實例的流程圖。如圖14所示，轉換單元158首先(例如)通過計算目標波長切換之前(或者過去以參考波長捕獲的圖像)的灰度平均值與切換之后的灰度平均值之間的比率來計算轉換放大率(步驟s252)。接下來，轉換單元158選擇紅外圖像中的一個像素作為聚焦像素(步驟s154)，并且通過將聚焦像素的像素值乘以轉換放大率來計算轉換之后的聚焦像素的像素值(步驟s256)。隨后，如果還有尚未完成像素值轉換的像素(步驟s158/否)，那么轉換單元158選擇下一像素作為聚焦像素并且在該聚焦像素上重復上述處理。相反，如果已經對所有的像素完成像素值轉換(步驟s158/是)，那么像素值轉換處理結束。

根據第二更改實例，轉換控制信息包括通常將應用于多個像素的單個轉換放大率，并且轉換單元158通過將紅外圖像的相應像素值乘以轉換放大率來轉換紅外圖像的相應像素值，如上文所述。因此，有可能在不需要復雜處理(諸如，初步學習處理或使用大量濾波器抽頭的濾波器計算)的情況下簡單地控制紅外圖像的灰度。此外，由于不必提前存儲具有相對大量信息的濾波器系數，因此，可以節(jié)省存儲器。

<3.總結>

根據本公開的實施例，有可能提供不受干擾影響的穩(wěn)定紅外圖像，同時防止從其他紅外相機發(fā)射的紅外線被紅外圖像捕獲，如上文所述。

本說明書中描述的由每個設備實施的一系列控制過程可以由軟件、硬件或者軟件和硬件的組合實現。構成此類軟件的程序可以提前存儲在設于每個設備的內部或外部的(例如)存儲介質(非瞬時介質)上。作為一個實例，在由計算機執(zhí)行期間，此類程序寫入到ram(隨機存取存儲器)中并且由諸如cpu等處理器執(zhí)行。

應注意，本說明書中參考流程圖描述的處理不必按照流程圖中示出的順序執(zhí)行。一些處理步驟可以并行執(zhí)行。另外，可以采用一些額外步驟，或者可以省略一些處理步驟。

上文已參考附圖描述了本公開的優(yōu)選實施例，然而本公開不限于上述實例。所屬領域的技術人員可在所附權利要求書的范圍內找出各種變化和修改，并且應理解，它們自然都在本公開的技術范圍內。

另外，本說明書中描述的效果僅僅是說明性或例示效果，而不是限制性的。也就是說，連同或代替上述效果，根據本公開的技術可實現所屬領域的技術人員從本說明書的描述中明白的其他效果。

另外，本技術也可配置如下：

(1)

一種圖像處理裝置，其包括：

獲取單元，其獲取紅外圖像；以及

控制單元，其可變地控制由所述獲取單元獲取的所述紅外圖像的目標波長，并且取決于所述目標波長控制所述紅外圖像的灰度。

(2)

根據(1)所述的圖像處理裝置，

其中所述控制單元控制所述紅外圖像的所述灰度，以便在所述目標波長不同于參考波長時，減少所述紅外圖像的所述灰度從以所述參考波長獲取的圖像的變化。

(3)

根據(2)所述的圖像處理裝置，其還包括：

轉換單元，其轉換由所述獲取單元獲取的所述紅外圖像的像素值，

其中所述控制單元通過使所述轉換單元使用取決于所述目標波長的轉換控制信息來轉換所述紅外圖像的所述像素值而控制所述紅外圖像的所述灰度。

(4)

根據(3)所述的圖像處理裝置，

其中所述轉換控制信息包括濾波器系數，并且

所述轉換單元通過使用所述濾波器系數在由所述獲取單元獲取的所述紅外圖像上執(zhí)行濾波器計算來轉換所述紅外圖像的所述像素值。

(5)

根據(4)所述的圖像處理裝置，

其中所述轉換單元使用通過學習處理提前確定的所述濾波器系數來執(zhí)行所述濾波器計算。

(6)

根據(3)所述的圖像處理裝置，

其中所述轉換控制信息包括共同應用于多個像素的單個轉換放大率，并且

所述轉換單元通過將由所述獲取單元獲取的所述紅外圖像的所述像素值中的每個乘以所述轉換放大率來轉換所述紅外圖像的所述像素值中的每個。

(7)

根據(3)到(6)中任一項所述的圖像處理裝置，

其中所述控制單元從多個波長候選中選擇所述目標波長，并且

所述圖像處理裝置還包括存儲單元，所述存儲單元存儲針對所述多個波長候選中的每個提前確定的所述轉換控制信息。

(8)

根據(7)所述的圖像處理裝置，

其中所述存儲單元存儲用于所述多個波長候選和所述參考波長的組合中的每個的所述轉換控制信息。

(9)

根據(2)所述的圖像處理裝置，其還包括：

成像單元，其通過接收紅外線來對物體進行成像，

其中所述獲取單元獲取由所述成像獲得的原始圖像作為所述紅外圖像，并且

所述控制單元通過取決于所述目標波長而控制在所述成像單元處接收的紅外線的量來控制所述紅外圖像的所述灰度。

(10)

根據(1)到(9)中任一項所述的圖像處理裝置，其還包括：

成像單元，其通過接收已經穿過光學濾波器的紅外線來對物體進行成像，

其中所述獲取單元獲取由所述成像獲得的原始圖像作為所述紅外圖像，并且

所述控制單元通過切換所述光學濾波器的通頻帶來可變地控制由所述獲取單元獲取的所述紅外圖像的所述目標波長。

(11)

根據(1)到(8)中任一項所述的圖像處理裝置，

其中所述獲取單元通過將所述目標波長的分量與通過對物體進行成像而獲得的原始圖像分開來獲取所述紅外圖像。

(12)

一種圖像處理方法，其包括：

由圖像處理裝置獲取紅外圖像；

可變地控制所述獲取的紅外圖像的目標波長；以及

取決于所述目標波長控制所述紅外圖像的灰度。

(13)

一種程序，其使控制圖像處理裝置的計算機起到下列項的作用：

獲取單元，其獲取紅外圖像；以及

控制單元，其可變地控制由所述獲取單元獲取的所述紅外圖像的目標波長，并且取決于所述目標波長控制所述紅外圖像的灰度。

參考標號列表

1圖像處理裝置

102紅外相機

104輸入接口

106存儲器

108顯示器

110通信接口

112存儲設備

114處理器

116總線

152控制單元

154獲取單元

156存儲單元

158轉換單元。