本發(fā)明涉及由遠程駕駛的移動設備(此后稱為“無人機”)，尤其是諸如飛行無人機或UAV(無人駕駛飛行器)等機動飛行器，的板載相機捕捉的數(shù)字圖像的處理。

然而，本發(fā)明不限于由飛行設備收集的圖像；它還適用于由遠程操作者控制的在地面上移動的輪式設備或者在水域上移動的漂浮設備，術語“無人機”必須被理解成其最一般的意義。

本發(fā)明有利地應用于由旋翼無人機(諸如四旋翼直升機)的前置相機收集的圖像。

背景技術：

法國巴黎Parrot SA公司的AR.Drone 2.0或Bebop Drone是這樣的四螺旋槳直升機的典型示例。它們配備一系列傳感器(加速度計、3軸陀螺儀、高度計)、捕捉無人機所朝向的場景的圖像的前置相機、以及捕捉飛過的地面的圖像的俯視相機。它們設有由相應的馬達驅(qū)動的多個旋翼，這些馬達可以以不同模式控制，從而在姿態(tài)和速度方面駕駛該無人機。這樣的無人機的各方面尤其在WO 2010/061099 A2、EP 2 364 757 A1、EP 2 613 213 A1或EP 2 613 214 A1(Parrot SA)中描述。

Timothy McDougal于2014年10月6日(XP055233862)發(fā)布在因特網(wǎng)上的題為“The New Parrot Bebop Drone:Built for Stabilized Aerial Video(新Parrot Bebop Drone：為穩(wěn)定化航空視頻而造)”的論文具體描述了上述Bebop Drone設備，它是配備有與圖像穩(wěn)定化和控制系統(tǒng)相關聯(lián)的魚眼鏡頭的無人機。

前攝像機可被用于“沉浸模式”駕駛，即用戶以如同他自己在無人機上一樣的方式使用相機的圖像。它也可用于捕捉無人機所朝向的場景的圖像序列。因此，用戶可以以相機或便攜式相機將由無人機承載的相同方式來使用無人機而不是將其握在手中。所獲取的圖像可以被記錄，隨后廣播，在視頻序列主存網(wǎng)站上上線，發(fā)送給其他因特網(wǎng)用戶，在社交網(wǎng)絡上共享，等等。

這些圖像旨在被記錄和傳遞，它們具有可能較少缺陷(尤其是由無人機的行為造成的缺陷)是合乎需要的：的確，無人機向前、向后、或向側(cè)方的任何線性位移涉及無人機的傾斜，并且因此涉及由相機獲取的圖像的不合乎需要的對應移位、旋轉(zhuǎn)、振動等效果，在實踐中，這在顯示給用戶的最終圖像中引入各種不合時宜的偽像。

這些缺陷在“沉浸駕駛”配置中可能是可容忍的。另一方面，如果要使用無人機作為移動攝像機來捕捉將被記錄并稍后呈現(xiàn)的序列，這些缺陷將極其麻煩，所以將它們降至最小是合乎需要的。

在上述Bebop Drone的情況下，后者實現(xiàn)配備有覆蓋約180°視野的魚眼型半球形物鏡的相機，但該相機捕捉的視野的僅一部分被使用，這一部分大致對應于由常規(guī)相機捕捉的角扇區(qū)。

為此，在傳感器的表面處形成的總體半球形圖像中選擇特定窗口(此后稱為“捕捉區(qū)域”)。這一窗口旋轉(zhuǎn)且平移地移動，并且永久地因變于由慣性單元確定的無人機的移動并且在相對于這些移動的相反方向上來移位。當然，由魚眼鏡頭獲取的圖像經(jīng)歷與常規(guī)相機相同的振動和旋轉(zhuǎn)移動，但圖像區(qū)域的位移被反饋控制以補償這些移動并因此產(chǎn)生針對無人機的移動來穩(wěn)定化的圖像。

捕捉區(qū)域的圖像(更確切地是后者的有用部分)(此后稱為“有用區(qū)域”)隨后經(jīng)受重投影處理以補償由魚眼鏡頭引入的幾何失真：將由該鏡頭彎曲的直線變直，重建圖像的中心和周界之間的均勻放大，等等。所獲得的最終圖像(“經(jīng)變直的有用區(qū)域”)隨后被傳送給用戶以顯示在屏幕上、被記錄，等等。

因此，通過從在初始圖像中在與無人機的移動相對的方向上動態(tài)地旋轉(zhuǎn)和平移地移位的所捕捉的特定區(qū)域(捕捉區(qū)域)的總體場景中進行提取以消滅否則將在顯示給用戶的最終圖像中觀察到的振動，隨后通過有用圖像變直處理以獲得沒有幾何失真也沒有其他失真的場景的表示，來定義“虛擬相機”。

這一技術在2015年10月21日發(fā)布的EP 2 933 775 A1(Parrot)中描述。

類似技術在Miyauchi R等人的論文“Development of Omni-Directional Image Stabilization System Using Camera Posture Information(使用相機姿勢信息的全向圖像穩(wěn)定系統(tǒng)的開發(fā))”，2007 IEEE機器人技術和仿生學國際會議會議錄，2007年12月15-18日，第920-925頁中描述，它提出了將這樣的EIS(電子圖像穩(wěn)定化)技術應用于由配備有“魚眼”型半球形物鏡(即，覆蓋約180°視野)的相機所捕捉的圖像。原始圖像被獲取，經(jīng)受變直處理(以補償魚眼失真)，并隨后經(jīng)受因變于攜帶相機的機器人的移動的動態(tài)開窗處理。該補償通過在與要被補償?shù)囊苿酉喾吹姆较蛏蠈⒉蹲絽^(qū)域平移至獲取區(qū)域來操作，所述傳感器僅發(fā)送對應于經(jīng)穩(wěn)定的圖像的子部分。

本發(fā)明旨在消除在無人機的某些移動期間發(fā)生的特定缺陷。

這一缺陷涉及動態(tài)控制相機的特定數(shù)量的操作參數(shù)，即由圖像分析算法(諸如自動曝光算法(AE，基于對圖像的不同點的亮度的分析)、自動白平衡(AWB，基于圖像的不同點的色度分析)、或動態(tài)聚焦(AF，基于圖像的不同點的對比度的分析)自動調(diào)整的參數(shù)。

AE和AWB算法的示例可以在US 2015/0222816 A1中找到且AF算法的示例可以在US 2013/0021520 A1中找到。

在以下描述中，將自動曝光控制當作典型的具體示例，但本發(fā)明被限于控制這一參數(shù)，并且如將理解的，可被應用于基于對圖像的分析的其他參數(shù)的自動控制，諸如白平衡和聚焦。

自動曝光(AE)算法的原理是為傳感器選擇配對{曝光時間，增益}，從而使得以同一目標亮度捕捉任何場景成為可能。這一選擇是基于對通過子采樣或抽取來獲得的圖像的降低分辨率版本(例如，64x48像素)(此后稱為“縮略圖”)的分析并且從中提取亮度柱狀圖以及可能的其他參數(shù)(這樣的不同起始數(shù)據(jù)此后由通用術語稱為圖像的“統(tǒng)計數(shù)據(jù)”)來操作的。

在從傳感器收集的總體圖像中提取捕捉區(qū)域的上述情況下，這是產(chǎn)生用于計算自動曝光控制的參數(shù)的統(tǒng)計數(shù)據(jù)的捕捉區(qū)域的內(nèi)容。

但是，如上文解釋的，這一捕捉區(qū)域大于將被顯示給用戶的最終有用區(qū)域，使得自動曝光算法可基于用戶沒有看到的場景元素來作出決策，即位于捕捉區(qū)域內(nèi)部但在有用區(qū)域外部的元素。

現(xiàn)在，需要被正確地曝光的場景是由用戶看到的(有用區(qū)域)，而非捕捉區(qū)域(它不同于后者)。

在包括天空的一部分和地面的一部分的圖像的示例中，天空和地面之間的比例將根據(jù)相機傾斜并且因此根據(jù)無人機姿態(tài)而變化。以此方式，如果無人機從懸停飛行姿態(tài)通過到下傾姿態(tài)(這一傾斜產(chǎn)生前向線性位移)，則相機(向地面傾斜(因為它鏈接到無人機主體))將捕捉地面的高得多的比例。因為地面較暗，所以自動曝光算法的控制將往往通過增加曝光時間和/或增益來補償這一亮度變化。

然而，由于捕捉區(qū)域在初始圖像中的位移以及用于從中提取有用區(qū)域的重投影，用戶將總是看到同一場景。但這一場景將由于自動曝光的校正動作而已被臨時曝光過度，在無人機將回到其初始姿態(tài)時曝光過度將消失——并且因此用戶看到的圖像的輪廓沒有改變。

本發(fā)明旨在解決這樣的問題。

技術實現(xiàn)要素：

為此，本發(fā)明尤其根據(jù)Miyauchi等人的上述論文提出了一種無人機，以本質(zhì)上已知的方式包括：

-鏈接到無人機主體的相機，包括：指向相對于所述無人機主體的固定方向的魚眼型半球形物鏡，收集由所述鏡頭形成的圖像并遞送原始圖像數(shù)據(jù)的數(shù)字傳感器；

-慣性單元，其被適配成測量表征所述無人機相對于絕對陸地參考系的即時姿態(tài)并作為輸出來遞送當前無人機姿態(tài)數(shù)據(jù)的歐拉角；

-提取器裝置，其被適配成在所述傳感器的廣度上形成的所述圖像中定義經(jīng)縮減大小的捕捉區(qū)域的位置；

-控制裝置，它接收所述當前無人機姿態(tài)數(shù)據(jù)作為輸入并被適配成在與由所述慣性單元測量到的角度值的變化方向相反的方向上動態(tài)地修改所述捕捉區(qū)域在所述圖像中的位置和定向；以及

-重投影裝置，它接收從所述捕捉區(qū)域提取的用戶區(qū)域的圖像數(shù)據(jù)作為輸入并且遞送對應的經(jīng)變直的圖像數(shù)據(jù)作為輸出，補償由所述魚眼鏡頭引入的幾何失真。

本發(fā)明的特征在于，所述相機進一步包括用于動態(tài)地控制自動曝光、白平衡和自動聚焦之間的至少一個成像參數(shù)的裝置，并且所述無人機進一步包括：

分析裝置，其被適配成在所述捕捉區(qū)域中定義至少一個經(jīng)縮減分辨率的縮略圖并因變于所述縮略圖中包含的圖像數(shù)據(jù)來遞送所述成像參數(shù)的當前值；以及

補償器裝置，這樣的裝置接收由所述慣性單元遞送的當前無人機姿態(tài)數(shù)據(jù)作為輸入并且被適配成因變于這些當前姿態(tài)數(shù)據(jù)以及由所述分析裝置遞送的所述成像參數(shù)的所述值，在與易于由所述無人機的姿態(tài)的即時變化造成的變化相反的方向上與所述分析裝置動態(tài)地交互。

以此方式，成像參數(shù)保持為基本上獨立于所述無人機的姿態(tài)的即時變化的值。

有利地，所述分析裝置被進一步適配成從來自所述捕捉區(qū)域的縮略圖中包含的所述圖像數(shù)據(jù)中排除位于由所述鏡頭在所述傳感器上形成的圖像的區(qū)域之外的原始圖像數(shù)據(jù)。

根據(jù)第一實施例，所述補償器裝置接收來自由所述提取器裝置遞送的所述捕捉區(qū)域的縮略圖中包括的圖像數(shù)據(jù)作為輸入，并且所述分析裝置包括適配成在每一圖像中動態(tài)地定義分布在所述捕捉區(qū)域上的多個感興趣區(qū)域ROI并且遞送每一相應縮略圖的所述成像參數(shù)的當前值的裝置，其中每一ROI具有一對應縮略圖。所述補償器裝置隨后包括適配成通過因變于所述當前無人機姿態(tài)數(shù)據(jù)修改所述捕捉區(qū)域中的ROI的大小和/或位置來與所述分析裝置動態(tài)地交互的裝置。

有利地，所述補償器裝置包括適配成從ROI的定義中預先排除位于所述捕捉區(qū)域中包括的當前用戶區(qū)域外部的那些ROI的裝置。

所述補償器裝置可尤其包括適配成向每一ROI分配作為所述ROI與在所述捕捉區(qū)域內(nèi)部定義的所述當前用戶區(qū)域的或大或小的交疊程度的函數(shù)的奇異加權值的裝置，這一值對于完全包括在所述當前用戶區(qū)域中的所述ROI是最大值且當該交疊ROI在所述當前用戶區(qū)域內(nèi)部和外部兩者中延伸時較小。

所述補償器裝置還可包括適配成向每一ROI分配作為所述ROI的或多或少表面積的函數(shù)的奇異加權值的裝置。

根據(jù)第二實施例，所述補償器裝置接收來自由所述提取器裝置遞送的所述捕捉區(qū)域的縮略圖中包括的圖像數(shù)據(jù)作為輸入，并且所述分析裝置包括適配成針對每一ROI定義按均勻且預定的方式分布在所述捕捉區(qū)域上的感興趣ROI區(qū)域的網(wǎng)格并且遞送每一相應縮略圖的所述成像參數(shù)的當前值的裝置，其中每一ROI具有一對應縮略圖。所述補償器裝置隨后包括適配成通過向每一ROI分配作為所述ROI與在所述捕捉區(qū)域內(nèi)部定義的所述當前用戶區(qū)域的交疊程度的函數(shù)的奇異加權值來與所述分析裝置動態(tài)地交互的裝置，這一值對于包括在所述當前用戶區(qū)域中的所述ROI是最大值、對于處于所述當前用戶區(qū)域外部的所述ROI是最小值、且當該交疊ROI在所述當前用戶區(qū)域內(nèi)部和外部兩者中延伸時是中間值。

根據(jù)第三實施例，所述補償器裝置接收由所述重投影裝置遞送的補償了由所述魚眼鏡頭引入的幾何失真的經(jīng)變直的圖像數(shù)據(jù)作為輸入。

在這種情況下，所述分析裝置尤其可包括適配成在每一圖像中動態(tài)地定義分布在所述經(jīng)變直的圖像上的多個感興趣ROI區(qū)域并且遞送每一相應縮略圖的所述成像參數(shù)的當前值的裝置，其中每一ROI具有一對應縮略圖。所述補償器裝置隨后包括適配成通過因變于所述當前無人機姿態(tài)數(shù)據(jù)修改所述經(jīng)變直的圖像中的ROI的大小和/或位置來與所述分析裝置動態(tài)地交互的裝置。

附圖說明

現(xiàn)在將參考附圖描述本發(fā)明的實現(xiàn)的示例，在所有附圖中，相同的附圖標記指示相同或功能上相似的元素。

圖1是示出無人機以及相關聯(lián)的允許其遠程駕駛的遙控設備的概覽示圖。

圖2a和2b示出例如在加速階段期間由無人機的前傾所引起的相機的查看方向的修改。

圖3在(a1)-(a3)中示出應用于在無人機相機的傳感器上形成的圖像的開窗和失真校正以產(chǎn)生經(jīng)變直的圖像的連貫步驟，并在(b1)-(b3)示出在無人機姿態(tài)被修改時的對應步驟，其相機朝地面傾斜。

圖4在(a)和(b)中示出通過分別分析圖3的捕捉區(qū)域(a2)和(b2)來獲得的亮度柱狀圖。

圖5作為框圖示出了參與本發(fā)明的實現(xiàn)的不同模塊。

圖6是在本發(fā)明的第一和第二實施例中解釋本發(fā)明的實現(xiàn)的主要連貫步驟的流程圖。

圖7解說根據(jù)本發(fā)明的第一實施例的基于自動定義在捕捉區(qū)域內(nèi)的感興趣區(qū)域來分析這一捕捉區(qū)域的各區(qū)域。

圖8解說根據(jù)本發(fā)明的第二實施例的基于在捕捉區(qū)域內(nèi)形成網(wǎng)格來分析這一捕捉區(qū)域的各區(qū)域。

圖9是在本發(fā)明的第三實施例中解釋本發(fā)明的實現(xiàn)的主要連貫步驟的流程圖。

具體實施方式

現(xiàn)在將描述本發(fā)明的實現(xiàn)的示例。

在圖1中，附圖標記10一般表示無人機，它例如是諸如法國巴黎Parrot SA公司的型號Bebop Drone等四螺旋槳直升機。這一無人機包括四個共面旋翼12，這些旋翼的馬達由集成的導航與姿態(tài)控制系統(tǒng)彼此獨立地駕駛。為其配置有前視相機14，以允許獲得該無人機所指向的場景的圖像。

該無人機還包括指向下的俯視相機(未示出)，其適配成捕捉所飛過的地面的連續(xù)圖像并且尤其用于估算無人機相對地面的速度。慣性傳感器(加速度計和陀螺儀)準許以某一準確度來測量無人機的加速度和姿態(tài)角，即描述無人機在固定陸地參考系中相對于地平面的傾斜的歐拉角(俯仰滾轉(zhuǎn)θ以及偏航ψ)。此外，安排在無人機下的超聲波測距儀還提供了對相對于地面的姿態(tài)的測量。

用遙控設備16來駕駛無人機10，遙控設備16設有觸摸屏18，該觸摸屏18顯示由前置相機14機載的圖像并疊加有某一數(shù)量的符號，這些符號允許通過用戶的手指20在觸摸屏18上的簡單接觸來激活駕駛命令。設備16設有用于與無人機進行無線電鏈接的裝置，例如Wi-Fi(IEEE 802.11)局域網(wǎng)類型，以供進行雙向數(shù)據(jù)交換，具體而言從無人機10到設備16用于傳輸由相機14捕捉的圖像，以及從設備16到無人機10用于發(fā)送駕駛命令。

遙控設備16還設有傾斜傳感器，從而準許通過向設備給予繞滾轉(zhuǎn)和俯仰軸的對應傾斜來控制無人機姿態(tài)，將理解，無人機10的水平速度的兩個縱向和橫向分量將被緊密鏈接到繞兩個相應俯仰軸和滾轉(zhuǎn)軸的傾斜。無人機的駕駛包括使得其通過下述方式開展：

繞俯仰軸22旋轉(zhuǎn)以使得其向前或向后移動；

繞旋轉(zhuǎn)軸24旋轉(zhuǎn)以使得其向右或向左移位；

繞偏航軸26旋轉(zhuǎn)，使無人機的主軸向右或向左樞轉(zhuǎn)；以及

通過改變氣體控制來向下或向上平移，從而相應地減少或增加無人機的高度。

當用戶從遙控設備16施加這些駕駛命令時，由設備16繞其縱向軸28和其橫向軸30傾斜來分別獲得繞俯仰軸22和旋轉(zhuǎn)軸24樞轉(zhuǎn)的命令a)和b)：例如，為了使得無人機向前移動，只需要通過繞軸28傾斜遙控設備16來向前傾斜它，為了使得其向右側(cè)移動，只需要通過繞軸30向右傾斜遙控設備16來傾斜它，等等。命令c)和d)本身是通過用戶的手指20在觸摸屏18的相應特定區(qū)域上的觸摸而施加的動作的結(jié)果。

無人機還具有自動和自主的懸浮飛行穩(wěn)定系統(tǒng)，一旦用戶將其手指移離該設備的觸摸屏，該系統(tǒng)就被激活，或在起飛階段結(jié)束時自動激活，或還可在該設備和無人機之間的無線電鏈接中斷的情況下被激活。

圖2a示意地在側(cè)面上示出當在升程時無人機靜止時的其姿態(tài)。

常規(guī)類型的(例如覆蓋54°視野的相機)以及其視軸δ在地平線中心的前置相機14所覆蓋的視野以36來示意性地示出。

如果，如在圖2b中所示，無人機以非零的水平速度向前移動，按照設計，該無人機的軸26將相對于垂直V前傾角(俯仰角)。由箭頭38圖示出的這種前傾涉及相機相對于水平面HZ的軸δ的由箭頭40所圖示的相同值的傾斜。因此，可以理解，在無人機的行進期間，當無人機加速或減速等等時，軸δ繞水平方向HZ持久地振動，這在該圖像中將轉(zhuǎn)換成持久的向上和向下振動移動。

相較而言，如果無人機向右側(cè)或左側(cè)移動，該移動將伴有繞滾轉(zhuǎn)軸24的樞轉(zhuǎn)，這在該圖像中將轉(zhuǎn)換成在相機所捕捉的場景的一個方向或另一方向上的旋轉(zhuǎn)。

為補償這些缺陷，如在上述EP 2 933 775 A1(在2015年10月21日公布)中解釋的，提出了向相機提供覆蓋約180°視野的魚眼型半球形物鏡，如在圖2a中的42中示意性地示出的。配備有這一魚眼鏡頭的相機所捕捉的圖像將當然經(jīng)受與常規(guī)相機相同的振動和旋轉(zhuǎn)移動，但通過選擇與常規(guī)相機捕捉的角扇區(qū)36相對應的特定窗口，并且該特定窗口將在半球形圖像中在與由慣性中心確定的無人機的移動相對的方向上動態(tài)地位移，以便消滅否則將在圖像中觀察到的振動，這一相機捕捉的視野的僅一部分將被使用。

因此，在圖2b所示的情況中，其中無人機相對于垂直V下潛俯仰角(箭頭38)，捕捉窗口將被向上移位相同值的角度(箭頭44)，從而“虛擬相機”的覆蓋與圖像區(qū)域相對應的視野的扇區(qū)36的中心軸返回朝向地平線HZ。

現(xiàn)將參考附圖3描述本發(fā)明的問題。

圖3在(a1)中示出場景的示例，如配備有魚眼鏡頭的攝像機的傳感器所收集的。

如可看到的，這一場景的圖像I包括魚眼鏡頭的半球形或準半球形覆蓋所固有的、在傳感器的平面表面上將其變直的、非常強的幾何失真。

魚眼鏡頭產(chǎn)生的這一圖像I的僅一部分將被使用。這一部分是依據(jù)下述各項來確定的：i)“虛擬相機”所指向的方向，ii)后者的視野(在圖2a和2b中以36示出)，以及iii)其寬度/高度比。因此，定義了包含原始像素數(shù)據(jù)的“捕捉區(qū)域”ZC，該區(qū)域包括與在對魚眼鏡頭所引起的幾何失真的補償之后的虛擬相機的視野相對應的原始“有用區(qū)域”ZU_B。

將注意，捕捉在傳感器上形成的圖像I的所有像素不是有用的，而是僅捕捉后者的與捕捉區(qū)域ZC相對應的一部分將是有用的，例如從由其分辨率通常將是14百萬像素(4608x 3288像素)的傳感器產(chǎn)生的HD質(zhì)量的圖像I提取的約2百萬像素窗口ZC(1920x 1080像素)。因此，只有捕捉區(qū)域ZC的真正需要的像素數(shù)據(jù)被傳送，這是隨后以30幀/秒的節(jié)律來刷新而沒有特別困難的數(shù)據(jù)。因此，在保持高圖像流速率的同時可以選擇高分辨率的傳感器。

圖3的各視圖(a2)和(a3)示出了在捕捉區(qū)域ZC的像素數(shù)據(jù)上執(zhí)行以獲得針對幾何失真進行了補償?shù)淖罱K圖像的處理：基于從捕捉區(qū)域ZC(視圖(a2))傳送的像素數(shù)據(jù)，一算法提取原始有用區(qū)域ZU_B的像素數(shù)據(jù)并向其應用三角網(wǎng)格(顧名思義的技術)，隨后通過拉伸每一三腳來將圖像變直，以給出具有經(jīng)矯正的像素數(shù)據(jù)的經(jīng)變直的有用圖像ZU_R(視圖(a3))。魚眼圖像的非常彎曲的水平線隨后將被校正以使得它們成直線，并且產(chǎn)生對應于自然視覺的圖像，而沒有幾何失真。

圖3的視圖(b1)-(b3)類似于視圖(a1)-(a3)，其中無人機的姿態(tài)由于無人機的前傾(繞其俯仰軸旋轉(zhuǎn))(例如跟隨在從靜止配置、懸停飛行的切換的傾斜)而被修改到向前移動的配置(無人機的線性速度在其傾斜很強時更大)。

如在(b1)中所示，為補償無人機的這一下傾，捕捉區(qū)域ZC朝圖像的頂部移動，因此在與無人機的傾斜相對的方向上移動。如果原始有用區(qū)域ZU_B的相對位置在捕捉區(qū)域ZC內(nèi)保持基本上相同(以允許瞄準場景的后續(xù)部分)，則另一方面捕捉區(qū)域現(xiàn)在將包括地面S的比天空C顯著得多的部分：如果隨后比較視圖(a2)和(b3)，可觀察到在初始配置(視圖(a2))中，天空/地面比率是約50/50％，而在經(jīng)修改的配置中(視圖(b2))，天空/地面比率是約25/75％。此外，在強烈地向上位移時，捕捉區(qū)域可包括位于由傳感器上的魚眼鏡頭形成的圓形圖像的區(qū)域之外的區(qū)域X。

另一方面，經(jīng)變直的有用區(qū)域的最終圖像ZUR(視圖(b3))將基本上等同于在無人機前傾之前的原貌(視圖(a3))。

圖4示出了分別在(a)視圖(a2)的情況下以及在(b)視圖(b2)的情況下通過分析來自捕捉區(qū)域ZC的縮略圖的像素的亮度而獲得的柱狀圖。

如在該附圖中可看到的，無人機前傾被轉(zhuǎn)換成亮度柱狀圖的顯著修改，其中均值M由于區(qū)域ZC的圖像中地面/天空比率的增加而朝向左側(cè)偏移。

自動曝光算法將均值M的這一變化解釋成圖像的變暗，這將通過增加曝光時間和/或相機敏感度來自動補償。

以此方式，分別獲得的最終圖像(a3)和(b3)(經(jīng)變直的有用區(qū)域ZU_R的圖像)將因它們的曝光設置而彼此不同，雖然它們顯示給用戶的是場景的相同幀，視圖(b3)的圖像比視圖(a3)的圖像更清楚。

本發(fā)明的目標是校正這一缺陷。

圖5作為框圖示出了參與本發(fā)明的實現(xiàn)的不同模塊。

無人機的前置相機14遞送與圖像I相對應的原始圖像信號。這一相機在機械上鏈接到無人機主體，經(jīng)受由鏈接到無人機主體并因而鏈接到相機的慣性單元(MU)12所測量的角位移。相機的旋轉(zhuǎn)通過俯仰角滾轉(zhuǎn)角θ以及偏航角ψ給出，描述了無人機相對于固定陸地參考系的在三個維度中的傾斜(歐拉角)。這些數(shù)據(jù)被應用于角預測模塊48，從而引導計算捕捉區(qū)域ZC在圖像I中的位置的模塊。視頻處理模塊52接收原始圖像信號I作為輸入，并因變于由模塊50計算得到的捕捉區(qū)域ZC的位置進行開窗、圖像穩(wěn)定化、有用區(qū)域的提取和變直的各操作，以向用戶遞送要傳送給用戶并可能被顯示和記錄的有用圖像信號ZU_R作為輸出。

模塊52還執(zhí)行相機操作參數(shù)的控制(由返回54來示出)，尤其是自動曝光(EA)、白平衡AWB以及自動聚焦AF的控制。模塊52還確保根據(jù)本發(fā)明的對與這些相機操作參數(shù)的自動計算有關的上述缺陷的校正，如下文將描述的。

圖6是在本發(fā)明的第一和第二實施例中解釋本發(fā)明的實現(xiàn)的主要連貫步驟的流程圖。

這一流程圖100包括由相機收集原始圖像I的初始步驟(框102)，此后是因變于由慣性單元IMU遞送的無人機姿態(tài)數(shù)據(jù)從這一原始圖像提取捕捉區(qū)域ZC的步驟(框104)。

本發(fā)明的特征在于，隨后步驟(框106)包括以將參考圖7和8詳細公開的方式分析捕捉區(qū)域的圖像數(shù)據(jù)，以遞送相機控制參數(shù)，尤其是自動曝光參數(shù)。

捕捉區(qū)域ZC的內(nèi)容隨后經(jīng)受提取原始有用區(qū)域ZU_B和重投影這一原始有用區(qū)域ZU_B的處理(框108)以給出與遞送給用戶的最終經(jīng)變直的圖像相對應的經(jīng)變直的有用區(qū)域ZU_R。

參考圖7和8，現(xiàn)在將更詳細地描述由框106操作的數(shù)據(jù)分析的兩個可能的實施例。

另外，將注意，這一分析是在來自捕捉區(qū)域ZC中初始包含的圖像的縮略圖的基礎上(框104下游)在重投影步驟之前(108)執(zhí)行的，因此是在圖像的變形版本上執(zhí)行的。

圖7解說根據(jù)本發(fā)明的第一實施例的基于自動定義在來自捕捉區(qū)域的縮略圖內(nèi)的感興趣ROI區(qū)域來分析捕捉區(qū)域的各區(qū)域。

在這一實施例中，圖像分析設備定義(根據(jù)本質(zhì)上已知的技術，在此不詳細描述)多個感興趣ROI區(qū)域，它們是要分析的圖像的經(jīng)縮減大小的區(qū)域的幾何選集，其中為這些區(qū)域中的每一者確立一亮度柱狀圖。自動曝光算法分析并比較與不同ROI相對應的柱狀圖并且根據(jù)本質(zhì)上也已知的分析技術來相應地調(diào)整曝光水平。

本發(fā)明的特征在于，ROI被分布在來自捕捉區(qū)域的縮略圖中以全部或部分位于原始有用區(qū)域ZU_B內(nèi)部，即如果ROI定義算法生成了原始有用區(qū)域ZU_B外部的ROI，則這些ROI將從自動曝光控制的后續(xù)分析中排除。在任何情況下，位于由鏡頭在傳感器上形成的圖像的區(qū)域外部(圖3的視圖(b1)和(b2)的區(qū)域X)的像素數(shù)據(jù)被從分析中排除。換言之，對于自動曝光的計算而言，位于圖像圓外部的像素被忽略。

此外，向感興趣區(qū)域ROI₁、……、ROI_n中的每一者分配將所關注的ROI與在捕捉區(qū)域內(nèi)定義的原始用戶有用區(qū)域ZU_B的或多或少的交疊程度納入考慮的加權值：該權重針對完全包括在區(qū)域ZU_B中的ROI將是最大值，針對完全位于區(qū)域ZU_B外部的ROI將為空(這將它們從分析中排除)，以及針對部分包括在區(qū)域ZU_B中的ROI是中間值(權重隨著ROI的表面區(qū)域位于區(qū)域ZU_B內(nèi)部的比例更高而更高)。

圖8解說第二實施例，其中ROI不再被動態(tài)地定義和具有可變大小，而是作為來自捕捉區(qū)域ZC的縮略圖中的具有網(wǎng)格GR的規(guī)則網(wǎng)格，其中以與相關于圖7公開的第一實施例中相同的方式，該網(wǎng)格的每一基本方形或矩形ROI(i,j)將受到作為它與區(qū)域ZU_B的或多或少的交疊特性的函數(shù)的可變權重的影響。

圖9是在本發(fā)明的第三實施例中解釋本發(fā)明的實現(xiàn)的主要連貫步驟的流程圖。

在此第三實施例中，圖像數(shù)據(jù)分析并非在來自圖像的變形的初始版本的縮略圖(捕捉區(qū)域ZC和原始有用區(qū)域ZU_B)上執(zhí)行，其中權重被應用于每一感興趣區(qū)域，而是在來自重投影步驟之后的經(jīng)變直的圖像的縮略圖上執(zhí)行。

在流程圖200上，框202(圖像收集)、204(提取捕捉區(qū)域ZC)、以及206(用戶區(qū)域的提取和重投影)類似于圖6的相應框102、104、以及108。

另一方面，用于控制相機自動曝光參數(shù)的數(shù)據(jù)分析步驟(框208)在框206的下游操作，即在圖像的經(jīng)變直的版本上操作。自動曝光隨后常規(guī)地操作(自動定義ROI，等等)，而無需向每一ROI應用反映這一ROI相對于原始有用區(qū)域ZU_B的位置的加權值。