本發(fā)明涉及圖像處理領(lǐng)域，更具體地涉及一種圖像結(jié)構(gòu)化方法和裝置。

背景技術(shù)：

隨著通信網(wǎng)絡(luò)、數(shù)據(jù)壓縮和海量存儲(chǔ)技術(shù)的發(fā)展，越來(lái)越多的多媒體信息以計(jì)算機(jī)可讀的形式存在于互聯(lián)網(wǎng)上。它們不僅包括常見(jiàn)的文字?jǐn)?shù)據(jù)，還包括圖像、視頻等媒體信息。它們一般沒(méi)有圖像結(jié)構(gòu)，并缺乏語(yǔ)義信息，信息檢索系統(tǒng)難以對(duì)它們進(jìn)行有效搜索，只有對(duì)媒體數(shù)據(jù)進(jìn)行有效結(jié)構(gòu)化，才能幫助人們更快地找到感興趣內(nèi)容。

圖像結(jié)構(gòu)化是一種圖像內(nèi)容信息提取的智能分析過(guò)程，它對(duì)圖像內(nèi)容按照語(yǔ)義關(guān)系，采用時(shí)空分割、特征提取、對(duì)象識(shí)別等處理手段，組織成可供計(jì)算機(jī)和人理解的文本信息?？梢岳斫?，上述圖像可以是一個(gè)或多個(gè)獨(dú)立的圖像，還可以是組成視頻的幀。

目前，圖像結(jié)構(gòu)化，特別是視頻結(jié)構(gòu)化，已經(jīng)應(yīng)用到很多領(lǐng)域。例如，對(duì)行人，車(chē)輛的視頻結(jié)構(gòu)化是諸多安防應(yīng)用中不可或缺的一環(huán)。

現(xiàn)有技術(shù)中，通常把諸如行人、車(chē)輛等對(duì)象檢測(cè)和對(duì)象的屬性分析分成兩個(gè)獨(dú)立的環(huán)節(jié)來(lái)完成。首先，在檢測(cè)環(huán)節(jié)中，對(duì)每一視頻幀，檢測(cè)出行人和/或車(chē)輛。通過(guò)邊框把它們的位置和大小表示出來(lái)。然后，分析邊框中行人和/或車(chē)輛的屬性信息，達(dá)到視頻結(jié)構(gòu)化的目的。在以上兩個(gè)獨(dú)立環(huán)節(jié)中，都可能引入額外的誤差，造成誤差的傳播擴(kuò)大。由此，現(xiàn)有的圖像結(jié)構(gòu)化方法和系統(tǒng)處理精度較低，難以避免圖像中背景對(duì)分析感興趣對(duì)象的屬性的干擾。

技術(shù)實(shí)現(xiàn)要素：

考慮到上述問(wèn)題而提出了本發(fā)明。本發(fā)明提供了一種圖像結(jié)構(gòu)化方法和裝置。

根據(jù)本發(fā)明一個(gè)方面，提供了一種圖像結(jié)構(gòu)化方法，包括：

基于第一神經(jīng)網(wǎng)絡(luò)提取圖像的特征，其中所述特征用特征張量表示；

基于第二神經(jīng)網(wǎng)絡(luò)，根據(jù)所述特征張量確定所述圖像中的、可能存在感興趣對(duì)象的區(qū)域；

根據(jù)所述特征張量計(jì)算所述可能存在感興趣對(duì)象的區(qū)域的特征向量：以及

基于第三神經(jīng)網(wǎng)絡(luò)，根據(jù)所述特征向量識(shí)別所述可能存在感興趣對(duì)象的區(qū)域中的感興趣對(duì)象并確定所述感興趣對(duì)象的位置以及所述感興趣對(duì)象的屬性。

示例性地，所述第二神經(jīng)網(wǎng)絡(luò)包括回歸器，所述根據(jù)所述特征張量確定所述圖像中的、可能存在感興趣對(duì)象的區(qū)域包括：

針對(duì)所述特征張量中的超像素點(diǎn)對(duì)應(yīng)的向量，基于所述回歸器確定所述圖像中的、所述感興趣對(duì)象可能存在的矩形區(qū)域；以及

合并所述矩形區(qū)域中的、重疊度高于第一閾值的矩形區(qū)域，將合并后保留的矩形區(qū)域作為所述可能存在感興趣對(duì)象的區(qū)域。

示例性地，所述第二神經(jīng)網(wǎng)絡(luò)還包括分類(lèi)器，在所述合并步驟之前，所述根據(jù)所述特征張量確定所述圖像中的、可能存在感興趣對(duì)象的區(qū)域還包括：

針對(duì)所述特征張量中的超像素點(diǎn)對(duì)應(yīng)的向量，基于所述分類(lèi)器確定所述圖像中的、所述超像素點(diǎn)所對(duì)應(yīng)的區(qū)域存在的感興趣對(duì)象以及所存在的感興趣對(duì)象的可信度；以及

基于所述所存在的感興趣對(duì)象的可信度，獲得存在可信度高于第二閾值的感興趣對(duì)象的矩形區(qū)域；并且

其中，所述合并步驟只針對(duì)所述存在可信度高于第二閾值的感興趣對(duì)象的矩形區(qū)域。

示例性地，所述根據(jù)所述特征張量計(jì)算所述可能存在感興趣對(duì)象的區(qū)域的特征向量包括：

對(duì)于所述特征張量與所述可能存在感興趣對(duì)象的區(qū)域?qū)?yīng)的部分中的超像素點(diǎn)所對(duì)應(yīng)的向量的各個(gè)頻道，計(jì)算所述各個(gè)頻道的最大值或平均值；以及

根據(jù)所述各個(gè)頻道的最大值或平均值生成所述特征向量。

示例性地，所述根據(jù)所述特征張量計(jì)算所述可能存在感興趣對(duì)象的區(qū)域的特征向量包括：

將所有所述可能存在感興趣對(duì)象的區(qū)域劃分成特定數(shù)目的子區(qū)域；

對(duì)于所述特征張量與每個(gè)子區(qū)域的對(duì)應(yīng)的部分中的超像素點(diǎn)所對(duì)應(yīng)的向量的各個(gè)頻道，計(jì)算所述各個(gè)頻道的最大值或平均值；

根據(jù)所述各個(gè)頻道的最大值或平均值生成該子區(qū)域的向量；以及

連接所有子區(qū)域的向量，以生成所述特征向量。

示例性地，所述基于第一神經(jīng)網(wǎng)絡(luò)提取圖像的特征包括：基于所述第一神經(jīng)網(wǎng)絡(luò)，對(duì)所述圖像進(jìn)行卷積和池化，以獲得表示所述圖像的特征張量。

示例性地，所述特征是熱力圖。

示例性地，所述方法還包括：利用訓(xùn)練輸入數(shù)據(jù)和對(duì)應(yīng)的標(biāo)注內(nèi)容訓(xùn)練所述第一神經(jīng)網(wǎng)絡(luò)、所述第二神經(jīng)網(wǎng)絡(luò)和/或所述第三神經(jīng)網(wǎng)絡(luò)。

根據(jù)本發(fā)明另一方面，還提供了一種圖像結(jié)構(gòu)化裝置，包括：

特征提取模塊，用于基于第一神經(jīng)網(wǎng)絡(luò)提取圖像的特征，其中所述特征用特征張量表示；

可能區(qū)域分析模塊，用于基于第二神經(jīng)網(wǎng)絡(luò)根據(jù)所述特征張量確定所述圖像中的、可能存在感興趣對(duì)象的區(qū)域；

區(qū)域向量計(jì)算模塊，用于根據(jù)所述特征張量計(jì)算所述可能存在感興趣對(duì)象的區(qū)域的特征向量；以及

對(duì)象和屬性確定模塊，用于基于第三神經(jīng)網(wǎng)絡(luò)根據(jù)所述特征向量識(shí)別所述可能存在感興趣對(duì)象的區(qū)域中的感興趣對(duì)象并確定所述感興趣對(duì)象的位置以及所述感興趣對(duì)象的屬性。

示例性地，所述第二神經(jīng)網(wǎng)絡(luò)包括回歸器，所述可能區(qū)域分析模塊包括：

回歸單元，用于針對(duì)所述特征張量中的超像素點(diǎn)對(duì)應(yīng)的向量，基于所述回歸器確定所述圖像中的、所述感興趣對(duì)象可能存在的矩形區(qū)域；以及

合并單元，用于合并所述矩形區(qū)域中的、重疊度高于第一閾值的矩形區(qū)域，將合并后保留的矩形區(qū)域作為所述可能存在感興趣對(duì)象的區(qū)域。

示例性地，所述第二神經(jīng)網(wǎng)絡(luò)還包括分類(lèi)器，所述可能區(qū)域分析模塊還包括：

分類(lèi)單元，用于針對(duì)所述特征張量中的超像素點(diǎn)對(duì)應(yīng)的向量，基于所述分類(lèi)器確定所述圖像中的、所述超像素點(diǎn)所對(duì)應(yīng)的區(qū)域存在的感興趣對(duì)象以及所存在的感興趣對(duì)象的可信度；以及

排序單元，用于基于所述所存在的感興趣對(duì)象的可信度獲得存在可信度高于第二閾值的感興趣對(duì)象的矩形區(qū)域；并且

其中，所述合并單元只針對(duì)所述存在可信度高于第二閾值的感興趣對(duì)象的矩形區(qū)域進(jìn)行操作。

示例性地，所述區(qū)域向量計(jì)算模塊包括：

第一頻道值計(jì)算單元，用于對(duì)于所述特征張量與所述可能存在感興趣對(duì)象的區(qū)域?qū)?yīng)的部分中的超像素點(diǎn)所對(duì)應(yīng)的向量的各個(gè)頻道，計(jì)算所述各個(gè)頻道的最大值或平均值；以及

向量生成單元，用于根據(jù)所述各個(gè)頻道的最大值或平均值生成所述特征向量。

示例性地，所述區(qū)域向量計(jì)算模塊包括：

子區(qū)域劃分單元，用于將所有所述可能存在感興趣對(duì)象的區(qū)域劃分成特定數(shù)目的子區(qū)域；

第二頻道值計(jì)算單元，用于對(duì)于所述特征張量與每個(gè)子區(qū)域的對(duì)應(yīng)的部分中的超像素點(diǎn)所對(duì)應(yīng)的向量的各個(gè)頻道，計(jì)算所述各個(gè)頻道的最大值或平均值；

子區(qū)域向量生成單元，用于根據(jù)所述各個(gè)頻道的最大值或平均值生成該子區(qū)域的向量；以及

連接單元，用于連接所有子區(qū)域的向量，以生成所述特征向量。

示例性地，所述特征提取模塊包括特征提取單元，用于基于所述第一神經(jīng)網(wǎng)絡(luò)，對(duì)所述圖像進(jìn)行卷積和池化，以獲得表示所述圖像的特征張量。

示例性地，所述特征是熱力圖。

示例性地，所述裝置還包括訓(xùn)練模塊，用于利用訓(xùn)練輸入數(shù)據(jù)和對(duì)應(yīng)的標(biāo)注內(nèi)容訓(xùn)練所述第一神經(jīng)網(wǎng)絡(luò)、所述第二神經(jīng)網(wǎng)絡(luò)和/或所述第三神經(jīng)網(wǎng)絡(luò)。

上述圖像結(jié)構(gòu)化方法和裝置避免了在檢測(cè)對(duì)象和確定對(duì)象屬性這兩個(gè)環(huán)節(jié)中都引入額外的誤差。此外，還有效避免了背景對(duì)分析感興趣對(duì)象的屬性的干擾。這提高了圖像結(jié)構(gòu)化分析的準(zhǔn)確性。

附圖說(shuō)明

通過(guò)結(jié)合附圖對(duì)本發(fā)明實(shí)施例進(jìn)行更詳細(xì)的描述，本發(fā)明的上述以及其它目的、特征和優(yōu)勢(shì)將變得更加明顯。附圖用來(lái)提供對(duì)本發(fā)明實(shí)施例的進(jìn)一步理解，并且構(gòu)成說(shuō)明書(shū)的一部分，與本發(fā)明實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中，相同的參考標(biāo)號(hào)通常代表相同或相似部件或步驟。

圖1示出了用于實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的用于圖像結(jié)構(gòu)化方法和裝置的示例電子設(shè)備的示意性框圖；

圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像結(jié)構(gòu)化方法的示意性流程圖；

圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像結(jié)構(gòu)化方法所涉及的神經(jīng)網(wǎng)絡(luò)的示意圖；

圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的確定圖像中的建議區(qū)域的步驟的示意性流程圖；

圖5示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的確定圖像中的建議區(qū)域的步驟的示意性流程圖；

圖6示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的計(jì)算建議區(qū)域的特征向量的步驟的示意性流程圖；

圖7示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的計(jì)算建議區(qū)域的特征向量的步驟的示意性流程圖；

圖8示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像結(jié)構(gòu)化裝置的示意性框圖；以及

圖9示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像結(jié)構(gòu)化設(shè)備的示意性框圖。

具體實(shí)施方式

為了使得本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更為明顯，下面將參照附圖詳細(xì)描述根據(jù)本發(fā)明的示例實(shí)施例。顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是本發(fā)明的全部實(shí)施例，應(yīng)理解，本發(fā)明不受這里描述的示例實(shí)施例的限制?；诒景l(fā)明中描述的本發(fā)明實(shí)施例，本領(lǐng)域技術(shù)人員在沒(méi)有付出創(chuàng)造性勞動(dòng)的情況下所得到的所有其它實(shí)施例都應(yīng)落入本發(fā)明的保護(hù)范圍之內(nèi)。

首先，參照?qǐng)D1來(lái)描述用于實(shí)現(xiàn)本發(fā)明實(shí)施例的圖像結(jié)構(gòu)化方法和裝置的示例電子設(shè)備100。

如圖1所示，電子設(shè)備100包括一個(gè)或多個(gè)處理器102、一個(gè)或多個(gè)存儲(chǔ)裝置104、輸入裝置106和輸出裝置108，這些組件通過(guò)總線系統(tǒng)110和/或其它形式的連接機(jī)構(gòu)(未示出)互連。應(yīng)當(dāng)注意，圖1所示的電子設(shè)備100的組件和結(jié)構(gòu)只是示例性的，而非限制性的，根據(jù)需要，所述電子設(shè)備也可以具有其他組件和結(jié)構(gòu)。

所述處理器102可以是中央處理單元(CPU)或者具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其它形式的處理單元，并且可以控制所述電子設(shè)備100中的其它組件以執(zhí)行期望的功能。

所述存儲(chǔ)裝置104可以包括一個(gè)或多個(gè)計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品可以包括各種形式的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，例如易失性存儲(chǔ)器和/或非易失性存儲(chǔ)器。所述易失性存儲(chǔ)器例如可以包括隨機(jī)存取存儲(chǔ)器(RAM)和/或高速緩沖存儲(chǔ)器(cache)等。所述非易失性存儲(chǔ)器例如可以包括只讀存儲(chǔ)器(ROM)、硬盤(pán)、閃存等。在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上可以存儲(chǔ)一個(gè)或多個(gè)計(jì)算機(jī)程序指令，處理器102可以運(yùn)行所述程序指令，以實(shí)現(xiàn)下文所述的本發(fā)明實(shí)施例中(由處理器實(shí)現(xiàn))的計(jì)算機(jī)功能以及/或者其它期望的功能。在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中還可以存儲(chǔ)各種應(yīng)用程序和各種數(shù)據(jù)，例如所述應(yīng)用程序使用和/或產(chǎn)生的各種數(shù)據(jù)等。

所述輸入裝置106可以是用來(lái)接收用戶所輸入的指令以及采集數(shù)據(jù)的裝置，并且可以包括鍵盤(pán)、鼠標(biāo)、麥克風(fēng)、觸摸屏和圖像采集裝置等中的一個(gè)或多個(gè)。

所述輸出裝置108可以向外部(例如用戶)輸出各種信息(例如圖像或聲音)，并且可以包括顯示器、揚(yáng)聲器等中的一個(gè)或多個(gè)。

上述輸入裝置106和輸出裝置108主要用于與用戶交互。

下面，將參考圖2描述根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像結(jié)構(gòu)化方法200。圖像結(jié)構(gòu)化是識(shí)別和檢測(cè)圖像中的對(duì)象并分析對(duì)象的屬性的技術(shù)。該對(duì)象包括任何感興趣對(duì)象，例如視頻結(jié)構(gòu)化中，人們通常感興趣的行人、車(chē)輛等。在下面的實(shí)施例中，以行人和車(chē)輛作是對(duì)象的示例進(jìn)行描述?？梢岳斫猓信d趣對(duì)象不僅限于此，例如，還可以包括動(dòng)物等。

在步驟S220中，基于第一神經(jīng)網(wǎng)絡(luò)提取圖像的特征。第一神經(jīng)網(wǎng)絡(luò)可以將所提取的特征用特征張量表示。

如前所述，該圖像可以是視頻幀。例如，對(duì)于待結(jié)構(gòu)化的一段視頻，可以將視頻中的各幀輸入到第一神經(jīng)網(wǎng)絡(luò)，以提取每幀的特征。該第一神經(jīng)網(wǎng)絡(luò)可以是一層或多層的卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，由若干卷積單元組成。每個(gè)卷積單元可以響應(yīng)一部分覆蓋范圍內(nèi)的周?chē)鷨卧?/p>

卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)算目的是提取所輸入的圖像的特征。卷積神經(jīng)網(wǎng)絡(luò)的不同層次能夠提取不同的特征，由此，總層數(shù)不同的卷積神經(jīng)網(wǎng)絡(luò)能夠提取不同的特征。卷積神經(jīng)網(wǎng)絡(luò)的第一卷積層可提取一些低級(jí)的特征，如圖像的邊緣、線條和角等特征。后面的卷積層可根據(jù)前面的卷積層所提取的低級(jí)的特征迭代提取更高級(jí)、更復(fù)雜的特征。換言之，總層數(shù)越多的卷積神經(jīng)網(wǎng)絡(luò)提取的特征越復(fù)雜。

對(duì)于所輸入的圖像，具有特定層數(shù)的卷積神經(jīng)網(wǎng)絡(luò)可提取熱力圖形式的特征。其中，熱力圖的像素值表示與熱力圖的該像素對(duì)應(yīng)的原圖上的相應(yīng)區(qū)域的特征，該特征通常用一個(gè)向量表示。

本領(lǐng)域普通技術(shù)人員可以理解，上述熱力圖、圖像的邊緣和線條等不同復(fù)雜度的特征均是示例。在實(shí)際應(yīng)用中，可以根據(jù)需要采用各種圖像特征，在本申請(qǐng)中對(duì)此不做限制。

對(duì)于一個(gè)圖像，例如視頻中的一幀，由第一神經(jīng)網(wǎng)絡(luò)提取的特征可以用張量表示，在本文中稱其為特征張量。不同于一些其他方法中，人為定義圖像的特征；如前所述，根據(jù)本發(fā)明的實(shí)施例，特征張量是由諸如卷積神經(jīng)網(wǎng)絡(luò)的第一神經(jīng)網(wǎng)絡(luò)自動(dòng)提取的。

特征張量可以是三階的。三階特征張量的三個(gè)階可以分別代表圖像的橫向，縱向和頻道(channel)。橫向是圖像的寬度的方向?？v向是圖像的高度的方向。在特征是熱力圖的情況下，頻道的個(gè)數(shù)表示特征張量所包含的熱力圖的個(gè)數(shù)。換個(gè)角度來(lái)說(shuō)，三階特征張量X可以包括多個(gè)元素。示例性地，三階特征張量X中的每個(gè)元素可以表示為X[i][j][k]，其中，i、j、k分別表示不同階，i＝0,1,2,..,h-1；j＝0,1,...,w-1；k＝0,1,...,c-1；h、w、c分別表示特征張量X的高度，寬度和頻道個(gè)數(shù)。c個(gè)元素可以構(gòu)成一個(gè)超像素點(diǎn)(superpixel)，可以用X[i][j]表示。換言之，特征張量中的、橫坐標(biāo)為i且縱坐標(biāo)為j的所有頻道的數(shù)值組成的一個(gè)c維向量，稱該c維向量為超像素點(diǎn)對(duì)應(yīng)的向量或表示超像素點(diǎn)的向量，即，超像素點(diǎn)S＝X[i][j]可以表示為S[k]＝X[i][j][k]，其中k＝0,1,...,c-1。每一個(gè)超像素點(diǎn)分別對(duì)應(yīng)原始圖像中的一個(gè)相應(yīng)區(qū)域。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，步驟S220可以包括：基于第一神經(jīng)網(wǎng)絡(luò)，對(duì)所輸入的圖像進(jìn)行卷積和池化(Pooling)，以獲得表示所述圖像的特征張量。對(duì)所輸入的圖像進(jìn)行卷積和池化操作后，特征張量的長(zhǎng)與所述圖像的寬度可能不等，特征張量的寬與所述圖像的高度也可能不等。

在步驟S240中，基于第二神經(jīng)網(wǎng)絡(luò)，根據(jù)步驟S220所獲得的特征張量確定所述圖像中的、可能存在感興趣對(duì)象的區(qū)域，也可稱為建議區(qū)域。

如前所述特征張量可包括多個(gè)超像素點(diǎn)。一個(gè)表示超像素點(diǎn)的向量分別對(duì)應(yīng)原始圖像中的一個(gè)相應(yīng)區(qū)域，該向量包含了該相應(yīng)區(qū)域的特征。因此，根據(jù)特征張量中的超像素點(diǎn)可以確定該相應(yīng)區(qū)域是否存在感興趣對(duì)象以及該可能存在感興趣對(duì)象的區(qū)域。對(duì)于從一個(gè)圖像提取的特征張量，第二神經(jīng)網(wǎng)絡(luò)可以輸出多個(gè)感興趣對(duì)象以及其各自可能存在的區(qū)域。

對(duì)于通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的卷積與池化操作來(lái)獲得的特征張量的超像素點(diǎn)，其包括根據(jù)其所確定的可能存在感興趣對(duì)象的區(qū)域的信息，而該區(qū)域在面積上大于超像素點(diǎn)所對(duì)應(yīng)的原始圖像中的相應(yīng)區(qū)域。此外，每個(gè)可能存在感興趣對(duì)象的區(qū)域通常對(duì)應(yīng)多個(gè)超像素點(diǎn)。當(dāng)然，一些區(qū)域也可能只對(duì)應(yīng)一個(gè)超像素點(diǎn)。

示例性地，用矩形表示該可能存在感興趣對(duì)象的區(qū)域。矩形的數(shù)學(xué)描述簡(jiǎn)單，便于數(shù)據(jù)處理。

在步驟S260中，根據(jù)步驟S220所獲得的特征張量計(jì)算步驟S240所確定的可能存在感興趣對(duì)象的區(qū)域的特征向量。

在此步驟中，可以根據(jù)特征張量中的、與所確定的可能存在感興趣對(duì)象的區(qū)域相對(duì)應(yīng)的超像素點(diǎn)，計(jì)算該區(qū)域的特征向量。特征向量用數(shù)字表示了該區(qū)域的信息。如前所述，超像素點(diǎn)包括根據(jù)其所確定的可能存在感興趣對(duì)象的矩形區(qū)域的信息。也就是說(shuō)，綜合這些超像素點(diǎn)的信息即可獲得表示該區(qū)域的特征的特征向量。

在步驟S280中，基于第三神經(jīng)網(wǎng)絡(luò)，根據(jù)步驟S260所計(jì)算的特征向量識(shí)別所述可能存在感興趣對(duì)象的區(qū)域中的感興趣對(duì)象并確定所述感興趣對(duì)象的位置以及所述感興趣對(duì)象的屬性。第三神經(jīng)網(wǎng)絡(luò)可以包括分類(lèi)器和/或回歸器。將步驟S260所計(jì)算的特征向量，即一維向量，分別輸入到這些不同的分類(lèi)器和/或回歸器中，以獲得圖像結(jié)構(gòu)化結(jié)果。

可選地，第三神經(jīng)網(wǎng)絡(luò)包括第一分類(lèi)器，用于根據(jù)步驟S260所計(jì)算的特征向量識(shí)別可能存在感興趣對(duì)象的區(qū)域中的感興趣對(duì)象。具體例如，利用第一分類(lèi)器對(duì)圖像中的物體進(jìn)行檢測(cè)并識(shí)別出行人、車(chē)輛和背景。第三神經(jīng)網(wǎng)絡(luò)還可以包括第二回歸器。利用第二回歸器確定感興趣對(duì)象所在的圖像具體位置，例如，由緊密包圍該感興趣對(duì)象的矩形框限定的矩形區(qū)域。該矩形區(qū)域可以由頂點(diǎn)、寬度和/或邊界來(lái)給出。第三神經(jīng)網(wǎng)絡(luò)還可以包括第三分類(lèi)器和第四回歸器。利用第三分類(lèi)器和第四回歸器對(duì)感興趣對(duì)象的屬性進(jìn)行分類(lèi)或回歸，示例性地，感興趣對(duì)象的屬性包括行人的性別、年齡、衣著顏色、衣著款式、是否背包以及背包顏色，車(chē)輛的顏色以及車(chē)型號(hào)等。

圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像結(jié)構(gòu)化方法200所涉及的神經(jīng)網(wǎng)絡(luò)的示意圖。本領(lǐng)域普通技術(shù)人員結(jié)合上述描述，能夠理解該神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和實(shí)現(xiàn)。

上述圖像結(jié)構(gòu)化方法200中，根據(jù)神經(jīng)網(wǎng)絡(luò)所獲得的特征張量，將識(shí)別感興趣對(duì)象、確定感興趣對(duì)象的位置的操作與提取感興趣對(duì)象的屬性的信息兩個(gè)操作合并在一起，由此，能夠在檢測(cè)對(duì)象的同時(shí)，確定對(duì)象的屬性。從而，避免了在檢測(cè)對(duì)象和確定對(duì)象屬性這兩個(gè)環(huán)節(jié)中都引入額外的誤差。此外，在圖像結(jié)構(gòu)化方法200中，還有效避免了背景對(duì)分析感興趣對(duì)象的屬性的干擾。這提高了圖像結(jié)構(gòu)化分析的準(zhǔn)確性。

圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的上述步驟S240的示意性流程圖。該步驟S240所涉及的第二神經(jīng)網(wǎng)絡(luò)包括回歸器。示例性地，回歸器是1*1的卷積神經(jīng)網(wǎng)絡(luò)。如圖4所示，該步驟S240進(jìn)一步包括以下步驟。

步驟S444，針對(duì)特征張量中的超像素點(diǎn)對(duì)應(yīng)的向量S＝X[i][j]，基于第二神經(jīng)網(wǎng)絡(luò)中的回歸器確定圖像中的、感興趣對(duì)象可能存在的矩形區(qū)域。

將每個(gè)表示一個(gè)超像素點(diǎn)的向量S＝X[i][j]輸入一個(gè)回歸器，回歸器可輸出表示圖像中的、可能存在感興趣對(duì)象的區(qū)域的矩形?？梢岳斫猓瑢?duì)于一個(gè)圖像而言，可能存在多個(gè)這樣的矩形區(qū)域。在該步驟中初步確定了一些感興趣對(duì)象可能存在的矩形區(qū)域。

步驟S448，合并矩形區(qū)域中的、重疊度高于第一閾值的矩形區(qū)域，將合并后保留的矩形區(qū)域作為所述可能存在感興趣對(duì)象的區(qū)域。

在一個(gè)示例中，首先，確定各個(gè)矩形區(qū)域與其他矩形區(qū)域的重疊度。然后，將重疊度高于第一閾值(例如0.5或0.7或0.8等)的矩形區(qū)域進(jìn)行合并。例如，假設(shè)矩形區(qū)域Ra與矩形區(qū)域Rb之間的重疊度高于第一閾值，那么僅保留其中一個(gè)矩形區(qū)域，具體例如矩形區(qū)域Ra，而放棄另一個(gè)矩形區(qū)域，具體例如矩形區(qū)域Rb，將最后得到的矩形區(qū)域(矩形區(qū)域Ra)作為可能存在感興趣對(duì)象的區(qū)域。

在上述步驟S240中，利用回歸器確定感興趣對(duì)象可能存在的矩形區(qū)域，并且合并矩形區(qū)域中的重疊度較高的矩形區(qū)域，由此獲得的可能存在感興趣對(duì)象的區(qū)域更準(zhǔn)確，即圖像結(jié)構(gòu)化操作的結(jié)構(gòu)更準(zhǔn)確。

圖5示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的上述步驟S240的示意性流程圖。該步驟S240所涉及的第二神經(jīng)網(wǎng)絡(luò)包括回歸器和分類(lèi)器。回歸器和/或分類(lèi)器可以是1*1的卷積神經(jīng)網(wǎng)絡(luò)。如圖5所示，該步驟S240進(jìn)一步包括以下步驟。

步驟S542，針對(duì)特征張量中的超像素點(diǎn)對(duì)應(yīng)的向量S＝X[i][j]，基于第二神經(jīng)網(wǎng)絡(luò)中的分類(lèi)器確定所述圖像中的、所述超像素點(diǎn)所對(duì)應(yīng)的區(qū)域存在的感興趣對(duì)象以及所存在的感興趣對(duì)象的可信度。

將每個(gè)表示一個(gè)超像素點(diǎn)的向量S＝X[i][j]輸入一個(gè)分類(lèi)器，分類(lèi)器可輸出圖像中的、超像素點(diǎn)所對(duì)應(yīng)的區(qū)域存在的感興趣對(duì)象，例如行人、車(chē)輛等?？梢岳斫猓瑢?duì)于一個(gè)圖像而言，可能存在多個(gè)感興趣對(duì)象。此外，分類(lèi)器還可輸出每個(gè)感興趣對(duì)象的可信度，其也可以稱為分類(lèi)器的可信度。

步驟S544，針對(duì)特征張量中的超像素點(diǎn)對(duì)應(yīng)的向量S＝X[i][j]，基于第二神經(jīng)網(wǎng)絡(luò)中的回歸器確定所述圖像中的、感興趣對(duì)象可能存在的矩形區(qū)域。此步驟與上述步驟S442類(lèi)似，為了簡(jiǎn)潔，不再贅述。

步驟S546，基于步驟S542所確定的所存在的感興趣對(duì)象的可信度，獲得存在可信度高于第二閾值(例如0.8或0.85)的感興趣對(duì)象的矩形區(qū)域。

感興趣對(duì)象和其可能存在的矩形區(qū)域之間存在著一一對(duì)應(yīng)關(guān)系。示例性地，根據(jù)矩形區(qū)域中的感興趣對(duì)象的可信度，對(duì)步驟S544所初步確定的矩形區(qū)域進(jìn)行排序，以獲得經(jīng)排序的序列中的、可信度高于第二閾值的感興趣對(duì)象所存在的矩形區(qū)域。

步驟S548，針對(duì)所述存在可信度高于第二閾值的感興趣對(duì)象的矩形區(qū)域，合并其中的重疊度高于第一閾值的矩形區(qū)域，將合并后保留的矩形區(qū)域作為所述可能存在感興趣對(duì)象的區(qū)域。

該步驟與步驟S448類(lèi)似，區(qū)別在于，此步驟只針對(duì)其中的感興趣對(duì)象的可信度高于第二閾值的矩形區(qū)域進(jìn)行操作。為了簡(jiǎn)潔，在此不再詳細(xì)描述步驟S548的執(zhí)行過(guò)程。

上述步驟S240中，確定可能存在感興趣對(duì)象的矩形區(qū)域的過(guò)程中，綜合考慮了矩形區(qū)域中的感興趣對(duì)象的可信度因素，進(jìn)一步保證了所確定的可能存在感興趣對(duì)象的區(qū)域的準(zhǔn)確性，由此保證了圖像結(jié)構(gòu)化操作的準(zhǔn)確性。

圖6示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的上述步驟S260的示意性流程圖。如圖6所示，步驟S260可以包括以下步驟。

在步驟S662中，對(duì)于所述特征張量與所述可能存在感興趣對(duì)象的區(qū)域?qū)?yīng)的部分中的超像素點(diǎn)所對(duì)應(yīng)的向量的各個(gè)頻道，計(jì)算所述各個(gè)頻道的最大值或平均值。

如前所述，對(duì)于從其中提取特征張量的原始圖像，其中包括一個(gè)或多個(gè)可能存在感興趣對(duì)象的區(qū)域，例如上述矩形區(qū)域。反過(guò)來(lái)講，對(duì)于圖像中的每個(gè)可能存在感興趣對(duì)象的區(qū)域，特征張量中存在與前述區(qū)域?qū)?yīng)的超像素點(diǎn)。每個(gè)超像素點(diǎn)可以用向量S＝X[i][j]來(lái)表示，該向量可以稱為超像素點(diǎn)所對(duì)應(yīng)的向量。在步驟S662中，計(jì)算這些超像素點(diǎn)所對(duì)應(yīng)的向量S＝X[i][j]的各個(gè)頻道的最大值或平均值。可以理解等式中的i和j的取值范圍由與可能存在感興趣對(duì)象的區(qū)域?qū)?yīng)的的超像素點(diǎn)在特征向量中的位置來(lái)確定。

步驟S662的具體操作例如，分別取k＝0,1,...,c-1，其中c為特征張量的頻道個(gè)數(shù)，遍歷i和j的所有可能取值，確定分別與k＝0,1,...,c-1相對(duì)應(yīng)的S[k]＝X[i][j][k]中的最大值P_max[k]。

又例如，分別取k＝0,1,...,c-1，其中c為特征張量的頻道個(gè)數(shù)，遍歷i和j的所有可能取值，計(jì)算分別與k＝0,1,...,c-1相對(duì)應(yīng)的S[k]＝X[i][j][k]的平均值P_avg[k]。

在步驟S664中，根據(jù)所述各個(gè)頻道的最大值或平均值生成可能存在感興趣對(duì)象的區(qū)域的特征向量。

具體例如，將由P_max[k]或P_avg[k]構(gòu)成的c維向量作為該特征向量，其中k＝0,1,...,c-1。

在上述步驟S260中，根據(jù)與可能存在感興趣對(duì)象的區(qū)域?qū)?yīng)的超像素點(diǎn)的最大值或平均值來(lái)生成表示該區(qū)域的特征向量，避免了誤差干擾。

圖7示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的上述步驟S260的示意性流程圖。如圖7所示，該步驟S260包括以下步驟。

步驟S761，將所有可能存在感興趣對(duì)象的區(qū)域劃分成特定數(shù)目的子區(qū)域。

以上述可能存在感興趣對(duì)象的矩形區(qū)域?yàn)槔?，可以所有矩形區(qū)域平均劃分為相同數(shù)目的子區(qū)域。具體例如，將其都平均劃分成N*M個(gè)子區(qū)域，其中N和M均為正整數(shù)，例如3*6個(gè)或2*3個(gè)等。

步驟S762，對(duì)于特征張量與每個(gè)子區(qū)域的對(duì)應(yīng)的部分中的超像素點(diǎn)所對(duì)應(yīng)的向量的各個(gè)頻道，計(jì)算所述各個(gè)頻道的最大值或平均值。

此步驟與前述步驟S662類(lèi)似，區(qū)別在于步驟S762中的超像素點(diǎn)所對(duì)應(yīng)的向量位于特征張量與可能存在感興趣對(duì)象的區(qū)域的子區(qū)域的對(duì)應(yīng)部分中，而非位于特征張量與整個(gè)可能存在感興趣對(duì)象的區(qū)域的對(duì)應(yīng)部分中。

本領(lǐng)域技術(shù)人員通過(guò)閱讀步驟S662的描述和上述闡釋?zhuān)軌蚯宄私獠襟ES762的執(zhí)行過(guò)程，為了簡(jiǎn)潔，在此不再贅述。

步驟S764，根據(jù)所述各個(gè)頻道的最大值或平均值生成子區(qū)域的向量。該步驟的執(zhí)行過(guò)程與步驟S664類(lèi)似。可以理解，每個(gè)子區(qū)域的向量也是一個(gè)c維向量，c為特征張量的頻道個(gè)數(shù)。為了簡(jiǎn)潔，在此不再詳細(xì)描述。

步驟S766，連接所有子區(qū)域的向量，以生成所述特征向量。

具體地，對(duì)于一個(gè)可能存在感興趣對(duì)象的區(qū)域，可以將其各子區(qū)域?qū)?yīng)的向量合并(連接)成一個(gè)長(zhǎng)向量作為該區(qū)域?qū)?yīng)的向量特征。假設(shè)在步驟S761中將所有可能存在感興趣對(duì)象的區(qū)域均劃分為2*3(即6)個(gè)子區(qū)域，則在此步驟中將6個(gè)子區(qū)域的向量進(jìn)行連接，由此生成6c維的特征向量。

在上述步驟S260中，將所有可能存在感興趣對(duì)象的區(qū)域均劃分成相同數(shù)目的子區(qū)域，由此保證最終得到的區(qū)域的特征向量規(guī)格一致，便于進(jìn)行后續(xù)計(jì)算操作，進(jìn)而確保了圖像結(jié)構(gòu)化方法的執(zhí)行效率。

可選地，在圖像結(jié)構(gòu)化方法中還可以包括利用訓(xùn)練輸入數(shù)據(jù)和對(duì)應(yīng)的標(biāo)注內(nèi)容訓(xùn)練前述第一神經(jīng)網(wǎng)絡(luò)、第二神經(jīng)網(wǎng)絡(luò)和/或第三神經(jīng)網(wǎng)絡(luò)。

如前所述，第一神經(jīng)網(wǎng)絡(luò)可以是卷積神經(jīng)網(wǎng)絡(luò)。下面以卷積神經(jīng)網(wǎng)絡(luò)來(lái)描述該第一神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程。首先，接收訓(xùn)練輸入數(shù)據(jù)，例如訓(xùn)練圖像。訓(xùn)練圖像是其中已經(jīng)標(biāo)注了的特征的圖像。然后，利用所接收的訓(xùn)練圖像訓(xùn)練初始神經(jīng)網(wǎng)絡(luò)，以獲得上述卷積神經(jīng)網(wǎng)絡(luò)。初始神經(jīng)網(wǎng)絡(luò)的參數(shù)可以進(jìn)行隨機(jī)初始化，也可以利用之前已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行初始化，例如VGG，GoogleLeNet等。對(duì)于這些訓(xùn)練好的網(wǎng)絡(luò)，可以選取其中的某些部分作為本發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)的一部分，也可以固定其中的一部分參數(shù)不參與訓(xùn)練。卷積神經(jīng)網(wǎng)絡(luò)中的每個(gè)卷積單元的參數(shù)可以在訓(xùn)練過(guò)程中通過(guò)反向傳播算法優(yōu)化得到。

第二神經(jīng)網(wǎng)絡(luò)和第三神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程與上述第一神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程類(lèi)似。第二神經(jīng)網(wǎng)絡(luò)的訓(xùn)練輸入數(shù)據(jù)(例如訓(xùn)練熱力圖)中標(biāo)注了可能存在感興趣對(duì)象的區(qū)域。第三神經(jīng)網(wǎng)絡(luò)的訓(xùn)練輸入數(shù)據(jù)(例如訓(xùn)練熱力圖)中標(biāo)注了感興趣對(duì)象以及所述感興趣對(duì)象的屬性。

為了簡(jiǎn)潔，不再詳細(xì)描述第二神經(jīng)網(wǎng)絡(luò)和第三神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程。

利用了訓(xùn)練的方式來(lái)獲得第一神經(jīng)網(wǎng)絡(luò)、第二神經(jīng)網(wǎng)絡(luò)和/或第三神經(jīng)網(wǎng)絡(luò)。這可以獲得可靠性和實(shí)用性更強(qiáng)的神經(jīng)網(wǎng)絡(luò)，由此保證圖像結(jié)構(gòu)化的準(zhǔn)確性。

根據(jù)本發(fā)明另一方面，還提供了一種圖像結(jié)構(gòu)化裝置。圖8示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像結(jié)構(gòu)化裝置800的示意性框圖。如圖8所示，圖像結(jié)構(gòu)化裝置800包括特征提取模塊820、可能區(qū)域分析模塊840、區(qū)域向量計(jì)算模塊860和對(duì)象和屬性確定模塊880。

特征提取模塊820用于基于第一神經(jīng)網(wǎng)絡(luò)提取圖像的特征。所述特征用特征張量表示。特征提取模塊820可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S220?？蛇x地，所述特征是熱力圖。

可選地，特征提取模塊820包括特征提取單元。特征提取單元用于基于所述第一神經(jīng)網(wǎng)絡(luò)，對(duì)所述圖像進(jìn)行卷積和池化，以獲得表示所述圖像的特征張量。

可能區(qū)域分析模塊840用于基于第二神經(jīng)網(wǎng)絡(luò)根據(jù)特征提取模塊820所提取的特征張量確定所述圖像中的、可能存在感興趣對(duì)象的區(qū)域?？赡軈^(qū)域分析模塊840可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S240。

區(qū)域向量計(jì)算模塊860用于根據(jù)特征提取模塊820所提取的特征張量計(jì)算可能區(qū)域分析模塊840所確定的可能存在感興趣對(duì)象的區(qū)域的特征向量。區(qū)域向量計(jì)算模塊860可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S260。

對(duì)象和屬性確定模塊880用于基于第三神經(jīng)網(wǎng)絡(luò)根據(jù)區(qū)域向量計(jì)算模塊860所計(jì)算的特征向量識(shí)別所述可能存在感興趣對(duì)象的區(qū)域中的感興趣對(duì)象并確定所述感興趣對(duì)象的位置以及所述感興趣對(duì)象的屬性。對(duì)象和屬性確定模塊880可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S280。

上述圖像結(jié)構(gòu)化裝置800能夠在檢測(cè)對(duì)象的同時(shí)，確定對(duì)象的屬性。從而，避免了在檢測(cè)對(duì)象和確定對(duì)象屬性這兩個(gè)環(huán)節(jié)中都引入額外的誤差。此外，圖像結(jié)構(gòu)化裝置800還有效避免了背景對(duì)分析感興趣對(duì)象的屬性的干擾。這提高了圖像結(jié)構(gòu)化分析的準(zhǔn)確性。

在一個(gè)示例中，第二神經(jīng)網(wǎng)絡(luò)可以包括回歸器。上述可能區(qū)域分析模塊840可以包括回歸單元和合并單元。

回歸單元用于針對(duì)特征提取模塊820所提取的特征張量中的超像素點(diǎn)對(duì)應(yīng)的向量，基于所述回歸器確定所述圖像中的、所述感興趣對(duì)象可能存在的矩形區(qū)域。回歸單元可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S444。

合并單元用于合并回歸單元所確定的矩形區(qū)域中的、重疊度高于第一閾值的矩形區(qū)域，將合并后保留的矩形區(qū)域作為所述可能存在感興趣對(duì)象的區(qū)域。合并單元可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S448。

在另一個(gè)示例中，第二神經(jīng)網(wǎng)絡(luò)除了包括回歸器，還可以包括分類(lèi)器。上述可能區(qū)域分析模塊840除了包括回歸單元和合并單元，還可以包括分類(lèi)單元和排序單元。

分類(lèi)單元用于針對(duì)特征提取模塊820所提取的特征張量中的超像素點(diǎn)對(duì)應(yīng)的向量，基于所述分類(lèi)器確定所述圖像中的、所述超像素點(diǎn)所對(duì)應(yīng)的區(qū)域存在的感興趣對(duì)象以及所存在的感興趣對(duì)象的可信度。分類(lèi)單元可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S542。

排序單元用于基于分類(lèi)單元所確定的所存在的感興趣對(duì)象的可信度獲得存在可信度高于第二閾值的感興趣對(duì)象的矩形區(qū)域。排序單元可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S546。

在該示例中，所述合并單元只針對(duì)所述存在可信度高于第二閾值的感興趣對(duì)象的矩形區(qū)域進(jìn)行操作。

在一個(gè)示例中，所述區(qū)域向量計(jì)算模塊860包括第一頻道值計(jì)算單元和向量生成單元。

第一頻道值計(jì)算單元用于對(duì)于特征提取模塊820所提取的特征張量與所述可能存在感興趣對(duì)象的區(qū)域?qū)?yīng)的部分中的超像素點(diǎn)所對(duì)應(yīng)的向量的各個(gè)頻道，計(jì)算所述各個(gè)頻道的最大值或平均值。第一頻道值計(jì)算單元可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S662。

向量生成單元用于根據(jù)所述各個(gè)頻道的最大值或平均值生成可能存在感興趣對(duì)象的區(qū)域的特征向量。向量生成單元可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S664。

在一個(gè)示例中，所述區(qū)域向量計(jì)算模塊860包括子區(qū)域劃分單元、第二頻道值計(jì)算單元、子區(qū)域向量生成單元和連接單元。

子區(qū)域劃分單元用于將所有所述可能存在感興趣對(duì)象的區(qū)域劃分成特定數(shù)目的子區(qū)域。子區(qū)域劃分單元可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S761。

第二頻道值計(jì)算單元用于對(duì)于特征提取模塊820所提取的特征張量與每個(gè)子區(qū)域的對(duì)應(yīng)的部分中的超像素點(diǎn)所對(duì)應(yīng)的向量的各個(gè)頻道，計(jì)算所述各個(gè)頻道的最大值或平均值。第二頻道值計(jì)算單元可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S762。

子區(qū)域向量生成單元用于根據(jù)所述各個(gè)頻道的最大值或平均值生成該子區(qū)域的向量。子區(qū)域向量生成單元可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S764。

連接單元用于連接所有子區(qū)域的向量，以生成所述特征向量。連接單元可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的步驟S766。

可選地，上述圖像結(jié)構(gòu)化裝置還包括訓(xùn)練模塊，用于利用訓(xùn)練輸入數(shù)據(jù)和對(duì)應(yīng)的標(biāo)注內(nèi)容訓(xùn)練所述第一神經(jīng)網(wǎng)絡(luò)、所述第二神經(jīng)網(wǎng)絡(luò)和/或所述第三神經(jīng)網(wǎng)絡(luò)。訓(xùn)練模塊可以由圖1所示的電子設(shè)備中的處理器102運(yùn)行存儲(chǔ)裝置104中存儲(chǔ)的程序指令來(lái)實(shí)現(xiàn)，并且可以執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述圖像結(jié)構(gòu)化方法中的訓(xùn)練步驟。

本領(lǐng)域普通技術(shù)人員通過(guò)閱讀上文關(guān)于圖像結(jié)構(gòu)化方法的詳細(xì)描述，能夠理解上述圖像結(jié)構(gòu)化裝置的結(jié)構(gòu)、實(shí)現(xiàn)以及優(yōu)點(diǎn)，因此這里不再贅述。

本領(lǐng)域普通技術(shù)人員可以意識(shí)到，結(jié)合本文中所公開(kāi)的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來(lái)實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來(lái)執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專(zhuān)業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來(lái)使用不同方法來(lái)實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。

圖9示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像結(jié)構(gòu)化設(shè)備900的示意性框圖。如圖9所示，圖像結(jié)構(gòu)化設(shè)備900包括輸入裝置910、存儲(chǔ)裝置920、處理器930以及輸出裝置940。

所述輸入裝置910用于接收用戶所輸入的操作指令以及采集數(shù)據(jù)。輸入裝置910可以包括鍵盤(pán)、鼠標(biāo)、麥克風(fēng)、觸摸屏和圖像采集裝置等中的一個(gè)或多個(gè)。

所述存儲(chǔ)裝置920存儲(chǔ)用于實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的圖像結(jié)構(gòu)化方法中的相應(yīng)步驟的程序代碼。

所述處理器930用于運(yùn)行所述存儲(chǔ)裝置920中存儲(chǔ)的程序代碼，以執(zhí)行根據(jù)本發(fā)明實(shí)施例的圖像結(jié)構(gòu)化方法的相應(yīng)步驟，并且用于實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的圖像結(jié)構(gòu)化裝置中的特征提取模塊820、可能區(qū)域分析模塊840、區(qū)域向量計(jì)算模塊860和對(duì)象和屬性確定模塊880。

在一個(gè)實(shí)施例中，在所述程序代碼被所述處理器930運(yùn)行時(shí)使所述圖像結(jié)構(gòu)化設(shè)備900執(zhí)行以下步驟：

基于第一神經(jīng)網(wǎng)絡(luò)提取圖像的特征，其中所述特征用特征張量表示；

基于第二神經(jīng)網(wǎng)絡(luò)，根據(jù)所述特征張量確定所述圖像中的、可能存在感興趣對(duì)象的區(qū)域；

根據(jù)所述特征張量計(jì)算所述可能存在感興趣對(duì)象的區(qū)域的特征向量：以及

基于第三神經(jīng)網(wǎng)絡(luò)，根據(jù)所述特征向量識(shí)別所述可能存在感興趣對(duì)象的區(qū)域中的感興趣對(duì)象并確定所述感興趣對(duì)象的位置以及所述感興趣對(duì)象的屬性。

示例性地，所述特征是熱力圖。

示例性地，所述第二神經(jīng)網(wǎng)絡(luò)包括回歸器。在所述程序代碼被所述處理器930運(yùn)行時(shí)使所述圖像結(jié)構(gòu)化設(shè)備900執(zhí)行根據(jù)所述特征張量確定所述圖像中的、可能存在感興趣對(duì)象的區(qū)域的步驟包括：

針對(duì)所述特征張量中的超像素點(diǎn)對(duì)應(yīng)的向量，基于所述回歸器確定所述圖像中的、所述感興趣對(duì)象可能存在的矩形區(qū)域；以及

合并所述矩形區(qū)域中的、重疊度高于第一閾值的矩形區(qū)域，將合并后保留的矩形區(qū)域作為所述可能存在感興趣對(duì)象的區(qū)域。

示例性地，所述第二神經(jīng)網(wǎng)絡(luò)還包括分類(lèi)器。在所述程序代碼被所述處理器930運(yùn)行時(shí)使所述圖像結(jié)構(gòu)化設(shè)備900在所述合并步驟之前執(zhí)行的根據(jù)所述特征張量確定所述圖像中的、可能存在感興趣對(duì)象的區(qū)域的步驟還包括：

針對(duì)所述特征張量中的超像素點(diǎn)對(duì)應(yīng)的向量，基于所述分類(lèi)器確定所述圖像中的、所述超像素點(diǎn)所對(duì)應(yīng)的區(qū)域存在的感興趣對(duì)象以及所存在的感興趣對(duì)象的可信度；以及

基于所述所存在的感興趣對(duì)象的可信度，獲得存在可信度高于第二閾值的感興趣對(duì)象的矩形區(qū)域；并且

其中，所述合并步驟只針對(duì)所述存在可信度高于第二閾值的感興趣對(duì)象的矩形區(qū)域。

示例性地，在所述程序代碼被所述處理器930運(yùn)行時(shí)使所述圖像結(jié)構(gòu)化設(shè)備900執(zhí)行的根據(jù)所述特征張量計(jì)算所述可能存在感興趣對(duì)象的區(qū)域的特征向量的步驟包括：

對(duì)于所述特征張量與所述可能存在感興趣對(duì)象的區(qū)域?qū)?yīng)的部分中的超像素點(diǎn)所對(duì)應(yīng)的向量的各個(gè)頻道，計(jì)算所述各個(gè)頻道的最大值或平均值；以及

根據(jù)所述各個(gè)頻道的最大值或平均值生成所述特征向量。

示例性地，在所述程序代碼被所述處理器930運(yùn)行時(shí)使所述圖像結(jié)構(gòu)化設(shè)備900執(zhí)行的根據(jù)所述特征張量計(jì)算所述可能存在感興趣對(duì)象的區(qū)域的特征向量的步驟包括：

將所有所述可能存在感興趣對(duì)象的區(qū)域劃分成特定數(shù)目的子區(qū)域；

對(duì)于所述特征張量與每個(gè)子區(qū)域的對(duì)應(yīng)的部分中的超像素點(diǎn)所對(duì)應(yīng)的向量的各個(gè)頻道，計(jì)算所述各個(gè)頻道的最大值或平均值；

根據(jù)所述各個(gè)頻道的最大值或平均值生成該子區(qū)域的向量；以及

連接所有子區(qū)域的向量，以生成所述特征向量。

示例性地，在所述程序代碼被所述處理器930運(yùn)行時(shí)使所述圖像結(jié)構(gòu)化設(shè)備900執(zhí)行的基于第一神經(jīng)網(wǎng)絡(luò)提取圖像的特征的步驟包括：

基于所述第一神經(jīng)網(wǎng)絡(luò)，對(duì)所述圖像進(jìn)行卷積和池化，以獲得表示所述圖像的特征張量。

示例性地，在所述程序代碼被所述處理器930運(yùn)行時(shí)還使所述圖像結(jié)構(gòu)化設(shè)備900執(zhí)行以下步驟：

利用訓(xùn)練輸入數(shù)據(jù)和對(duì)應(yīng)的標(biāo)注內(nèi)容訓(xùn)練所述第一神經(jīng)網(wǎng)絡(luò)、所述第二神經(jīng)網(wǎng)絡(luò)和/或所述第三神經(jīng)網(wǎng)絡(luò)。

此外，根據(jù)本發(fā)明實(shí)施例，還提供了一種存儲(chǔ)介質(zhì)，在所述存儲(chǔ)介質(zhì)上存儲(chǔ)了程序指令，在所述程序指令被計(jì)算機(jī)或處理器運(yùn)行時(shí)使得所述計(jì)算機(jī)或處理器執(zhí)行本發(fā)明實(shí)施例的圖像結(jié)構(gòu)化方法的相應(yīng)步驟，并且用于實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的圖像結(jié)構(gòu)化裝置中的相應(yīng)模塊。所述存儲(chǔ)介質(zhì)例如可以包括智能電話的存儲(chǔ)卡、平板電腦的存儲(chǔ)部件、個(gè)人計(jì)算機(jī)的硬盤(pán)、只讀存儲(chǔ)器(ROM)、可擦除可編程只讀存儲(chǔ)器(EPROM)、便攜式緊致盤(pán)只讀存儲(chǔ)器(CD-ROM)、USB存儲(chǔ)器、或者上述存儲(chǔ)介質(zhì)的任意組合。所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的任意組合。

在一個(gè)實(shí)施例中，所述計(jì)算機(jī)程序指令被計(jì)算機(jī)或處理器運(yùn)行時(shí)，使得所述計(jì)算機(jī)或處理器執(zhí)行以下步驟：

基于第一神經(jīng)網(wǎng)絡(luò)提取圖像的特征，其中所述特征用特征張量表示；

基于第二神經(jīng)網(wǎng)絡(luò)，根據(jù)所述特征張量確定所述圖像中的、可能存在感興趣對(duì)象的區(qū)域；

根據(jù)所述特征張量計(jì)算所述可能存在感興趣對(duì)象的區(qū)域的特征向量：以及

基于第三神經(jīng)網(wǎng)絡(luò)，根據(jù)所述特征向量識(shí)別所述可能存在感興趣對(duì)象的區(qū)域中的感興趣對(duì)象并確定所述感興趣對(duì)象的位置以及所述感興趣對(duì)象的屬性。

示例性地，所述特征是熱力圖。

示例性地，所述第二神經(jīng)網(wǎng)絡(luò)包括回歸器。在所述計(jì)算機(jī)程序指令被所述計(jì)算機(jī)或處理器運(yùn)行時(shí)使計(jì)算機(jī)或處理器執(zhí)行的根據(jù)所述特征張量確定所述圖像中的、可能存在感興趣對(duì)象的區(qū)域的步驟包括：

針對(duì)所述特征張量中的超像素點(diǎn)對(duì)應(yīng)的向量，基于所述回歸器確定所述圖像中的、所述感興趣對(duì)象可能存在的矩形區(qū)域；以及

合并所述矩形區(qū)域中的、重疊度高于第一閾值的矩形區(qū)域，將合并后保留的矩形區(qū)域作為所述可能存在感興趣對(duì)象的區(qū)域。

示例性地，所述第二神經(jīng)網(wǎng)絡(luò)還包括分類(lèi)器。在所述計(jì)算機(jī)程序指令被所述計(jì)算機(jī)或處理器運(yùn)行時(shí)使計(jì)算機(jī)或處理器在所述合并步驟之前執(zhí)行的根據(jù)所述特征張量確定所述圖像中的、可能存在感興趣對(duì)象的區(qū)域的步驟包括：

針對(duì)所述特征張量中的超像素點(diǎn)對(duì)應(yīng)的向量，基于所述分類(lèi)器確定所述圖像中的、所述超像素點(diǎn)所對(duì)應(yīng)的區(qū)域存在的感興趣對(duì)象以及所存在的感興趣對(duì)象的可信度；以及

基于所述所存在的感興趣對(duì)象的可信度，獲得存在可信度高于第二閾值的感興趣對(duì)象的矩形區(qū)域；并且

其中，所述合并步驟只針對(duì)所述存在可信度高于第二閾值的感興趣對(duì)象的矩形區(qū)域。

示例性地，在所述計(jì)算機(jī)程序指令被所述計(jì)算機(jī)或處理器運(yùn)行時(shí)使計(jì)算機(jī)或處理器執(zhí)行的根據(jù)所述特征張量計(jì)算所述可能存在感興趣對(duì)象的區(qū)域的特征向量的步驟包括：

對(duì)于所述特征張量與所述可能存在感興趣對(duì)象的區(qū)域?qū)?yīng)的部分中的超像素點(diǎn)所對(duì)應(yīng)的向量的各個(gè)頻道，計(jì)算所述各個(gè)頻道的最大值或平均值；以及

根據(jù)所述各個(gè)頻道的最大值或平均值生成所述特征向量。

示例性地，在所述計(jì)算機(jī)程序指令被所述計(jì)算機(jī)或處理器運(yùn)行時(shí)，使計(jì)算機(jī)或處理器執(zhí)行的根據(jù)所述特征張量計(jì)算所述可能存在感興趣對(duì)象的區(qū)域的特征向量的步驟包括：

將所有所述可能存在感興趣對(duì)象的區(qū)域劃分成特定數(shù)目的子區(qū)域；

對(duì)于所述特征張量與每個(gè)子區(qū)域的對(duì)應(yīng)的部分中的超像素點(diǎn)所對(duì)應(yīng)的向量的各個(gè)頻道，計(jì)算所述各個(gè)頻道的最大值或平均值；

根據(jù)所述各個(gè)頻道的最大值或平均值生成該子區(qū)域的向量；以及

連接所有子區(qū)域的向量，以生成所述特征向量。

示例性地，在所述計(jì)算機(jī)程序指令被所述計(jì)算機(jī)或處理器運(yùn)行時(shí)使計(jì)算機(jī)或處理器執(zhí)行的基于第一神經(jīng)網(wǎng)絡(luò)提取圖像的特征的步驟包括：

基于所述第一神經(jīng)網(wǎng)絡(luò)，對(duì)所述圖像進(jìn)行卷積和池化，以獲得表示所述圖像的特征張量。

示例性地，所述計(jì)算機(jī)程序指令在被計(jì)算機(jī)或處理器運(yùn)行時(shí)還使得所述計(jì)算機(jī)或處理器執(zhí)行以下步驟：

利用訓(xùn)練輸入數(shù)據(jù)和對(duì)應(yīng)的標(biāo)注內(nèi)容訓(xùn)練所述第一神經(jīng)網(wǎng)絡(luò)、所述第二神經(jīng)網(wǎng)絡(luò)和/或所述第三神經(jīng)網(wǎng)絡(luò)。

根據(jù)本發(fā)明實(shí)施例的圖像結(jié)構(gòu)化設(shè)備中的各模塊可以通過(guò)根據(jù)本發(fā)明實(shí)施例的處理器運(yùn)行在存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序指令來(lái)實(shí)現(xiàn)，或者可以在根據(jù)本發(fā)明實(shí)施例的計(jì)算機(jī)程序產(chǎn)品的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)的計(jì)算機(jī)指令被計(jì)算機(jī)或處理器運(yùn)行時(shí)實(shí)現(xiàn)。

根據(jù)本發(fā)明實(shí)施例的圖像結(jié)構(gòu)化方法及裝置、圖像結(jié)構(gòu)化設(shè)備以及存儲(chǔ)介質(zhì)，避免了在檢測(cè)對(duì)象和確定對(duì)象屬性這兩個(gè)環(huán)節(jié)中都引入額外的誤差。此外，還有效避免了背景對(duì)分析感興趣對(duì)象的屬性的干擾。這提高了圖像結(jié)構(gòu)化分析的準(zhǔn)確性。

盡管這里已經(jīng)參考附圖描述了示例實(shí)施例，應(yīng)理解上述示例實(shí)施例僅僅是示例性的，并且不意圖將本發(fā)明的范圍限制于此。本領(lǐng)域普通技術(shù)人員可以在其中進(jìn)行各種改變和修改，而不偏離本發(fā)明的范圍和精神。所有這些改變和修改意在被包括在所附權(quán)利要求所要求的本發(fā)明的范圍之內(nèi)。

本領(lǐng)域普通技術(shù)人員可以意識(shí)到，結(jié)合本文中所公開(kāi)的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來(lái)實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來(lái)執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專(zhuān)業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來(lái)使用不同方法來(lái)實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的設(shè)備和方法，可以通過(guò)其它的方式實(shí)現(xiàn)。例如，以上所描述的設(shè)備實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)設(shè)備，或一些特征可以忽略，或不執(zhí)行。

在此處所提供的說(shuō)明書(shū)中，說(shuō)明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實(shí)施例可以在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對(duì)本說(shuō)明書(shū)的理解。

類(lèi)似地，應(yīng)當(dāng)理解，為了精簡(jiǎn)本發(fā)明并幫助理解各個(gè)發(fā)明方面中的一個(gè)或多個(gè)，在對(duì)本發(fā)明的示例性實(shí)施例的描述中，本發(fā)明的各個(gè)特征有時(shí)被一起分組到單個(gè)實(shí)施例、圖、或者對(duì)其的描述中。然而，并不應(yīng)將該本發(fā)明的方法解釋成反映如下意圖：即所要求保護(hù)的本發(fā)明要求比在每個(gè)權(quán)利要求中所明確記載的特征更多的特征。更確切地說(shuō)，如相應(yīng)的權(quán)利要求書(shū)所反映的那樣，其發(fā)明點(diǎn)在于可以用少于某個(gè)公開(kāi)的單個(gè)實(shí)施例的所有特征的特征來(lái)解決相應(yīng)的技術(shù)問(wèn)題。因此，遵循具體實(shí)施方式的權(quán)利要求書(shū)由此明確地并入該具體實(shí)施方式，其中每個(gè)權(quán)利要求本身都作為本發(fā)明的單獨(dú)實(shí)施例。

本領(lǐng)域的技術(shù)人員可以理解，除了特征之間相互排斥之外，可以采用任何組合對(duì)本說(shuō)明書(shū)(包括伴隨的權(quán)利要求、摘要和附圖)中公開(kāi)的所有特征以及如此公開(kāi)的任何方法或者設(shè)備的所有過(guò)程或單元進(jìn)行組合。除非另外明確陳述，本說(shuō)明書(shū)(包括伴隨的權(quán)利要求、摘要和附圖)中公開(kāi)的每個(gè)特征可以由提供相同、等同或相似目的的替代特征來(lái)代替。

此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實(shí)施例包括其它實(shí)施例中所包括的某些特征而不是其它特征，但是不同實(shí)施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實(shí)施例。例如，在權(quán)利要求書(shū)中，所要求保護(hù)的實(shí)施例的任意之一都可以以任意的組合方式來(lái)使用。

本發(fā)明的各個(gè)部件實(shí)施例可以以硬件實(shí)現(xiàn)，或者以在一個(gè)或者多個(gè)處理器上運(yùn)行的軟件模塊實(shí)現(xiàn)，或者以它們的組合實(shí)現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實(shí)踐中使用微處理器或者數(shù)字信號(hào)處理器(DSP)來(lái)實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的圖像結(jié)構(gòu)化裝置中的一些模塊的一些或者全部功能。本發(fā)明還可以實(shí)現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的裝置程序(例如，計(jì)算機(jī)程序和計(jì)算機(jī)程序產(chǎn)品)。這樣的實(shí)現(xiàn)本發(fā)明的程序可以存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上，或者可以具有一個(gè)或者多個(gè)信號(hào)的形式。這樣的信號(hào)可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號(hào)上提供，或者以任何其他形式提供。

應(yīng)該注意的是上述實(shí)施例對(duì)本發(fā)明進(jìn)行說(shuō)明而不是對(duì)本發(fā)明進(jìn)行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計(jì)出替換實(shí)施例。在權(quán)利要求中，不應(yīng)將位于括號(hào)之間的任何參考符號(hào)構(gòu)造成對(duì)權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個(gè)”不排除存在多個(gè)這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個(gè)可以是通過(guò)同一個(gè)硬件項(xiàng)來(lái)具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。

以上所述，僅為本發(fā)明的具體實(shí)施方式或?qū)唧w實(shí)施方式的說(shuō)明，本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。