本申請(qǐng)涉及計(jì)算機(jī)視覺，具體涉及姿勢(shì)估計(jì)方法和裝置、計(jì)算機(jī)系統(tǒng)。

背景技術(shù)：

關(guān)節(jié)型對(duì)象的姿勢(shì)估計(jì)是計(jì)算機(jī)視覺領(lǐng)域中的基本任務(wù)之一。其解決了在圖像中對(duì)象的部位定位問題，并具有如動(dòng)作識(shí)別和人體跟蹤等很多重要的應(yīng)用。該任務(wù)所面臨的主要挑戰(zhàn)在于高度關(guān)節(jié)化、遮蔽、服裝、燈光、雜亂的背景等。近來在人體姿勢(shì)估計(jì)領(lǐng)域已利用深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)實(shí)現(xiàn)了最先進(jìn)的性能。這些方法主要分為兩類：利用DCNN對(duì)每個(gè)身體部位位置的熱圖(heat map)進(jìn)行回歸；以及學(xué)習(xí)深度結(jié)構(gòu)化輸出以進(jìn)一步對(duì)身體關(guān)節(jié)之間的關(guān)系進(jìn)行建模。

基于DCNN的熱圖回歸模型已顯示出學(xué)習(xí)更好的特征表達(dá)的可能性。但是，如圖1(b)和圖1(d)所示，這些方法可產(chǎn)生諸多假陽(yáng)性。例如，在圖1(b)中多數(shù)假陽(yáng)性區(qū)域?yàn)槲礃?biāo)注人員的頭部，雖然這些假陽(yáng)性區(qū)域是合理的但是將在訓(xùn)練中被當(dāng)作誤報(bào)。這些區(qū)域上的誤差將反向傳播以影響與頭部檢測(cè)對(duì)應(yīng)的特征，而這是不適當(dāng)?shù)?。圖1(d)中示出了另一示例，其中處于背景(左上角)中的假陽(yáng)性區(qū)域?qū)⒃谟?xùn)練中被當(dāng)作難陰性。

近來，深度結(jié)構(gòu)化輸出學(xué)習(xí)吸引了相當(dāng)大的關(guān)注，并且在諸如語(yǔ)義分割、目標(biāo)檢測(cè)和深度估計(jì)等任務(wù)中顯示出了可喜的成果。對(duì)于人體姿勢(shì)估計(jì)，最近的研究將DCNN與全連接馬爾可夫隨機(jī)場(chǎng)(Markov Random Field)或身體部位位置的弱空間直方圖結(jié)合，以檢測(cè)身體關(guān)節(jié)位置之間的結(jié)構(gòu)性約束。然而，利用卷積核學(xué)習(xí)空間約束的參數(shù)空間太大，使得學(xué)習(xí)變得非常困難。此外，對(duì)于具有各種可能姿勢(shì)的人，例如，在圖像中頭部并不總是處于肩膀上方，這些方法效果甚微。

技術(shù)實(shí)現(xiàn)要素：

本申請(qǐng)實(shí)施例提供了一種姿勢(shì)估計(jì)技術(shù)方案。

本申請(qǐng)實(shí)施例的一方面公開了一種姿勢(shì)估計(jì)方法，該方法包括：提取圖像中對(duì)象的多個(gè)身體部位中每個(gè)身體部位對(duì)應(yīng)的特征以生成多個(gè)特征圖，其中每個(gè)所述身體部位對(duì)應(yīng)至少一個(gè)部位類型；為每個(gè)所述特征圖中的每個(gè)特征預(yù)測(cè)部位類型分值，并根據(jù)所預(yù)測(cè)的部位類型分值建立多個(gè)部位類型得分圖；對(duì)于每個(gè)所述部位類型得分圖中的至少一點(diǎn)，根據(jù)與所述點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位相關(guān)的消息，優(yōu)化所建立的部位類型得分圖；以及根據(jù)經(jīng)過優(yōu)化的部位類型得分圖確定每個(gè)所述身體部位的估計(jì)位置和估計(jì)部位類型，以得到所述對(duì)象的估計(jì)姿勢(shì)。

根據(jù)本申請(qǐng)的實(shí)施例，所述消息表示與所述點(diǎn)對(duì)應(yīng)的身體部位的所述相鄰身體部位的置信，以及在所述根據(jù)與所述點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位相關(guān)的消息，優(yōu)化所建立的部位類型得分圖之前，姿勢(shì)估計(jì)方法還包括：根據(jù)與所述點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位的部位類型得分圖確定所述相鄰身體部位的置信。

根據(jù)本申請(qǐng)的實(shí)施例，根據(jù)與所述點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位相關(guān)的消息，通過置信傳播來優(yōu)化所建立的部位類型得分圖。

根據(jù)本申請(qǐng)的實(shí)施例，所述消息還表示所述身體部位與所述相鄰身體部位之間的空間相容性。

根據(jù)本申請(qǐng)的實(shí)施例，根據(jù)所述身體部位與所述相鄰身體部位之間的相對(duì)位置信息確定所述身體部位與所述相鄰身體部位之間的空間相容性。

根據(jù)本申請(qǐng)的實(shí)施例，在確定所述空間相容性之前，姿勢(shì)估計(jì)方法還包括：根據(jù)第一距離和第二距離確定所述相對(duì)位置信息，其中所述第一距離表示在x軸方向上所述身體部位與所述相鄰身體部位之間的距離，所述第二距離表示在y軸方向上所述身體部位與所述相鄰身體部位之間的距離。

根據(jù)本申請(qǐng)的實(shí)施例，通過卷積神經(jīng)網(wǎng)絡(luò)來提取所述圖像中的所述特征。

根據(jù)本申請(qǐng)的實(shí)施例，通過卷積神經(jīng)網(wǎng)絡(luò)來提取所述圖像中的所述特征之前，姿勢(shì)估計(jì)方法還包括：根據(jù)預(yù)設(shè)數(shù)據(jù)集提取的特征圖與所述預(yù)設(shè)數(shù)據(jù)集的參考部位類型之間的差別，訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)。

根據(jù)本申請(qǐng)的實(shí)施例，通過消息傳遞單元來傳遞消息和優(yōu)化所建立的部位類型得分圖，其中所述消息傳遞單元根據(jù)預(yù)設(shè)數(shù)據(jù)集預(yù)測(cè)的部位類型得分圖與所述預(yù)設(shè)數(shù)據(jù)集的參考部位位置圖之間的差別訓(xùn)練而得。

本申請(qǐng)實(shí)施例的另一方面公開了一種姿勢(shì)估計(jì)裝置，該裝置包括：提取模塊，提取圖像中對(duì)象的多個(gè)身體部位中每個(gè)身體部位對(duì)應(yīng)的特征以生成多個(gè)特征圖，其中每個(gè)所述身體部位對(duì)應(yīng)至少一個(gè)部位類型；預(yù)測(cè)模塊，為每個(gè)所述特征圖中的每個(gè)特征預(yù)測(cè)部位類型分值，并根據(jù)所預(yù)測(cè)的部位類型分值建立多個(gè)部位類型得分圖；優(yōu)化模塊，對(duì)于每個(gè)所述部位類型得分圖中的至少一點(diǎn)，根據(jù)與所述點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位相關(guān)的消息，優(yōu)化所建立的部位類型得分圖；以及確定模塊，根據(jù)經(jīng)過優(yōu)化的部位類型得分圖確定每個(gè)所述身體部位的估計(jì)位置和估計(jì)部位類型，以得到所述對(duì)象的估計(jì)姿勢(shì)。

根據(jù)本申請(qǐng)的實(shí)施例，所述消息表示與所述點(diǎn)對(duì)應(yīng)的身體部位的所述相鄰身體部位的置信，以及所述優(yōu)化模塊還用于根據(jù)與所述點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位的部位類型得分圖確定所述相鄰身體部位的置信。

根據(jù)本申請(qǐng)的實(shí)施例，所述優(yōu)化模塊用于對(duì)于每個(gè)所述部位類型得分圖中的至少一點(diǎn)，根據(jù)與所述點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位相關(guān)的消息，通過置信傳播來優(yōu)化所建立的部位類型得分圖。

根據(jù)本申請(qǐng)的實(shí)施例，所述消息還表示所述身體部位與所述相鄰身體部位之間的空間相容性。

根據(jù)本申請(qǐng)的實(shí)施例，所述優(yōu)化模塊還用于根據(jù)所述身體部位與所述相鄰身體部位之間的相對(duì)位置信息確定所述身體部位與所述相鄰身體部位之間的空間相容性。

根據(jù)本申請(qǐng)的實(shí)施例，所述優(yōu)化模塊還用于根據(jù)第一距離和第二距離確定所述相對(duì)位置信息，其中所述第一距離表示在x軸方向上所述身體部位與所述相鄰身體部位之間的距離，所述第二距離表示在y軸方向上所述身體部位與所述相鄰身體部位之間的距離。

根據(jù)本申請(qǐng)的實(shí)施例，所述提取模塊用于通過卷積神經(jīng)網(wǎng)絡(luò)來提取所述圖像中的所述特征。

根據(jù)本申請(qǐng)的實(shí)施例，姿勢(shì)估計(jì)裝置還包括：網(wǎng)絡(luò)訓(xùn)練模塊，用于根據(jù)預(yù)設(shè)數(shù)據(jù)集提取的特征圖與所述預(yù)設(shè)數(shù)據(jù)集的參考部位類型之間的差別，訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)。

根據(jù)本申請(qǐng)的實(shí)施例，所述優(yōu)化模塊包括消息傳遞單元，所述優(yōu)化模塊用于通過所述消息傳遞單元來傳遞消息和優(yōu)化所建立的部位類型得分圖；以及姿勢(shì)估計(jì)裝置還包括：?jiǎn)卧?xùn)練模塊，用于根據(jù)預(yù)設(shè)數(shù)據(jù)集預(yù)測(cè)的部位類型得分圖與所述預(yù)設(shè)數(shù)據(jù)集的參考部位位置圖之間的差別，訓(xùn)練所述消息傳遞單元。

本申請(qǐng)實(shí)施例的另一方面還公開了一種計(jì)算機(jī)系統(tǒng)，該系統(tǒng)包括：

存儲(chǔ)器，存儲(chǔ)可執(zhí)行指令；

一個(gè)或多個(gè)處理器，與存儲(chǔ)器通信以執(zhí)行可執(zhí)行指令從而完成以下操作：

提取圖像中對(duì)象的多個(gè)身體部位中每個(gè)身體部位對(duì)應(yīng)的特征以生成多個(gè)特征圖，其中每個(gè)所述身體部位對(duì)應(yīng)至少一個(gè)部位類型；

為每個(gè)所述特征圖中的每個(gè)特征預(yù)測(cè)部位類型分值，并根據(jù)所預(yù)測(cè)的部位類型分值建立多個(gè)部位類型得分圖；

對(duì)于每個(gè)所述部位類型得分圖中的至少一點(diǎn)，根據(jù)與所述點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位相關(guān)的消息，優(yōu)化所建立的部位類型得分圖；以及

根據(jù)經(jīng)過優(yōu)化的部位類型得分圖確定每個(gè)所述身體部位的估計(jì)位置和估計(jì)部位類型，以得到所述對(duì)象的估計(jì)姿勢(shì)。

本申請(qǐng)實(shí)施例的又一方面公開了非暫時(shí)性計(jì)算機(jī)存儲(chǔ)介質(zhì)，該介質(zhì)存儲(chǔ)計(jì)算機(jī)可讀指令，當(dāng)這些指令被執(zhí)行時(shí)使處理器執(zhí)行以下操作：提取圖像中對(duì)象的多個(gè)身體部位中每個(gè)身體部位對(duì)應(yīng)的特征以生成多個(gè)特征圖，其中每個(gè)所述身體部位對(duì)應(yīng)至少一個(gè)部位類型；為每個(gè)所述特征圖中的每個(gè)特征預(yù)測(cè)部位類型分值，并根據(jù)所預(yù)測(cè)的部位類型分值建立多個(gè)部位類型得分圖；對(duì)于每個(gè)所述部位類型得分圖中的至少一點(diǎn)，根據(jù)與所述點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位相關(guān)的消息，優(yōu)化所建立的部位類型得分圖；以及根據(jù)經(jīng)過優(yōu)化的部位類型得分圖確定每個(gè)所述身體部位的估計(jì)位置和估計(jì)部位類型，以得到所述對(duì)象的估計(jì)姿勢(shì)。

附圖說明

在下文中，參照附圖描述了本申請(qǐng)的示例性且非限制性的實(shí)施方式。這些附圖僅為說明性的并且通常不代表精確的比例。不同附圖中相同或相似的元件以相同的附圖標(biāo)記表示。

圖1(a)示出了頭部的真實(shí)位置；

圖1(b)示出了通過傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的頭部的位置；

圖1(c)示出了腳踝的真實(shí)位置；

圖1(d)示出了通過傳統(tǒng)的深度卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的腳踝的位置；

圖2示出了根據(jù)本申請(qǐng)的示例性身體部位的示意圖；

圖3示出了根據(jù)本申請(qǐng)的身體部位的組合的示例；

圖4示出了根據(jù)本申請(qǐng)實(shí)施方式的姿勢(shì)估計(jì)方法的流程圖；

圖5示出了根據(jù)本申請(qǐng)實(shí)施方式的姿勢(shì)估計(jì)方法的示意圖；

圖6示出了根據(jù)本申請(qǐng)實(shí)施方式的訓(xùn)練CNN的流程圖；

圖7示出了根據(jù)本申請(qǐng)實(shí)施方式的訓(xùn)練消息傳遞單元的流程圖；

圖8示出了根據(jù)本申請(qǐng)實(shí)施方式的姿勢(shì)估計(jì)裝置的示意圖；以及

圖9示出了適合實(shí)施本申請(qǐng)實(shí)施方式的計(jì)算機(jī)系統(tǒng)的結(jié)構(gòu)圖。

具體實(shí)施方式

在下文中，將參照詳細(xì)的說明及附圖對(duì)本申請(qǐng)的實(shí)施方式進(jìn)行詳細(xì)的說明。

術(shù)語(yǔ)“身體部位”旨在描述所選擇的身體的部位，優(yōu)選地描述如頭、頸、肩、膝蓋、腳踝的部位，如圖2所示。但是，本申請(qǐng)并不旨在受限于本文中所公開的實(shí)施方式。例如，出于準(zhǔn)確性或效率考慮，可包括更多或更少的身體部位、甚至完全不同的身體部位。

術(shù)語(yǔ)“部位類型”旨在代表身體部位與相鄰身體部位的組合信息，尤其是，身體部位與相鄰身體部位之間的空間關(guān)系。例如，與處于水平狀態(tài)的手臂(以下稱為水平手臂)連接的手腕歸為部位類型為1的手腕，與處于豎直狀態(tài)的手臂(以下稱為豎直手臂)連接的手腕歸為部位類型為2的手腕。每個(gè)部位類型對(duì)應(yīng)于一組具有相似相對(duì)位置的身體部位示例。圖3示出了七個(gè)示例性身體部位的一些空間關(guān)系示例。從相對(duì)位置獲得的組合信息與身體部位的外觀具有極強(qiáng)的相關(guān)性。例如，水平手臂對(duì)應(yīng)一種部位類型，豎直手臂對(duì)應(yīng)另一種部位類型，這兩種部位類型在姿勢(shì)構(gòu)型和外觀上相異。身體部位的部位類型數(shù)量可以是預(yù)定的。不同身體部位的部位類型的數(shù)量可以是相同的或不同的。本申請(qǐng)?jiān)谶@方面不進(jìn)行限制。

術(shù)語(yǔ)“特征圖(feature map)”旨在代表從圖像中提取的特征。特征圖中的每個(gè)點(diǎn)對(duì)應(yīng)于一個(gè)圖像塊，該圖像塊的中心為該圖像中與特征圖中的該點(diǎn)對(duì)應(yīng)的點(diǎn)。

術(shù)語(yǔ)“卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)”及其縮寫詞“CNN”旨在表示用于機(jī)器學(xué)習(xí)的各種類型的前饋人工神經(jīng)網(wǎng)絡(luò)，在該網(wǎng)絡(luò)中，各神經(jīng)元可以以響應(yīng)于覆蓋視野的重疊區(qū)域的方式進(jìn)行布置。

術(shù)語(yǔ)“最大后驗(yàn)(maximun a posteriori)”旨在描述根據(jù)經(jīng)驗(yàn)數(shù)據(jù)通過使用擴(kuò)充的優(yōu)化目標(biāo)來獲得對(duì)難以觀測(cè)量的點(diǎn)的估計(jì)，其中該擴(kuò)充的優(yōu)化目標(biāo)結(jié)合了期望估計(jì)量的先驗(yàn)概率分布。

術(shù)語(yǔ)“反向傳播算法”旨在描述一種與最優(yōu)化方法(如梯度下降法)結(jié)合使用的、用來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的通用方法。該方法用來計(jì)算損失函數(shù)(loss function)針對(duì)網(wǎng)絡(luò)中所有權(quán)重的梯度。該梯度會(huì)反饋給最優(yōu)化方法而使其利用該梯度更新權(quán)重以試圖使損失函數(shù)最小化。

圖4示出根據(jù)本申請(qǐng)實(shí)施方式的姿勢(shì)估計(jì)方法的流程圖。

在步驟100中，提取圖像中對(duì)象的多個(gè)身體部位中每個(gè)身體部位對(duì)應(yīng)的特征以生成多個(gè)特征圖，其中每個(gè)身體部位對(duì)應(yīng)至少一個(gè)部位類型。該圖像可以是某一靜態(tài)圖像，也可以是視頻的某一幀圖像，本申請(qǐng)?jiān)谶@方面不進(jìn)行限制。具體地，在該步驟中，針對(duì)每個(gè)身體部位的每個(gè)部位類型生成一個(gè)特征圖。本領(lǐng)域的技術(shù)人員應(yīng)理解，可使用多種方法提取特征圖。例如，傳統(tǒng)的方法使用手動(dòng)生成的特征(如HOG和顏色直方圖)借助監(jiān)督分類器(如潛在支持向量機(jī)(latent SVM)或提升的隨機(jī)森林算法)來檢測(cè)圖像中的身體部位。根據(jù)本申請(qǐng)的實(shí)施方式，可通過例如但并不限于卷積神經(jīng)網(wǎng)絡(luò)(CNN)來提取特征圖。在本申請(qǐng)中，特征圖中的每個(gè)點(diǎn)處的數(shù)值表示CNN的一個(gè)神經(jīng)元對(duì)輸入圖像的圖像塊的響應(yīng)。例如，如果神經(jīng)元對(duì)圓形具有更高的響應(yīng)，則在特征圖中出現(xiàn)圓形處的點(diǎn)可具有更大的數(shù)值。

在步驟200中，為每個(gè)特征圖中的每個(gè)特征預(yù)測(cè)部位類型分值，并根據(jù)所預(yù)測(cè)的部位類型分值建立多個(gè)部位類型得分圖。在特征圖中的每個(gè)點(diǎn)處預(yù)測(cè)的身體部位的部位類型的部位類型得分，組成該身體部位的部位類型的部位類型得分圖。某一身體部位的某一部位類型的部位類型得分圖中每個(gè)點(diǎn)處的數(shù)值，表示該點(diǎn)所對(duì)應(yīng)的該圖像塊對(duì)應(yīng)于該部位類型的該身體部位的可能性。根據(jù)本申請(qǐng)的實(shí)施方式，部位類型得分可通過例如但不限于Softmax函數(shù)單元，然后是對(duì)數(shù)函數(shù)單元來得出，其中通過Softmax函數(shù)單元對(duì)特征圖中的每個(gè)點(diǎn)處的數(shù)值執(zhí)行softmax函數(shù)功能，然后對(duì)數(shù)函數(shù)單元對(duì)經(jīng)過Softmax函數(shù)單元處理的數(shù)值執(zhí)行對(duì)數(shù)函數(shù)(log)功能以得到部位類型得分，但是并不限于此。

在步驟300中，對(duì)于每個(gè)部位類型得分圖中的至少一點(diǎn)，根據(jù)與該點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位相關(guān)的消息，優(yōu)化所建立的部位類型得分圖。在本申請(qǐng)實(shí)施方式中，上述的至少一點(diǎn)可通過對(duì)每個(gè)部位類型得分圖進(jìn)行例如但不限于降噪處理、采樣處理、濾波處理等而選擇得到。

在本申請(qǐng)實(shí)施方式中，上述消息可表示與該點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位的置信。在本申請(qǐng)實(shí)施方式中，可根據(jù)與上述點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位的部位類型得分圖確定該相鄰身體部位的置信。

如圖2所示，可將身體部位建模為樹狀結(jié)構(gòu)。但是，也可將身體部位建模為環(huán)狀結(jié)構(gòu)。在本文中，本申請(qǐng)使用循環(huán)結(jié)構(gòu)作為示例來解釋根據(jù)本申請(qǐng)的實(shí)施方式的消息傳遞過程，并且對(duì)于本領(lǐng)域的技術(shù)人員顯而易見的是，本申請(qǐng)也適用于樹狀結(jié)構(gòu)。在本申請(qǐng)實(shí)施方式中，根據(jù)與所述點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位相關(guān)的消息，通過置信傳播來優(yōu)化所建立的部位類型得分圖。然而，本領(lǐng)域技術(shù)人員可理解，還可通過其他各種方法來優(yōu)化所建立的部位類型得分圖，例如但不限于方差分析、因子分析、回歸分析等。

在本申請(qǐng)中，消息傳遞過程和所建立的部位類型得分圖的優(yōu)化處理可由消息傳遞單元執(zhí)行。具體地，在該步驟中，對(duì)于每個(gè)部位類型得分圖中的每個(gè)點(diǎn)，消息傳遞單元根據(jù)與該點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位相關(guān)的消息，來更新該點(diǎn)處的數(shù)值，從而優(yōu)化所建立的部位類型得分圖。在本申請(qǐng)實(shí)施方式中，該消息還可表示該身體部位與相鄰身體部位之間的空間相容性。例如，如圖5的左邊部分所示，身體部位被建模為環(huán)狀結(jié)構(gòu)。消息傳遞如圖5的右邊部分所示。例如，身體部位頸部的相鄰身體部位包括頭部、左肩和右肩，因此對(duì)于頸部，消息傳遞單元根據(jù)與頸部相關(guān)的消息來優(yōu)化頭部、左肩和右肩的部位類型得分圖，以及根據(jù)與頭部、左肩和右肩相關(guān)的消息來優(yōu)化頸部的部位類型得分圖。消息傳遞單元可通過執(zhí)行最大和置信傳播算法(max-sum belief propagation algorithm)進(jìn)行消息的傳遞。但是，對(duì)于本領(lǐng)域的技術(shù)人員顯而易見的是，還可采用其他適當(dāng)?shù)姆椒ā?/p>

在本申請(qǐng)的實(shí)施方式中，根據(jù)身體部位與相鄰身體部位之間的相對(duì)位置信息確定該身體部位與該相鄰身體部位之間的空間相容性。在確定空間相容性之前，根據(jù)本申請(qǐng)實(shí)施方式的方法還包括根據(jù)第一距離和第二距離確定相對(duì)位置信息，其中第一距離表示在x軸方向身體部位與相鄰身體部位之間的距離，以及第二距離表示在y軸方向身體部位與相鄰身體部位之間的距離。在本申請(qǐng)的實(shí)施方式中，可根據(jù)第一距離、第二距離、第一距離的平方以及第二距離的平方，確定該相對(duì)位置信息。具體地，兩個(gè)相鄰的身體部位i和j的空間相容性(spatial compatibility)Ψ可由公式(1)定義：

$\mathrm{\ψ}(l_i,l_j,t_i,t_j|I;w_{i,j}^{t_i,t_j})=\<w_{i,j}^{t_i,t_j},d(l_i-l_j)\>---\left(1\right)$

其中，l_i＝(x_i,y_i)表示身體部位的像素位置，t表示身體部位的部位類型，d(l_i,l_j)是由d(l_i-l_j)＝[Δx Δx² Δy Δy²]^T定義的形變特征，Δx＝x_i-x_j以及Δy＝y(tǒng)_i-y_j是身體部位i相對(duì)于身體部位j的相對(duì)位置，并且是四維形變權(quán)重。在本申請(qǐng)中，通過公式(1)所示的二次形變約束，可以以正則化方式減小參數(shù)空間。然而，本領(lǐng)域技術(shù)人員還可理解，可根據(jù)第一距離和第二距離，以及第一距離和/或第二距離中至少之一的加權(quán)等信息確定身體部位與相鄰身體部位之間的空間相容性。

以下將詳細(xì)描述本申請(qǐng)的消息傳遞過程。對(duì)于身體部位j，消息傳遞單元從相鄰身體部位i獲取的消息定義為m_ij(l_j；t_j)，身體部位i的置信(belief)定義為u_i(l_i；t_i)。身體部位i的置信u_i(l_i；t_i)可根據(jù)以下來確定：部位類型為t_i的身體部位i的部位類型得分圖中對(duì)應(yīng)于像素位置為l處的值；以及該身體部位i的相鄰身體部位相關(guān)的消息。對(duì)于身體部位j，從其相鄰身體部位i獲取的消息m_ij(l_j；t_j)可根據(jù)以下方式來確定：各身體部位i和該身體部位j之間的空間相容性與身體部位i的置信的和的最大值。在本申請(qǐng)實(shí)施方式中，消息傳遞單元例如可根據(jù)規(guī)則(2)和(3)更新消息和置信：

$m_{ij}(l_j,t_j)\←{\mathrm{\α}}_m\underset{l_i,t_i}{\max }\left(u_i\right(l_i,t_i)+\mathrm{\ψ}(l_i,l_j,t_i,t_j\left)\right)---\left(2\right)$

其中，α_m和α_u為歸一化項(xiàng)，并且N(i)表示身體部位i的相鄰身體部位的集合，φ(l_i，t_i)是由對(duì)數(shù)函數(shù)單元所輸出的對(duì)數(shù)概率。為簡(jiǎn)化標(biāo)記，在此省略了模型參數(shù)。在本文中，使用泛洪機(jī)制(flooding schedule)進(jìn)行消息傳遞過程。根據(jù)泛洪機(jī)制，在每個(gè)時(shí)間步上，在每個(gè)連接的兩個(gè)方向同時(shí)傳遞消息。

如圖5的右邊部分所示，通過利用泛洪機(jī)制，根據(jù)公式(2)和(3)，每個(gè)消息傳遞單元執(zhí)行一次置信傳播迭代。消息傳遞單元使每個(gè)身體部位向其每個(gè)相鄰身體部位同時(shí)發(fā)送消息(表示為實(shí)線連接)，并且在每個(gè)節(jié)點(diǎn)處通過將其一元?jiǎng)菽芘c所有發(fā)來的消息進(jìn)行求和而更新每個(gè)節(jié)點(diǎn)的置信(表示為虛線連接)。在本申請(qǐng)實(shí)施方式中，所有的消息在置信傳播迭代開始時(shí)均初始化為常數(shù)函數(shù)。

雖然置信傳播可能需要多次迭代而收斂，但是觀察到三個(gè)消息傳遞單元的串聯(lián)可足以產(chǎn)生令人滿意的結(jié)果。然而，對(duì)于本領(lǐng)域技術(shù)人員顯而易見的是，可使用更多或更少的消息傳遞單元，本發(fā)明對(duì)此沒有限制。

在步驟400中，根據(jù)經(jīng)過優(yōu)化的部位類型得分圖確定每個(gè)身體部位的估計(jì)位置和估計(jì)部位類型，以得到所述對(duì)象的估計(jì)姿勢(shì)。在本申請(qǐng)實(shí)施方式中，對(duì)于每個(gè)身體部位，可在經(jīng)過優(yōu)化的部位類型得分圖中選擇具有最高得分的位置作為該身體部位的位置，并且選擇與該身體部位的位置對(duì)應(yīng)的部位類型作為該身體部位的部位類型。然而，本領(lǐng)域技術(shù)人員可理解，還可通過其他方式確定出每個(gè)身體部位的估計(jì)位置和估計(jì)部位類型，例如但不限于在經(jīng)過優(yōu)化的部位類型得分圖中選擇得分超過預(yù)設(shè)閾值的位置作為該身體部位的位置，或?qū)?jīng)過優(yōu)化的部位類型得分圖再進(jìn)行加權(quán)處理后選擇數(shù)值最大的位置作為該身體部位的位置，或在經(jīng)過優(yōu)化的部位類型得分圖中選擇具有得分極大值的位置作為該身體部位的位置等。

例如，在本申請(qǐng)實(shí)施方式，在置信傳播收斂之后，通過為每個(gè)身體部位選擇具有最大置信的位置和類型而獲得最優(yōu)姿勢(shì)估計(jì)。例如可通過公式(4)得出身體部位的估計(jì)位置和估計(jì)部位類型：

$(l_i^{*},t_i^{*})=\arg \underset{l_i,t_i}{\max }{u}_i^{*}(l_i,t_i),\∀i\∈\{1,\mathrm{...},K\}---\left(4\right)$

其中，是在最后一次迭代中所計(jì)算出的置信，該置信為具體位置和具體部位類型的最大后驗(yàn)，是最大后驗(yàn)分配，并且K表示身體部位的數(shù)量。

在本申請(qǐng)中，通過使用身體部位類型和二次形變約束，可排除假陽(yáng)性區(qū)域，并減小參數(shù)空間的大小，從而更加有效且更加準(zhǔn)確地估計(jì)對(duì)象姿勢(shì)。

為了能夠考慮身體部位的組合，可通過具有利用部位類型的局部圖像塊對(duì)CNN進(jìn)行預(yù)訓(xùn)練?，F(xiàn)有的人體姿勢(shì)數(shù)據(jù)集使用身體部位位置l來標(biāo)注，但是沒有部位類型t。假設(shè)r_ij表示從身體部位i至其相鄰身體部位j的相對(duì)位置，則相對(duì)位置r_ij在訓(xùn)練集上被聚類為T_i個(gè)集群。如圖2所示，通過邊連接的兩個(gè)身體部位為相鄰身體部位。每個(gè)集群對(duì)應(yīng)于一個(gè)具有相似的相對(duì)位置的部位示例的集合，并且每個(gè)身體部位的部位類型可由集群成員導(dǎo)出。然后，為數(shù)據(jù)集獲得真實(shí)的部位類型。在本申請(qǐng)中，集群可通過k均值聚類法(K-means clustering)獲得。但是，本申請(qǐng)?jiān)谶@方面不進(jìn)行限制。

在本申請(qǐng)實(shí)施方式中，可根據(jù)卷積神經(jīng)網(wǎng)絡(luò)從預(yù)設(shè)數(shù)據(jù)集提取的特征圖與該預(yù)設(shè)數(shù)據(jù)集的參考部位類型之間的差別來訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)。

圖6示出根據(jù)本申請(qǐng)實(shí)施方式的訓(xùn)練CNN的流程圖。如圖6所示，CNN可通過以下步驟進(jìn)行訓(xùn)練：

1)從預(yù)定的訓(xùn)練集獲得圖像塊及相應(yīng)的真實(shí)部位類型；

2)利用CNN提取特征并預(yù)測(cè)部位類型；

3)計(jì)算預(yù)測(cè)的部位類型與真實(shí)部位類型之間的差別；以及

4)利用該差別調(diào)整CNN的參數(shù)。

重復(fù)1)至4)直到預(yù)測(cè)的部位類型收斂為真實(shí)部位類型。步驟4)例如可利用反向傳播算法執(zhí)行，但是并不限于此。

在本申請(qǐng)實(shí)施方式中，可根據(jù)從預(yù)設(shè)數(shù)據(jù)集預(yù)測(cè)的部位類型得分圖與該預(yù)設(shè)數(shù)據(jù)集的參考部位位置圖之間的差別來訓(xùn)練消息傳遞單元

圖7示出根據(jù)本申請(qǐng)實(shí)施方式的訓(xùn)練消息傳遞單元的流程圖。如圖7所示，消息傳遞單元可通過以下步驟進(jìn)行訓(xùn)練：

1)從預(yù)定的訓(xùn)練集獲得圖像和相應(yīng)的真實(shí)部位位置得分圖；

2)利用CNN提取特征并預(yù)測(cè)部位類型，以建立部位類型得分圖；

3)利用消息傳遞單元優(yōu)化部位類型得分圖，并根據(jù)經(jīng)過優(yōu)化的部位類型得分圖確定出部位位置得分圖；

4)計(jì)算所確定的部位位置得分圖與真實(shí)部位位置得分圖之間的差別；以及

5)利用該差別調(diào)整消息傳遞單元的參數(shù)。

重復(fù)1)至5)直到預(yù)測(cè)的部位類型得分圖收斂為真實(shí)部位位置得分圖。步驟5)例如可利用反向傳播算法執(zhí)行，但是并不限于此。步驟5)中被調(diào)整的參數(shù)包括例如但不限于上述的規(guī)則(2)和(3)中的歸一化項(xiàng)α_m和α_u等。在本申請(qǐng)中，現(xiàn)有的人體姿勢(shì)數(shù)據(jù)集使用身體部位位置(即，真實(shí)的位置)來標(biāo)注，但沒有部位類型。真實(shí)部位位置得分圖是二值化圖，并且通過將相對(duì)于真實(shí)位置的距離l小于或等于閾值的點(diǎn)處的數(shù)值設(shè)為1、以及將相對(duì)于真實(shí)位置的距離l大于閾值的點(diǎn)處的數(shù)值設(shè)為-1而生成。

根據(jù)本申請(qǐng)實(shí)施方式，在上述的步驟5)中，CNN和消息傳遞單元的參數(shù)可通過所確定的部位位置得分圖與真實(shí)部位位置得分圖之間的差別來聯(lián)合地調(diào)整。通過聯(lián)合訓(xùn)練CNN和消息傳遞單元，從而能夠在通過結(jié)合全局姿勢(shì)一致性進(jìn)行訓(xùn)練時(shí)有效地減少模糊性和挖掘難陰性。通過二次形變約束，可以以正則化方式減小參數(shù)空間。

本領(lǐng)域技術(shù)人員可理解，雖然結(jié)合在圖像中估計(jì)人體姿勢(shì)的示例描述了本申請(qǐng)，但根據(jù)本申請(qǐng)實(shí)施方式的姿勢(shì)估計(jì)方法也可用于其他對(duì)象(如動(dòng)物，玩具等)的姿勢(shì)的估計(jì)，本申請(qǐng)對(duì)此沒有限制。

現(xiàn)參照?qǐng)D8，其示出了根據(jù)本申請(qǐng)實(shí)施方式的姿勢(shì)估計(jì)裝置的示意圖。

如圖8所示，姿勢(shì)估計(jì)裝置800可包括：提取模塊810、預(yù)測(cè)模塊820、優(yōu)化模塊830、確定模塊840、網(wǎng)絡(luò)訓(xùn)練模塊850以及單元訓(xùn)練模塊860。

提取模塊810提取圖像中對(duì)象的多個(gè)身體部位中每個(gè)身體部位對(duì)應(yīng)的特征以生成多個(gè)特征圖，其中每個(gè)身體部位對(duì)應(yīng)至少一個(gè)部位類型。

預(yù)測(cè)模塊820為每個(gè)所述特征圖中的每個(gè)特征預(yù)測(cè)部位類型分值，并根據(jù)所預(yù)測(cè)的部位類型分值建立多個(gè)部位類型得分圖。

優(yōu)化模塊830對(duì)于每個(gè)所述部位類型得分圖中的至少一點(diǎn)，根據(jù)與所述點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位相關(guān)的消息，優(yōu)化所建立的部位類型得分圖。

確定模塊840根據(jù)經(jīng)過優(yōu)化的部位類型得分圖確定每個(gè)所述身體部位的估計(jì)位置和估計(jì)部位類型，以得到所述對(duì)象的估計(jì)姿勢(shì)。

本領(lǐng)域的技術(shù)人員應(yīng)理解，提取模塊810可通過實(shí)施多種方法提取特征。例如，提取模塊810可通過使用手動(dòng)生成的特征(如HOG和顏色直方圖)借助監(jiān)督分類器(如潛在支持向量機(jī)(latent SVM)或提升的隨機(jī)森林算法)來檢測(cè)圖像中的身體部位。根據(jù)本申請(qǐng)的實(shí)施方式，提取模塊810可包括例如但并不限于卷積神經(jīng)網(wǎng)絡(luò)(CNN)，提取模塊810通過卷積神經(jīng)網(wǎng)絡(luò)來提取特征。在本申請(qǐng)的實(shí)施方式中，姿勢(shì)估計(jì)裝置800還可包括網(wǎng)絡(luò)訓(xùn)練模塊850，其用于根據(jù)預(yù)設(shè)數(shù)據(jù)集提取的特征圖與預(yù)設(shè)數(shù)據(jù)集的參考部位類型之間的差別，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。然而，本領(lǐng)域技術(shù)人員可理解，在通過其他單元或模塊提取特征時(shí)，姿勢(shì)估計(jì)裝置800可包括用于訓(xùn)練該單元或模塊的訓(xùn)練模塊。可替代性地，根據(jù)本申請(qǐng)實(shí)施方式，姿勢(shì)估計(jì)裝置800可不包括網(wǎng)絡(luò)訓(xùn)練模塊850，本申請(qǐng)對(duì)此沒有限制。

根據(jù)本申請(qǐng)的實(shí)施方式，預(yù)測(cè)模塊820可包括Softmax函數(shù)單元和對(duì)數(shù)函數(shù)單元。Softmax函數(shù)單元用于執(zhí)行softmax函數(shù)，以及對(duì)數(shù)函數(shù)單元用于執(zhí)行對(duì)數(shù)函數(shù)。Softmax函數(shù)單元對(duì)通過提取模塊810得到的特征圖應(yīng)用softmax函數(shù)，然后對(duì)數(shù)函數(shù)單元再對(duì)其執(zhí)行對(duì)數(shù)函數(shù)功能，以得到部位類型得分。

根據(jù)本申請(qǐng)的實(shí)施方式，優(yōu)化模塊830可用于建模為樹狀結(jié)構(gòu)或環(huán)狀機(jī)構(gòu)的身體部位，本發(fā)明對(duì)此并不限制。此外，優(yōu)化模塊830包括至少一個(gè)消息傳遞單元，優(yōu)化模塊830通過消息傳遞單元來傳遞消息和優(yōu)化所建立的部位類型得分圖。對(duì)于每個(gè)部位類型得分圖中的至少一個(gè)點(diǎn)，消息傳遞單元根據(jù)與該點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位相關(guān)的消息，來更新該點(diǎn)處的數(shù)值，從而優(yōu)化所建立的部位類型得分圖。在本申請(qǐng)實(shí)施方式中，優(yōu)化模塊830根據(jù)與部位類型得分圖中的每個(gè)點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位的部位類型得分圖獲取消息。在本申請(qǐng)實(shí)施方式中，上述消息可表示與部位類型得分圖中的點(diǎn)對(duì)應(yīng)的身體部位的所述相鄰身體部位的置信，并且優(yōu)化模塊830可根據(jù)與部位類型得分圖中的點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位的部位類型得分圖確定所述相鄰身體部位的置信。此外，上述消息還可表示所述相鄰身體部位的置信和所述身體部位與所述相鄰身體部位之間的空間相容性，并且優(yōu)化模塊830還可根據(jù)身體部位與相鄰身體部位之間的相對(duì)位置信息確定該身體部位與相鄰身體部位之間的空間相容性。優(yōu)化模塊830根據(jù)第一距離和第二距離確定相對(duì)位置信息，其中第一距離表示在x軸方向上該身體部位與相鄰身體部位之間的距離，以及第二距離表示在y軸方向上該身體部位與相鄰身體部位之間的距離。在本申請(qǐng)的實(shí)施方式中，優(yōu)化模塊830可根據(jù)第一距離、第二距離、第一距離的平方以及第二距離的平方，確定該相對(duì)位置信息。對(duì)于每個(gè)部位類型得分圖中的至少一點(diǎn)，優(yōu)化模塊830可根據(jù)與該點(diǎn)對(duì)應(yīng)的身體部位的相鄰身體部位相關(guān)的消息，通過置信傳播來優(yōu)化所建立的部位類型得分圖。在本申請(qǐng)實(shí)施方式中，消息傳遞單元可執(zhí)行最大和置信傳播算法(max-sum belief propagation algorithm)來傳遞消息并優(yōu)化部位類型得分圖。但是，對(duì)于本領(lǐng)域的技術(shù)人員顯而易見的是，消息傳遞單元還可采用其他適當(dāng)?shù)姆椒?。每個(gè)消息傳遞單元根據(jù)泛洪機(jī)制，在部位類型得分圖中，在相鄰的身體部位所對(duì)應(yīng)的點(diǎn)之間進(jìn)行消息傳遞，并且每個(gè)消息傳遞單元執(zhí)行一次置信傳播迭代。在部位類型得分圖中，與身體部位對(duì)應(yīng)的點(diǎn)向每個(gè)相鄰身體部位所對(duì)應(yīng)的點(diǎn)同時(shí)發(fā)送消息(如圖5的右邊部分中示出的實(shí)線連接)，并且每個(gè)點(diǎn)的置信通過將其一元?jiǎng)菽芘c所有發(fā)來的消息進(jìn)行求和而更新(如圖5的右邊部分中示出的虛線連接)。優(yōu)選地，優(yōu)化模塊830中包括3個(gè)消息傳遞單元，然而本發(fā)明并不限于此。在本申請(qǐng)實(shí)施方式中，姿勢(shì)估計(jì)裝置800還可包括單元訓(xùn)練模塊860，用于根據(jù)預(yù)設(shè)數(shù)據(jù)集預(yù)測(cè)的部位類型得分圖與預(yù)設(shè)數(shù)據(jù)集的參考部位位置圖之間的差別，訓(xùn)練消息傳遞單元。然而，本領(lǐng)域技術(shù)人員可理解，在通過其他單元或模塊優(yōu)化部位類型得分圖時(shí)，姿勢(shì)估計(jì)裝置800可包括用于訓(xùn)練該單元或模塊的訓(xùn)練模塊?？商娲缘兀鶕?jù)本申請(qǐng)實(shí)施方式，姿勢(shì)估計(jì)裝置800可不包括單元訓(xùn)練模塊860，本申請(qǐng)對(duì)此沒有限制。

在本申請(qǐng)的實(shí)施方式中，對(duì)于每個(gè)身體部位，確定模塊840可在經(jīng)過優(yōu)化的部位類型得分圖中選擇具有最高得分的位置作為該身體部位的位置，并且選擇與該身體部位的位置對(duì)應(yīng)的部位類型作為該身體部位的部位類型。具體地，在置信傳播收斂之后，確定模塊840根據(jù)公式(4)并通過為每個(gè)身體部位選擇具有最大置信的位置和類型而獲得最優(yōu)姿勢(shì)估計(jì)。

此外，根據(jù)本申請(qǐng)實(shí)施方式，姿勢(shì)估計(jì)裝置800還可用于執(zhí)行圖6所示的訓(xùn)練CNN的方法，以及可執(zhí)行圖7所示的訓(xùn)練消息傳遞單元的方法。具體地，姿勢(shì)估計(jì)裝置800可通過根據(jù)通過所述卷積神經(jīng)網(wǎng)絡(luò)從預(yù)設(shè)數(shù)據(jù)集提取的特征圖與該預(yù)設(shè)數(shù)據(jù)集的參考部位類型之間的差別來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，以及根據(jù)從預(yù)設(shè)數(shù)據(jù)集預(yù)測(cè)的部位類型得分圖與該預(yù)設(shè)數(shù)據(jù)集的參考部位位置圖之間的差別來訓(xùn)練消息傳遞單元。此外，姿勢(shì)估計(jì)裝置800還可通過預(yù)測(cè)的部位位置得分圖與真實(shí)部位位置得分圖之間的差別來聯(lián)合地調(diào)整CNN和消息傳遞單元的參數(shù)。通過聯(lián)合地訓(xùn)練CNN和消息傳遞單元，從而能夠在通過結(jié)合全局姿勢(shì)一致性進(jìn)行訓(xùn)練時(shí)有效地減少模糊性和挖掘難陰性。通過二次形變約束，可以以正則化方式減小參數(shù)空間

應(yīng)當(dāng)理解，裝置800中記載的諸模塊或單元與參考圖4至圖7描述的方法中的各個(gè)步驟相對(duì)應(yīng)。上文針對(duì)文件識(shí)別方法描述的操作和特征同樣適用于裝置800及其中包含的模塊，在此不再贅述。裝置800中的相應(yīng)模塊或可以與終端設(shè)備和/或服務(wù)器中的模塊或單元相互配合以實(shí)現(xiàn)本申請(qǐng)實(shí)施方式的方案。

現(xiàn)參照?qǐng)D9，該圖示出了適合實(shí)施本申請(qǐng)實(shí)施方式的計(jì)算機(jī)系統(tǒng)900的結(jié)構(gòu)示意圖。

如圖9所示，計(jì)算機(jī)系統(tǒng)900包括中央處理單元(CPU)901，其可根據(jù)存儲(chǔ)在只讀存儲(chǔ)器(ROM)902中的程序或從存儲(chǔ)部分908加載至隨機(jī)存取存儲(chǔ)器(RAM)903中的程序而執(zhí)行各種適當(dāng)?shù)膭?dòng)作和過程。在RAM 903中，還存儲(chǔ)有系統(tǒng)900操作所需要的各種程序和數(shù)據(jù)。CPU 901、ROM 902和RAM 903通過總線904彼此連接。輸入/輸出I/O接口905也與總線904連接。

以下為與I/O接口905連接的部件：包括鍵盤、鼠標(biāo)等的輸入部分906；包括陰極射線管CRT、液晶顯示設(shè)備LCD和揚(yáng)聲器等的輸出部分907；包括硬盤等的存儲(chǔ)部分908；以及包括網(wǎng)絡(luò)接口卡(如LAN卡和調(diào)制解調(diào)器等)的通信部分909。通信部分909通過諸如因特網(wǎng)等網(wǎng)絡(luò)執(zhí)行通信處理。根據(jù)需要，驅(qū)動(dòng)器910也與I/O接口905連接。如磁盤、光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等的可拆卸介質(zhì)911可安裝在驅(qū)動(dòng)器910上，以便于從其上讀出的計(jì)算機(jī)程序根據(jù)需要被安裝入存儲(chǔ)部分908。

具體地，根據(jù)本公開的實(shí)施方式，以上參照?qǐng)D4、圖6和圖7描述的過程可實(shí)施為計(jì)算機(jī)軟件程序。例如，本公開的實(shí)施方式包括計(jì)算機(jī)程序產(chǎn)品，該產(chǎn)品包括有形地體現(xiàn)在機(jī)器可讀介質(zhì)中的計(jì)算機(jī)程序。該計(jì)算機(jī)程序包括用于執(zhí)行圖4、圖6和圖7中的方法的程序代碼。在這種實(shí)施方式中，計(jì)算機(jī)程序可通過通信部分909從網(wǎng)絡(luò)上下載并進(jìn)行安裝，和/或可從可拆卸介質(zhì)911安裝。

附圖中的流程圖和框圖，圖示了按照本發(fā)明各種實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段、或代碼的一部分，所述模塊、程序段、或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實(shí)現(xiàn)中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個(gè)接連地表示的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時(shí)也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn)，或者可以用專用硬件與計(jì)算機(jī)指令的組合來實(shí)現(xiàn)。

本申請(qǐng)的實(shí)施方式所涉及的單元或模塊可通過軟件或硬件實(shí)施。所描述的單元或模塊也可設(shè)置在處理器中。這些單元或模塊的名稱不應(yīng)被視為限制這些單元或模塊。

在另一方面，本申請(qǐng)還提供計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是包括在上述實(shí)施方式的裝置中的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其也可以是未裝配在上述裝置中的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)一個(gè)或多個(gè)程序，一個(gè)或多個(gè)處理器使用上述程序來執(zhí)行本申請(qǐng)中所描述的估計(jì)方法。

上文僅僅是對(duì)本申請(qǐng)的優(yōu)選實(shí)施方式以及所應(yīng)用的技術(shù)原理的描述。本領(lǐng)域的技術(shù)人員應(yīng)理解，本申請(qǐng)的發(fā)明范圍并不限于由上述技術(shù)特征的特定組合構(gòu)成的技術(shù)方案。在不脫離本發(fā)明的構(gòu)思的情況下，本發(fā)明的范圍還應(yīng)覆蓋由上述技術(shù)特征及其等同特征的任意組合構(gòu)成的其他技術(shù)方案。例如，通過將以上公開的特征替換為具有相似功能的技術(shù)特征而構(gòu)成的技術(shù)方案也落入本發(fā)明的范圍內(nèi)。