本發(fā)明涉及一種面向計(jì)算機(jī)視覺領(lǐng)域的零樣本分類技術(shù)。特別是涉及一種將字典學(xué)習(xí)用于零樣本分類的基于多模態(tài)字典學(xué)習(xí)的零樣本分類方法。

背景技術(shù)：

與傳統(tǒng)的機(jī)器學(xué)習(xí)方法不同，人類具有推斷未知類別的能力，如：從未見過“斑馬”的人能根據(jù)“斑馬”的描述信息“斑馬是與馬相似，身上有黑邊相間條紋的動(dòng)物”對(duì)斑馬進(jìn)行識(shí)別。受人類推斷能力的啟發(fā)，零樣本分類的目標(biāo)能夠?qū)τ?xùn)練階段未出現(xiàn)過的類別進(jìn)行分類和預(yù)測(cè)。因此解決零樣本分類的關(guān)鍵問題有兩點(diǎn)：一是尋找一種有效的類別描述信息對(duì)未見過的類別進(jìn)行表征；二是挖掘視覺特征和類別描述信息之間的匹配關(guān)系。針對(duì)問題一：研究者們提出了不同的類別描述信息對(duì)類別進(jìn)行表征，如屬性特征，類別文本描述特征等。針對(duì)問題二：因?yàn)闃颖镜囊曈X特征和類別的語(yǔ)義特征分布在不同模態(tài)空間中，因此零樣本分類可以看作是多模態(tài)學(xué)習(xí)的一種具體應(yīng)用，基于多模態(tài)學(xué)習(xí)的零樣本分類的基本框架為：在訓(xùn)練階段，利用訓(xùn)練樣本學(xué)習(xí)視覺特征和類別語(yǔ)義特征之間的映射關(guān)系，將樣本從視覺空間轉(zhuǎn)移到類別語(yǔ)義空間或者將不同模態(tài)空間中的特征轉(zhuǎn)移到一個(gè)公共空間中。在測(cè)試階段利用學(xué)習(xí)到的映射關(guān)系將樣本嵌入到類別語(yǔ)義空間或者是公共空間中，根據(jù)樣本對(duì)應(yīng)的嵌入向量和類別對(duì)應(yīng)的嵌入語(yǔ)義向量之間的關(guān)系，利用最近鄰分類器進(jìn)行分類。

傳統(tǒng)的零樣本分類的性能很大程度上依賴類別語(yǔ)義信息的表征能力，而類別語(yǔ)義信息的獲取過程與視覺樣本的訓(xùn)練過程是獨(dú)立的，因此獲取的類別語(yǔ)義信息并不能保證充分地表征類別的語(yǔ)義。以斑馬的語(yǔ)義表征“斑馬是與馬相似，身上有黑邊相間條紋的動(dòng)物”為例，類別的語(yǔ)義信息只是提供了基本的類別信息，并不能提供充分地判別信息；另一方面，類別語(yǔ)義信息是概括的類別表征，因此并不能充分地表征類內(nèi)樣本之間的變化，以“獅子”和“尾巴”為例，“尾巴”是標(biāo)注“獅子”的屬性之一，而“獅子”的訓(xùn)練樣本中有的樣本有“尾巴”，但有的“樣本”沒有尾巴，因此如何判定類別語(yǔ)義特征和樣本之間的關(guān)系也是零樣本分類需要解決的問題之一。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是，提供一種能夠?qū)崿F(xiàn)不同模態(tài)的特征到類別空間之間轉(zhuǎn)移的一種基于多模態(tài)字典學(xué)習(xí)的零樣本分類方法。

本發(fā)明所采用的技術(shù)方案是：一種基于多模態(tài)字典學(xué)習(xí)的零樣本分類方法，包括如下步驟：

1)建立多模態(tài)字典學(xué)習(xí)模型：

其中，表示來自M個(gè)類別的m個(gè)樣本，D為字典矩陣，C_S表示訓(xùn)練樣本X_S在隱空間中的表征，V為兼容矩陣，表示M個(gè)類別的類別語(yǔ)義矩陣，α，β表示權(quán)重系數(shù)，||·||_F表示Frobenius范數(shù)；

2)利用多模態(tài)字典學(xué)習(xí)模型學(xué)習(xí)字典矩陣D和兼容矩陣V；

3)利用學(xué)習(xí)到的字典矩陣D和兼容矩陣V實(shí)現(xiàn)零樣本分類。

步驟2)所述的學(xué)習(xí)包括：

(1)首先固定字典矩陣D和兼容矩陣V，并對(duì)訓(xùn)練樣本X_S在隱空間中的表征C_S進(jìn)行優(yōu)化，優(yōu)化問題變?yōu)楣剑?/p>

所述公式是一個(gè)最小二乘優(yōu)化問題，因此得到C_S的顯示表達(dá)式：

(2)固定訓(xùn)練樣本X_S在隱空間中的表征C_S，并對(duì)字典矩陣D及兼容矩陣V進(jìn)行更新，通過對(duì)字典矩陣D及兼容矩陣V分別進(jìn)行優(yōu)化得到更新：

得到兼容矩陣V的顯示表達(dá)式：

其中γ＝β/α，I表示單位矩陣，

對(duì)字典矩陣D的優(yōu)化引入變量R得到優(yōu)化目標(biāo)函數(shù)：

對(duì)字典矩陣D的優(yōu)化目標(biāo)函數(shù)通過交替方向乘子法進(jìn)行優(yōu)化；

(3)重復(fù)第(1)步～第(2)步直到收斂為止。

第(3)所述的收斂條件為：兩次相鄰迭代的變化之差小于設(shè)定的閾值。

步驟3)所述的零樣本分類是采用如下公式進(jìn)行：

其中，x_t為測(cè)試樣本，是所有的測(cè)試類別的類別語(yǔ)義特征。

本發(fā)明的一種基于多模態(tài)字典學(xué)習(xí)的零樣本分類方法，利用訓(xùn)練樣本學(xué)習(xí)一個(gè)類別共享的字典矩陣將樣本嵌入到一個(gè)由字典原子張成的隱空間中，并利用樣本在隱空間中嵌入向量，樣本對(duì)應(yīng)的類別語(yǔ)義向量以及類別之間的對(duì)應(yīng)關(guān)系學(xué)習(xí)一種聯(lián)合嵌入模型。其優(yōu)勢(shì)主要體現(xiàn)在：

(1)新穎性:提出了一種新的字典學(xué)習(xí)的框架用于解決零樣本分類問題。通過訓(xùn)練樣本學(xué)習(xí)一個(gè)字典矩陣將樣本嵌入到由字典原子張成的子空間中，并學(xué)習(xí)一個(gè)聯(lián)合嵌入模型實(shí)現(xiàn)了不同模態(tài)特征到類別之間的轉(zhuǎn)移。

(2)多模態(tài)性。本發(fā)明提出的字典學(xué)習(xí)框架能將視覺模態(tài)的特征和類別語(yǔ)義模態(tài)的特征嵌入到一個(gè)更具有表征能力的隱空間中，并學(xué)習(xí)一個(gè)聯(lián)合嵌入框架將樣本在隱空間中的嵌入特征和類別在隱空間中的嵌入特征與類別標(biāo)簽結(jié)合起來，實(shí)現(xiàn)了不同模態(tài)特征到類別的轉(zhuǎn)移。

(3)有效性：與傳統(tǒng)的字典學(xué)習(xí)方法不同，本發(fā)明所提的算法不需要傳統(tǒng)字典學(xué)習(xí)模型中的稀疏約束，將稀疏約束轉(zhuǎn)換為一種線性描述，顯著提高了訓(xùn)練效率，但同時(shí)能夠保持利用字典學(xué)習(xí)得到的嵌入特征的表征能力。

(4)實(shí)用性：簡(jiǎn)單高效，是一種有效地多模態(tài)學(xué)習(xí)方法，可以應(yīng)用在多模態(tài)檢索，數(shù)據(jù)挖掘，零樣本分類等相關(guān)領(lǐng)域。

附圖說明

圖1是基于多模態(tài)字典學(xué)習(xí)的零樣本分類方法的流程圖；

圖2是多模態(tài)字典學(xué)習(xí)的算法。

具體實(shí)施方式

下面結(jié)合實(shí)施例和附圖對(duì)本發(fā)明的一種基于多模態(tài)字典學(xué)習(xí)的零樣本分類方法做出詳細(xì)說明。

本發(fā)明的一種基于多模態(tài)字典學(xué)習(xí)的零樣本分類方法，是針對(duì)零樣本分類中利用類別語(yǔ)義特征表達(dá)能力差的問題提出的一種將字典學(xué)習(xí)用于零樣本分類的基本框架，其主要思想是利用訓(xùn)練樣本學(xué)習(xí)一個(gè)共享字典矩陣將樣本從視覺空間映射到由字典原子張成的隱式空間中，每一個(gè)字典原子表示一種隱式的屬性特征，樣本的在隱空間中的嵌入特征對(duì)類內(nèi)樣本的變化更具有魯邦性。并且利用訓(xùn)練樣本在隱空間中的表征，樣本對(duì)應(yīng)的類別語(yǔ)義特征以及類別標(biāo)簽之間的對(duì)應(yīng)關(guān)系學(xué)習(xí)一個(gè)聯(lián)合嵌入框架將視覺模態(tài)和類別語(yǔ)義模態(tài)的信息轉(zhuǎn)移到類別空間中。

如圖1所示，本發(fā)明的一種基于多模態(tài)字典學(xué)習(xí)的零樣本分類方法，包括如下步驟：

1)建立多模態(tài)字典學(xué)習(xí)模型：

其中，表示來自M個(gè)類別的m個(gè)樣本，D為字典矩陣，C_S表示訓(xùn)練樣本X_S在隱空間中的表征，V為兼容矩陣，表示M個(gè)類別的類別語(yǔ)義矩陣，α，β表示權(quán)重系數(shù)，||·||_F表示Frobenius范數(shù)；

2)利用多模態(tài)字典學(xué)習(xí)模型學(xué)習(xí)字典矩陣D和兼容矩陣V；利用學(xué)習(xí)到的字典矩陣D可以將樣本嵌入到一個(gè)由字典原子張成的隱空間中，同時(shí)學(xué)習(xí)到兼容矩陣V可以將C_S和A_S聯(lián)合嵌入到Y(jié)_S空間中。需要指出的是，公式(1)中對(duì)字典矩陣D和兼容矩陣V及訓(xùn)練樣本X_S在隱空間中的表征C_S的優(yōu)化問題是非凸的，但對(duì)單個(gè)參數(shù)的優(yōu)化是凸優(yōu)化問題，因此本發(fā)明提出了一種解決此問題的迭代優(yōu)化方法。所述的學(xué)習(xí)如圖2所示，包括：

(1)首先固定字典矩陣D和兼容矩陣V，并對(duì)訓(xùn)練樣本X_S在隱空間中的表征C_S進(jìn)行優(yōu)化，優(yōu)化問題變?yōu)楣剑?/p>

所述公式是一個(gè)最小二乘優(yōu)化問題，因此得到C_S的顯示表達(dá)式：

(2)固定訓(xùn)練樣本X_S在隱空間中的表征C_S，并對(duì)字典矩陣D及兼容矩陣V進(jìn)行更新，因?yàn)镈和V是相互獨(dú)立的，因此，通過對(duì)字典矩陣D及兼容矩陣V分別進(jìn)行優(yōu)化得到更新：

得到兼容矩陣V的顯示表達(dá)式：

其中γ＝β/α，I表示單位矩陣，

對(duì)字典矩陣D的優(yōu)化引入變量R得到優(yōu)化目標(biāo)函數(shù)：

對(duì)字典矩陣D的優(yōu)化目標(biāo)函數(shù)通過交替方向乘子法(ADMM)進(jìn)行優(yōu)化；

(3)重復(fù)第(1)步～第(2)步直到收斂為止。

所述的收斂條件為：兩次相鄰迭代的變化之差小于設(shè)定的閾值，如0.01。

3)利用學(xué)習(xí)到的字典矩陣D和兼容矩陣V實(shí)現(xiàn)零樣本分類，在測(cè)試階段，利用學(xué)習(xí)到的兼容矩陣可以將類別語(yǔ)義特征嵌入到隱空間中，給定測(cè)試樣本，利用學(xué)習(xí)到的字典矩陣將樣本嵌入到隱空間中，根據(jù)樣本在隱空間中的特征表征與測(cè)試類別在隱空間中的特征表征之間的關(guān)系，利用最近鄰分類器實(shí)現(xiàn)零樣本的分類。所述的零樣本分類是采用如下公式進(jìn)行：

其中，x_t為測(cè)試樣本，是所有的測(cè)試類別的類別語(yǔ)義特征。

圖1描述了利用本發(fā)明提供的多模態(tài)字典學(xué)習(xí)方法用于實(shí)現(xiàn)零樣本分類的流程圖。在訓(xùn)練階段，利用本發(fā)明提供的多模態(tài)字典學(xué)習(xí)方法學(xué)習(xí)一個(gè)字典矩陣D^*將訓(xùn)練樣本嵌入到一個(gè)由字典原子張成的隱空間中，并學(xué)習(xí)一個(gè)兼容矩陣V^*將樣本在隱空間中的嵌入特征C_S和類別的語(yǔ)義特征利用兼容矩陣V^*聯(lián)合嵌入到類別空間中。在測(cè)試階段，首先利用在訓(xùn)練階段學(xué)習(xí)到的字典矩陣將測(cè)試樣本x_t嵌入到隱空間中，并利用兼容矩陣V^*將所有的測(cè)試類別的類別語(yǔ)義特征嵌入到隱空間中，然后利用公式(7)對(duì)測(cè)試樣本進(jìn)行類別預(yù)測(cè)。