一種基于未標(biāo)記數(shù)據(jù)的數(shù)字圖像分類方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種數(shù)字圖像分類裝置，特別涉及一種適用于已分類圖像非常有限的 數(shù)字圖像分類方法。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)的快速發(fā)展以及計(jì)算機(jī)的廣泛普及，數(shù)字圖像的獲取也變得越來(lái)越容 易。因此，可用的數(shù)字圖像正快速地增長(zhǎng)并且在越來(lái)越多的行業(yè)中得到應(yīng)用。圖像分類技 術(shù)是一種輔助用戶高效地獲取期望圖像的方法，同時(shí)也是很多與圖像相關(guān)的人機(jī)交互系統(tǒng) 取得成功的基礎(chǔ)，如檢索系統(tǒng)、推薦系統(tǒng)等。該方法通過(guò)用戶提交給分類裝置的查詢圖像， 快速、準(zhǔn)確地將圖像庫(kù)中的未分類圖像進(jìn)行分類，以方便用戶獲取期望的圖像。一種有效的 圖像分類策略是將分類過(guò)程看作一個(gè)學(xué)習(xí)過(guò)程，利用用戶提交的查詢圖像作為學(xué)習(xí)所需的 樣本，使用機(jī)器學(xué)習(xí)技術(shù)學(xué)習(xí)得到一個(gè)分類模型，從而實(shí)現(xiàn)對(duì)數(shù)字圖像的分類。
[0003] 已有的數(shù)字圖像包括已分類和未分類兩種。為保證分類效果，目前的圖像分類技 術(shù)需要用戶提交大量的已分類數(shù)字圖像。然而在現(xiàn)實(shí)情況中，對(duì)圖像進(jìn)行分類費(fèi)時(shí)費(fèi)力，導(dǎo) 致已分類的數(shù)字圖像很難獲得，但未分類圖像卻容易獲取。同時(shí)，真實(shí)世界中的數(shù)字圖像可 能同時(shí)具有多個(gè)類別。例如，一幅自然圖像可能同時(shí)具有沙灘、大海、落日等多個(gè)類別；一篇 文檔可能被同時(shí)分類為經(jīng)濟(jì)、政治等。已有的數(shù)字圖像分類技術(shù)不能有效地利用未分類圖 像中包含的信息，并且假設(shè)每幅圖像僅有一個(gè)類別，故不能有效地進(jìn)行圖像分類。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的主要目的是針對(duì)目前的數(shù)字圖像分類技術(shù)需要大量已分類圖像且只能 將圖像分為一個(gè)類別的問(wèn)題，提出一種能夠有效利用大量未分類圖像對(duì)數(shù)字圖像的所有可 能類別進(jìn)行分類的方法。該方法利用未分類圖像優(yōu)化建立在有限已分類圖像上的模型，提 高數(shù)字圖像分類裝置的性能。
[0005] 為利用未分類數(shù)字圖像且對(duì)數(shù)字圖像的所有可能類別進(jìn)行分類，本發(fā)明將機(jī)器學(xué) 習(xí)領(lǐng)域中的半監(jiān)督學(xué)習(xí)框架與多標(biāo)記學(xué)習(xí)技術(shù)相結(jié)合，進(jìn)而提出一種數(shù)字圖像分類方法： 該方法包括以下步驟：（1)用戶從包含已分類圖像與未分類圖像的多標(biāo)記圖像庫(kù)中選擇查 詢圖像，包括相關(guān)圖像和不相關(guān)圖像；（2)在選取的已分類數(shù)字圖像上使用已有的分類方 法學(xué)習(xí)得到一個(gè)初始分類模型；(3)在所有查詢圖像上使用本發(fā)明提出的分類方法對(duì)初始 分類模型進(jìn)行學(xué)習(xí)優(yōu)化得到一個(gè)最終分類模型；(4)基于最終分類模型對(duì)數(shù)字圖像存儲(chǔ)設(shè) 備中待分類圖像進(jìn)行分類，并返回分類結(jié)果；（5)如果用戶對(duì)分類結(jié)果滿意，則執(zhí)行步驟6， 否則從多標(biāo)記圖像庫(kù)中選擇更多的查詢圖像進(jìn)行反饋，執(zhí)行步驟2 ; (6)結(jié)束。
[0006] 下面將結(jié)合附圖對(duì)最佳實(shí)施例進(jìn)行詳細(xì)說(shuō)明。
【附圖說(shuō)明】
[0007] 圖1是數(shù)字圖像分類裝置的工作流程圖
[0008] 圖2是本發(fā)明方法的流程圖
[0009] 圖3是本發(fā)明學(xué)習(xí)初始分類模型的流程圖
[0010] 圖4是本發(fā)明學(xué)習(xí)最終分類模型的流程圖
【具體實(shí)施方式】
[0011] 如圖1所示，數(shù)字圖像存儲(chǔ)設(shè)備中存放了待分類的數(shù)字圖像，此外還存在一個(gè)多 標(biāo)記數(shù)字圖像庫(kù)，該圖像庫(kù)中含有一些已分類數(shù)字圖像與大量未分類數(shù)字圖像，每個(gè)數(shù)字 圖像均具有多種可能的類別，且已分類數(shù)字圖像均對(duì)應(yīng)了一組人工標(biāo)注的概念標(biāo)記。用戶 從多標(biāo)記數(shù)字圖像庫(kù)中選取L幅已分類查詢圖像和U幅未分類查詢圖像提交給數(shù)字圖像分 類裝置，其中一些為其感興趣的相關(guān)圖像而另外一些為其不感興趣的非相關(guān)圖像。可以使 用數(shù)字圖像處理教科書(shū)中的多種經(jīng)典方法生成適當(dāng)?shù)膱D像特征，如顏色、紋理、形狀等。由 此，每幅圖像可由一個(gè)特征向量進(jìn)行表示。在得到圖像特征后，在已分類數(shù)字圖像上采用已 有的分類方法學(xué)習(xí)得到一個(gè)初始分類模型，然后使用本發(fā)明提出的分類方法在所有查詢圖 像上優(yōu)化初始分類模型，得到最終分類模型?；谧罱K分類模型對(duì)數(shù)字圖像存儲(chǔ)設(shè)備中的 待分類圖像進(jìn)行分類，如圖1所示。如果用戶對(duì)所得結(jié)果不滿意，可以從多標(biāo)記數(shù)字圖像庫(kù) 中選取更多的查詢圖像反饋給數(shù)字圖像分類裝置。
[0012] 本發(fā)明涉及的方法如圖2所示。值得注意的是，本發(fā)明中提出的圖像分類方法 由q個(gè)線性模型W = 仏偽組成。步驟1〇是起始動(dòng)作。假設(shè)用戶提交的查 詢圖像對(duì)應(yīng)于集合占:::兔U在P {(:?,5?丨i A s !} U H U + I $i S 、其中&與S U 分別為已分類圖像集合與未分類圖像集合，圖像^的所有可能類別由一組概念標(biāo)記集合 KUH-A丨表示（Q為所有可能的概念標(biāo)記個(gè)數(shù)）。步驟11在已分類圖像SJl使用 已有分類方法學(xué)習(xí)得到初始分類模型，其詳細(xì)說(shuō)明如圖3所示。接下來(lái)步驟12在所有查詢 圖像S上使用本發(fā)明提出的分類方法優(yōu)化步驟11中學(xué)得的初始分類模型，得到最終分類模 型，其詳細(xì)說(shuō)明如圖4所示。步驟13利用訓(xùn)練得到的最終分類模型，對(duì)數(shù)字圖像存儲(chǔ)設(shè)備 中的待分類圖像進(jìn)行分類。在輸出分類結(jié)果后，分類裝置即進(jìn)入步驟14所示的結(jié)束狀態(tài)。
[0013] 圖3給出了圖2中步驟11的詳細(xì)描述，具體說(shuō)明了如何利用已有分類方法在已分 類圖像辦上學(xué)習(xí)初始分類模型。圖3中的步驟1100是起始狀態(tài)。步驟1101至1105構(gòu)成 了一個(gè)循環(huán)體，循環(huán)的每一輪中生成與第q類對(duì)應(yīng)的初始分類模型&4 Q)。其中， 步驟1103首先構(gòu)造與第q類別Iq對(duì)應(yīng)的二類訓(xùn)練集爲(wèi)，如果標(biāo)記Iq為已分類圖像集合& 中某個(gè)圖像的相關(guān)標(biāo)記，則該圖像在爲(wèi)中為正類樣本，否則為負(fù)類樣本。步驟1104利用二 類支持向量機(jī)算法在集合1?上學(xué)習(xí)得到對(duì)應(yīng)于第q個(gè)類別I q的初始分類模型不難 看出在每個(gè)類別的初始分類模型的訓(xùn)練過(guò)程中并沒(méi)有使用未分類圖像所包含的信息。步驟 1106是結(jié)束狀態(tài)。
[0014] 具體來(lái)說(shuō)，本發(fā)明中提出的分類方法通過(guò)多輪迭代的方式優(yōu)化以下目標(biāo)函數(shù)，從 而得到最終分類模型：

[0017] 其中，根據(jù)上一輪迭代對(duì)未分類圖像的分類結(jié)果，令t =〈wv，x]>+bv，方程（1)中的 函數(shù)S有如下兩種定義方式：
[0019] 圖4給出了圖2中步驟12的詳細(xì)描述，具體說(shuō)明了如何利用本發(fā)明提出的分類方 法在所有的查詢圖像S上優(yōu)化步驟11中得到的初始分類模型，以得到最終分類模型（ Wq，bq) (I < q < Q)。圖4中的步驟1200是起始狀態(tài)。步驟1201中定義了迭代輪次變量t，并初 始化為1。步驟1202到步驟1211構(gòu)成了一個(gè)循環(huán)體，每一次循環(huán)對(duì)應(yīng)一輪迭代優(yōu)化。步驟 1203到步驟1208也構(gòu)成了一個(gè)循環(huán)體，循環(huán)的每一輪中生成第t輪迭代下第q個(gè)類別對(duì)應(yīng) 的分類模型K:具體來(lái)說(shuō)，在步驟1204成立的條件下，裝置在步驟1205計(jì)算集合知中 的圖像在第t-1輪次迭代分類模型下的中間結(jié)果<<'% > +e'1，然后在步驟1206中判 斷中間結(jié)果的符號(hào)$并根據(jù)所判斷的符號(hào)決定將哪個(gè)方程帶入方程 (1)，以便于將方程（1)轉(zhuǎn)換成在步驟1207中解決標(biāo)準(zhǔn)二次規(guī)劃（QP)問(wèn)題。當(dāng)步驟1202 不成立或步驟1210成立，即迭代次數(shù)超過(guò)最大迭代次數(shù)T或方程（1)收斂，裝置跳轉(zhuǎn)到結(jié) 束狀態(tài)，即步驟1212。
[0020] 本發(fā)明給出了一種用于已分類圖像非常有限的數(shù)字圖像的分類方法，該方法通過(guò) 定義自己獨(dú)有的目標(biāo)函數(shù)，利用大量的未分類圖像優(yōu)化在非常有限的已分類圖像上學(xué)得的 初始分類模型，有效地提高圖像分類的效果。
[0021] 熟知本領(lǐng)域的人士將理解，雖然這里為例便于解釋已描述了具體實(shí)施例，但是可 在不背離本發(fā)明精神和范圍的情況下作出各種改變。因此，除了所附權(quán)利要求之外不能用 于限制本發(fā)明。
【主權(quán)項(xiàng)】
1. 一種基于未標(biāo)記數(shù)據(jù)的數(shù)字圖像分類方法，該方法包括以下步驟： (1) 用戶從包含已分類圖像與未分類圖像的多標(biāo)記圖像庫(kù)中選擇查詢圖像，包括相關(guān) 圖像和不相關(guān)圖像； (2) 在選取的已分類數(shù)字圖像上使用已有的分類方法學(xué)習(xí)得到一個(gè)初始分類模型； (3) 在所有查詢圖像上對(duì)初始分類模型進(jìn)行學(xué)習(xí)優(yōu)化得到一個(gè)最終分類模型； (4) 基于最終分類模型對(duì)數(shù)字圖像存儲(chǔ)設(shè)備中待分類圖像進(jìn)行分類，并返回分類結(jié) 果； (5) 如果用戶對(duì)分類結(jié)果滿意，則執(zhí)行步驟（6)，否則從多標(biāo)記圖像庫(kù)中選擇更多的查 詢圖像進(jìn)行反饋，執(zhí)行步驟（2); (6)結(jié)束。2. 根據(jù)權(quán)利要求1所述的基于未標(biāo)記數(shù)據(jù)的數(shù)字圖像分類方法，其中，步驟⑵中首先 對(duì)初始分類模型進(jìn)行學(xué)習(xí)，具體包括： 所述圖像分類方法由Q個(gè)線性模型w = {(coq，bq) I 1彡q彡Q}組成，設(shè)用戶提交的查 詢圖像對(duì)應(yīng)于集合S| = SlU Su= {(Xl，Y1) |1彡i彡L} U {Xj|L+l彡j彡L+U}，其中Sl 與Su分別為已分類圖像集合與未分類圖像集合，圖像X i的所有可能類別由一組概念標(biāo)記集 合il ?: ^ A、…表示，其中，Q為所有可能的概念標(biāo)記個(gè)數(shù)；步驟（2)具體過(guò)程如下： 魯對(duì)于每一個(gè)類別q(l < q < Q)，執(zhí)行以下循環(huán)體： a) 構(gòu)建 Bq= {(X p Φ (Y1, Iq)) I (Xl，Y1) e SJ 為標(biāo)記 Iq的二類訓(xùn)練集，若 I qe Y1JJ cI5(Yplq) =+1，否貝丨J為 _1; b) 利用二類支持向量機(jī)算法在Bq上學(xué)習(xí)得到初始分類模型《參3. 根據(jù)權(quán)利要求2所述的基于未標(biāo)記數(shù)據(jù)的數(shù)字圖像分類方法，其中，步驟（3)中對(duì)初 始分類模型進(jìn)行學(xué)習(xí)之后得到最終分類模型，具體包括以下步驟： 魯設(shè)定最大迭代輪數(shù)T ; ?對(duì)于每一輪迭代t(l < t < T)，執(zhí)行以下循環(huán)體： 對(duì)于每一個(gè)類別q(l < q < Q)，執(zhí)行以下循環(huán)體： a) 計(jì)算<> +《4:...'.，其中 L+l < j < L+U ; b) 若吻>十吃- H 2 ()，則將Eq.⑵帶入Eq. (1);反之將Eq.⑶帶入 Eq.⑴； c) 使用標(biāo)準(zhǔn)QP方法優(yōu)化Eq. (1)，可得04-?); 將伽U S 3 S切帶入Eq. (1)，結(jié)果記為a ;將伽4?.) .h. SU ：$切帶入 Eq. (1)，結(jié)果記為b ; 若a = b，則跳出循環(huán)體； 上述Eq. (1)，Eq. (2)以及Eq. (3)分別為：
【專利摘要】本發(fā)明提供了一種基于未標(biāo)記數(shù)據(jù)的數(shù)字圖像分類方法。該方法包括以下步驟：（1）用戶從包含已分類圖像與未分類圖像的多標(biāo)記圖像庫(kù)中選擇查詢圖像，包括相關(guān)圖像和不相關(guān)圖像；（2）在選取的已分類數(shù)字圖像上使用已有的分類方法學(xué)習(xí)得到一個(gè)初始分類模型；（3）在所有查詢圖像上使用本發(fā)明提出的分類方法對(duì)初始分類模型進(jìn)行學(xué)習(xí)優(yōu)化得到一個(gè)最終分類模型；（4）基于最終分類模型對(duì)數(shù)字圖像存儲(chǔ)設(shè)備中待分類圖像進(jìn)行分類，并返回分類結(jié)果；（5）如果用戶對(duì)分類結(jié)果滿意，則執(zhí)行步驟6，否則從多標(biāo)記圖像庫(kù)中選擇更多的查詢圖像進(jìn)行反饋，執(zhí)行步驟2；（6）結(jié)束。該方法能夠有效利用大量未分類圖像對(duì)數(shù)字圖像的所有可能類別進(jìn)行分類。
【IPC分類】G06F17/30
【公開(kāi)號(hào)】CN105069133
【申請(qǐng)?zhí)枴緾N201510506268
【發(fā)明人】張敏靈, 吳磊
【申請(qǐng)人】東南大學(xué)
【公開(kāi)日】2015年11月18日
【申請(qǐng)日】2015年8月18日