專利名稱：多級圖象柵格數(shù)據(jù)結(jié)構(gòu)和使用該數(shù)據(jù)結(jié)構(gòu)的圖象搜索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖象柵格數(shù)據(jù)結(jié)構(gòu)和使用該數(shù)據(jù)結(jié)構(gòu)的圖象搜索方法，具體涉及相對于與靜止圖象的空間顏色性質(zhì)有關(guān)的一種顏色特征具有不同分級柵格級結(jié)構(gòu)的多級圖象柵格數(shù)據(jù)結(jié)構(gòu)，以及用于使用多級圖象柵格數(shù)據(jù)結(jié)構(gòu)搜索圖象的圖象搜索方法。
在常規(guī)圖象搜索方法中，諸如顏色、形狀、紋理等特征是以一級的圖象柵格數(shù)據(jù)結(jié)構(gòu)表示的，并且使用一級的圖象柵格數(shù)據(jù)搜索相同結(jié)構(gòu)的不同圖象數(shù)據(jù)之間的相似性，從而搜索圖象。
在根據(jù)常規(guī)圖象搜索方法搜索圖象時，根據(jù)所要搜索的圖象的特性，每一特征的重要性是不同的。而且，即使僅對于一種特征，常規(guī)圖象柵格數(shù)據(jù)結(jié)構(gòu)中每個單元的重要性也是不同的。例如，在使用由n維結(jié)構(gòu)形成的顏色直方圖的圖象搜索方法中，對于形成該n維結(jié)構(gòu)的每個元素，可以將反映每個元素的重要性的加權(quán)值確定為不同的值。
即，在使用一級的圖象數(shù)據(jù)結(jié)構(gòu)的常規(guī)圖象搜索方法中，基于對應(yīng)的柵格來表示特征之間的重要性。但是，在這種情況下，并不考慮某個特征的每一元素的重要性。為了解決該問題，另一種常規(guī)圖象搜索方法采用了計算某個特征中各元素的平均重要性的方法。
但是，在上述常規(guī)圖象搜索方法中，由于每個元素的重要性受目標(biāo)圖象的參考圖象影響，因此在圖象搜索中某個特征的各元素的平均重要性是無用的，即預(yù)先確定某個特征的各元素的平均值是無用的。
而且，由于常規(guī)圖象柵格數(shù)據(jù)結(jié)構(gòu)僅形成為一級，因此常規(guī)圖象搜索方法中對圖象中包含的目標(biāo)(或目標(biāo)圖象)的搜索是不精確的。
因此，本發(fā)明的一個目的是提供一種數(shù)據(jù)結(jié)構(gòu)，其中通過基于多級圖象柵格表示一個特征、和表示每個單元的區(qū)域代表性顏色和相對于區(qū)域代表性顏色的可靠性，由不同級的多級結(jié)構(gòu)的單元來表示每一級。
本發(fā)明的另一個目的是提供一種圖象搜索方法，能夠在兩個圖象柵格的同一級的單元、柵格的不同級、和顏色區(qū)域之間匹配，以對于與不同圖象對應(yīng)的多級圖象柵格執(zhí)行顏色相似性檢索。
為了實現(xiàn)上述目的，根據(jù)本發(fā)明提供一種多級圖象數(shù)據(jù)結(jié)構(gòu)，其中以具有多于兩個不同級的分級圖象柵格結(jié)構(gòu)來表示一個圖象的空間顏色特征。
為了實現(xiàn)上述目的，根據(jù)本發(fā)明提供一種使用多級圖象數(shù)據(jù)結(jié)構(gòu)的圖象搜索方法，其中將分成不同分級圖象柵格級的參考圖象的空間顏色特征的顏色相似性與目標(biāo)圖象的顏色相似性匹配，從而根據(jù)用戶基于內(nèi)容的查詢來搜索圖象。
本發(fā)明附加的優(yōu)點、目的和特征可以從下面的說明中容易地得到。
通過以下的詳細(xì)說明和附圖可以更完整地理解本發(fā)明，附圖中給出的例子僅是說明性的，因此并不是對本發(fā)明的限制，其中

圖1是根據(jù)本發(fā)明的多級圖象柵格數(shù)據(jù)結(jié)構(gòu)和3級圖象柵格數(shù)據(jù)結(jié)構(gòu)的實施例的示意圖；圖2是根據(jù)本發(fā)明的使用多級圖象柵格數(shù)據(jù)結(jié)構(gòu)和3級圖象柵格數(shù)據(jù)結(jié)構(gòu)間匹配結(jié)構(gòu)的圖象搜索方法的示意圖；圖3是根據(jù)本發(fā)明的使用多級圖象柵格數(shù)據(jù)結(jié)構(gòu)和3級圖象柵格數(shù)據(jù)結(jié)構(gòu)中同級之間匹配結(jié)構(gòu)的圖象搜索方法的實施例的示意圖；圖4是根據(jù)本發(fā)明的使用多級圖象柵格數(shù)據(jù)結(jié)構(gòu)和3級圖象柵格數(shù)據(jù)結(jié)構(gòu)的不同級之間匹配結(jié)構(gòu)的圖象搜索方法的實施例的示意圖；圖5A和5B是根據(jù)本發(fā)明的使用多級圖象柵格數(shù)據(jù)結(jié)構(gòu)的圖象搜索方法的實施例的示意圖，其中圖5A是兩個相同圖象柵格數(shù)據(jù)結(jié)構(gòu)的示意圖，圖5B是兩個圖象柵格數(shù)據(jù)結(jié)構(gòu)的匹配過程的示意圖。
本發(fā)明涉及多級圖象柵格數(shù)據(jù)結(jié)構(gòu)和使用該數(shù)據(jù)結(jié)構(gòu)的圖象搜索方法。下面將對根據(jù)本發(fā)明的用于產(chǎn)生多級圖象柵格數(shù)據(jù)結(jié)構(gòu)的方法進行說明。
在正方形圖象的情況下，將其均勻地按高度和寬度劃分，在非正方形圖象的情況下，根據(jù)圖象寬度和高度的縱橫比均勻地劃分一邊，并按一邊的單位均勻地劃分另一邊。即，按照相同單位劃分具有相同長度的水平和垂直邊的規(guī)則正方形結(jié)構(gòu)，而在具有不同長度的水平和垂直邊的矩形結(jié)構(gòu)的情況下，一邊(例如，較長邊)被均勻劃分，另一邊(例如，較短邊)則按該一邊的劃分單位劃分。
因此與上述相似，在一個圖象數(shù)據(jù)結(jié)構(gòu)中，空間顏色特征被劃分為不同級的多級柵格，從而表示多級圖象柵格的結(jié)構(gòu)。
此時，每個圖象柵格是不同級的多級結(jié)構(gòu)，每一級的分辨率被分級劃分。給每個柵格的單元分配兩個值，這兩個值是區(qū)域代表性顏色(RRC)和與區(qū)域代表性顏色的精度有關(guān)的可靠性分值(S)。
圖1表示根據(jù)本發(fā)明的多級圖象柵格數(shù)據(jù)結(jié)構(gòu)和3級圖象柵格數(shù)據(jù)結(jié)構(gòu)的實施例。即，一個圖象被表示為第一級、第二級和第三級的圖象柵格級。
在3級圖象柵格數(shù)據(jù)結(jié)構(gòu)的分辨率中，根據(jù)所劃分的級，第一級圖象柵格分辨率最低，第二級圖象柵格是中間級，第三級圖象柵格分辨率比第二級圖象柵格高。
第一級圖象柵格被劃分為包括與垂直邊M和水平邊N的縱橫比成比例的M1×N1個局部單元的圖象區(qū)域。每個單元被表示為代表每個區(qū)域的區(qū)域代表性顏色(RRC)，和對應(yīng)于代表性顏色值的精度的可靠性分值(S)。
而且，根據(jù)劃分狀態(tài)，第二級圖象柵格和第三級圖象柵格被劃分為包括M2×N2個和M3×N3個局部單元的圖象區(qū)域，每個單元具有區(qū)域代表性顏色(RRC)和可靠性分值(S)。
例如，當(dāng)?shù)谝患増D象柵格的最大垂直長度M和水平長度N是8(=8×8)個局部單元時，第二級圖象柵格的最大垂直長度M2和水平長度N2是16(=16×16)個局部單元，第三級圖象柵格的最大水平長度M3和垂直長度N3是32(=32×32)個局部單元。
其中，第三級圖象柵格的某個單元Cell(i，j)被表示為區(qū)域代表性顏色和可靠性分值C3ij，S3ij。
此時，第一級、第二級和第三級的每個圖象級的劃分?jǐn)?shù)目是根據(jù)圖象的縱橫比確定的，從而精確地表示包含在圖象中的對象的位置。即，在較長邊的情況下，均勻地劃分較長邊，并以較長邊的劃分單位劃分較短邊。
在用于產(chǎn)生圖象柵格的另一種方法中，為了提高處理速度和考慮圖象中包含的對象的近似位置信息，可以將垂直和水平長度設(shè)置為相同。
下面對使用多級圖象柵格數(shù)據(jù)結(jié)構(gòu)的圖象搜索方法進行說明。
劃分為多級圖象柵格的不同圖象被表示為代表區(qū)域的代表性區(qū)域顏色(RRC)和表示代表性顏色的精度的可靠性分值，一對代表性區(qū)域顏色和可靠性分值與另一對匹配，并根據(jù)用戶基于內(nèi)容的查詢來計算單元相似性，從而執(zhí)行圖象搜索。
通過比較包含在每級的圖象柵格中的單元和代表每個單元的區(qū)域顏色(RRC)，使用多級圖象柵格數(shù)據(jù)結(jié)構(gòu)計算兩個圖象之間的顏色相似性。即，使用代表單元C1和單元C2之間區(qū)域代表性顏色值的相似性的顏色相似性Color_Sim(RRC_C1，RRC_C2)計算兩個單元之間的顏色相似性。
第一權(quán)數(shù)(α)乘以顏色相似性Color_Sim(RRC_C1，RRC_C2)，將顏色相似性Color_Sim(RRC_C1，RRC_C2)和第二權(quán)數(shù)(β)和相對于兩個單元之間可靠性的相似性I的乘積與顏色相似性和第一權(quán)數(shù)的乘積結(jié)果相加。所得到的相加值除以第一權(quán)數(shù)和第二權(quán)數(shù)然后被歸一化，從而得到兩個單元C1，C2的單元相似性Cell_Sim(C1，C2)。上述運算可以表示如下。Cell_Sim(C1,C2)=(α+β×I)×Color_Sim(PRC_C1,PRC_C2)(α+β)-----(1)]]>其中，兩個單元之間的可靠性(S1，S2)的相似性I是根據(jù)I=1-｜S1-S2｜得到的。
因此，相對于多級圖象的相同級之間的部分和不同級匹配兩個不同多級圖象柵格之間的單元相似性，并比較圖象之間的特征。
圖2表示根據(jù)本發(fā)明的使用多級圖象柵格數(shù)據(jù)結(jié)構(gòu)的圖象搜索和具有3級圖象柵格數(shù)據(jù)結(jié)構(gòu)的兩個圖象I1和I2的柵格之間的基于相似性的搜索的實施例。
兩個圖象I1和I2包括第一級圖象柵格G1_1st，G2_1st，第二級圖象柵格G1_2nd，G2_2nd，和第三級圖象柵格G1_3rd，G2_3rd。
對兩個圖象中包含的兩個柵格級之間的相似性Grid_Sim(G1，G2)進行級間比較。上述運算可以表示如下。
Grid_Sim(G1，G2)=w1×Sim_of_the_ExactG1_lst_and_G2_lst+w2×Sim_of_the_ExactG1_2nd_and_G2_2nd+w3×Sim_of_the_ExactG1_3rd_and_G2_3rd+w4×Sim_of_the_InterG1_1st_and_G2_2nd+w5×Sim_of_the_InterG1_2nd_and_G2_3rd-----(2)+w6×Sim_of_the_InterG1_3rd_and_G2_lst+w7×Sim_of_the_InterG1_lst_and_G2_3rd+w8×Sim_of_the_InterG1_2nd_and_G2_1st+w9×Sim_of_the_InterG1_3rd_and_G2_2nd其中w1到w9代表對于各自顏色相似性的權(quán)數(shù)，Sim_of_the_Exact代表相對于兩個圖象I1，I2在相同圖象柵格級之間的相似性，Sim_of_the_Inter代表相對于兩個圖象I1，I2不同圖象柵格級之間的相似性。
即，根據(jù)如圖3所示的匹配得到兩個不同圖象I1和I2中包含的相同圖象柵格級之間的相似性Sim_of_the_Exact。而且，根據(jù)如圖4所示的匹配得到兩個不同圖象I1和I2中包含的不同圖象柵格級之間的相似性Sim_of_the_Inter。
下面將參照圖5A和5B對上述操作進行詳細(xì)說明。
將對應(yīng)于兩個不同圖象的相同級的兩個單元的相似性相加，并通過在水平和垂直方向按縱橫比移位，將兩個單元的相似性加到所得的總計值。
此時，通過把兩個圖象的某級的縱橫比的差的絕對值加一，計算兩個柵格的匹配的數(shù)目。
例如，如圖5A所示，假設(shè)圖象I1的縱橫比的柵格的數(shù)目是M×N，圖象I2的縱橫比的柵格的數(shù)目是O×P，兩個柵格之間的匹配總數(shù)是(｜M-O｜+1)×(｜N-P｜+1)。
通過根據(jù)兩個柵格的縱橫比基于不同移位量匹配兩個柵格，計算對應(yīng)于相同柵格級Max(M，N)=Max(O，P)的兩個單元之間的相似性。
此時，根據(jù)以下公式3-1，3-2得到基于兩個圖象I1和I2的相同級之間的匹配的相似性Sim_of_the_Exact。
Sim_of_the_Exact=Max(Sim_bet_two_levels_given_cell_corresS(i，j))Vi，0≤i≤｜M- O｜Vj，0≤i≤｜N-P｜------(3-1)Sim_bet_two_levels_given_cell_corres S(i，j)=Σy=0Min|N-P|-1(Σx=0Min|M-O|-1Sim_of_corres_two_cells(x,y,i,j)Min(N,P)×Min(M,O)------(3-2)]]>當(dāng)匹配相同級之間的相似性(Sim_of_the_Exact)時，上述公式=Σy=0Min|N-P|-1(Σx=0Min|M-O|-1Sim_of_corres_two_cells(x,y,i,j)]]>代表相對于兩個對應(yīng)單元的水平和垂直邊的匹配的總和。
通過基于縱橫比M∶N，O∶P適用公式404到公式4-1，可得到兩個單元之間的相似性Sim_of_corres_two_cells。
Sim(CellG1(x+i，y+j)，cellG2(x，y))，if(Min(N，P)=P) (Min(M，O)=O)…(4-1)Sim(CellG1(x+i，y)，cellG2(x，y+j))，if(Min(N，P)=N) (Min(M，O)=O)…(4-2)Sim(CellG1(x，y+i)，cellG2(x+i，y))，if(Min(N，P)=P) (Min(M，O)=M)…(4-3)Sim(CellG1(x，y)，cellG2(x+i，y+j))，if(Min(N，P)=N) (Min(M，O)=M)…(4-4)其中，當(dāng)P小于N且M小于O時應(yīng)用公式4-1，當(dāng)柵格G1的長度N小于柵格G2的長度P且柵格G2的寬度0小于柵格G1的寬度M時應(yīng)用公式4-2。而且，當(dāng)柵格G2的垂直長度P小于柵格G1的N且柵格G1的水平長度M小于G2的O時應(yīng)用公式4-3，當(dāng)G1的N小于G2的P其M小于O時應(yīng)用公式4-4。
此時，將相對于柵格G1和柵格G2的長度之間的長度差(｜M-O｜，｜N-P｜)的移位量(i，j)加到單元坐標(biāo)(x，y)，并且每個開始點(i，i，x，y)變成0。
通過匹配兩個不同圖象柵格級計算不同柵格級(Max(M，N)≠Max(O，P)之間的相似性Sim_of_the_Inter。該操作與柵格級相似性Sim_of_the_Exact的搜索相似。
此外，基于｜M-O｜+1)×(｜N-P｜+1)得到不同圖象柵格級之間的圖象柵格的匹配的數(shù)目。
執(zhí)行顏色區(qū)域匹配操作，以搜索多級圖象柵格之間的代表性顏色值相似的區(qū)域。該搜索基于以下方法執(zhí)行，一種方法是用于從相同大小的柵格級(精確比例匹配)之間的變換位置和相對位置來搜索顏色相似性，一種方法是用于從不同大小的柵格級(比例間匹配)之間的變換位置和相對位置搜索顏色相似性。
即，基于一種用于從目標(biāo)圖象搜索相同級的顏色區(qū)域的方法執(zhí)行相同大小的圖象柵格級(精確比例匹配)之間的顏色區(qū)域匹配操作。基于目標(biāo)圖象的相同圖象柵格級將該位置與相對位置匹配，然后計算顏色區(qū)域的相似性，并將該位置與目標(biāo)圖象的相同級的變換位置進行匹配，從而計算顏色區(qū)域的相似性。
基于一種用于在目標(biāo)圖象間搜索不同級顏色區(qū)域的方法執(zhí)行不同圖象柵格級(比例間匹配)之間的顏色區(qū)域匹配操作，并在目標(biāo)圖象的不同圖象柵格級中計算相同級的顏色區(qū)域的相似性。
在不同圖象柵格級之間的顏色區(qū)域匹配方法中，通過將位置與在目標(biāo)圖象的不同圖象柵格級中的相同位置進行匹配，計算顏色區(qū)域的相似性，并通過將位置與目標(biāo)圖象的另一級的變換位置進行匹配，計算顏色區(qū)域的相似性。
如上所述，在本發(fā)明中，一個圖象柵格數(shù)據(jù)結(jié)構(gòu)被分為多級柵格數(shù)據(jù)結(jié)構(gòu)。因此，在使用劃分的多級柵格結(jié)構(gòu)搜索基于內(nèi)容的圖象時，有可能高效地響應(yīng)用戶的主觀查詢。此外，在一定條件下，圖象搜索速度快、精度高。
雖然為了例示目的公開了本發(fā)明的優(yōu)選實施例，但是本領(lǐng)域技術(shù)人員應(yīng)理解，在不偏離所附權(quán)利要求的范圍和精神的條件下，可以進行各種改進，添加和替換。
權(quán)利要求
1．一種多級圖象數(shù)據(jù)結(jié)構(gòu)，其特征在于基于具有至少兩個不同分級級數(shù)的圖象柵格表示包含圖象的特征的圖象幀。
2．根據(jù)權(quán)利要求1的結(jié)構(gòu)，其中所述分級圖象柵格包括多個單元并被分級劃分，給每個單元分配代表性顏色和可靠性，其中代表性顏色表示對應(yīng)于單元的區(qū)域的顏色特征，可靠性表示代表性顏色的可靠性。
3．根據(jù)權(quán)利要求1的結(jié)構(gòu)，其中在原始圖象具有相同寬度和高度的情況下，以寬度和高度的相同數(shù)目均勻地劃分圖象柵格的所述分級。
4．根據(jù)權(quán)利要求1的結(jié)構(gòu)，其中在圖象柵格的所述分級中，在原始圖象具有不同寬度和高度大小的情況下，均勻地劃分其一邊，并基于該一邊的劃分單位劃分其另一邊。
5．一種使用多級圖象數(shù)據(jù)結(jié)構(gòu)的圖象搜索方法，包括以下步驟匹配參考圖象和目標(biāo)圖象的空間顏色特征，其空間顏色特征被表示為不同的分級圖象柵格級；和根據(jù)用戶基于內(nèi)容的查詢來搜索圖象。
6．根據(jù)權(quán)利要求5的方法，其中通過匹配兩個不同圖象柵格中包含的每個單元，并基于具有空間顏色特征的代表性顏色值之間的相似性，得到具有不同分級柵格級的兩個圖象之間的所述顏色相似性。
7．根據(jù)權(quán)利要求5的方法，其中通過匹配兩個圖象柵格，根據(jù)圖象之間的空間顏色特征執(zhí)行多重交叉和比較顏色相似性，來得到具有不同分級柵格的兩個圖象之間的所述顏色相似性。
8．根據(jù)權(quán)利要求5的方法，其中通過匹配每個區(qū)域代表性顏色值得到具有不同分級柵格的兩個圖象之間的顏色相似性，從而搜索相似區(qū)域。
9．根據(jù)權(quán)利要求5的方法，其中通過將對應(yīng)于兩個單元之間區(qū)域代表性顏色的相似性的顏色相似性(Color_Sim)乘以第一權(quán)數(shù)，加上由代表兩個單元之間可靠性的相似性的相似性(I)乘以第二權(quán)數(shù)和顏色相似性(Color_Sim)得到的值，并歸一化所得的相似性，就可以得到具有不同分級的圖象柵格中包含的單元之間的單元相似性。
10．根據(jù)權(quán)利要求5的方法，其中當(dāng)比較了兩個柵格并計算出相似性時，基于通過根據(jù)由柵格之間寬度和高度差得到的移位量在水平和垂直方向移位所合計的總值，得到兩個相同級柵格之間的顏色相似性。
11．根據(jù)權(quán)利要求5的方法，其中基于按兩個柵格的寬度和高度差在水平和垂直方向移位所合計的值，得到兩個不同柵格之間的顏色相似性。
12．根據(jù)權(quán)利要求5的方法，其中在通過匹配顏色區(qū)域執(zhí)行搜索的情況下，使用具有多級的圖象柵格之間的單元相似性來搜索圖象之間相同級之間的相同位置和不同位置。
13．根據(jù)權(quán)利要求5的方法，其中當(dāng)搜索不同級之間的顏色相似性時，在具有多級的兩個圖象柵格之間的顏色區(qū)域匹配操作被用于在不同級的相同位置和不同位置進行搜索。
全文摘要
本發(fā)明涉及一種圖象搜索方法,能夠基于多級圖象柵格表示與靜止圖象的空間顏色特征有關(guān)的一種顏色特征,還能夠使用如此表示的多級圖象柵格基于相似性搜索圖象。在本發(fā)明中,相對于一種特征產(chǎn)生不同級的分級柵格,從而得到一種數(shù)據(jù)結(jié)構(gòu),其中基于區(qū)域代表性顏色的可靠性和區(qū)域代表性顏色表示對應(yīng)于柵格的每個單元,使得能夠基于兩個圖象柵格的相同級和不同級的單元匹配或柵格匹配的顏色局部匹配,相對于用戶基于內(nèi)容的查詢,快速、精確地搜索圖象。
文檔編號G06T7/00GK1293783SQ00800110
公開日2001年5月2日 申請日期2000年1月28日 優(yōu)先權(quán)日1999年2月1日
發(fā)明者金賢俊, 田星培, 李振秀 申請人:Lg電子株式會社