專利名稱：：用于檢索多媒體內(nèi)容的方法和設備的制作方法
技術領域：
：本發(fā)明涉及用于檢索多媒體內(nèi)容的設備和方法；并更具體地，涉及可通過將用戶查詢變換為運動畫面專家組7(MPEG-7)查詢格式而檢索基于MPEG-7表示的多媒體內(nèi)容的多媒體內(nèi)容檢索設備及其方法。該工作得到MIC/IITA的ITR&D規(guī)劃[2005-S-l17-03，"DevelopmentofIntelligentPersonalMediaManagingTechnologyforUbiquitousEnvironment，，]的支持。
背景技術：
：運動畫面專家組7(MPEG-7)是關于表示例如圖像、音頻和運動畫面的多媒體信息的元數(shù)據(jù)的構造的國際標準。MPEG-7查詢格式用于檢索基于MPEG-7表示的多媒體內(nèi)容。MPEG-7多媒體內(nèi)容檢索系統(tǒng)檢索與按照MPEG-7查詢格式輸入的查詢相關的多媒體內(nèi)容。MPEG-7查詢格式定義了用于檢索MPEG-7文檔的語法。這些語法可表示可用于檢索MPEG-7文檔的各種類型查詢。例如，它們可不僅表示例如"具有山脈的圖像"的自然語句類型查詢，而且表示使用多媒體文件作為查詢的基于示例的查詢和基于MPEG-7文本描述的查詢。當表示這樣的各種查詢時，頻繁發(fā)生對于MPEG-7文檔的相同或不同部分的參考。具體來說，存在其中應在同一結(jié)構中全部滿足多于一個檢索條件的情況。例如，為了檢索具有"山脈"和"海洋"的運動畫面片段，可對于一個區(qū)域表示"山脈"和"海洋"的存在。關于聯(lián)合操作，應參考兩個不同的MPEG-7文檔。為此，應明確地表示參考了兩個不同文檔。雖然傳統(tǒng)MPEG-7查詢格式可滿足同一構造內(nèi)的多于兩個檢索條件，但是它們具有以下缺點，它們不能明確地表示對于兩個不同MPEG-7文檔的參考關系。
發(fā)明內(nèi)容技術問題被發(fā)明來解決該問題的本發(fā)明的實施例旨在提供一種可滿足同一結(jié)構內(nèi)的多于兩個檢索條件并明確表示參考了不同運動畫面專家組7(MPEG-7)文檔的MPEG-7查詢格式。本發(fā)明的另一實施例旨在提供一種可通過在檢索過程中正確分析用戶查詢的含義來精確檢索多媒體內(nèi)容的設備和方法。本發(fā)明的其他目的和優(yōu)點可通過以下描述而理解，并通過參考本發(fā)明的實施例而變得清楚。而且，對于本發(fā)明的本領域技術人員來說顯而易見的是，可通過要求保護的手段及其組合來實現(xiàn)本發(fā)明的目的和優(yōu)點。技術方案根據(jù)本發(fā)明的一個方面，提供了一種用于檢索多媒體內(nèi)容的方法，包括通過使用指示運動畫面專家組7(MPEG-7)文檔的特定區(qū)域的指示符和用于參考該指示符的參考關系(reference)，來表示用戶查詢；分析通過使用該指示符和該參考關系所表示的用戶查4詢的含義，以由此產(chǎn)生分析結(jié)果；和根據(jù)該分析結(jié)果來檢索多媒體內(nèi)容。根據(jù)本發(fā)明的另一方面，提供了一種用于處理用戶查詢以檢索多媒體內(nèi)容的方法，包括從用戶接收用于檢索多媒體內(nèi)容的查詢；通過使用用于指示MPEG-7文檔的特定區(qū)域的指示符和用于參考該指示符的參考關系，來表示該用戶查詢。根據(jù)本發(fā)明的另一方面，提供了一種用于檢索多媒體內(nèi)容的設備，包括查詢輸入單元，用于從用戶接收對于檢索多媒體內(nèi)容的查詢；查詢表示單元，用于通過使用指示MPEG-7文檔的特定區(qū)域的指示符和用于參考該指示符的參考關系，來表示通過該查詢輸入單元輸入的用戶查詢；查詢分析單元，用于分析通過使用該指示符和該參考關系在該查詢表示單元中所表示的用戶查詢的含義，以由此產(chǎn)生分析結(jié)果；和內(nèi)容檢索單元，用于根據(jù)該分析結(jié)果來檢索多媒體內(nèi)容。根據(jù)本發(fā)明的另一方面，提供了一種數(shù)據(jù)結(jié)構，用于表示用戶查詢，以檢索多媒體內(nèi)容，包括指示符，用于指示MPEG-7文檔的特定區(qū)域；和參考關系，用于參考該指示符。有利效果上面描述的本發(fā)明提供了一種可滿足同一結(jié)構內(nèi)的多于兩個檢索條件并明確表示參考了不同MPEG-7文檔的MPEG-7查詢格式。而且，由于在檢索處理期間正確分析了用戶查詢的含義，所以可能檢索與該用戶查詢精確一致的多媒體內(nèi)容。圖1是描述了根據(jù)本發(fā)明實施例的多媒體內(nèi)容檢索方法的流程圖。圖2圖示了根據(jù)本發(fā)明實施例的指示符的可擴展標記語言(XML)模式(schema)。圖3圖示了根據(jù)本發(fā)明實施例的參考關系的XML模式。圖4是詳細描述了圖1的查詢表示步驟S10的流程圖。圖5是詳細描述了圖1的查詢處理步驟S20的流程圖。圖6圖示了根據(jù)本發(fā)明另一實施例的指示符的XML模式。圖7是示出了根據(jù)本發(fā)明實施例的多媒體內(nèi)容檢索設備的結(jié)構的框圖。具體實施例方式通過下面闡明的參考附圖對實施例進行的以下描述，本發(fā)明的優(yōu)點、特征和方面將變得明顯。當認為關于現(xiàn)有技術的詳細描述可能使得本發(fā)明的發(fā)明點模糊時，將不在這里提供該描述。其后，將參考附圖來描述本發(fā)明的特定實施例。圖1是描述了根據(jù)本發(fā)明實施例的多媒體內(nèi)容檢索方法的流程圖。在步驟SIO中，用戶查詢被表示為用于檢索多媒體內(nèi)容的查詢。使用指示符和用于參考該指示符的參考關系，來表示該用戶查詢，以正確表示該用戶查詢的含義。該指示符指明了運動畫面專家組7(MPEG-7)文檔的特定區(qū)域，并使用該參考關系來參考該指示符。例如，當檢索到具有"山脈"和"海洋"的運動畫面片段時，存在用于運動畫面片段的指示符，并且該指示符的參考關系可表示"山脈"的存在，而另一參考關系可表示"海洋"的存在。在隨后的聯(lián)合操作中，可對于兩個不同MPEG-7文檔分別建立兩個指示符，并且所述兩個指示符中的每一個可具有明確表示這兩個彼此不同的MPEG-7文檔的參考關系。在步驟S20中，查詢處理器分析通過使用指示符和參考關系所表示的用戶查詢。5在步驟S30中，檢索引擎檢索與該查詢處理器中分析的用戶查詢相關的多媒體內(nèi)容，并在步驟S40中提供檢索結(jié)果。圖2圖示了根據(jù)本發(fā)明實施例的指示符的可擴展標記語言(XML)模式。如圖中所示，指示符包括指示符標識(ID)編號101、指示符區(qū)域描述符102、和指示符限制描述符103。指示符區(qū)域描述符102可包括用于參考另一指示符的參考關系104。指示符限制描述符103包括描述用于限制指示符的條件的部分105。在XML格式中描述了MPEG-7文檔，并且指示符指示了MPEG-7文檔的特定區(qū)域。為此，使用指示符區(qū)域描述符102來指定該特定區(qū)域的最高節(jié)點。當與指示符區(qū)域描述符表示的區(qū)域有關地需要附加限制條件時，使用指示符限制描述符103。當參考指示符時，使用指示符ID編號101。下面的表1示出了按照XML模式的格式描述的圖2。在表1中，"path(路徑)"元素是用于描述指示符區(qū)域的部分，而"selector(選擇器)"元素是用于描述指示符的限制的部分。"id"表明指示符的唯一編號。為了允許參考指示符內(nèi)的其他指示符，使用"ref"屬性。在限制指示符的部分中，定義了"ConditionalType(條件類型)"作為描述特定條件的限制條件。表1<table>tableseeoriginaldocumentpage6</column></row><table>圖3圖示了根據(jù)本發(fā)明實施例的參考關系的XML模式。指示符可參考特定指示符，并且可能參考該指示符所指示的特定區(qū)域內(nèi)的節(jié)點。在圖3中，指示符可包括用于參考特定指示符的"ref"屬性，并通過該屬性值表示與該指示符相關的區(qū)域。與圖3相關的XML模式可如下表2那樣描述，其中"ref"屬性參考該指示符，而"xPathType"描述與該指示符相關的部分。表2〈complexTypenameFeatureNameType"〉〈simpleContent〉〈extensionbasempeg7:xPathType"〉〈attributenameref"type:"IDREF"use:"optional"/〉〈/extension〉〈/simpleContent〉〈/complexType〉圖4是詳細描述了圖1的查詢表示步驟S10的流程圖。在步驟S402中，從用戶輸入對于檢索多媒體內(nèi)容的查詢。在步驟S404中，輸入的用戶查詢被表示為用于指示MPEG-7文檔的特定區(qū)域的指示符和用于參考該指示符的參考關系。例如，可基于表1和2中定義的XML模式如下表3那樣表示對于"檢索其水平長度X垂直長度大于1024X768的圖像"的查詢。在表3中，通過使用參考關系"href"來參考指示符，并且可通過描述附加路徑來指示與該指示符指示的區(qū)域相關的特定部分。表37〈mp7qf:RetrieveData〉〈mp7qf:IndicatoridM7DocID"〉〈mp7qf:Path〉/Mpeg7〈/mp7qf:Path〉〈/mp7qf:Indicator〉〈mp7qf:Indicatorid="VisualCodingFrameID"〉〈mp7qf:Pathref=〃M7DocID〃〉//VisualCoding/Frame〈/mp7qf:Path〉〈/mp7qf:Indicator〉〈mp7qf:Condition〉〈mp7qf:ConditionBagoperato:r="AND"〉〈！一一targetcontent:Image-一〉〈mp7qf:FeatureConditionoperator="equalTo"〉〈mp7qf:SourceFeatureref="M7DocID"〉//MediaFormat/Content/Name〈/mp7qf:SourceFeatu:re〉〈mp7qf:TargetConstantValuexsi:type="mp7qf:FeatureStringType"〈mp7qf:value〉Image〈/mp7qf:value〉〈/mp7qf:TargetConstantValue〉〈/mp7qf:FeatureCondition〉〈！一一sizesaregreaterthanorequaltol024氺768pixels(width氺height)—一〕〈mp7qf:FeatureConditionoperator="greaterThanOREqualTo"〉〈mp7qf:SourceFeatureExpressionoperator="multiply"〉〈mp7qf:FeatureNameref="VisualCodingFrameID"〉錢height〈/mp7qf:FeatureName〉〈mp7qf:FeatureNameref="VisualCodingFrameID"〉錢width〈/mp7qf:FeatureName〉〈/mp7qf:SourceFeatureExpression〉〈mp7qf:TargetFeatureExpressionoperatormultiply"〉〈mp7qf:ConstantValuexsi:type="mp7qf:FeatureDecimalType"〉〈mp7qf:value〉1024〈/mp7qf:value〉〈/mp7qf:ConstantValue〉〈mp7qf:ConstantValuexsi:type="mp7qf:FeatureDecimalType"〉〈mp7qf:value〉768〈/mp7qf:value〉〈/mp7qf:ConstantValue〉〈/mp7qf:TargetFeatureExpression〉〈/mp7qf:FeatureCondition〉〈/mp7qf:ConditionBag〉〈/mp7qf:Condition〉〈/mp7qf:RetrieveData〉圖5是詳細描述了圖1的查詢處理步驟S20的流程圖。在查詢處理步驟S20中，分析使用指示符和引用關系表示的用戶查詢的含義。首先，在步驟S502中，XML解析器解8析按照XML格式描述的用戶查詢。隨后，在步驟S504中，基于解析結(jié)果來處理指示符和參考關系。在步驟S506中，使用處理后的指示符和參考關系來分析該用戶查詢的含義。在其中處理指示符和參考關系的步驟S504中，參考同一指示符的參考關系被看作用于參考同一區(qū)域內(nèi)部中的值的值，以分析用戶查詢的含義。例如，由于"恥eight(高度)"和',width(寬度)"參考用戶查詢中的"VisualCodingFrameID(可視編碼幀ID)"，所以分析這兩者參考了"VisualCodingFrameID"所指示的區(qū)域內(nèi)部中的值。圖6圖示了根據(jù)本發(fā)明另一實施例的指示符的XML模式。指示符ID編號601與圖2的指示符ID編號101相同。圖6的指示符區(qū)域描述符是可選元素，而指示符限制描述符603是必要元素，并且它不具有"屬性(attribute)"。圖6可按照XML模式描述，這在下表4中呈現(xiàn)。表4〈mp7qf:RetrieveData〉〈mp7qf:IndicatoridM7DocID"〉〈mp7qf:Path〉/Mpeg7〈/mp7qf:Path〉〈/mp7qf:Indicator〉〈mp7qf:Indicatorid="VisualCodingFrameID"〉〈mp7qf:Pathref=〃M7DocID〃〉//VisualCoding/Frame〈/mp7qf:Path〉〈/mp7qf:Indicator〉〈mp7qf:Condition〉〈mp7qf:ConditionBagoperato:r="AND"〉〈！一一targetcontent:Image-一〉〈mp7qf:FeatureConditionoperator="equalTo"〉〈mp7qf:SourceFeatureref="M7DocID"〉//MediaFormat/Content/Name〈/mp7qf:SourceFeatu:re〉〈mp7qf:TargetConstantValuexsi:type="mp7qf:FeatureStringType"〈mp7qf:value〉Image〈/mp7qf:value〉〈/mp7qf:TargetConstantValue〉〈/mp7qf:FeatureCondition〉〈！一一sizesaregreaterthanorequaltol024氺768pixels(width氺height)—一〕〈mp7qf:FeatureConditionoperator="greaterThanOREqualTo"〉〈mp7qf:SourceFeatureExpressionoperator="multiply"〉〈mp7qf:FeatureNameref="VisualCodingFrameID"〉錢height〈/mp7qf:FeatureName〉〈mp7qf:FeatureNameref="VisualCodingFrameID"〉錢width〈/mp7qf:FeatureName〉〈/mp7qf:SourceFeatureExpression〉〈mp7qf:TargetFeatureExpressionoperatormultiply"〉〈mp7qf:ConstantValuexsi:type="mp7qf:FeatureDecimalType"〉〈mp7qf:value〉1024〈/mp7qf:value〉〈/mp7qf:ConstantValue〉〈mp7qf:ConstantValuexsi:type="mp7qf:FeatureDecimalType"〉〈mp7qf:value〉768〈/mp7qf:value〉〈/mp7qf:ConstantValue〉〈/mp7qf:TargetFeatureExpression〉〈/mp7qf:FeatureCondition〉〈/mp7qf:ConditionBag〉〈/mp7qf:Condition〉〈/mp7qf:RetrieveData〉圖7是示出了根據(jù)本發(fā)明實施例的多媒體內(nèi)容檢索設備的結(jié)構的框圖。如該圖中所示，多媒體內(nèi)容檢索設備700包括查詢輸入單元702、查詢表示單元704、查詢分析單元10706、內(nèi)容檢索單元708、和輸出單元710。查詢輸入單元702從用戶接收對于檢索多媒體內(nèi)容的查詢。查詢表示單元704通過使用指示MPEG-7文檔的特定區(qū)域的指示符和用于參考該指示符的參考關系，來將通過查詢輸入單元702輸入的用戶查詢表示為MPEG-7查詢格式。指示符包括為了參考該指示符的參考關系而使用的指示符ID編號、用于描述該指示符所指示的區(qū)域的限制條件的描述符、和用于指定該指示符所指示的區(qū)域的最高節(jié)點的描述符。按照XML格式來表示該用戶查詢。查詢分析單元706分析在查詢表示單元704中使用指示符和參考關系表示的用戶查詢的含義。查詢分析單元706包括用于解析用戶查詢的XML解析器712、用于基于XML解析器712的解析結(jié)果來處理指示符和參考關系的描述符處理器714、和用于基于描述符處理器714中處理的指示符和參考關系來分析用戶查詢的含義的含義分析器716。內(nèi)容檢索單元708根據(jù)用戶查詢分析單元706的分析結(jié)果來檢索多媒體內(nèi)容。內(nèi)容檢索單元708可檢索數(shù)據(jù)庫718或通過通信單元720搜索因特網(wǎng)722。數(shù)據(jù)庫718可被設立在多媒體內(nèi)容檢索設備700的內(nèi)部或外部。輸出單元710向用戶提供該內(nèi)容檢索單元708所檢索的多媒體內(nèi)容。發(fā)明模式上面描述的本發(fā)明的方法可被實現(xiàn)為程序并被存儲在例如CD-ROM、RAM、ROM、軟盤、硬盤、磁光盤等的計算機可讀記錄介質(zhì)中。由于該處理可由本發(fā)明所屬領域的技術人員容易地實現(xiàn)，所以這里將不提供進一步描述。盡管已針對特定實施例描述了本發(fā)明，但是對于本領域技術人員來說將顯而易見的是，可進行各種改變和修改，而不脫離以下權利要求中限定的本發(fā)明的精神和范圍。1權利要求一種用于檢索多媒體內(nèi)容的方法，包括通過使用指示運動畫面專家組7(MPEG-7)文檔的特定區(qū)域的指示符和用于參考該指示符的參考關系，來表示用戶查詢；分析通過使用該指示符和該參考關系所表示的用戶查詢的含義，以由此產(chǎn)生分析結(jié)果；和根據(jù)該分析結(jié)果來檢索多媒體內(nèi)容。2.根據(jù)權利要求1的方法，其中該指示符包括為了參考該指示符的參考關系而使用的指示符標識(ID)碼；禾口用于描述限制該指示符所指示的區(qū)域的條件的描述符。3.根據(jù)權利要求2的方法，其中該指示符還包括用于指定該指示符所指示的區(qū)域的最高節(jié)點的描述符。4.根據(jù)權利要求l的方法，其中在通過使用指示符和參考關系表示用戶查詢時，按照可擴展標記語言(XML)格式來描述該用戶查詢。5.根據(jù)權利要求4的方法，其中所述分析通過使用指示符和參考關系所表示的用戶查詢的含義的步驟包括通過使用XML解析器來解析用戶查詢，以由此產(chǎn)生解析結(jié)果；基于該解析結(jié)果來處理該指示符和該參考關系；禾口通過使用處理后的指示符和參考關系來分析該用戶查詢的含義。6.根據(jù)權利要求5的方法，其中在處理該指示符和該參考關系的步驟中，參考同一區(qū)域內(nèi)部的值，用于參考同一指示符的參考關系。7.—種用于處理用戶查詢以檢索多媒體內(nèi)容的方法，包括從用戶接收用于檢索多媒體內(nèi)容的查詢；通過使用用于指示MPEG-7文檔的特定區(qū)域的指示符和用于參考指示符的參考關系，來表示該用戶查詢。8.根據(jù)權利要求7的方法，其中該指示符包括為了參考該指示符的參考關系而使用的指示符ID碼；禾口用于描述限制該指示符所指示的區(qū)域的條件的描述符。9.根據(jù)權利要求8的方法，其中該指示符包括用于指定該指示符所指示的區(qū)域的最高節(jié)點的描述符。10.根據(jù)權利要求7的方法，其中在通過使用指示符和參考關系表示用戶查詢時，按照XML格式來描述該用戶查詢。11.一種用于檢索多媒體內(nèi)容的設備，包括查詢輸入單元，用于從用戶接收對于檢索多媒體內(nèi)容的查詢；查詢表示單元，用于通過使用指示MPEG-7文檔的特定區(qū)域的指示符和用于參考該指示符的參考關系，來表示通過該查詢輸入單元輸入的用戶查詢；查詢分析單元，用于分析通過使用該指示符和該參考關系在該查詢表示單元中所表示的用戶查詢的含義，以由此產(chǎn)生分析結(jié)果；禾口內(nèi)容檢索單元，用于根據(jù)該分析結(jié)果來檢索多媒體內(nèi)容。12.根據(jù)權利要求11的設備，其中該指示符包括為了參考該指示符的參考關系而使用的指示符ID碼；禾口用于描述限制該指示符所指示的區(qū)域的條件的描述符。13.根據(jù)權利要求12的設備，其中該指示符還包括用于指定該指示符所指示的區(qū)域的最高節(jié)點的描述符。14.根據(jù)權利要求11的設備，其中在該查詢表示單元中按照XML格式來描述該用戶查詢。15.根據(jù)權利要求14的設備，其中該查詢分析單元包括XML解析器，用于解析該用戶查詢，以由此產(chǎn)生解析結(jié)果；描述符處理器，用于基于該XML解析器的解析結(jié)果來處理該指示符和該參考關系；含義分析器，用于通過使用在該描述符處理器中獲得的處理后的指示符和參考關系，來分析該用戶查詢的含義。16.—種數(shù)據(jù)結(jié)構，用于表示用戶查詢，以檢索多媒體內(nèi)容，包括指示符，用于指示MPEG-7文檔的特定區(qū)域；禾口參考關系，用于參考該指示符。17.根據(jù)權利要求16的數(shù)據(jù)結(jié)構，其中該指示符包括為了參考該指示符的參考關系而使用的指示符ID碼；禾口用于描述限制該指示符所指示的區(qū)域的條件的描述符。18.根據(jù)權利要求17的數(shù)據(jù)結(jié)構，其中該指示符還包括用于指定該指示符所指示的區(qū)域的最高節(jié)點的描述符。19.根據(jù)權利要求16的數(shù)據(jù)結(jié)構，其中按照XML格式來描述該數(shù)據(jù)結(jié)構。全文摘要公開了一種通過將用戶查詢變換為運動畫面專家組7(MPEG-7)查詢格式而檢索按照MPEG-7表示的多媒體內(nèi)容的設備和方法。所述用于檢索多媒體內(nèi)容的方法包括通過使用指示運動畫面專家組7(MPEG-7)文檔的特定區(qū)域的指示符和用于參考該指示符的參考關系，來表示用戶查詢；分析通過使用該指示符和該參考關系所表示的用戶查詢的含義，以由此產(chǎn)生分析結(jié)果；和根據(jù)該分析結(jié)果來檢索多媒體內(nèi)容。本研究可滿足MPEG-7查詢格式的同一結(jié)構中的多于兩個檢索條件，并且其也可明確表示參考了兩個不同的MPEG-7文檔。由于在檢索處理期間精確分析了用戶查詢的含義，所以可能正確檢索多媒體內(nèi)容。文檔編號G06F17/30GK101720462SQ200880017337公開日2010年6月2日申請日期2008年4月23日優(yōu)先權日2007年4月23日發(fā)明者尹慶老,尹汝燦,崔美蘭,徐熙喆,林秀鐘,蔣明吉,許楨,金鉉基申請人:韓國電子通信研究院;建國大學校產(chǎn)學協(xié)力團