專利名稱：一種語義與圖像匹配處理方法、裝置及終端設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像信息處理領(lǐng)域，特別是指一種語義與圖像匹配處理方法、裝置及終端設(shè)備。
背景技術(shù)：
隨著互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的發(fā)展，即時通訊，微博，社區(qū)都成為人們在線交流的主要平臺。目前，在互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)上的主流的交流方式是以文字和語音的形式為主。用圖片進(jìn)行表達(dá)和交流的情況主要體現(xiàn)在聊天或發(fā)表文章時應(yīng)用的非個性化卡通形象表情，卡通形式的禮物，或照片。這種圖像表達(dá)形式，是非個性化的，即沒有用戶本人 的形象參與到圖像中進(jìn)行的表達(dá)，使圖像不能豐富準(zhǔn)確地表達(dá)用戶的意思。而且也無法體現(xiàn)用戶人本在圖像中的參與。當(dāng)前圖片的使用都是用戶手動拼接圖片或掃描上傳人工畫好的圖片和照片。人們在表達(dá)自己的意思的時候，如果有配圖需求，則需要通過在網(wǎng)上或自己的圖庫中找到自己滿意的圖片。這樣，一是效率低下，二是很難找到自己滿意的圖片。通常，圖片和文字不相匹配，達(dá)不到圖文并茂的效果。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種語義與圖像匹配處理方法、裝置及終端設(shè)備，可以得到與語義相匹配的圖像，達(dá)到圖文并茂的效果。為解決上述技術(shù)問題，本發(fā)明的實施例提供一種語義與圖像匹配處理方法，包括獲得輸入的語句；對所述語句進(jìn)行語義分析，得到多個特征詞；根據(jù)所述特征詞，從圖像元素庫中查找與所述特征詞相匹配的圖像元素；按照所述多個特征詞之間的語義關(guān)系，確定與所述特征詞相匹配的圖像元素之間的組合順序；按照所述組合順序，將與所述特征詞相匹配的圖像元素組合成一新的圖像。其中，所述語句為文字形式的語句，或者語音形式的語句，或者將輸入的語音轉(zhuǎn)換成文字形式的語句。其中，對所述語句進(jìn)行語義分析，得到多個特征詞的步驟包括判斷所述語句是否是常見短語，若是，將所述常見短語作為所述特征詞；若否，對所述語句按照標(biāo)點符號進(jìn)行斷句分割，得到多個短句；對所述短句按照虛詞進(jìn)行分割，得到多個特征詞。其中，根據(jù)所述特征詞，從圖像元素庫中查找與所述特征詞相匹配的圖像元素的步驟包括根據(jù)所述特征詞，從圖像元素庫中查找圖像元素的名稱包括所述特征詞的圖像元素，若查找到，則認(rèn)為該查找到的至少一個圖像元素與所述特征詞匹配。其中，從所述查找到的至少一個圖像元素中，確定圖像元素的名稱與所述特征詞完全相同的圖像元素為與所述特征詞相匹配的圖像元素，否則，從所述查找到的至少一個圖像元素中任選一個圖像元素作為與所述特征詞相匹配的圖像元素。其中，按照所述多個特征詞之間的語義關(guān)系，確定與所述特征詞相匹配的圖像元素之間的組合順序的步驟包括按照所述多個特征詞之間的語義關(guān)系，將與所述特征詞相匹配的圖像元素分為多層； 按照圖像元素顯示的效果，確定與所述特征詞匹配的多層圖像元素之間的組合順序。其中，與所述特征詞匹配的圖像元素之間的組合順序為至少一種。其中，按照所述組合順序，將與所述特征詞相匹配的圖像元素組合成一新的圖像的步驟包括按照所述組合順序，依次獲得所述組合順序中，與所述特征詞匹配的所有圖像元素對應(yīng)的顯示區(qū)域；按照所述顯示區(qū)域確定的位置，將所述圖像元素顯示在所述顯示區(qū)域中；將所有顯示區(qū)域中顯示的所述圖像元素組合成所述新的圖像。其中，所述圖像元素庫包括第一人稱相應(yīng)的特征詞對應(yīng)的圖像元素；所述圖像元素為平面圖像、動態(tài)圖像和/或三維圖像。本發(fā)明的實施例還提供一種語義與圖像匹配處理裝置，包括輸入模塊，用于獲得輸入的語句；分析模塊，用于對所述語句進(jìn)行語義分析，得到多個特征詞；匹配模塊，用于根據(jù)所述特征詞，從圖像元素庫中查找與所述特征詞相匹配的圖像元素；確定模塊，用于按照所述多個特征詞之間的語義關(guān)系，確定與所述特征詞相匹配的圖像元素之間的組合順序；圖像生成模塊，用于按照所述組合順序，將與所述特征詞相匹配的圖像元素組合成一新的圖像。其中，所述確定模塊包括劃分模塊，用于將圖像元素庫中的圖像元素分為多層；第一確定子模塊，用于按照圖像元素顯示的效果，確定多層圖像元素之間的組合順序；第二確定子模塊，用于按照多層圖像元素之間的組合順序，確定與所述特征詞匹配的圖像元素之間的組合順序。其中，所述圖像生成模塊包括獲得子模塊，用于按照所述組合順序，依次獲得所述組合順序中，與所述特征詞匹配的所有圖像元素對應(yīng)的顯示區(qū)域；第一處理子模塊，用于按照所述顯示區(qū)域確定的位置，將所述圖像元素顯示在所述顯示區(qū)域中；
第二處理子模塊，用于將所有顯示區(qū)域中顯示的所述圖像元素組合成所述新的圖像。本發(fā)明的實施例還提供一種終端設(shè)備，包括顯示模塊，以及如上所述的語義與圖像匹配處理裝置；其中，所述顯示模塊用于顯示所述新的圖像。本發(fā)明的上述技術(shù)方案的有益效果如下上述方案中，通過對輸入的語句進(jìn)行語義分析，得到多個特征詞，并從圖像元素庫中查找與所述特征詞相匹配的圖像元素，并按照所述多個特征詞之間的語義關(guān)系，確定與所述特征詞相匹配的圖像元素之間的組合順序，按照所述組合順序，將與所述特征詞相匹配的圖像元素組合成一新的圖像；使得該新的圖像是根據(jù)用戶臨時輸入的語句而產(chǎn)生與該語句的語義相匹配的圖像，從而達(dá)到圖文并茂的效果，并增加用戶的使用樂趣。


圖I為本發(fā)明的實施例語義與圖像匹配處理方法的流程示意圖；圖2為圖I所示方法中，語義分析結(jié)果的示意圖；圖3為圖I所示方法中，按照語義分析結(jié)果進(jìn)行圖像幀組合的示意圖；圖4為圖I所示方法中，圖像元素為動態(tài)圖像時的組合示意圖；圖5為圖I所示方法中，特征詞對應(yīng)的圖像元素之間為連續(xù)動態(tài)圖像時的組合示意圖；圖6為反映圖像元素層之間關(guān)系的一種方式圖；圖7為反映圖像元素層之間關(guān)系的另一種方式圖；圖8為本發(fā)明的實施例語義與圖像匹配處理裝置的結(jié)構(gòu)示意圖；圖9為本發(fā)明的實施例終端設(shè)備的結(jié)構(gòu)示意圖。
具體實施例方式為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖及具體實施例進(jìn)行詳細(xì)描述。如圖I所示，本發(fā)明的實施例一種語義與圖像匹配處理方法，包括步驟11，獲得輸入的語句；步驟12，對所述語句進(jìn)行語義分析，得到多個特征詞；步驟13，根據(jù)所述特征詞，從圖像元素庫中查找與所述特征詞相匹配的圖像元素；步驟14，按照所述多個特征詞之間的語義關(guān)系，確定與所述特征詞相匹配的圖像元素之間的組合順序；步驟15，按照所述組合順序，將與所述特征詞相匹配的圖像元素組合成一新的圖
像。 本發(fā)明的實施例通過對輸入的語句進(jìn)行語義分析，得到多個特征詞，并從圖像元素庫中查找與所述特征詞相匹配的圖像元素，并按照所述多個特征詞之間的語義關(guān)系，確定與所述特征詞相匹配的圖像元素之間的組合順序，按照所述組合順序，將與所述特征詞相匹配的圖像元素組合成一新的圖像；使得該新的圖像是根據(jù)用戶臨時輸入的語句而產(chǎn)生與該語句的語義相匹配的圖像，從而達(dá)到圖文并茂的效果，并增加用戶的使用樂趣。其中，所述語句為文字形式的語句，或者語音形式的語句，或者將輸入的語音轉(zhuǎn)換成文字形式的語句。優(yōu)選的，上述步驟12的具體實現(xiàn)過程包括步驟121，對所述語句進(jìn)行語義分析，得到多個特征詞的步驟包括步驟122，判斷所述語句是否是常見短語，若是，將所述常見短語作為所述特征詞；若否，對所述語句按照標(biāo)點符號進(jìn)行斷句分割，得到多個短句；步驟123，對所述短句按照虛詞進(jìn)行分割，得到多個特征詞。具體地，以對輸入的文字語句“我在海邊吃燒烤，很開心”為例進(jìn)行語義分析；如圖2所示，首先，根據(jù)輸入的文字內(nèi)容進(jìn)行語義判斷，包括這段文字表達(dá)的意思是什么，表述的何種語氣，表達(dá)的心里情緒狀態(tài)如何，所涉及的人物是誰，數(shù)量幾個。語義分析包括下列步驟對獲取的文字，進(jìn)行常見短語匹配；如果不是常見短語，對獲取的文字按標(biāo)點和虛詞(包括，副詞，介詞，連詞，助詞，等)進(jìn)行斷句；根據(jù)第一節(jié)斷句內(nèi)容，首先判斷主語，找出對應(yīng)主語，如“你”、“我”、“張三”、“和” “李四”，等。如果沒有明確主語，默認(rèn)為“我”；判斷語氣助詞，如“呢”、“嗎”，等；判斷程度副詞、語氣副詞等，如非常”、“不”，等;在其余的斷句中，根據(jù)不同的虛詞，解析出關(guān)鍵詞，并確定其為動詞或名詞；將解析的主語及關(guān)鍵詞與數(shù)據(jù)庫匹配，完成語義分析。例如“我在海邊吃燒烤，很開心”，具體語義分析按上述方法分解如下此句為非常見短語。斷句分解的特征詞包括“我”、“在”、“海邊”、吃燒烤”、“很”、“開心”；解析出主語“我”；無語氣助詞；解析出程度副詞“很”；根據(jù)地點副詞“在”，解析出地點“海邊”，及動詞“吃燒烤”，“開心”。另外，當(dāng)輸入的語句是語音形式的語句時，即語音輸入，語音輸入是根據(jù)操作者的講話，用相關(guān)的聲音識別方法識別該語句；當(dāng)然也可以是，對語音識別出來之后，將識別出來的語句轉(zhuǎn)換成文字的語句，供用戶確認(rèn)，用戶確認(rèn)或者對識別出來的語句進(jìn)行修改確認(rèn)后，再進(jìn)行語義分析。在上述圖I所示方法的實施例中，步驟13具體可以包括根據(jù)所述特征詞，從圖像元素庫中查找圖像元素的名稱包括所述特征詞的圖像元素，若查找到，則認(rèn)為該查找到的至少一個圖像元素與所述特征詞匹配。 在本發(fā)明的實施例中，圖像元素庫中的每個圖像元素都會有指代的若干文字內(nèi)容，并具有與該若干文字內(nèi)容相關(guān)的圖像元素名稱，根據(jù)分析出來的特征詞，從圖像元素庫中調(diào)取與該特征詞相匹配的圖像元素。例如，針對上述特征詞“我”、“在”、“海邊”、吃燒烤”、“很”、“開心”；
其中，特征詞“我”對應(yīng)的圖像元素如圖2中的中間一幅圖中的人物的頭像，特征詞“海邊”對應(yīng)的圖像元素如圖2中的左邊一幅圖中的海邊圖像，吃燒烤，對應(yīng)的圖像元素如圖2中的中間一幅以及右邊一幅圖中的人物的身體圖像，特征詞“開心”對應(yīng)的圖像元素如圖2中的右邊一幅圖中的人物的頭像的嘴巴的狀態(tài)，特征詞“在”表明了人物的圖像和海邊圖像的語義關(guān)系，另外，圖2中在出現(xiàn)人物圖像時，還會出現(xiàn)一文本框，該文本框中呈現(xiàn)所輸入的語句，以達(dá)到圖文并茂的效果。優(yōu)選的，在圖像元素庫中查找與特征詞匹配的圖像元素時，具體可以包括確定圖像元素的名稱與所述特征詞完全相同的圖像元素為與所述特征詞相匹配的圖像元素，否貝U，從所述查找到的至少一個圖像元素中任選一個圖像元素作為與所述特征詞相匹配的圖
像元素。如圖像元素庫中的圖像元素的名稱為“張三”，且為該圖像元素指定的若干文字內(nèi)容可能包括我，Amy等，其中，“張三”、“我”和“Amy”分別為同一個人物的不同指代，因此，當(dāng)特征詞為“張三”、“我”或者“Amy”時，都可以匹配到包括該人物的圖像元素；當(dāng)然，包括該人物的圖像元素也可能不至一個，如用“張三”命名的圖像元素，用“Amy”命名的圖像元素，且為這兩個圖像元素指定的文字是“我”，那么，在匹配特征詞“我”的時候，可以調(diào)取出來兩個圖像元素，分別是用“張三”命名的圖像元素，用“Amy”命名的圖像元素，這時，可以供用戶再進(jìn)行進(jìn)一步選擇，最終確定一張與特征詞匹配的圖像元素。在上述圖I所示方法的實施例中，步驟14具體可以包括步驟141，按照所述多個特征詞之間的語義關(guān)系，將與所述特征詞相匹配的圖像元素分為多層；步驟142，按照圖像元素顯示的效果，確定與所述特征詞匹配的多層圖像元素之間的組合順序。其中，與所述特征詞匹配的圖像元素之間的組合順序為至少一種。具體地，多個特征詞之間的語義關(guān)系包括語句中的地點副詞確定的多個特征詞之間的關(guān)系或者特征詞之間的邏輯關(guān)系所確定的語義關(guān)系，如圖3所示，以“我和老婆在海邊吃燒烤，很開心”，按照上述語義分析方法，分解成“我”，“老婆”，“海邊”，“吃燒烤”，“很”，“開心”幾個特征詞，按照這幾個特征詞中的人物，人物的動作，人物的心情以及人物與地點的邏輯關(guān)系，將這幾個特征詞在圖像元素庫中匹配到的圖像元素分為多個層次，優(yōu)選地，可以按照圖像顯示的效果還進(jìn)行分層，如可以分成人物頭像層，身體層，物品層，表情層，背景層，文字框?qū)拥龋缈梢詫⒈尘皩幼鳛樽钕蠕秩镜膶?，如圖3中的最左邊的一幅圖，接著依 次渲染人物頭像層，文字框?qū)樱眢w層，物品層，表情層等，當(dāng)然，這里各個層次之間的渲染順序，并不限于是上述所述的順序，還可以有其它的順序，如渲染完背景層、人物頭像層之后，接下來可以渲染表情層，身體層，物品層以及文字框?qū)拥?，這些順序決定了圖像顯示時的渲染順序，但最終得到的新的圖像應(yīng)當(dāng)是相同的效果，當(dāng)然，不排除有些順序造成的效果不相同，但也應(yīng)當(dāng)是本發(fā)明的實施例所涵蓋的范圍。進(jìn)一步，上述各個層進(jìn)行組合時，其中身體層和頭像層的組合可以按照如下組合方式進(jìn)行I)身體層的所有素材都固定在一個區(qū)域范圍內(nèi)。頭像層所有素材也固定出現(xiàn)身體層上方的一個范圍內(nèi)，從而達(dá)到身體與頭部銜接的吻合。
2)每個所屬身體層的素材的固定點都在圖中有一個坐標(biāo)值，每次生成圖像時，頭像層和表情層的素材會自動找到該身體素材的固定點坐標(biāo)，并按坐標(biāo)參數(shù)與之銜接。其中，各個層之間的關(guān)系，如圖6或者圖7所示，其中，圖6中，層I-層10之間的順序可以任意調(diào)換，并不限于圖中所示的順序，且層2、4、10所示的物體層是不同的物體層，層5、8所示的身體層是不同的身體層，層7、9所示的表情層是不同的表情層；6. 1-6. 7是層6的分支，以次類推，各個層之間的順序可以調(diào)換。當(dāng)然，調(diào)換的前提是保證新的圖像的效果符合人的正常觀看邏輯。圖7中的相關(guān)層順序也可以調(diào)換，且層5的分支層5. 1-5. 7之間的順序也可以調(diào)換在上述圖I所示的方法中，其中，步驟15可以包括步驟151，按照所述組合順序，依次獲得所述組合順序中，與所述特征詞匹配的所有圖像元素對應(yīng)的顯示區(qū)域；步驟152，按照所述顯示區(qū)域確定的位置，將所述圖像元素顯示在所述顯示區(qū)域中；步驟153，將所有顯示區(qū)域中顯示的所述圖像元素組合成所述新的圖像。如上述的背景層需要布滿整個顯示區(qū)域，而頭像層則應(yīng)當(dāng)位于背景層的前面，身體層應(yīng)當(dāng)位于頭像層的下方，表情層則應(yīng)當(dāng)位于頭像層的前面，文字框?qū)觿t應(yīng)當(dāng)們于頭像層的右上角或者左上角等，這樣各個層按照預(yù)定的顯示區(qū)域進(jìn)行顯示，就會自動組合成一幅新的圖像。其中，所述圖像元素庫包括第一人稱相應(yīng)的特征詞對應(yīng)的圖像元素，即將自己變成圖像中的角色通過上傳照片，用軟件對照片進(jìn)行圖像處理，生成具備本人特征的圖像元素，且用戶可在軟件中進(jìn)行發(fā)型更換，臉型調(diào)整，佩戴飾物，修飾容貌等操作。確定好人物形象設(shè)定后，此形象就可成為所生成新的圖像的角色。將自己變成圖像中的角色同時，在確定語義分析的結(jié)果，為用戶提供語義相同的多套素材層組合方案，供用戶選擇。所述圖像元素可以為平面圖像、動態(tài)圖像和/或三維圖像。即，上述生成的新的圖像中的圖像元素本身可以是平面圖像，也可以是動態(tài)圖像，也可以是三維圖像。另外，在基于上述所有實施例的基礎(chǔ)上，圖像元素庫中可以隨時進(jìn)行更新，如臨時增加新的圖像元素，或者刪除已有的圖像元素或者更改圖像元素的名稱或者指代文字等，該圖像元素庫也可以通過網(wǎng)絡(luò)上傳給服務(wù)器，并共享給其它用戶，以實現(xiàn)圖像元素的共享。在臨時增加新的圖像元素時，如獲得一新的圖像元素，如用戶本人的大頭照，或者用手機臨時拍攝的照片等，在生成并妝扮完該圖像元素中的人物形象后，用戶可以給形象定義名稱，性別。如語義中出現(xiàn)此名稱，此包括該人物頭像的圖像元素及所匹配的身體將出現(xiàn)在產(chǎn)生新的圖像中。文字框的自動識別文字框作為新的圖像中的一部分，形式根據(jù)語義內(nèi)容，語氣，字?jǐn)?shù)的不同而改變。通過語義內(nèi)容，語氣的不同，從素材庫中調(diào)用不同文字框形式。如表示想象中的內(nèi)容，出現(xiàn)想象型文字框。表達(dá)驚訝語氣的內(nèi)容，出現(xiàn)驚訝形狀的文字框。文字框的尺寸，按文字?jǐn)?shù)量多少而自動調(diào)整大小。四格漫畫及多格漫畫用戶可將通過文字或語音生成的4幅畫面組合成四格漫畫。或按照所生成的圖畫張數(shù)，按軟件組合成多款不同分格形式。當(dāng)上述圖像元素為動態(tài)圖片時根據(jù)語義內(nèi)容生成動態(tài)的圖畫。每層中的圖像元素根據(jù)語義分析的結(jié)果，組合成一副連續(xù)動態(tài)的圖畫。比如今天天氣很好，我很高興。天氣很好作為背景層，其中太陽在做連續(xù)發(fā)光的動作。身體層在做持續(xù)歡呼的動作，表情層在做連續(xù)大笑的動作。合在一起就形成太陽在發(fā)光，身體在歡呼，表情在哈哈笑，具體如圖4所示。當(dāng)包含動畫圖片的圖像元素對應(yīng)的語義出現(xiàn)較長的句式時，可生成有故事情節(jié)的較長時間的動畫短片。通過語義抓取關(guān)鍵動作及場景情節(jié)使場景，身體動作，人物形象，表情等素材根據(jù)劇情而不斷改變。如圖5所示，比如早上坐地鐵刷卡發(fā)現(xiàn)沒帶一卡通，買了票進(jìn)來，好久才等到車。幸好人不多有座。下地鐵去了游，玩了摩天輪。去餐館吃了烤雞還喝了紅酒。按照上述方法所述的實施例的步驟對該語句進(jìn)行分析，得到如圖5所示的多幀新的圖像，并連續(xù)播放該多幀新的圖像，其中圖5中的一幅圖像為一圖像幀。進(jìn)一步地，圖像元素還可以是3D動態(tài)圖片所有圖像元素庫中的圖像元素都是經(jīng) 過3D渲染后的立體形式。根據(jù)語義組合出的畫面也是可連動的多角度轉(zhuǎn)換的3D立體效果。圖片修正當(dāng)符合用戶需求的動畫靜態(tài)圖片/動態(tài)圖片/動畫圖片顯示后，用戶可以根據(jù)自己的喜好進(jìn)行DIY(Do it yourself)修正，包括各層素材更改、位移、縮放、變換
坐寸o另外，本發(fā)明的上述實施例中，為了回避生成圖畫內(nèi)容的重復(fù)，系統(tǒng)使用了記憶算法。即用戶第一次輸入“好”這個字生成的圖像，和第二次輸入“好”或者“0K”這類字生成的結(jié)果是不一樣的，但圖畫表現(xiàn)的意思是一樣，只是使用的圖像元素不同。本發(fā)明的上述實施例，通過對用戶隨時輸入的語句進(jìn)行分析，得到多個特征詞，并從圖像元素庫中獲得這些特征詞匹配的圖像元素，如包括用戶本人頭像的圖像元素，或者包括用戶本人頭像的各種個性化頭像，并將這些頭像按照當(dāng)前的語義生成符合該語義的新的圖像，同時，用戶所輸入的文字會出現(xiàn)在新的圖像中的對話框里。此外，用戶還可以輸入不同的人物名稱更換畫中的角色。用戶可以自己創(chuàng)作素材。通過載入照片，對照片進(jìn)行風(fēng)格化處理后，成為圖畫中的一部分。使用戶只需要通過打字或者語音，即可自動生成與該打字或者語音輸入的語句的語義相符的圖像，達(dá)到圖文并茂的效果，提高用戶的使用興趣。如圖8所示，本發(fā)明的實施例還提供一種語義與圖像匹配處理裝置，包括輸入模塊81，用于獲得輸入的語句；其中，所述語句為文字形式的語句，或者語音形式的語句，或者將輸入的語音轉(zhuǎn)換成文字形式的語句；分析模塊82，用于對所述語句進(jìn)行語義分析，得到多個特征詞；匹配模塊83，用于根據(jù)所述特征詞，從圖像元素庫中查找與所述特征詞相匹配的圖像元素；確定模塊84，用于按照所述多個特征詞之間的語義關(guān)系，確定與所述特征詞相匹配的圖像元素之間的組合順序；圖像生成模塊85，用于按照所述組合順序，將與所述特征詞相匹配的圖像元素組合成一新的圖像。其中，分析模塊82具體用于判斷所述語句是否是常見短語，若是，將所述常見短語作為所述特征詞；若否，對所述語句按照標(biāo)點符號進(jìn)行斷句分割，得到多個短句；對所述短句按照虛詞進(jìn)行分割，得到多個特征詞。
其中，匹配模塊83具體用于根據(jù)所述特征詞，從圖像元素庫中查找圖像元素的名稱包括所述特征詞的圖像元素，若查找到，則認(rèn)為該查找到的至少一個圖像元素與所述特征詞匹配；進(jìn)一步地，從所述查找到的至少一個圖像元素中，確定圖像元素的名稱與所述特征詞完全相同的圖像元素為與所述特征詞相匹配的圖像元素，否則，從所述查找到的至少一個圖像元素中任選一個圖像元素作為與所述特征詞相匹配的圖像元素。其中，所述確定模塊84包括劃分模塊，用于將圖像元素庫中的圖像元素分為多層；第一確定子模塊，用于按照圖像元素顯示的效果，確定多層圖像元素之間的組合順序；第二確定子模塊，用于按照多層圖像元素之間的組合順序，確定與所述特征詞匹配的圖像元素之間的組合順序。優(yōu)選的，與所述特征詞匹配的圖像元素之間的組合順序為至少一種。
其中，所述圖像生成模塊85包括獲得子模塊，用于按照所述組合順序，依次獲得所述組合順序中，與所述特征詞匹配的所有圖像元素對應(yīng)的顯示區(qū)域；第一處理子模塊，用于按照所述顯示區(qū)域確定的位置，將所述圖像元素顯示在所述顯示區(qū)域中；第二處理子模塊，用于將所有顯示區(qū)域中顯示的所述圖像元素組合成所述新的圖像。在上述所有裝置實施例中，所述圖像元素庫包括第一人稱相應(yīng)的特征詞對應(yīng)的圖像元素；所述圖像元素為平面圖像、動態(tài)圖像和/或三維圖像。該裝置實施例是與上述方法實施例對應(yīng)的裝置，具體可以手機或者PC或者其它智能設(shè)備中的一應(yīng)用，如即時通訊平臺，輸入法平臺。該裝置也能達(dá)到與上述方法相同的技術(shù)效果。另外，如圖9所示，本發(fā)明的實施例還保護(hù)一種終端設(shè)備90，包括顯示模塊86，以及如上所述的語義與圖像匹配處理裝置；其中，所述顯示模塊86用于顯示所述新的圖像。本發(fā)明的該終端設(shè)備可以是手機，PC, PDA等智能設(shè)備，且也能達(dá)到上述裝置實施例相同的技術(shù)效果。以上所述是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明所述原理的前提下，還可以作出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種語義與圖像匹配處理方法，其特征在于，包括 獲得輸入的語句； 對所述語句進(jìn)行語義分析，得到多個特征詞； 根據(jù)所述特征詞，從圖像元素庫中查找與所述特征詞相匹配的圖像元素； 按照所述多個特征詞之間的語義關(guān)系，確定與所述特征詞相匹配的圖像元素之間的組合順序； 按照所述組合順序，將與所述特征詞相匹配的圖像元素組合成一新的圖像。
2.根據(jù)權(quán)利要求I所述的語義與圖像匹配處理方法，其特征在于，所述語句為文字形式的語句，或者語音形式的語句，或者將輸入的語音轉(zhuǎn)換成文字形式的語句。
3.根據(jù)權(quán)利要求I所述的語義與圖像匹配處理方法，其特征在于，對所述語句進(jìn)行語義分析，得到多個特征詞的步驟包括 判斷所述語句是否是常見短語，若是，將所述常見短語作為所述特征詞；若否，對所述語句按照標(biāo)點符號進(jìn)行斷句分割，得到多個短句； 對所述短句按照虛詞進(jìn)行分割，得到多個特征詞。
4.根據(jù)權(quán)利要求I所述的語義與圖像匹配處理方法，其特征在于，根據(jù)所述特征詞，從圖像元素庫中查找與所述特征詞相匹配的圖像元素的步驟包括 根據(jù)所述特征詞，從圖像元素庫中查找圖像元素的名稱包括所述特征詞的圖像元素，若查找到，則認(rèn)為該查找到的至少一個圖像元素與所述特征詞匹配。
5.根據(jù)權(quán)利要求4所述的語義與圖像匹配處理方法，其特征在于，從所述查找到的至少一個圖像元素中，確定圖像元素的名稱與所述特征詞完全相同的圖像元素為與所述特征詞相匹配的圖像元素，否則，從所述查找到的至少一個圖像元素中任選一個圖像元素作為與所述特征詞相匹配的圖像元素。
6.根據(jù)權(quán)利要求I所述的語義與圖像匹配處理方法，其特征在于，按照所述多個特征詞之間的語義關(guān)系，確定與所述特征詞相匹配的圖像元素之間的組合順序的步驟包括 按照所述多個特征詞之間的語義關(guān)系，將與所述特征詞相匹配的圖像元素分為多層； 按照圖像元素顯示的效果，確定與所述特征詞匹配的多層圖像元素之間的組合順序。
7.根據(jù)權(quán)利要求6所述的語義與圖像匹配處理方法，其特征在于，與所述特征詞匹配的圖像元素之間的組合順序為至少一種。
8.根據(jù)權(quán)利要求I所述的語義與圖像匹配處理方法，其特征在于，按照所述組合順序，將與所述特征詞相匹配的圖像元素組合成一新的圖像的步驟包括 按照所述組合順序，依次獲得所述組合順序中，與所述特征詞匹配的所有圖像元素對應(yīng)的顯示區(qū)域； 按照所述顯示區(qū)域確定的位置，將所述圖像元素顯示在所述顯示區(qū)域中； 將所有顯示區(qū)域中顯示的所述圖像元素組合成所述新的圖像。
9.根據(jù)權(quán)利要求1-8任一項所述的語義與圖像匹配處理方法，其特征在于， 所述圖像元素庫包括第一人稱相應(yīng)的特征詞對應(yīng)的圖像元素； 所述圖像元素為平面圖像、動態(tài)圖像和/或三維圖像。
10.一種語義與圖像匹配處理裝置，其特征在于，包括 輸入模塊，用于獲得輸入的語句；分析模塊，用于對所述語句進(jìn)行語義分析，得到多個特征詞； 匹配模塊，用于根據(jù)所述特征詞，從圖像元素庫中查找與所述特征詞相匹配的圖像元素； 確定模塊，用于按照所述多個特征詞之間的語義關(guān)系，確定與所述特征詞相匹配的圖像元素之間的組合順序； 圖像生成模塊，用于按照所述組合順序，將與所述特征詞相匹配的圖像元素組合成一新的圖像。
11.根據(jù)權(quán)利要求10所述的語義與圖像匹配處理裝置，其特征在于，所述確定模塊包括: 劃分模塊，用于將圖像元素庫中的圖像元素分為多層； 第一確定子模塊，用于按照圖像元素顯示的效果，確定多層圖像元素之間的組合順序; 第二確定子模塊，用于按照多層圖像元素之間的組合順序，確定與所述特征詞匹配的圖像元素之間的組合順序。
12.根據(jù)權(quán)利要求10或11所述的語義與圖像匹配處理裝置，其特征在于，所述圖像生成模塊包括 獲得子模塊，用于按照所述組合順序，依次獲得所述組合順序中，與所述特征詞匹配的所有圖像元素對應(yīng)的顯示區(qū)域； 第一處理子模塊，用于按照所述顯示區(qū)域確定的位置，將所述圖像元素顯示在所述顯示區(qū)域中； 第二處理子模塊，用于將所有顯示區(qū)域中顯示的所述圖像元素組合成所述新的圖像。
13.一種終端設(shè)備，包括顯示模塊，其特征在于，還包括如權(quán)利要求10-12任一項所述的語義與圖像匹配處理裝置；其中，所述顯示模塊用于顯示新的圖像。
全文摘要
本發(fā)明提供一種語義與圖像匹配處理方法、裝置及終端設(shè)備，其中，方法包括獲得輸入的語句；對所述語句進(jìn)行語義分析，得到多個特征詞；根據(jù)所述特征詞，從圖像元素庫中查找與所述特征詞相匹配的圖像元素；按照所述多個特征詞之間的語義關(guān)系，確定與所述特征詞相匹配的圖像元素之間的組合順序；按照所述組合順序，將與所述特征詞相匹配的圖像元素組合成一新的圖像。本發(fā)明的方案可以得到與語義相匹配的圖像，達(dá)到圖文并茂的效果。
文檔編號G06F17/30GK102662961SQ201210059529
公開日2012年9月12日 申請日期2012年3月8日 優(yōu)先權(quán)日2012年3月8日
發(fā)明者任曉倩 申請人:北京百舜華年文化傳播有限公司