用于移動(dòng)智能終端的圖像處理方法和裝置制造方法
【專利摘要】本發(fā)明提供一種用于移動(dòng)智能終端的圖像處理方法和裝置。所述用于移動(dòng)智能終端的圖像處理方法包括：通過移動(dòng)智能終端中的攝像頭捕捉宣傳物的視頻圖像；從所述視頻圖像識(shí)別預(yù)定的宣傳標(biāo)志，并且從所述宣傳標(biāo)志獲取標(biāo)記信息；基于所述標(biāo)記信息和攝像頭的參數(shù)數(shù)據(jù)將預(yù)定的虛擬物體匹配到所述視頻圖像中；通過三維渲染引擎對(duì)所述虛擬物體和所述宣傳物的拍攝場(chǎng)景進(jìn)行三維渲染；顯示經(jīng)過三維渲染的視頻圖像?？赏ㄟ^識(shí)別宣傳物上的宣傳標(biāo)志，并且使用增強(qiáng)現(xiàn)實(shí)技術(shù)將具有生動(dòng)視覺效果的虛擬物體疊加在宣傳物圖像上，從而產(chǎn)生個(gè)性化、具有沖擊力的視覺效果，有助于使宣傳物的受眾對(duì)發(fā)宣傳物的人乃至企業(yè)產(chǎn)生較鮮明、深刻的印象，加強(qiáng)宣傳效果。
【專利說明】用于移動(dòng)智能終端的圖像處理方法和裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理技術(shù)，尤其涉及一種用于移動(dòng)智能終端的圖像處理方法和裝置。

【背景技術(shù)】
[0002]企業(yè)在商業(yè)活動(dòng)中，經(jīng)常制作、發(fā)布例如名片、廣告、宣傳手冊(cè)、禮品等宣傳物。好的宣傳物能體現(xiàn)和提升企業(yè)/個(gè)人的品牌形象，產(chǎn)生宣傳、營(yíng)銷效果，并且具有欣賞和收藏的審美價(jià)值。
[0003]制作具有鮮明個(gè)性和沖擊效果的宣傳物一直是企業(yè)公共關(guān)系和營(yíng)銷人員不斷追求的目標(biāo)。


【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種用于移動(dòng)智能終端的圖像處理方法和裝置，用戶通過對(duì)宣傳物進(jìn)行拍攝掃描，可看到增強(qiáng)現(xiàn)實(shí)的個(gè)性化展示，因而對(duì)宣傳物受眾產(chǎn)生沖擊性的效果。
[0005]根據(jù)本發(fā)明的一方面，提供一種用于移動(dòng)智能終端的圖像處理方法。所述方法包括:通過移動(dòng)智能終端中的攝像頭捕捉宣傳物的視頻圖像；從所述視頻圖像識(shí)別預(yù)定的宣傳標(biāo)志，并且從所述宣傳標(biāo)志獲取標(biāo)記信息；基于所述標(biāo)記信息和攝像頭的參數(shù)數(shù)據(jù)將預(yù)定的虛擬物體匹配到所述視頻圖像中；通過三維渲染引擎對(duì)所述虛擬物體和所述宣傳物的拍攝場(chǎng)景進(jìn)行三維渲染；顯示經(jīng)過三維渲染的視頻圖像。
[0006]根據(jù)本發(fā)明的另一方面，提供一種用于移動(dòng)智能終端的圖像處理裝置。所述裝置包括:圖像獲取單元，用于通過移動(dòng)智能終端中的攝像頭捕捉宣傳物的視頻圖像；標(biāo)記提取單元，用于從圖像獲取單元捕捉的所述視頻圖像識(shí)別預(yù)定的宣傳標(biāo)志，并且從所述宣傳標(biāo)志獲取標(biāo)記信息；跟蹤注冊(cè)單元，用于基于標(biāo)記提取單元獲取的所述標(biāo)記信息和攝像頭的參數(shù)數(shù)據(jù)將預(yù)定的虛擬物體匹配到所述視頻圖像中；效果處理單元，用于通過三維渲染引擎對(duì)所述虛擬物體和所述宣傳物的拍攝場(chǎng)景進(jìn)行三維渲染；效果顯示單元，用于顯示經(jīng)過三維渲染的視頻圖像。
[0007]本發(fā)明的用于移動(dòng)智能終端的圖像處理方法和裝置可通過識(shí)別宣傳物上的宣傳標(biāo)志，并且使用增強(qiáng)現(xiàn)實(shí)技術(shù)將具有生動(dòng)視覺效果的虛擬物體疊加在宣傳物圖像上，從而產(chǎn)生個(gè)性化、具有沖擊力的視覺效果，有助于使宣傳物的受眾對(duì)發(fā)宣傳物的人乃至企業(yè)產(chǎn)生較鮮明、深刻的印象，加強(qiáng)宣傳效果。
[0008]在此基礎(chǔ)上，還可根據(jù)用戶操作進(jìn)一步進(jìn)行視覺、聲音等的互動(dòng)處理，進(jìn)一步加強(qiáng)受眾對(duì)宣傳物的印象。

【專利附圖】

【附圖說明】
[0009]圖1是示出根據(jù)本發(fā)明的示例性實(shí)施例的用于移動(dòng)智能終端的圖像處理方法的流程圖；
[0010]圖2是示出名片的示意圖；
[0011]圖3?圖6分別是示出根據(jù)本發(fā)明的示例性實(shí)施例的用于移動(dòng)智能終端的圖像處理方法顯示的名片效果的示意圖；
[0012]圖7是示出根據(jù)本發(fā)明的示例性實(shí)施例的用于移動(dòng)智能終端的圖像處理裝置的邏輯框圖。

【具體實(shí)施方式】
[0013]本發(fā)明的總體發(fā)明構(gòu)思是，企業(yè)人員在其設(shè)計(jì)的宣傳物上預(yù)先設(shè)置標(biāo)記；當(dāng)將例如名片、廣告、宣傳手冊(cè)、禮品等的宣傳物分發(fā)給受眾(如客戶、潛在客戶、合作伙伴等)時(shí)，通過安裝在例如智能手機(jī)等的便攜式終端的應(yīng)用對(duì)設(shè)置有宣傳標(biāo)志(如企業(yè)logo)和標(biāo)記的宣傳物進(jìn)行拍攝；安裝的應(yīng)用對(duì)通過攝像頭捕捉的視頻圖像進(jìn)行分析、處理，通過增強(qiáng)現(xiàn)實(shí)技術(shù)將預(yù)設(shè)的虛擬物體疊加在捕捉的視頻圖像并進(jìn)行三維渲染，然后顯示經(jīng)過增強(qiáng)現(xiàn)實(shí)處理的宣傳物圖像，產(chǎn)生具有沖擊力的視覺效果。在此基礎(chǔ)上，為了進(jìn)一步增強(qiáng)效果，還提供用戶交互功能，當(dāng)用戶對(duì)經(jīng)過增強(qiáng)現(xiàn)實(shí)處理的宣傳物圖像做出特定反應(yīng)(如點(diǎn)擊)時(shí)，還對(duì)所述虛擬物體進(jìn)行附加效果處理(如動(dòng)作、聲音、光照)。
[0014]下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例的用于移動(dòng)智能終端的圖像處理方法和裝置進(jìn)行詳細(xì)描述。
[0015]圖1是示出根據(jù)本發(fā)明的示例性實(shí)施例的用于移動(dòng)智能終端的圖像處理方法的流程圖。圖3?圖6分別示出以圖2所示的名片為例，根據(jù)本發(fā)明的圖像處理方法的展示效果。
[0016]參照?qǐng)D1，在步驟S110，通過移動(dòng)智能終端中的攝像頭捕捉宣傳物的視頻圖像。本發(fā)明的方法對(duì)攝像頭捕捉的視頻圖像幀執(zhí)行處理。
[0017]在步驟S120，從所述視頻圖像識(shí)別預(yù)定的宣傳標(biāo)志，并且從所述宣傳標(biāo)志獲取標(biāo)記信息。例如，在圖2示出的名片中，上端顯示有立體五角星形狀的企業(yè)圖標(biāo)(logo),logo旁顯示有特定字體設(shè)計(jì)的企業(yè)字號(hào)“德馨同創(chuàng)”，可將名片上的所述logo、企業(yè)字號(hào)“德馨同倉(cāng)Γ或兩者的組合確定為所述預(yù)定的宣傳標(biāo)志，當(dāng)然所述宣傳標(biāo)志不限于前述企業(yè)標(biāo)志類，而可以是任何的宣傳標(biāo)志(如產(chǎn)品或服務(wù)標(biāo)志)；在步驟S120，從捕捉的視頻圖像識(shí)別出所述logo、企業(yè)字號(hào)“德馨同創(chuàng)”或兩者的組合；如果識(shí)別出所述預(yù)定的宣傳標(biāo)志，則進(jìn)一步從所述宣傳標(biāo)志獲取標(biāo)記信息，所述標(biāo)記信息用于執(zhí)行增強(qiáng)現(xiàn)實(shí)的跟蹤注冊(cè)，也稱為虛實(shí)注冊(cè)。
[0018]在步驟S130，基于所述標(biāo)記信息和攝像頭的參數(shù)數(shù)據(jù)將預(yù)定的虛擬物體匹配到所述視頻圖像中。
[0019]跟蹤技術(shù)主要表現(xiàn)在相機(jī)坐標(biāo)系與現(xiàn)實(shí)場(chǎng)景坐標(biāo)系之間的坐標(biāo)變換關(guān)系；注冊(cè)技術(shù)主要表現(xiàn)在檢測(cè)攝像機(jī)相對(duì)于現(xiàn)實(shí)場(chǎng)景的位置姿態(tài)和方向角，根據(jù)跟蹤獲得的攝像機(jī)信息，確定虛擬增強(qiáng)信息在現(xiàn)實(shí)場(chǎng)景中的顯示位置。三維注冊(cè)需要結(jié)合攝像機(jī)的內(nèi)部參數(shù)(焦距和像元寬高比等)，通過攝像機(jī)與標(biāo)記物的坐標(biāo)系的轉(zhuǎn)換和攝像機(jī)姿態(tài)的計(jì)算，實(shí)時(shí)確定虛擬物體在真實(shí)空間坐標(biāo)中的映射位置，進(jìn)行虛擬攝像機(jī)的匹配，最后得到虛擬攝像機(jī)與虛擬物體的相對(duì)位置和矩陣信息，然后生成虛擬物體的坐標(biāo)數(shù)據(jù)。
[0020]具體地，根據(jù)本發(fā)明的示例性實(shí)施例，步驟S130可包括以下的操作A)?C):
[0021]A)根據(jù)所述標(biāo)記信息和攝像頭的參數(shù)數(shù)據(jù)進(jìn)行運(yùn)算，確定預(yù)定的虛擬物體在拍攝場(chǎng)景中的映射位置以及虛擬攝像機(jī)在所述拍攝場(chǎng)景中的相對(duì)矩陣信息；
[0022]B)根據(jù)所述映射位置生成所述虛擬物體的坐標(biāo)數(shù)據(jù)；
[0023]C)根據(jù)所述相對(duì)矩陣信息及所述虛擬物體的坐標(biāo)數(shù)據(jù)將虛擬物體匹配到所述視頻圖像中。
[0024]在步驟S140，通過三維渲染引擎對(duì)所述虛擬物體和所述宣傳物的拍攝場(chǎng)景進(jìn)行三維渲染。這里所述的拍攝場(chǎng)景即用于疊加所述虛擬物體的視頻圖像。其中，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，將所述虛擬物體三維渲染成為動(dòng)態(tài)的視頻圖像。
[0025]在步驟S150，顯示經(jīng)過三維渲染的視頻圖像。
[0026]圖3和圖5分別示出根據(jù)本發(fā)明的示例性實(shí)施例的用于移動(dòng)智能終端的圖像處理方法顯示的名片效果。
[0027]其中，圖3示出疊加了坦克三維圖像的名片效果，疊加的迷彩風(fēng)格的坦克躍然顯示在拍攝的名片之上，對(duì)觀看者可產(chǎn)生預(yù)想不到的沖擊性效果，使名片的受眾對(duì)發(fā)名片的人乃至企業(yè)產(chǎn)生較鮮明、深刻的印象。雖然無(wú)法示出，但通過三維渲染引擎，還可對(duì)所述坦克附加例如左右或前后搖擺的動(dòng)態(tài)效果。圖5示出疊加了卡車三維圖像的名片效果。
[0028]根據(jù)本發(fā)明的優(yōu)選實(shí)施例，所述用于移動(dòng)智能終端的圖像處理方法還包括，響應(yīng)于用戶對(duì)顯示的視頻圖像的操作，對(duì)所述虛擬物體附加執(zhí)行以下至少一種處理:地形渲染、光照渲染、聲音處理、粒子渲染、物理渲染以及用戶交互響應(yīng)處理。
[0029]例如，通過粒子渲染可在三維空間中渲染出例如煙、火、水滴、煙火或落葉等，營(yíng)造出獨(dú)特的視覺效果。再例如，光照渲染附加方向光源效果、點(diǎn)光源、聚光燈和區(qū)域光，可渲染動(dòng)態(tài)陰影，渲染出漫反射、鏡面反射、透明或折射效果，還可渲染水面菲涅耳反射效果。再例如，物理渲染可支持剛體運(yùn)動(dòng)，即可接受外力與扭矩力來(lái)保證三維對(duì)象像在真實(shí)世界中那樣進(jìn)行運(yùn)動(dòng)；可支持碰撞體，保證物體之間不相互穿過；可支持角色控制，模擬人的受力環(huán)境以及行為交互；可支持布料效果，可在一個(gè)網(wǎng)格上模擬布料的運(yùn)動(dòng)狀態(tài)，可模擬隨風(fēng)飄揚(yáng)的旗子、衣服等布料的物體效果；可支持鉸鏈關(guān)節(jié)，其由兩個(gè)剛體組成，該關(guān)節(jié)會(huì)對(duì)剛體進(jìn)行約束，使得它們就好像被連接在一個(gè)鉸鏈上那樣運(yùn)動(dòng)，等等。
[0030]圖4和圖6分別示出根據(jù)本發(fā)明的優(yōu)選實(shí)施例的在用戶對(duì)顯示的視頻圖像的點(diǎn)擊時(shí)，根據(jù)所述圖像處理方法顯示的名片效果。
[0031]其中，在圖4中，對(duì)圖3中疊加的虛擬坦克渲染出光照效果，仿佛該坦克在發(fā)射炮彈，同時(shí)附加坦克發(fā)射的聲音，使得疊加的坦克看起來(lái)非常生動(dòng)。在圖6中，對(duì)圖5所示的虛擬卡車進(jìn)行動(dòng)作處理，使得卡車左右搖擺并且卡車兩側(cè)的側(cè)燈張開，還渲染出兩個(gè)前燈開啟的光照效果，整體效果生動(dòng)、具個(gè)性化，有助于進(jìn)一步加強(qiáng)受眾對(duì)名片的印象。
[0032]圖7是示出根據(jù)本發(fā)明的示例性實(shí)施例的用于移動(dòng)智能終端的圖像處理裝置的邏輯框圖。
[0033]參照?qǐng)D7，根據(jù)本發(fā)明的示例性實(shí)施例的用于移動(dòng)智能終端的圖像處理裝置包括圖像獲取單元710、標(biāo)記提取單元720、跟蹤注冊(cè)單元730、效果處理單元740和效果顯示單元 750ο
[0034]圖像獲取單元710用于通過移動(dòng)智能終端中的攝像頭捕捉宣傳物的視頻圖像。
[0035]標(biāo)記提取單元720用于從圖像獲取單元710捕捉的所述視頻圖像識(shí)別預(yù)定的宣傳標(biāo)志，并且從所述宣傳標(biāo)志獲取標(biāo)記信息，所述標(biāo)記信息用于執(zhí)行增強(qiáng)現(xiàn)實(shí)的跟蹤注冊(cè)。
[0036]跟蹤注冊(cè)單元730用于基于標(biāo)記提取單元720獲取的所述標(biāo)記信息和攝像頭的參數(shù)數(shù)據(jù)將預(yù)定的虛擬物體匹配到所述視頻圖像中。具體地，跟蹤注冊(cè)單元730用于根據(jù)所述標(biāo)記信息和攝像頭的參數(shù)數(shù)據(jù)進(jìn)行運(yùn)算，確定預(yù)定的虛擬物體在拍攝場(chǎng)景中的映射位置以及虛擬攝像機(jī)在所述拍攝場(chǎng)景中的相對(duì)矩陣信息，根據(jù)所述映射位置生成所述虛擬物體的坐標(biāo)數(shù)據(jù)，并且根據(jù)所述相對(duì)矩陣信息及所述虛擬物體的坐標(biāo)數(shù)據(jù)將虛擬物體匹配到所述視頻圖像中。
[0037]效果處理單元740用于通過三維渲染引擎對(duì)所述虛擬物體和所述宣傳物的拍攝場(chǎng)景進(jìn)行三維渲染。根據(jù)本發(fā)明的優(yōu)選實(shí)施例，效果處理單元740將所述虛擬物體三維渲染成為動(dòng)態(tài)的視頻圖像。
[0038]效果顯示單元750用于顯示經(jīng)過三維渲染的視頻圖像。
[0039]根據(jù)本發(fā)明的優(yōu)選實(shí)施例，效果處理單元740還響應(yīng)于用戶對(duì)顯示的三維動(dòng)畫的操作，對(duì)所述虛擬物體附加執(zhí)行以下至少一種處理:地形渲染、光照渲染、聲音處理、粒子渲染、物理渲染以及用戶交互響應(yīng)處理。
[0040]通過以上參照?qǐng)D1?圖7對(duì)本發(fā)明的實(shí)施例的描述可以看出，本發(fā)明的用于移動(dòng)智能終端的圖像處理方法和裝置可通過識(shí)別宣傳物上的宣傳標(biāo)志，并且使用增強(qiáng)現(xiàn)實(shí)技術(shù)將具有生動(dòng)視覺效果的虛擬物體疊加在宣傳物圖像上，從而產(chǎn)生個(gè)性化、具有沖擊力的視覺效果，有助于使宣傳物的受眾對(duì)發(fā)宣傳物的人乃至企業(yè)產(chǎn)生較鮮明、深刻的印象，加強(qiáng)宣傳效果。
[0041]在此基礎(chǔ)上，還可根據(jù)用戶操作進(jìn)一步進(jìn)行視覺、聲音等的互動(dòng)處理，進(jìn)一步加強(qiáng)受眾對(duì)宣傳物的印象。
[0042]以上所述僅為本發(fā)明的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【權(quán)利要求】
1.一種用于移動(dòng)智能終端的圖像處理方法，其特征在于，所述圖像處理方法包括以下步驟: 通過移動(dòng)智能終端中的攝像頭捕捉宣傳物的視頻圖像； 從所述視頻圖像識(shí)別預(yù)定的宣傳標(biāo)志，并且從所述宣傳標(biāo)志獲取標(biāo)記信息； 基于所述標(biāo)記信息和攝像頭的參數(shù)數(shù)據(jù)將預(yù)定的虛擬物體匹配到所述視頻圖像中； 通過三維渲染引擎對(duì)所述虛擬物體和所述宣傳物的拍攝場(chǎng)景進(jìn)行三維渲染； 顯示經(jīng)過三維渲染的視頻圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述基于所述標(biāo)記信息和攝像頭的參數(shù)數(shù)據(jù)將預(yù)定的虛擬物體匹配到所述視頻圖像中的處理包括: 根據(jù)所述標(biāo)記信息和攝像頭的參數(shù)數(shù)據(jù)進(jìn)行運(yùn)算，確定預(yù)定的虛擬物體在拍攝場(chǎng)景中的映射位置以及虛擬攝像機(jī)在所述拍攝場(chǎng)景中的相對(duì)矩陣信息； 根據(jù)所述映射位置生成所述虛擬物體的坐標(biāo)數(shù)據(jù)； 根據(jù)所述相對(duì)矩陣信息及所述虛擬物體的坐標(biāo)數(shù)據(jù)將虛擬物體匹配到所述視頻圖像中。
3.根據(jù)權(quán)利要求1?2中任一項(xiàng)所述的圖像處理方法，其特征在于，所述通過三維渲染引擎對(duì)所述虛擬物體和所述宣傳物的拍攝場(chǎng)景進(jìn)行三維渲染的處理包括:將所述虛擬物體三維渲染成為動(dòng)態(tài)的視頻圖像。
4.根據(jù)權(quán)利要求3所述的圖像處理方法，其特征在于，所述方法還包括: 響應(yīng)于用戶對(duì)顯示的視頻圖像的操作，對(duì)所述虛擬物體附加執(zhí)行以下至少一種處理:地形渲染、光照渲染、聲音處理、粒子渲染、物理渲染以及用戶交互響應(yīng)處理。
5.一種用于移動(dòng)智能終端的圖像處理裝置，其特征在于，所述裝置包括: 圖像獲取單元，用于通過移動(dòng)智能終端中的攝像頭捕捉宣傳物的視頻圖像； 標(biāo)記提取單元，用于從圖像獲取單元捕捉的所述視頻圖像識(shí)別預(yù)定的宣傳標(biāo)志，并且從所述宣傳標(biāo)志獲取標(biāo)記信息； 跟蹤注冊(cè)單元，用于基于標(biāo)記提取單元獲取的所述標(biāo)記信息和攝像頭的參數(shù)數(shù)據(jù)將預(yù)定的虛擬物體匹配到所述視頻圖像中； 效果處理單元，用于通過三維渲染引擎對(duì)所述虛擬物體和所述宣傳物的拍攝場(chǎng)景進(jìn)行三維渲染； 效果顯示單元，用于顯示經(jīng)過三維渲染的視頻圖像。
6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，跟蹤注冊(cè)單元用于根據(jù)所述標(biāo)記信息和攝像頭的參數(shù)數(shù)據(jù)進(jìn)行運(yùn)算，確定預(yù)定的虛擬物體在拍攝場(chǎng)景中的映射位置以及虛擬攝像機(jī)在所述拍攝場(chǎng)景中的相對(duì)矩陣信息，根據(jù)所述映射位置生成所述虛擬物體的坐標(biāo)數(shù)據(jù)，并且根據(jù)所述相對(duì)矩陣信息及所述虛擬物體的坐標(biāo)數(shù)據(jù)將虛擬物體匹配到所述視頻圖像中。
7.根據(jù)權(quán)利要求5?6中任一項(xiàng)所述的裝置，其特征在于，效果處理單元將所述虛擬物體三維渲染成為動(dòng)態(tài)的視頻圖像。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，效果處理單元還用于響應(yīng)于用戶對(duì)顯示的視頻圖像的操作，對(duì)所述虛擬物體附加執(zhí)行以下至少一種處理:地形渲染、光照渲染、聲音處理、粒子渲染、物理渲染以及用戶交互響應(yīng)處理。
【文檔編號(hào)】H04N5/262GK104270577SQ201410418044
【公開日】2015年1月7日 申請(qǐng)日期:2014年8月22日 優(yōu)先權(quán)日:2014年8月22日
【發(fā)明者】張永立, 羅昌銘 申請(qǐng)人:北京德馨同創(chuàng)科技發(fā)展有限責(zé)任公司