基于移動(dòng)裝置的文本檢測及跟蹤的制作方法
【專利說明】基于移動(dòng)裝置的文本檢測及跟蹤
[0001]相關(guān)申請案的交叉參考
[0002]本申請案主張2013年9月9日申請的題為“基于移動(dòng)裝置的文本跟蹤及檢測(Mobile Device Based Text Tracking and Detect1n) ” 的第 14/021, 337 號(hào)美國申請案的權(quán)益及優(yōu)先權(quán)，所述美國申請案又主張2013年I月4日申請的題為“基于移動(dòng)裝置的文本跟蹤及檢測(Mobile Device Based Text Tracking and Detect1n)，，的第 61/749，248號(hào)美國臨時(shí)申請案的權(quán)益及優(yōu)先權(quán)，所述兩個(gè)申請案以其全文引用的方式并入本文中。
技術(shù)領(lǐng)域
[0003]本文揭示的標(biāo)的物涉及文本檢測及跟蹤。
【背景技術(shù)】
[0004]例如智能電話等移動(dòng)裝置越來越多地并有一或多個(gè)光學(xué)傳感器，例如攝像機(jī)連同各種其它類型的傳感器。移動(dòng)裝置上的攝像機(jī)常常能夠拍攝靜態(tài)圖像與視頻圖像兩者。然而，針對涉及文本的掃描的應(yīng)用使用移動(dòng)裝置受到限制，這是因?yàn)榫哂性S多挑戰(zhàn)。某些挑戰(zhàn)的實(shí)例包含由于用戶手移動(dòng)造成的運(yùn)動(dòng)模糊、由于攝像機(jī)相對于經(jīng)掃描文本的定向的變化造成的透視圖的失真，及移動(dòng)裝置光學(xué)子系統(tǒng)限制。舉例來說，通過移動(dòng)裝置攝像機(jī)拍攝的視頻圖像相對于掃描儀來說可能具有低分辨率，且，另外，可能遭受運(yùn)動(dòng)模糊及透視圖失真。促進(jìn)進(jìn)行迅速無縫文本檢測及跟蹤可通過實(shí)現(xiàn)可能能夠利用文本檢測及跟蹤應(yīng)用程序的輸出的寬廣范圍的應(yīng)用而增強(qiáng)移動(dòng)裝置的效用。
[0005]因此，需要用以促進(jìn)進(jìn)行文本掃描、檢測及/或辨識(shí)及/或跟蹤的設(shè)備、系統(tǒng)及方法。

【發(fā)明內(nèi)容】

[0006]在一個(gè)方面中，一種在移動(dòng)站(MS)上的方法可包括:通過對通過所述MS上的攝像機(jī)俘獲的圖像幀執(zhí)行光學(xué)字符辨識(shí)(OCR)以定位及辨識(shí)第一文本塊而獲得第一參考幀；從一組后續(xù)圖像幀中選擇后續(xù)圖像幀，所述選擇是基于與所述選定后續(xù)圖像幀相關(guān)聯(lián)的參數(shù)；通過對所述選定后續(xù)圖像幀執(zhí)行OCR以辨識(shí)第二文本塊而獲得第二參考幀；及至少部分基于所述第一文本塊在所述第二參考幀中的位置及與所述第二參考幀相關(guān)聯(lián)的攝像機(jī)姿態(tài)，確定所述第一文本塊與所述第二文本塊之間的幾何關(guān)系。
[0007]在另一方面中，一種MS可包括:攝像機(jī)，其經(jīng)配置以俘獲第一圖像幀及一組后續(xù)圖像幀；及處理器，其耦合到所述攝像機(jī)。所述處理器可包括:字詞辨識(shí)模塊，其經(jīng)配置以:通過對所述第一圖像幀執(zhí)行光學(xué)字符辨識(shí)(OCR)以定位及辨識(shí)第一文本塊而獲得第一參考幀；從所述組后續(xù)圖像幀中選擇后續(xù)圖像幀，所述選擇是基于與所述選定后續(xù)圖像幀相關(guān)聯(lián)的參數(shù)；及通過對所述選定后續(xù)圖像幀執(zhí)行OCR以辨識(shí)第二文本塊而獲得第二參考幀。所述處理器可進(jìn)一步包括文本匯編程序模塊，其經(jīng)配置以至少部分基于所述第一文本塊在所述第二參考幀中的位置及與所述第二參考幀相關(guān)聯(lián)的攝像機(jī)姿態(tài)，確定所述第一文本塊與所述第二文本塊之間的幾何關(guān)系。
[0008]在另一方面中，一種設(shè)備可包括:用于俘獲一序列圖像幀的成像裝置；用于通過對所述序列圖像幀中的圖像幀執(zhí)行光學(xué)字符辨識(shí)(OCR)以定位及辨識(shí)第一文本塊而獲得第一參考幀的裝置；用于從所述序列圖像幀中選擇后續(xù)圖像幀的裝置，所述選擇是基于與所述選定后續(xù)圖像幀相關(guān)聯(lián)的參數(shù)；用于通過對所述選定后續(xù)圖像幀執(zhí)行OCR以辨識(shí)第二文本塊而獲得第二參考幀的裝置；以及用于至少部分基于所述第一文本塊在所述第二參考幀中的位置及與所述第二參考幀相關(guān)聯(lián)的所述成像裝置的姿態(tài)，確定所述第一文本塊與所述第二文本塊之間的幾何關(guān)系的裝置。
[0009]在另一方面中，一種非暫時(shí)性計(jì)算機(jī)可讀媒體可包括指令，所述指令在由處理器執(zhí)行時(shí)可執(zhí)行在移動(dòng)站(MS)上的方法，所述方法可包括:通過對通過所述MS上的攝像機(jī)俘獲的圖像幀執(zhí)行光學(xué)字符辨識(shí)(OCR)以定位及辨識(shí)第一文本塊而獲得第一參考幀；從一組后續(xù)圖像幀中選擇后續(xù)圖像幀，所述選擇是基于與所述選定后續(xù)圖像幀相關(guān)聯(lián)的參數(shù)；通過對所述選定后續(xù)圖像幀執(zhí)行OCR以辨識(shí)第二文本塊而獲得第二參考幀；以及至少部分基于所述第一文本塊在所述第二參考幀中的位置及與所述第二參考幀相關(guān)聯(lián)的攝像機(jī)姿態(tài)，確定所述第一文本塊與所述第二文本塊之間的幾何關(guān)系。
[0010]所揭示實(shí)施例還涉及由處理器使用非暫時(shí)性計(jì)算機(jī)可讀媒體或計(jì)算機(jī)可讀存儲(chǔ)器創(chuàng)建、存儲(chǔ)、存取、讀取或修改的軟件、固件及程序指令。
[0011]下文關(guān)于以下各圖進(jìn)一步解釋這些及其它實(shí)施例。應(yīng)理解，對于所屬領(lǐng)域的技術(shù)人員來說，其它方面將從以下詳細(xì)描述變得容易顯而易見，其中借助于說明展示及描述各個(gè)方面。圖式及詳細(xì)描述應(yīng)被視為本質(zhì)上為說明性的而不是限制性的。
【附圖說明】
[0012]圖1展示能夠執(zhí)行文本跟蹤及檢測的實(shí)例MS的框圖。
[0013]圖2展示攝像機(jī)相對于表面及坐標(biāo)系上的字詞的位置，所述位置可用以跟蹤及/或維持文本塊的位置。
[0014]圖3展示與所揭示實(shí)施例一致的進(jìn)行文本檢測及跟蹤的實(shí)例方法的流程圖。
[0015]圖4展示與所揭示實(shí)施例一致的用于進(jìn)行文本跟蹤的系統(tǒng)的實(shí)例架構(gòu)。
[0016]圖5展示與所揭示實(shí)施例一致的可在移動(dòng)站上執(zhí)行的實(shí)例方法的流程圖。
【具體實(shí)施方式】
[0017]將參看圖式僅通過實(shí)例方式來描述本文揭示的實(shí)施例。下文結(jié)合附圖闡述的詳細(xì)描述希望作為對本發(fā)明的各個(gè)方面的描述，而不希望表示可在其中實(shí)踐本發(fā)明的僅有方面。提供本發(fā)明中所描述的每一方面僅作為本發(fā)明的實(shí)例或說明，且不應(yīng)必然地被解釋為比其它方面優(yōu)選或有利。詳細(xì)描述包含用于提供對本發(fā)明的透徹理解的目的的特定細(xì)節(jié)。然而，所屬領(lǐng)域的技術(shù)人員將顯而易見，可在沒有這些特定細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在一些情況下，以框圖的形式展示眾所周知的結(jié)構(gòu)及裝置以便避免混淆本發(fā)明的概念。首字母縮寫詞及其它描述性術(shù)語可僅出于便利及清晰性的目的而使用，且不希望限制本發(fā)明的范圍。
[0018]移動(dòng)裝置攝像機(jī)常常遭受限制其適用性的缺點(diǎn)。舉例來說，低攝像機(jī)分辨率及其它光學(xué)子系統(tǒng)限制可限制移動(dòng)裝置攝像機(jī)在常規(guī)掃描及光學(xué)字符辨識(shí)(OCR)相關(guān)應(yīng)用中的效用。在掃描過程期間由于用戶手顫動(dòng)造成的運(yùn)動(dòng)模糊及由于攝像機(jī)傾斜變化造成的透視圖失真對在常規(guī)文本掃描及OCR應(yīng)用中使用移動(dòng)裝置攝像機(jī)提出額外障礙。另外，為了確保掃描期間的較大的相對文本大小及準(zhǔn)確的文本俘獲，常常將攝像機(jī)握持為接近于文本，由此限制了可在單個(gè)圖像或幀中俘獲的字母或字詞的數(shù)目。另外，因?yàn)槌Ｒ?guī)OCR可招致顯著計(jì)算開銷，所以對于通過引入不可接受的延遲進(jìn)行的許多應(yīng)用來說，逐個(gè)幀地使用OCR可為效率低下的及不切實(shí)際的。
[0019]本文揭示的包含設(shè)備、系統(tǒng)及方法的實(shí)施例促進(jìn)進(jìn)行高效連續(xù)文本掃描、跟蹤及辨識(shí)。如本文所使用，術(shù)語“移動(dòng)站(MS)”用以廣泛地指包含以下各者的移動(dòng)裝置:蜂窩式電話、游戲裝置、成像裝置、移動(dòng)電話或其它無線通信裝置、個(gè)人通信系統(tǒng)(PCS)裝置、個(gè)人導(dǎo)航裝置(PND)、個(gè)人信息管理器(PM)、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)等等。
[0020]另外，“移動(dòng)站”可省略通信元件及/或功能性。術(shù)語“移動(dòng)站”還希望為可能并未經(jīng)配置以連接到網(wǎng)絡(luò)或另外與另一裝置無線地或通過有線連接通信的裝置。舉例來說，本文描述的實(shí)施例可在獨(dú)立裝置中實(shí)施，例如游戲裝置、手持型攝像機(jī)或可能并未經(jīng)配置以連接到網(wǎng)絡(luò)或另外與另一裝置無線地或通過有線連接通信的另一裝置。
[0021]在一些實(shí)施例中，移動(dòng)站可呈能夠接收無線通信及/或?qū)Ш叫盘?hào)及與其它裝置通信的移動(dòng)裝置的形式，包含短程無線、紅外線及/或有線連接。并且，“移動(dòng)站”希望包含能夠(例如)經(jīng)由因特網(wǎng)、W1-Fi或另一網(wǎng)絡(luò)與服務(wù)器通信的所有裝置，包含無線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī)等。
[0022]圖1展示實(shí)例MS 100的框圖。如圖1中所展示，MS 100可包含攝像機(jī)110、慣性測量單元(MU) 130、顯示器145、處理器150、存儲(chǔ)器160及/或收發(fā)器170，前述各者通過連接件120操作地耦合。連接件120可包括總線、線路、光纖、鏈路等，或其某一組合。
[0023]收發(fā)器170可(例如)包含經(jīng)啟用以通過一或多種類型的無線通信網(wǎng)絡(luò)發(fā)射一或多個(gè)信號(hào)的發(fā)射器，及接收通過所述一或多種類型的無線通信網(wǎng)絡(luò)發(fā)射的一或多個(gè)信號(hào)的接收器。收發(fā)器170可準(zhǔn)許基于多種技術(shù)與無線網(wǎng)絡(luò)通信，所述多種技術(shù)例如(但不限于):W1-Fi網(wǎng)絡(luò)或無線局域網(wǎng)(WLAN)，其可基于IEEE 802.11系列標(biāo)準(zhǔn)、藍(lán)牙、近場通信(NFC)，無線廣域網(wǎng)(WffAN)，例如LTE、WiMAX等。在一些實(shí)施例中，MS 100還可包含用于通過有線網(wǎng)絡(luò)通信的一或多個(gè)端口。在一些實(shí)施例中，可省略收發(fā)器170及/或MS 100上的一或多個(gè)其它端口。
[0024]攝像機(jī)110可將所俘獲圖像發(fā)送到處理器150。在一些實(shí)施例中，攝像機(jī)110可包含正面拍攝及/或后置自拍攝像機(jī)及/或還可并有CMOS/光學(xué)傳感器。在一個(gè)實(shí)施例中，正面拍攝攝像機(jī)在裝置的正常用戶操作期間可面向用戶，而后置自拍攝像機(jī)在裝置的正常操作期間可背向用戶。在一些實(shí)施例中，攝像機(jī)110可能能夠俘獲靜態(tài)圖像與視頻圖像兩者。攝像機(jī)110可將視頻圖像及/或一序列靜態(tài)圖像發(fā)送到處理器150。在一個(gè)實(shí)施例中，通過攝像機(jī)110俘獲的圖像可呈原始的未經(jīng)壓縮格式且可在經(jīng)處理及/或儲(chǔ)存于存儲(chǔ)器160中之前進(jìn)行壓縮。在一些實(shí)施例中，可由處理器150使用無損或有損壓縮技術(shù)來執(zhí)行圖像壓縮。
[0025]在一些實(shí)施例中，處理器150還可接收來自MU 130的輸入。在一些實(shí)施例中，MU130可包括三軸加速度計(jì)、三軸陀螺儀及/或磁力計(jì)。IMU 130可將速度、定向及/或其它位置相關(guān)信息提供給處理器150。在一些實(shí)施例中，MU 130可與通過攝像機(jī)110俘獲每一圖像幀同步地輸出所測量的信息。
[0026]圖1中并未展示MS 100中所包括的所有模塊。還可以各種方式按與本發(fā)明一致的方式修改實(shí)例MS 100，例如，通過添加、組合或省略所展示的功能塊中的一或多者。舉例來說，在一些配置中，MS 100可能并不包含MU 130。另外，在某些實(shí)例實(shí)施方案中，MS 100可包含多種其它傳感器(未圖不)，例如環(huán)境光傳感器、麥克風(fēng)、聲傳感器、超聲波傳感器等。在一些實(shí)施例中，MS 100可包含可準(zhǔn)許實(shí)況觀看通過攝像機(jī)110俘獲的圖像幀的顯示器。在一些實(shí)施例中，MS 100的部分可呈一或多個(gè)芯片組及/或其類似者的形式。
[0027]可使用硬件、固件及軟件的組合來實(shí)施處理器150。處理器150可表示可經(jīng)配置以執(zhí)行涉及文本檢測及跟蹤、光學(xué)字符辨識(shí)(OCR)及/或計(jì)算機(jī)視覺及圖像處理的計(jì)算程序或過程的至少一部分的一或多個(gè)電路。處理器150可從存儲(chǔ)器160中檢索指令及/或數(shù)據(jù)。處理器150可使用以下各者來實(shí)施:一或多個(gè)圖形處理單元(GPU)、專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理裝置(DSH))、可編程邏輯裝置(PLD)、現(xiàn)場可編程門陣列(FPGA)、控制器、微控制器、微處理器、嵌人式處理器核心，