專利名稱：用于光學(xué)導(dǎo)航裝置的檢測影像中動(dòng)作的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及光學(xué)成像及動(dòng)作檢測。本發(fā)明在諸如計(jì)算機(jī)鼠標(biāo)的光學(xué)手持指針組件中使用的集成電路及固件中具有特定應(yīng)用。
背景技術(shù)：
現(xiàn)有技術(shù)包括一定數(shù)量不同技術(shù)，用于原理上藉由比較時(shí)間上連續(xù)的影像以檢測動(dòng)作來估計(jì)并檢測影像動(dòng)作。該技術(shù)包括美國專利第6,859,199號(其以引用的方式并入下文)主要經(jīng)由特征提取以進(jìn)行工作。所揭示的算法藉由以下步驟進(jìn)行工作自一第一影像提取一第一特征組，自時(shí)間上在該第一影像之后的一第二影像提取一第二特征組；比較該第一特征組與該第二特征組以決定該第二影像相對于該第一影像的位置位移；輸出基于該位置位移的一移動(dòng)向量。
此技術(shù)的缺點(diǎn)包括以下事實(shí)在該第一及第二特征組中必須存在相當(dāng)大量的元素以精確確定該移動(dòng)向量。
美國專利第5,729,008及5,786,804號(一起以引用的方式并入下文)揭示一種區(qū)塊匹配形式，其如下操作擷取一第一幀及一第二幀；將該第一幀的訊號關(guān)聯(lián)至該第二幀的訊號；產(chǎn)生動(dòng)作的關(guān)聯(lián)輸出。
此方法的缺點(diǎn)在于當(dāng)僅使用一區(qū)塊以執(zhí)行區(qū)塊匹配方法時(shí)，此區(qū)塊中的元素必須足夠確保匹配的精確性。此外，此區(qū)塊越大，則計(jì)算及存儲(chǔ)器越復(fù)雜。

發(fā)明內(nèi)容
因此本發(fā)明的一目標(biāo)為克服現(xiàn)有技術(shù)的上述限制。
另一目標(biāo)為實(shí)施一影像追蹤方法/系統(tǒng)，其具有改良準(zhǔn)確性同時(shí)不需要大量計(jì)算時(shí)間及存儲(chǔ)器等；再一目標(biāo)為提供一影像追蹤系統(tǒng)/方法，其使用一邏輯追蹤單元，該單元為兩個(gè)或兩個(gè)以上獨(dú)立實(shí)體參考單元的所構(gòu)成；一相關(guān)目標(biāo)為提供一影像追蹤系統(tǒng)/方法，其使用一邏輯追蹤單元，若有動(dòng)態(tài)移動(dòng)的方式需要，該單元可以變動(dòng)；另一目標(biāo)為提供一影像追蹤系統(tǒng)/方法，其藉由使用在動(dòng)作追蹤計(jì)算中提供冗余的補(bǔ)充追蹤單元減少歸因于地形變化(topographical variation)、光變化等導(dǎo)致的計(jì)算及追蹤錯(cuò)誤(可位于一感應(yīng)器陣列下)。
本發(fā)明的一第一方面是關(guān)于使用影像傳感器決定與一組移動(dòng)影像關(guān)聯(lián)的移動(dòng)向量的一系統(tǒng)及方法。此包括擷取對應(yīng)于一第一區(qū)域的一第一影像；自該第一影像決定包括小于該第一區(qū)域的一主區(qū)塊區(qū)域的一主區(qū)塊；及自該第一影像決定與該主區(qū)塊相關(guān)的至少一副區(qū)塊，該副區(qū)塊包括亦小于該第一區(qū)域的一副區(qū)塊區(qū)域(在此情形下該主區(qū)塊及該副區(qū)塊形成該第一影像中的一追蹤單元)；使用該影像傳感器擷取在時(shí)間上在該第一影像之后的一第二影像；使用該追蹤單元將該第一影像與該第二影像關(guān)聯(lián)以決定追蹤單元影像之間的位置變化；及輸出基于該位置變化的移動(dòng)向量。在一些應(yīng)用中，該追蹤單元包括多個(gè)獨(dú)立副區(qū)塊，且其包括尺寸和/或形狀不同的至少兩個(gè)區(qū)塊。通常主區(qū)塊選自該第一影像的一中部區(qū)域；在一些情形下，其可具有不同于該副區(qū)塊的形狀。
在較佳實(shí)施例中，該關(guān)聯(lián)過程包含區(qū)塊匹配第一影像的主區(qū)塊在該第二影像中以決定該第二影像中主區(qū)塊相對于第一影像的位置位移；及藉由該第二影像中第一影像的副區(qū)塊進(jìn)行雙檢驗(yàn)以確認(rèn)該第二影像相對于該第一影像的位置位移。在檢測到超出一可控制、可程序化的臨限值的相關(guān)時(shí)終止該關(guān)聯(lián)。在一些實(shí)施例中，組合主區(qū)塊與副區(qū)塊使得對于主區(qū)塊與副區(qū)塊兩者同時(shí)執(zhí)行該關(guān)聯(lián)。
本發(fā)明的其它方面是關(guān)于一副區(qū)塊，其較佳在面積上小于主區(qū)塊，且由至少一像素寬的一中間區(qū)域而與主區(qū)塊隔開定位。盡管兩區(qū)塊亦會(huì)重迭。另外為決定副區(qū)塊，較佳藉由將副區(qū)塊的候選組的像素值與主區(qū)塊作比較以評估副區(qū)塊的該候選組。在某些環(huán)境中可能期望藉由決定與主區(qū)塊相比變化最多的副區(qū)塊(意即，藉由像素強(qiáng)度值或類似參數(shù))來選擇一副區(qū)塊。
本發(fā)明的另一方面是關(guān)于一副區(qū)塊，其亦較佳在各個(gè)時(shí)間處在影像內(nèi)被復(fù)位位?？苫诖烁眳^(qū)塊在第二影像中的一位置分析或參考移動(dòng)向量的分析來完成此復(fù)位位。
本發(fā)明的另一方面系關(guān)于一副區(qū)塊，其亦較佳在各個(gè)時(shí)間處在影像內(nèi)被重成形?？苫诟眳^(qū)塊區(qū)域的光學(xué)特征相對于主區(qū)塊區(qū)域的光學(xué)特征的分析和/或移動(dòng)向量的分析來完成此重成形。
某些實(shí)施例的另一方面為主區(qū)塊和/或副區(qū)塊在第二影像中被計(jì)算的預(yù)測位置。該關(guān)聯(lián)可因此在該預(yù)測位置處或在該預(yù)測位置周圍處的一有限區(qū)域中開始。
本發(fā)明的其它方面系關(guān)于一移動(dòng)向量，其較佳是基于檢測在主區(qū)塊中的第一位置位移及在副區(qū)塊中的第二位置位移，及基于該第一位置位移及該第二位置位移來計(jì)算一估計(jì)位置位移。該估計(jì)位移可為該第一位移與該第二位移的權(quán)重平均。
本發(fā)明的另一方面是關(guān)于一動(dòng)作方法，用于決定包含一影像傳感器的一光學(xué)追蹤裝置的相對運(yùn)動(dòng)，該方法包含以下步驟擷取由分別代表由該影像傳感器感知的光強(qiáng)度的像素值的一陣列組成的一第一影像；選擇在該像素值的陣列中的一第一區(qū)塊及至少一額外特征(其與該第一區(qū)塊成一預(yù)定關(guān)系)，以建構(gòu)一第一追蹤單元；擷取在時(shí)間上在該第一影像之后的一第二影像；檢測在該第二影像中最匹配該第一影像中第一追蹤單元的一第二追蹤單元；根據(jù)該第一追蹤單元與該第二追蹤單元之間的位移決定自該第一影像至該第二影像的一相對運(yùn)動(dòng)；及基于由該影像傳感器所擷取的影像的一個(gè)或多個(gè)累積相對運(yùn)動(dòng)報(bào)告該光學(xué)追蹤裝置的一動(dòng)作。
本發(fā)明的一相關(guān)方面是關(guān)于一光學(xué)導(dǎo)航系統(tǒng)，包含一影像傳感器陣列，其適于擷取對應(yīng)于一第一區(qū)域的一第一影像及時(shí)間上在其之后對應(yīng)于一第二區(qū)域的一第二影像；及一處理電路，其適于a.自該第一影像決定包括小于該第一區(qū)域的一主區(qū)塊區(qū)域的一主區(qū)塊；b.自該第一影像決定與該主區(qū)塊相關(guān)的至少一副區(qū)塊，該副區(qū)塊包括亦小于該第一區(qū)域的一副區(qū)塊區(qū)域；c.形成一追蹤單元，其包括該主區(qū)塊及該副區(qū)塊；d.使用該追蹤單元將該第一影像關(guān)聯(lián)至該第二影像以確定該追蹤單元在影像之間的一位置變化；
e.輸出基于該位置變化的移動(dòng)向量。
該光學(xué)導(dǎo)航系統(tǒng)較佳由一個(gè)或多個(gè)集成電路組成，容納于一指針裝置中，且耦接至基于該追蹤單元而操作的一計(jì)算系統(tǒng)。在多數(shù)情形下，處理電路包括一DSP及一可執(zhí)行程序指令集合。
本發(fā)明的又一方面是關(guān)于一光學(xué)導(dǎo)航器，其包含一影像傳感器，該感應(yīng)器經(jīng)組態(tài)以捕捉一第一影像及一第二影像；用于自該第一影像決定一主區(qū)塊的構(gòu)件；用于自該第一影像決定與該主區(qū)塊相關(guān)的一個(gè)或多個(gè)副區(qū)塊的構(gòu)件；其中該主區(qū)塊及該或所述副區(qū)塊形成在該第一影像中的一追蹤單元；用于使用該影像傳感器擷取在時(shí)間上在該第一影像之后的一第二影像的構(gòu)件；用于使用該第一影像的追蹤單元將該第一影像關(guān)聯(lián)至該第二影像的構(gòu)件。該關(guān)聯(lián)過程包含將第一影像的主區(qū)塊區(qū)塊匹配至該第二影像中的一位置以決定該第二影像相對于該第一影像的位置變化；及藉由識(shí)別該第二影像中該或所述副區(qū)塊相對于該第一影像的位置而驗(yàn)證該位置變化。另外，提供用于輸出基于該位置變化的移動(dòng)向量的構(gòu)件。
自實(shí)施方式中可了解本發(fā)明可在各種不同實(shí)施例中實(shí)施。此外，本領(lǐng)域的技術(shù)人員易了解所述不同實(shí)施例將可能僅包括本發(fā)明上述方面及目標(biāo)的一個(gè)或多個(gè)。因此，在任何特定實(shí)施例中不包括所述特征的一個(gè)或多個(gè)不應(yīng)理解為限制本發(fā)明的范疇。盡管在光學(xué)鼠標(biāo)的情形中進(jìn)行描述，本領(lǐng)域的技術(shù)人員易了解本教示可用在基于影像擷取以估計(jì)對象的動(dòng)作的任何系統(tǒng)中。


圖1為根據(jù)本發(fā)明的教示建構(gòu)的一光學(xué)導(dǎo)航系統(tǒng)的較佳實(shí)施例的基礎(chǔ)方塊圖；圖2A說明在本發(fā)明中采用的感應(yīng)器陣列的一較佳實(shí)施例；圖2B說明與該感應(yīng)器陣列關(guān)聯(lián)的追蹤單元的一較佳實(shí)施例；圖3描述根據(jù)本發(fā)明的教示執(zhí)行的一光學(xué)導(dǎo)航器追蹤過程的較佳實(shí)施例的流程圖；圖4A至圖4B為根據(jù)本發(fā)明的一全部影像擷取過程的一較佳實(shí)施例的圖形描述；圖5A至圖5J為根據(jù)本發(fā)明實(shí)施的一主區(qū)塊或主要區(qū)塊匹配過程的一較佳實(shí)施例的圖形描述；圖6A至圖6F為根據(jù)本發(fā)明實(shí)施的次區(qū)塊/補(bǔ)充區(qū)塊或副區(qū)塊匹配過程的一較佳實(shí)施例的圖形描述；圖7A至圖7J為根據(jù)本發(fā)明實(shí)施的一復(fù)合(主區(qū)塊與次區(qū)塊一起)區(qū)塊匹配過程的一較佳實(shí)施例的圖形描述；圖8A至圖8F為根據(jù)本發(fā)明實(shí)施的副區(qū)塊/主區(qū)塊復(fù)位位過程的一較佳實(shí)施例的圖形描述；圖9A至圖9B為根據(jù)本發(fā)明實(shí)施的一副區(qū)塊重成形過程的一較佳實(shí)施例的圖形描述；以及圖10A至圖10K為可根據(jù)本發(fā)明使用的一追蹤單元的一定數(shù)量個(gè)變型的圖形描述。
附圖符號說明100光學(xué)導(dǎo)航系統(tǒng)105個(gè)人計(jì)算機(jī)106通訊信道110感應(yīng)器陣列120處理模塊130存儲(chǔ)器具體實(shí)施方式
圖1中展示用于追蹤對象動(dòng)作的一光學(xué)導(dǎo)航系統(tǒng)100的一較佳實(shí)施例。一感應(yīng)器陣列110耦接至一處理模塊120及存儲(chǔ)器130。通常在光學(xué)鼠標(biāo)應(yīng)用中，所述電路在一個(gè)或多個(gè)集成電路中實(shí)現(xiàn)，該或所述集成電路與諸如透鏡、照明部件(LED、激光等)及其它熟知組件的其它支撐結(jié)構(gòu)一起安裝在一印刷電路板(未圖標(biāo))或其它基板上，為清楚起見將其略去。
處理模塊120又由一定數(shù)量的熟知硬件及軟件組件組成，包括基于半導(dǎo)體的處理門及用于實(shí)施本文所描述的發(fā)明方法的可程序化固件。另外，在光學(xué)鼠標(biāo)應(yīng)用中，一移動(dòng)向量通常由電纜連接或無線連接經(jīng)由一通訊信道106傳輸至一個(gè)人計(jì)算機(jī)105，或某些其它電子處理裝置。對于其它應(yīng)用，處理模塊120可被整合為一指針裝置100(較佳為手持式)的部分，其協(xié)作以提供動(dòng)作相關(guān)訊號給不同類型平臺(tái)，諸如視訊游戲控制臺(tái)、音頻/視覺娛樂系統(tǒng)或某些其它交互式計(jì)算裝置。本領(lǐng)域的技術(shù)人員將易了解其它實(shí)施例。
圖2A描述一16×16陣列的CMOS影像傳感器，其可用于本發(fā)明的光學(xué)導(dǎo)航器(例如光學(xué)鼠標(biāo))中以擷取一參考影像及一系列連續(xù)樣本影像。盡管此較佳實(shí)施例中使用16×16陣列，但當(dāng)然亦可使用其它陣列大小。
圖2B展示本發(fā)明的一追蹤單元，其包括一主區(qū)塊(M)及至少一副區(qū)塊(A)。兩種區(qū)塊最初在一參考影像中被決定(見下文的討論)。較佳主區(qū)塊大概位于靠近影像的中心部分處且副區(qū)塊大小上小于主區(qū)塊且由至少一像素與主區(qū)塊隔開。舉例而言，在圖4B中，一主區(qū)塊包含5×5區(qū)塊，一副區(qū)塊包含空間上偏移的獨(dú)立3×3區(qū)塊。另外，亦有可能使所述區(qū)塊重迭，且期望精確大小及關(guān)系根據(jù)所要應(yīng)用及效能要求而變化。
使用多個(gè)區(qū)塊的優(yōu)點(diǎn)為精確度得以提高，因?yàn)檩^小區(qū)塊充當(dāng)一動(dòng)作驗(yàn)證形式或檢驗(yàn)器，且可幫助減少與僅檢查影像的一單一子區(qū)的解決方案相關(guān)的問題。在后者情形下，有可能影像在幀之間的變化(歸因于光變化、主區(qū)塊的縮減或扭曲等)可減小精確度。本發(fā)明因此提供一光學(xué)影像冗余檢驗(yàn)形式。
圖3描述根據(jù)本發(fā)明的教示執(zhí)行的一光學(xué)導(dǎo)航器追蹤過程200的第一實(shí)施例的流程圖。如上所述，所述步驟較佳由使用一DSP的處理模塊120或使用儲(chǔ)存(且可被加載/改變)于系統(tǒng)100中的固件程序的其它可程序化處理器執(zhí)行。
因此，一第一實(shí)施例如下操作步驟1在操作210中擷取一第一影像作為一參考影像；步驟2在操作220中自該參考影像決定一主區(qū)塊(M)；另外，在一較佳實(shí)施例中，通常自影像幀的一中心部分選擇一區(qū)塊；但是如下文所解釋，一主區(qū)塊(M)可能不一定為矩形形式。
步驟3由操作230決定至少一副區(qū)塊(A)或與主區(qū)塊(M)相關(guān)的特征。另外，如上所述，副區(qū)塊或特征較佳在大小上小于主區(qū)塊，且與主區(qū)塊隔開一預(yù)定距離，使得在兩者之間有一中間區(qū)域。此外，在一較佳方法中，藉由相對于主區(qū)塊的像素強(qiáng)度值檢查候選區(qū)塊的相對像素強(qiáng)度值來選擇副區(qū)塊。為增加區(qū)別能力，期望(在許多情形下)選擇大體上強(qiáng)度值與主區(qū)塊不同的一副區(qū)塊/特征。因此，可藉由根據(jù)與主區(qū)塊的像素強(qiáng)度比較或本技術(shù)中已知的其它一些光學(xué)基準(zhǔn)給候選區(qū)塊排序來選擇一副區(qū)塊。下文中，主區(qū)塊及副區(qū)塊指在參考影像內(nèi)的一追蹤單元，其可考慮為一邏輯追蹤單元，因?yàn)槠淠軌虮桓淖?若須要?jiǎng)t包括幀間改變)；步驟4在操作240中擷取時(shí)間上在該第一影像之后的一第二影像作為一樣本影像；步驟5藉由操作250執(zhí)行區(qū)塊匹配以定位在第二樣本影像中參考影像的主區(qū)塊(M)，以決定樣本影像相對于第一影像的位置位移；步驟6藉由操作260使用樣本影像中參考影像的副區(qū)塊(A)執(zhí)行雙檢驗(yàn)，以確認(rèn)樣本影像相對于參考影像的位置位移。在某些情形下，且在區(qū)別主區(qū)塊與副區(qū)塊計(jì)算值間的差異的事件中，可期望將主區(qū)塊與副區(qū)塊計(jì)算值進(jìn)行平均，或基于產(chǎn)生最大關(guān)聯(lián)的任何計(jì)算值，和/或基于主區(qū)塊計(jì)算值可能比較小副區(qū)塊計(jì)算值更精確(因?yàn)槠浒鼑蟮拿娣e)的假設(shè)，來使用某種形式的權(quán)重。此外，從計(jì)算速度的觀點(diǎn)看，可能在某些情形下期望基于區(qū)塊M的計(jì)算距離自動(dòng)選擇區(qū)塊(A)的預(yù)測位置，并接著計(jì)算在此預(yù)測位置處的關(guān)聯(lián)，且在距離主區(qū)塊的有限偏移內(nèi)(意即，+/-1或2個(gè)像素)以避免相對于整個(gè)幀作區(qū)塊比較。若在此有限區(qū)域內(nèi)未發(fā)現(xiàn)區(qū)塊(A)的關(guān)聯(lián)，則在任何情形中此將可能需要新的副區(qū)塊，所以可能期望在某些情形下使用此形式的推理計(jì)算。
步驟7操作270然后輸出基于該位置位移的一移動(dòng)向量；注意盡管一較佳實(shí)施例輸出自影像至影像的一移動(dòng)向量，但并不一定非得如此，相反可基于非連續(xù)數(shù)據(jù)幀來執(zhí)行一關(guān)聯(lián)，和/或僅當(dāng)事實(shí)上檢測到位置的明顯變化超出某一臨限時(shí)輸出一向量。
步驟A操作275決定副區(qū)塊的一個(gè)或多個(gè)是否應(yīng)重成形。舉例而言，若主區(qū)塊(M)與副區(qū)塊(A)的像素值大體上相同或均一，表明其并非明顯不同以改良效能的追蹤區(qū)域，則可執(zhí)行此步驟。下文中對此作進(jìn)一步解釋；亦可采用重成形副區(qū)塊的其它原因。
步驟8操作280基于所檢測到的動(dòng)作及區(qū)塊(A)的已知位置判斷副區(qū)塊(A)是否應(yīng)復(fù)位位。舉例而言，可為了防止由于副區(qū)塊(A)太靠近邊緣而在隨后樣本影像中丟失而執(zhí)行此步驟。若“是”，則過程進(jìn)行至步驟3；若“否”，則過程進(jìn)行至步驟9。
步驟9操作290又使用習(xí)知技術(shù)決定參考影像是否應(yīng)被替換。若參考影像應(yīng)被替換，則過程進(jìn)行至步驟1；否則過程進(jìn)行至步驟4。
因此，圖1中至流程圖邏輯上說明一光學(xué)導(dǎo)航器如何采用參考影像中一個(gè)5×5主區(qū)塊與一個(gè)3×3副區(qū)塊的追蹤單元以決定移動(dòng)影像的移動(dòng)向量。本領(lǐng)域的技術(shù)人員易了解此處并沒有將與影像關(guān)聯(lián)的所有步驟包括在內(nèi)以更好闡述本發(fā)明，且可使用額外操作以補(bǔ)充以上操作作為習(xí)知系統(tǒng)的部分。
此外，應(yīng)了解上述步驟并不一定必須以所展示的精確順序執(zhí)行，亦可根據(jù)需要使用其它組合。舉例而言，可以相反順序執(zhí)行主區(qū)塊及副區(qū)塊操作。對于涉及副區(qū)塊的復(fù)位位及參考影像的重?cái)X取的操作亦可以相反順序執(zhí)行。在某些情形下，可在步驟250之后輸出一預(yù)備/預(yù)測移動(dòng)向量，而非等待檢驗(yàn)操作260的結(jié)束。若預(yù)備向量不正確，則可在步驟270處提供更新。此外應(yīng)注意視副區(qū)塊的數(shù)量及所要精確度而定操作260可執(zhí)行多次。顯而易見可符合本教示而得以執(zhí)行的其它實(shí)例。
圖4A至圖4B為根據(jù)本發(fā)明的一全部影像擷取過程的較佳實(shí)施例的圖形描述。在圖4A中展示步驟1(擷取參考影像——操作210)、步驟2(識(shí)別一主區(qū)塊(M)——操作220)及步驟3(識(shí)別一個(gè)或多個(gè)副區(qū)塊——操作230)。另外，如上所述，較佳藉由檢查子區(qū)塊的一候選組并基于諸如與主區(qū)塊相比的相對像素強(qiáng)度值、預(yù)測行進(jìn)方向等的參數(shù)選擇一組而選擇副區(qū)塊(A)。
圖4B展示步驟4(操作240中擷取一新樣本影像)、步驟5(操作250將區(qū)塊(M)(在現(xiàn)有位置中以虛線展示)匹配至樣本影像中的一新位置)及步驟6(操作260將區(qū)塊(A)(在現(xiàn)有位置中以虛線展示)匹配至樣本影像中一新位置)。步驟7然后使用圖示的操作270輸出一移動(dòng)向量。
圖5A至圖5J為根據(jù)本發(fā)明實(shí)施的一主區(qū)塊或主要區(qū)塊匹配操作250(步驟5)的一較佳實(shí)施例的圖形描述。如圖所示，在圖5A中，藉由在16×16幀(代表儲(chǔ)存于存儲(chǔ)器130中的感應(yīng)器陣列110的邏輯像素值)的左上角的一上列中的初始位置處開始并隨后逐漸以線性方式在一行集合上一次移過一個(gè)(或多個(gè))像素(圖5B、圖5C)直至達(dá)到該列的末端(圖5D)來檢測到一新幀中的一主區(qū)塊(M)。對于偏移一個(gè)或多個(gè)像素的一列重復(fù)該過程(圖5E)。由于存在12個(gè)水平及12個(gè)垂直位置，故可看出執(zhí)行最多144次獨(dú)立關(guān)聯(lián)；然而本領(lǐng)域的技術(shù)人員應(yīng)理解此數(shù)量為主區(qū)塊(M)大小及陣列大小的函數(shù)，且本發(fā)明并不受限于此。如圖5I及圖5J中所示然后執(zhí)行匹配。在此點(diǎn)上，該過程可停下，或若需要可執(zhí)行另一比較以確保與該幀的其它子區(qū)塊的匹配的精確度。盡管上述過程開始于該幀的左上角，但本領(lǐng)域的技術(shù)人員應(yīng)理解可使用其它開始點(diǎn)及行進(jìn)方向。此外，可期望在最關(guān)聯(lián)至主區(qū)塊的一動(dòng)作預(yù)測的一角落上開始，和/或僅檢驗(yàn)基于根據(jù)現(xiàn)有移動(dòng)向量的一預(yù)測位置的該幀的一有限區(qū)域。舉例而言，若區(qū)塊(M)被檢測到以向量+2，+2(x、y坐標(biāo))移動(dòng)，則可能期望從一右上角在下一幀中開始檢驗(yàn)，和/或在上部中開始搜尋。
圖6A至圖6F為根據(jù)本發(fā)明實(shí)施的次區(qū)塊/補(bǔ)充區(qū)塊或副區(qū)塊匹配操作的一較佳實(shí)施例的圖形描述。可看出，在一新幀內(nèi)檢測到一主區(qū)塊(M)之后，本發(fā)明過程定義且預(yù)測該幀的一窄子部分作為搜尋副區(qū)塊(A)的面積。因此，在圖6A中，操作260開始于16×16幀(代表儲(chǔ)存于存儲(chǔ)器130中感應(yīng)器陣列110的邏輯像素值的子集)的一子區(qū)塊的左上角上列中的初始位置。在該較佳方法中，該子區(qū)塊包括由自主區(qū)塊(M)的一角落延伸的水平及垂直線界定的一區(qū)域。與主區(qū)塊(M)一樣，一匹配操作逐漸在一行集合上以線性方式一次位移過一個(gè)(或多個(gè))像素(圖6B、圖6C)直至到達(dá)該列的末端(圖6D)。對于偏移一個(gè)或多個(gè)像素的一列重復(fù)該過程(圖6E)。由于存在6個(gè)水平及6個(gè)垂直位置，故可看出執(zhí)行最多36次獨(dú)立關(guān)聯(lián)；然而本領(lǐng)域的技術(shù)人員應(yīng)理解此數(shù)量為副區(qū)塊(A)大小、主區(qū)塊(M)大小、主區(qū)塊(M)的位置及陣列大小的函數(shù)，且本發(fā)明并不受限于此。如圖6F中所示然后執(zhí)行匹配。在此點(diǎn)上，該過程可停下，或若需要可執(zhí)行另一比較以確保與該幀的其它子區(qū)塊的匹配的精確度。另外，在某些實(shí)施例中，基于一現(xiàn)有移動(dòng)向量提前預(yù)測區(qū)塊(A)的位置且僅檢驗(yàn)幀的一有限區(qū)域可能具有優(yōu)勢。
在一較佳實(shí)施例中，主區(qū)塊(M)及副區(qū)塊(A)的區(qū)塊匹配使用一個(gè)或多個(gè)熟知公式用于基于與臨限值(T)或最小值的比較的像素關(guān)聯(lián)，諸如Σi=125|Xi-Yi|≤T]]>或 其中Xi為樣本影像的主區(qū)塊中的元素，Yi為參考影像的主區(qū)塊中的元素，且T為預(yù)定臨限。當(dāng)然可使用其它算法，且本發(fā)明并不在此方面受限。
在某些實(shí)施例中，可使用如圖7A至圖7J所說明由主區(qū)塊及副區(qū)塊形成的組合追蹤單元同時(shí)定位/匹配主區(qū)塊(M)及副區(qū)塊(A)。在此方法中，同時(shí)對兩個(gè)不同區(qū)塊執(zhí)行關(guān)聯(lián)。因此，在圖7A中，在新樣本幀中檢驗(yàn)區(qū)塊(M)及區(qū)塊(A)。如圖7B、7C、7D等所示，每一個(gè)皆被水平位移一個(gè)像素。在圖7E中，所述區(qū)塊亦被垂直位移一個(gè)像素且該過程如圖7F、7G及7H所示被重復(fù)。在圖7I中，所述區(qū)塊開始占據(jù)新位置(呈現(xiàn)更接近的關(guān)聯(lián))，且在圖7J中，由對兩區(qū)塊的比較決定匹配。
在副區(qū)塊開始接近幀邊緣的情形下，較佳執(zhí)行復(fù)位位操作280。圖8A至圖8F為根據(jù)本發(fā)明實(shí)施的該過程的一較佳實(shí)施例的圖形描述。從圖8A中可見，當(dāng)在一角落位置(當(dāng)然其它位置亦有可能)檢測到一副區(qū)塊(A)時(shí)，執(zhí)行復(fù)位位以移動(dòng)該副區(qū)塊至一新副區(qū)塊位置，如圖8B所示。在此情形下，藉由繞垂直于所量測的移動(dòng)向量的軸旋轉(zhuǎn)而選擇一新區(qū)塊。另外，精確位置亦可根據(jù)新提議副區(qū)塊位置的相對像素強(qiáng)度而變化，且可估計(jì)許多位置以選擇一新副區(qū)塊。圖8B中的選擇亦利用移動(dòng)向量信息以有意選擇最有可能處于下一樣本影像幀的中心且事實(shí)上位于該處的一區(qū)塊。在圖8C及8D中描述類似情形。然而，在此情形下，由于副區(qū)塊接近一水平邊緣，故繞平行于該邊緣的軸翻轉(zhuǎn)該區(qū)塊以復(fù)位位至主區(qū)塊的左邊，而非的前使用的右邊。本領(lǐng)域的技術(shù)人員亦了解其它實(shí)例，且若必要可根據(jù)應(yīng)用及在幀之間改變所采用的特定策略。
圖8E及8F描述一主區(qū)塊(M)開始占據(jù)感應(yīng)器陣列的一邊緣的情形。在所述情形下，在操作290中參考影像較佳由影像傳感器擷取的一新影像替換?；蛘?，或除此之外，亦選擇一新主區(qū)塊(M)及一新副區(qū)塊(A)。
藉由使用上述追蹤單元方法，可適當(dāng)?shù)卣{(diào)節(jié)副區(qū)塊相對于主區(qū)塊的位置及副區(qū)塊的數(shù)量以滿足各種影像條件且有效檢測影像的動(dòng)作。
如前文間接提到，可能期望亦在操作275(步驟A)中重成形或重選擇副區(qū)塊。圖9A至圖9B為根據(jù)本發(fā)明實(shí)施的一副區(qū)塊重成形過程的一較佳實(shí)施例的圖形描述。在圖9A中可見，為一所提議的副區(qū)塊識(shí)別的平均像素強(qiáng)度值相對接近為主區(qū)塊(M)而識(shí)別的平均像素強(qiáng)度值。在此情形下，副區(qū)塊的益處減少了，因?yàn)槠洳⒉惶峁┤魏蚊黠@新的信息給關(guān)聯(lián)過程。為此原因，如圖9B所示，較佳自一替換區(qū)域選擇一新副區(qū)塊，其中平均像素強(qiáng)度值比的前提議的副區(qū)塊與主區(qū)塊相比更加不同。
其它情形亦可要求重成形/復(fù)位位副區(qū)塊。舉例而言，在某些環(huán)境下可能決定導(dǎo)航器的快速移動(dòng)引起該指針裝置的行進(jìn)方向的變形。換言之，影像可歸因于考驗(yàn)采樣率的快速移動(dòng)而變形；期望保持后者較小以減少功率等。因此可能執(zhí)行副區(qū)塊的重成形以補(bǔ)償動(dòng)作的方向及幅度，使得一新區(qū)塊具有在一比較過程中比較不容易扭曲或發(fā)生錯(cuò)誤的幾何形狀。舉例而言，當(dāng)在水平方向上檢測到快速動(dòng)作時(shí)，可采用在垂直方向上具有相對較大尺寸的一新副區(qū)塊，反的亦然。
除上述的實(shí)施例之外，圖10A至圖10K為可根據(jù)本發(fā)明實(shí)施使用的一追蹤單元的一定數(shù)量個(gè)變型的圖形描述?？煽闯鲈撟粉檰卧苫诟鞣N主區(qū)塊形狀及副區(qū)塊/副特征形狀。在某些應(yīng)用中，可能期望使用連續(xù)區(qū)塊(圖10A、10B)、隔開區(qū)塊(圖10C)、不規(guī)則(例如，非矩形)匹配形狀(圖10D)、不規(guī)則形狀與規(guī)則形狀的組合(圖10E、10F)、多個(gè)副區(qū)塊形狀(見圖10I、10J、10K)、多個(gè)重迭副區(qū)塊形狀(圖10G)且甚至重迭主區(qū)塊與副區(qū)塊形狀(圖10H)。因此，應(yīng)理解本文所使用的“區(qū)塊”或“特征”并不一定代表矩形/方形實(shí)體區(qū)塊，且該主區(qū)塊與副區(qū)塊的一或兩者可為不規(guī)則形狀?；诒窘沂緝?nèi)容本領(lǐng)域的技術(shù)人員將易了解其它實(shí)例。
應(yīng)了解由處理模塊120使用以實(shí)施上述本發(fā)明方法的固件程序可以熟知方式在制造對象(諸如普遍用于傳輸所述程序的傳統(tǒng)計(jì)算機(jī)可讀媒體)中得以實(shí)現(xiàn)。所述媒體可包括快閃驅(qū)動(dòng)器、軟盤機(jī)、磁帶、硬盤、光學(xué)驅(qū)動(dòng)器或等效非揮發(fā)性儲(chǔ)存系統(tǒng)。以此格式，所述程序可容易地得以傳輸?；蛘咴谏鲜鲋校绦蚩蓪?shí)施為一單獨(dú)集成電路的非揮發(fā)性儲(chǔ)存部分的部分，或嵌入為在典型DSP、微處理器或RISC處理器的架構(gòu)中非揮發(fā)性儲(chǔ)存結(jié)構(gòu)的部分。用于執(zhí)行所述程序的指令可如同其它程序ROM一樣且使用習(xí)知制造技術(shù)經(jīng)編碼或?qū)嵤┯诠杌蚪饘僦小?br> 此外本領(lǐng)域的技術(shù)人員應(yīng)了解本文中闡述內(nèi)容并非可使用的程序的全部集合，或所述程序執(zhí)行的所有操作的無遺漏清單。事實(shí)上，期望光學(xué)導(dǎo)航器設(shè)計(jì)者根據(jù)客戶偏好和/或系統(tǒng)效能要求添加其它特征。
另外，本領(lǐng)域的技術(shù)人員易了解實(shí)施本發(fā)明的一光學(xué)導(dǎo)航系統(tǒng)視目的使用者的需要、要求或愿望及其它技術(shù)限制而定可能不包括如上所示的所有程序。因此，本發(fā)明并不限于上述的較佳實(shí)施例。最后，本文中雖未清楚展示或描述，在所述模塊中實(shí)現(xiàn)上述功能所需要的各種軟件程序、可執(zhí)行碼等的細(xì)節(jié)對本發(fā)明而言并不重要，且可基于本描述以本領(lǐng)域的技術(shù)人員已知的任何數(shù)量的方式得以實(shí)施。
上述描述目的僅為所提出本發(fā)明的說明性實(shí)施例。應(yīng)理解本發(fā)明所提供的保護(hù)亦包括并延伸至在本發(fā)明申請專利范圍的范疇內(nèi)且與上文不同的實(shí)施例。
權(quán)利要求
1.一種使用一影像傳感器以決定一組移動(dòng)影像相關(guān)的一移動(dòng)向量的方法，該方法包含擷取對應(yīng)于一第一區(qū)域的一第一影像；自該第一影像決定一主區(qū)塊，該主區(qū)塊包含一小于該第一區(qū)域的一主區(qū)塊區(qū)域；自該第一影像決定至少一與該主區(qū)塊相關(guān)的副區(qū)塊，該副區(qū)塊包含一小于該第一區(qū)域的一副區(qū)塊區(qū)域；其中該主區(qū)塊及該副區(qū)塊形成該第一影像中的一追蹤單元；使用該影像傳感器擷取時(shí)間上在該第一影像之后的一第二影像；使用該追蹤單元將該第一影像關(guān)聯(lián)至該第二影像，以決定該追蹤單元在該第一及第二影像之間的一位置變化；以及輸出基于該位置變化的該移動(dòng)向量。
2.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其中該關(guān)聯(lián)過程包含使用該第一影像的該主區(qū)塊在該第二影像中進(jìn)行區(qū)塊匹配，以決定該主區(qū)塊在該第二影像中相對于該第一影像的一位置位移；在該第二影像中使用該第一影像的所述副區(qū)塊進(jìn)行檢驗(yàn)，以決定認(rèn)該第二影像相對于該第一影像的該位置位移。
3.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其中該副區(qū)塊的面積小于該主區(qū)塊的面積。
4.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其中該副區(qū)塊藉由一中間區(qū)域與該主區(qū)塊隔開。
5.如權(quán)利要求4所述的決定移動(dòng)向量的方法，其中該中間區(qū)域?yàn)橹辽僖幌袼貙挕?br> 6.如權(quán)利要求4所述的決定移動(dòng)向量的方法，其更包含一步驟藉由比較一組候選副區(qū)塊的像素值以及該主區(qū)塊的像素值以評估該組候選副區(qū)塊。
7.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其中該追蹤單元包括多個(gè)分離的副區(qū)塊。
8.如權(quán)利要求7所述的決定移動(dòng)向量的方法，其中該多個(gè)分離的副區(qū)塊包括至少兩個(gè)在大小和/或形狀上不同的區(qū)塊。
9.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其進(jìn)一步包含一步驟自該第一影像的一中間區(qū)域選擇該主區(qū)塊。
10.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其中該主區(qū)塊具有一與該副區(qū)塊不同的形狀。
11.如權(quán)利要求6所述的決定移動(dòng)向量的方法，其進(jìn)一步包括一步驟自該組候選副區(qū)塊中選擇像素強(qiáng)度值與該主區(qū)塊最為不同的一副區(qū)塊。
12.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其進(jìn)一步包含一步驟基于該第二影像內(nèi)的該副區(qū)塊的一位置的一分析，復(fù)位位(re-positioning)該副區(qū)塊。
13.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其進(jìn)一步包含一步驟基于該移動(dòng)向量的一分析，復(fù)位位該副區(qū)塊。
14.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其進(jìn)一步包含一步驟基于該副區(qū)塊區(qū)域的光學(xué)特性相對于該主區(qū)塊區(qū)域的光學(xué)特性的一分析，重成形該副區(qū)塊。
15.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其進(jìn)一步包含一步驟基于該移動(dòng)向量的一分析，重成形該副區(qū)塊。
16.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其進(jìn)一步包含一步驟計(jì)算該主區(qū)塊和/或該副區(qū)塊在該第二影像內(nèi)的一預(yù)測位置。
17.如權(quán)利要求16所述的決定移動(dòng)向量的方法，其包含一步驟在該預(yù)測位置處和/或在該預(yù)測位置周圍處的一有限區(qū)域中開始執(zhí)行該關(guān)聯(lián)。
18.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其中在檢測到超出一臨限值的一關(guān)聯(lián)值時(shí)終止該關(guān)聯(lián)以決定該位置位移。
19.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其中該移動(dòng)向量基于檢測在該主區(qū)塊中的一第一位置位移及在該副區(qū)塊中的一第二位置位移，及基于該第一位置位移及該第二位置位移來計(jì)算一估計(jì)位移。
20.如權(quán)利要求19所述的決定移動(dòng)向量的方法，其中該估計(jì)位移為該第一位置位移與該第二位置位移的一權(quán)重平均。
21.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其中組合該主區(qū)塊與該副區(qū)塊以使得對于該主區(qū)塊與該副區(qū)塊兩者同時(shí)執(zhí)行該關(guān)聯(lián)。
22.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其中該主區(qū)塊及該副區(qū)塊中的至少一個(gè)具有一不為矩形的不規(guī)則形狀。
23.如權(quán)利要求1所述的決定移動(dòng)向量的方法，其中該第二影像及該第一影像為由該影像傳感器擷取的非連續(xù)影像。
24.一種用于決定包含一影像傳感器的一光學(xué)追蹤裝置的相對運(yùn)動(dòng)的動(dòng)作追蹤方法，該方法包含以下步驟擷取一第一影像，其由分別代表該成像傳感器所感知的一光強(qiáng)度的一像素值的陣列所組成；選擇該像素值的陣列中的一第一區(qū)塊及與該第一區(qū)塊成一預(yù)定關(guān)系的至少一額外特征，以建構(gòu)一第一追蹤單元；擷取時(shí)間上在該第一影像之后的一第二影像；檢測在該第二影像內(nèi)最匹配該第一影像中的該第一追蹤單元的一第二追蹤單元；根據(jù)在該第一追蹤單元與該第二追蹤單元之間的一位移決定自該第一影像至該第二影像的一相對運(yùn)動(dòng)；以及基于該影像傳感器所擷取的影像的一個(gè)或多個(gè)累積的相對運(yùn)動(dòng)報(bào)告該光學(xué)追蹤裝置的一動(dòng)作。
25.一種光學(xué)導(dǎo)航系統(tǒng)，其包含一影像傳感器陣列，其適于擷取對應(yīng)于一第一區(qū)域的一第一影像及時(shí)間上在該第一影像之后對應(yīng)于一第二區(qū)域的一第二影像；一處理電路，其適于a.自該第一影像決定包括小于該第一區(qū)域的一主區(qū)塊區(qū)域的一主區(qū)塊；b.自該第一影像決定與該主區(qū)塊相關(guān)的至少一副區(qū)塊，該副區(qū)塊包括小于該第一區(qū)域的一副區(qū)塊區(qū)域；c.形成一追蹤單元，其包括該主區(qū)塊及該副區(qū)塊；d.使用該追蹤單元將該第一影像關(guān)聯(lián)至該第二影像，以決定該追蹤單元在影像之間的一位置變化；e.輸出基于該位置變化的一移動(dòng)向量。
26.如權(quán)利要求25所述的光學(xué)導(dǎo)航系統(tǒng)，其中該光學(xué)導(dǎo)航系統(tǒng)由一個(gè)或多個(gè)集成電路組成。
27.如權(quán)利要求25所述的光學(xué)導(dǎo)航系統(tǒng)，其中該光學(xué)導(dǎo)航系統(tǒng)容納于一指針裝置內(nèi)。
28.如權(quán)利要求27所述的光學(xué)導(dǎo)航系統(tǒng)，其中該指針裝置耦接至一計(jì)算系統(tǒng)，該計(jì)算系統(tǒng)基于該追蹤單元進(jìn)行操作。
29.如權(quán)利要求25所述的光學(xué)導(dǎo)航系統(tǒng)，其中該處理電路包括一DSP及一可執(zhí)行程序指令的集合。
30.一種光學(xué)導(dǎo)航器，其包含一影像傳感器，其經(jīng)組態(tài)以擷取一第一影像及一第二影像；一用于自該第一影像決定一主區(qū)塊的裝置；一用于自該第一影像決定與該主區(qū)塊相關(guān)的一個(gè)或多個(gè)副區(qū)塊的裝置；其中該主區(qū)塊及該或所述副區(qū)塊形成該第一影像中的一追蹤單元；一用于使用該影像傳感器擷取時(shí)間上在該第一影像之后的一第二影像的裝置；一用于使用該第一影像的該追蹤單元將該第一影像關(guān)聯(lián)至該第二影像的裝置，其中該關(guān)聯(lián)過程包含將該第一影像的該主區(qū)塊匹配至在該第二影像中的一位置，以決定該第二影像相對于該第一影像的一位置變化；藉由識(shí)別該第二影像中該或所述副區(qū)塊相對于該第一影像的一位置，驗(yàn)證該位置變化；以及一用于輸出基于該位置變化的移動(dòng)向量的裝置。
全文摘要
本發(fā)明提供一種使用來自一影像的一主區(qū)塊及來自該影像與該主區(qū)塊相關(guān)的至少一副區(qū)塊決定一移動(dòng)向量的系統(tǒng)及方法。然后自影像至影像追蹤該主區(qū)塊及副區(qū)塊以提供一移動(dòng)向量。一復(fù)合追蹤單元的使用允許更精確的關(guān)聯(lián)及識(shí)別一移動(dòng)向量。
文檔編號G06F3/033GK101063911SQ200610160370
公開日2007年10月31日 申請日期2006年11月15日 優(yōu)先權(quán)日2006年4月28日
發(fā)明者林卓毅, 郭明輝 申請人:原相科技股份有限公司