專利名稱：檢測和跟蹤圖像中的物體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理，更具體地涉及檢測圖像中的物體。
背景技術(shù)：
對圖像中的物體進(jìn)行的檢測和識別通常涉及圖像濾波和圖形識別技術(shù)。 檢測和識別包含成百上千或者成千上百的像素的圖像中的物體需要很強(qiáng)的 處理能力，并且可能很費(fèi)時(shí)間。因此，在處理圖像以檢測和識別圖像中的物 體之前減少圖像的維數(shù)會(huì)有幫助。 一種已知的減少數(shù)據(jù)維數(shù)的技術(shù)是主成分
分析法(PCA)。 PCA記載在例如Joliffe I.T., Principal Componnet Analysis, Springer-Verlag， New York ( 1986 )中。
PCA利用數(shù)據(jù)組的協(xié)方差矩陣的特征值和特征向量作為數(shù)據(jù)組的可求 值(valueable)特征的代表。
已有很多種方法和機(jī)制使得人類能夠與計(jì)算機(jī)交互。計(jì)算機(jī)圖像技術(shù)可 以允許計(jì)算機(jī)檢測由照相機(jī)捕捉到的圖像中的物體。能夠檢測和識別圖像中 的物體的計(jì)算機(jī)為用戶提供了通過用戶的手勢與計(jì)算機(jī)交互的能力。
計(jì)算機(jī)-用戶界面可以顯示在表面或屏幕上。 一個(gè)或多個(gè)照相機(jī)可以監(jiān) 視該表面或屏幕附近的活動(dòng)并且捕捉屏幕附近的活動(dòng)的圖像。計(jì)算機(jī)然后可 以處理這些圖像，檢測圖像中的一個(gè)或者多個(gè)物體，并發(fā)覺用戶正在使用手 勢與顯示在表面或屏幕上的計(jì)算機(jī)-用戶界面交互。
一些系統(tǒng)試圖發(fā)覺用戶在使用手勢與顯示在表面或屏幕上的計(jì)算機(jī)-用 戶界面交互。這些系統(tǒng)中的一些僅發(fā)覺圖像中亮度最大的物體，并將該物體 作為手或手指。因此，即使在所述物體既非手也非手指的情況下，這些系統(tǒng) 可能將該物體認(rèn)作手或手指。

發(fā)明內(nèi)容
為了更為準(zhǔn)確地標(biāo)識圖像中的手或手指，從而提高人機(jī)交互的能力和效 率，若干公開的系統(tǒng)(1)識別觸摸表面或屏幕或在表面或屏幕附近移動(dòng)的作為手或手指的物體，并(2)排除未被識別為手或手指的物體。
本發(fā)明提供了用于檢測和識別觸摸表面或屏幕或在表面或屏幕附近移 動(dòng)的手指的方法和裝置。圖像被處理以檢測手指的出現(xiàn)并跟蹤檢測到的手指 的位置。手指的位置可被計(jì)算機(jī)用于例如控制計(jì)算機(jī)鼠標(biāo)指示器。所提供的 方法可允許以比使用傳統(tǒng)的鼠標(biāo)及/或鍵盤更自然的方式進(jìn)行人機(jī)交互。
在一種實(shí)現(xiàn)方式中，創(chuàng)建沿一個(gè)或多個(gè)取向定位的一個(gè)或多個(gè)手指的模 型。具體而言，利用照相機(jī)捕捉一個(gè)或多個(gè)手指的一組訓(xùn)練圖像。應(yīng)用PCA 技術(shù)，創(chuàng)建該組訓(xùn)練圖像的模型。確定該組訓(xùn)練圖像的協(xié)方差矩陣并選擇該 協(xié)方差矩陣的 一定數(shù)量的特征向量來定義所述一組訓(xùn)練圖像的特征空間。所 述一組訓(xùn)練圖像中的每個(gè)圖像被投影到由選定的協(xié)方差矩陣的特征向量定 義的特征空間中。在特征空間中，每個(gè)訓(xùn)練圖像由單個(gè)訓(xùn)練點(diǎn)表示。因此， 將每個(gè)訓(xùn)練圖像投影到特征空間中可以在特征空間中生成訓(xùn)練點(diǎn)云團(tuán)。然后 在特征空間中用幾何模型(例如表面或線)對訓(xùn)練點(diǎn)云團(tuán)建模。
然后利用模型來檢測、識別和跟蹤圖像中的手指。在一種系統(tǒng)中，在表
面或屏幕的后方設(shè)置照相機(jī)和紅外(IR)照明器。觸摸表面或屏幕或在表面 或屏幕附近移動(dòng)的手指反射IR照明器投射的部分IR輻射。部分被反射的IR 輻射被照相機(jī)捕捉在圖像中。然后對該圖像進(jìn)行如下所述的處理，以檢測和 識別圖像中手指的存在與否及其位置。
所述處理包括從圖像中抽取可能是手指的一個(gè)或多個(gè)物體。每個(gè)抽取的 物體被投影到為所述一組訓(xùn)練圖像所定義的特征空間中。在特征空間中，所 抽取物體的投影由單個(gè)圖像點(diǎn)表示。將單個(gè)圖像點(diǎn)的坐標(biāo)與訓(xùn)練點(diǎn)云團(tuán)的模 型比較，以確定該單個(gè)圖像點(diǎn)是否匹配或接近匹配所述模型。如果單個(gè)圖像 點(diǎn)匹配或接近匹配模型，則確定該物體是手指。如果確定該物體是手指，則 計(jì)算手指相對于屏幕或表面的位置(例如(x,y)坐標(biāo))并將其輸入例如計(jì)算 機(jī)和/或軟件應(yīng)用程序。
根據(jù)一個(gè)概括的方面，確定相應(yīng)于多維空間中圖像點(diǎn)的坐標(biāo)，該圖像點(diǎn) 表征一特定物體。提供描述多維空間中的模型的方程式，該模型表現(xiàn)一個(gè)或 多個(gè)其它物體的一組訓(xùn)練圖像的特征。將所述坐標(biāo)代入所述方程式以確定圖 像點(diǎn)與模型之間的距離，并且基于所確定的距離，確定所述特定物體是否匹 配所述一個(gè)或多個(gè)其它物體。
上述概括的方面的實(shí)現(xiàn)方式可以包括一個(gè)或多個(gè)其它特征。例如，可以
6接收特定物體的圖像。該圖像可以具有若干數(shù)據(jù)元素，而所述多維空間的維 數(shù)可以d、于該數(shù)據(jù)元素的數(shù)量。確定圖像點(diǎn)坐標(biāo)的步驟可以包括將圖像投影 到所述多維空間以產(chǎn)生相應(yīng)于多維空間中的圖像點(diǎn)的坐標(biāo)。
所述模型可以是多維空間中一組訓(xùn)練點(diǎn)的模型，所述組中的每個(gè)訓(xùn)練點(diǎn) 對應(yīng)于所述一 系列訓(xùn)練圖像中的 一個(gè)或多個(gè)圖像。
所述特定物體的圖像可以在被接收之前被歸一化。歸一化特定物體的圖 像的步驟可以解決亮度變化的問題。歸 一化物體的圖像的步驟可以包括對特 定物體的圖像應(yīng)用直方圖均衡化技術(shù)。
所述方程式可以描述雙曲面、圓錐、線或圓錐和線的組合。特定物體可 以包括從由手指、筆和基本上柱形的物體構(gòu)成的組中選出的 一個(gè)物體。
提供所述方程式的步驟可以包括從第 一方程式和第二方程式中選擇所 述方程式，所述第一方程式描述表現(xiàn)第一組訓(xùn)練圖像的特征的第一模型，第 二方程式描述表現(xiàn)第二組訓(xùn)練圖像的特征的第二模型。
根據(jù)另一個(gè)概括的方面，接收特定物體的圖像，該圖像具有若干數(shù)據(jù)點(diǎn)。 將該圖像投影到維數(shù)小于所述數(shù)據(jù)點(diǎn)數(shù)量的多維空間中，以產(chǎn)生相應(yīng)于所述 多維空間中的圖像點(diǎn)的坐標(biāo)，其中圖像點(diǎn)表征所述特定物體。提供描述多維 空間中的一模型的方程式，該模型是多維空間中一組訓(xùn)練點(diǎn)的模型，并且所 述組中的每個(gè)訓(xùn)練點(diǎn)對應(yīng)于一個(gè)或多個(gè)其它物體的 一組訓(xùn)練圖像中的 一個(gè) 或多個(gè)圖像。將所述坐標(biāo)代入所述方程式以確定圖像點(diǎn)與模型之間的距離， 并基于所確定的距離，確定所述特定物體是否匹配所述其它物體。
上述概括方面的實(shí)現(xiàn)方式可以包括以下的一個(gè)或多個(gè)特征。例如，提供 所述方程式的步驟可以包括從第一方程式和第二方程式中選擇所述方程式， 所述第 一方程式描述表現(xiàn)第 一組訓(xùn)練圖像的特征的第 一模型，第二方程式描 述表現(xiàn)第二組訓(xùn)練圖像的特征的第二模型。
根據(jù)另 一個(gè)概括的方面， 一種系統(tǒng)包括照相機(jī)和耦接至照相機(jī)的處理裝 置。該處理裝置構(gòu)造成確定相應(yīng)于多維空間中圖像點(diǎn)的坐標(biāo)，所述圖像點(diǎn)表 征特定物體。所述處理裝置還構(gòu)造成提供描述所述多維空間中的一模型的方 程式，所述模型表現(xiàn)一個(gè)或多個(gè)其它物體的一組訓(xùn)練圖像的特征。所述處理 裝置還構(gòu)造成將所述坐標(biāo)代入所述方程式以確定圖像點(diǎn)與模型之間的距離， 并基于所確定的距離，確定所述特定物體是否匹配所述一個(gè)或多個(gè)其它物 體。上述概括的方面的實(shí)現(xiàn)方式可以包括以下的一個(gè)或多個(gè)特征。例如，所
述照相機(jī)可以是IR照相機(jī)。所述系統(tǒng)可以包括IR源。該系統(tǒng)可以包括設(shè)置 在照相機(jī)前方的屏幕。該屏幕可以至少是半透明的，使得位于與照相機(jī)相反 的屏幕的一側(cè)的物體所反射的光能夠透過屏幕并被照相機(jī)所接收。
根據(jù)另一個(gè)概括的方面，提供了一種工具，用于確定相應(yīng)于多維空間中 特定圖像點(diǎn)的坐標(biāo)，所述特定圖像點(diǎn)表征一特定物體。所述工具還提供描述 多維空間中的一模型的方程式，該模型表現(xiàn)一個(gè)或多個(gè)其它物體的一組訓(xùn)練 圖像的特征。所述工具還用于將所述坐標(biāo)代入所述方程式以確定所述特定圖 像點(diǎn)與模型之間的距離，并基于所確定的距離，確定特定物體是否匹配所述 一個(gè)或多個(gè)其它物體。
上述概括的方面的實(shí)現(xiàn)方式可以包括以下的一個(gè)或多個(gè)特征。例如，所 述一組訓(xùn)練圖像可以被接收，所述組中的每個(gè)圖像具有若干數(shù)據(jù)元素。所述 多維空間可以基于所述一組訓(xùn)練圖像來確定，并且所述多維空間的維數(shù)可以 小于所述數(shù)據(jù)元素的數(shù)量。通過將所述一組訓(xùn)練圖像中的每個(gè)圖像投影到所 述多維空間中可以生成一組訓(xùn)練點(diǎn)，從而產(chǎn)生相應(yīng)于多維空間中的對應(yīng)訓(xùn)練 點(diǎn)的坐標(biāo)。所述一組訓(xùn)練點(diǎn)中的每個(gè)訓(xùn)練點(diǎn)可以對應(yīng)于所述一組訓(xùn)練圖像中 的至少一個(gè)圖像?？梢源_定描述多維空間中表現(xiàn)所述一組訓(xùn)練圖像的特征的 模型的方程式。
所述一組訓(xùn)練圖像中的每個(gè)圖像可以在被接收之前被歸一化。歸一化所 述一組訓(xùn)練圖像中的每個(gè)圖像可以解決亮度變化的問題。歸一化所述一組訓(xùn) 練圖像中的每個(gè)圖像的步驟可以包括對所述一組訓(xùn)練圖像中的每個(gè)圖像應(yīng) 用直方圖均衡化技術(shù)。
各個(gè)方面、實(shí)現(xiàn)方式和特征可以利用例如方法、裝置、用于執(zhí)行方法、 程序或其它指令集的裝置或工具或處理裝置、包括程序或指令集的裝置、以 及計(jì)算機(jī)可讀介質(zhì)中的一個(gè)或多個(gè)來實(shí)現(xiàn)。計(jì)算機(jī)可讀介質(zhì)可以包括例如指 令、軟件、圖像和其它數(shù)據(jù)。
附圖和以下描述中詳細(xì)說明了 一個(gè)或多個(gè)實(shí)現(xiàn)方式。其它特征將從說明 書和附圖，以及從權(quán)利要求中顯見。


本專利或申請文件包含至少一幅彩色圖片。在提出請求并交納必要的費(fèi)
8用的情況下，官方將提供帶有彩色圖片的本專利或申請公報(bào)的副本。 圖1是用于識別和跟蹤手指的一個(gè)系統(tǒng)的圖解。 圖2(a)為一示樣圖像，示出圖像的兩個(gè)物體。
圖2 (b)為示樣陰影矩陣，顯示了從圖2 (a)的圖像中抽取的兩個(gè)物體。
圖3示出了確定從圖像中抽取的物體是否太大而不會(huì)是感興趣的物體的 示圖。
圖4( a )是示出用于訓(xùn)練手指識別和跟蹤系統(tǒng)的第一處理的處理流程圖。 圖4 (b)是示出用于執(zhí)行圖4 (a)中操作410的處理的處理流程圖。 圖5是手指的示樣圖像。
圖6是三維特征空間(eigenspace)中的訓(xùn)練點(diǎn)云團(tuán)的圖示。 圖7 U)是手指的另一個(gè)示樣圖像。
圖7 (b)是與圖7 (a)中的手指相同但方向不同的手指的示樣圖像。 圖8 (a)是手指的另一個(gè)示樣圖像。
圖8 (b)是與圖8 (a)中的手指相同但方向不同的手指的示樣圖像。 圖9 (a)是三維特征空間中的訓(xùn)練點(diǎn)云團(tuán)的圖示。
圖9 (b)是圖9 (a)的三維特征空間中圖8 (a)和8 (b)所示的示樣 圖像的投影的圖示。
圖10 (a)是圖9 (a)的訓(xùn)練點(diǎn)云團(tuán)和對應(yīng)于圖像點(diǎn)云團(tuán)的三維模型的 圖示。
圖10 (b)是圖10 (a)的彩色版。
圖11 (a)是對應(yīng)于圖9 (a)的訓(xùn)練點(diǎn)云團(tuán)的截頭模型的圖示。
圖11 (b)是圖11 (a)的截頭模型和對應(yīng)于該模型的訓(xùn)練點(diǎn)云團(tuán)的圖示。
圖11 (c)是圖11 (b)的彩色版。
圖12是使用利用圖4 (a)所示處理訓(xùn)練的系統(tǒng)識別圖像中的手指的處
理的處理流7艮圖。
圖13是示出用于訓(xùn)練手指識別和跟蹤系統(tǒng)的第二處理的處理流程圖。 圖14是三維特征空間中的另 一訓(xùn)練點(diǎn)云團(tuán)的圖示。 圖15是形成圓錐形狀的圖14所示訓(xùn)練點(diǎn)云團(tuán)的第一子組的圖示。 圖16是形成線形形狀的圖14所示訓(xùn)練點(diǎn)云團(tuán)的第二子組的圖示。圖17(a)是圖15所示訓(xùn)練點(diǎn)的第一子組以及對應(yīng)于訓(xùn)練點(diǎn)的第一子組 的垂直圓錐模型的圖示。
圖17(b)是圖15所示訓(xùn)練點(diǎn)的第一子組以及對應(yīng)于訓(xùn)練點(diǎn)的第一子組 的截頭垂直圓錐模型的圖示。
圖17 (c)是圖17 (a)的彩色版。
圖17 (d)是圖17 (b)的彩色版。
圖18(a)是圖16所示訓(xùn)練點(diǎn)的第二子組以及對應(yīng)于訓(xùn)練點(diǎn)的第二子組 的線形模型的圖示。
圖18 (b)是圖18 (a)的彩色版。
圖19是圖示使用通過圖13所示處理訓(xùn)練的系統(tǒng)來識別圖像中的手指的 處理的處理流程圖。
圖20是圖示識別圖像中的物體的另 一處理的處理流程圖。
具體實(shí)施例方式
本發(fā)明公開了用于檢測和識別觸摸表面或者在表面附近移動(dòng)的手指的 系統(tǒng)和方法。這些系統(tǒng)和方法還可以用來檢測和識別觸摸表面或者在表面附 近移動(dòng)的其他物體。此外，這些系統(tǒng)和方法還可以用來在沒有表面的情況下， 檢測和識別視場中的物體。更廣泛地說，這些系統(tǒng)和方法可以用來檢測和識 別圖像中的物體。
圖1是用于識別和跟蹤一個(gè)或者多個(gè)手指的示例性系統(tǒng)100的圖示。設(shè) 置在表面104后方的紅外(IR)照明器102照亮延伸于表面104的后方和前 方的區(qū)域106。裝備有紅外濾波器110的照相機(jī)108設(shè)置在表面104的后方 并捕捉例如表面104及其附近的圖像。照相機(jī)108所捕捉的圖像可以通過數(shù) 據(jù)元素(例如，像素)以數(shù)碼方式顯示。設(shè)置在表面104后方的投影器112 可以將計(jì)算機(jī)-用戶界面投射在表面104上。投射在表面104上的計(jì)算機(jī)-用戶界面可以是傳統(tǒng)的計(jì)算機(jī)顯示。投影器112除了可見光之外還可以投射 IR光。因此，投影器112可以裝備有可選的IR濾波器120以減少或消除投 影器112所投射的IR光。
所公開的技術(shù)和裝置可以允許用戶利用手勢與計(jì)算機(jī)_用戶界面交互。 例如，可以對用戶手指114的位置進(jìn)行跟蹤，允許用戶通過用其手指114 觸摸表面104或者通過將其手指114在表面104附近移動(dòng)來控制鼠標(biāo)指示器在計(jì)算機(jī)-用戶界面上的位置。用戶手指114的位置可以用來例如表示鼠標(biāo)
指示器的希望位置。在一些實(shí)現(xiàn)方式中，為了準(zhǔn)確確定用戶手指114的位置， 希望區(qū)分用戶的手指114與用戶的手掌118。
圖1所示系統(tǒng)100僅僅是一種實(shí)現(xiàn)方式的示例，其他的構(gòu)造也是可能的。 照相機(jī)108所捕捉的圖像是通過捕捉物體所反射的光而產(chǎn)生的。光可以包括 IR光、可見光、紫外光或任何其他形式的電磁輻射。因此，可以不需要IR 照明器102。其他光源可以用來替代IR照明器。在一種替代的實(shí)現(xiàn)方式中， 可以不需要光源。作為替代，系統(tǒng)IOO可以僅僅依靠所反射的周圍的光。此 外，照相機(jī)108不需要設(shè)置在表面104的后面。例如，照相機(jī)108可以設(shè)置 在系統(tǒng)100中的認(rèn)為有利的其他任何位置。另外，系統(tǒng)100不需要被實(shí)現(xiàn)為 有利于人機(jī)交互。作為替代，在某一實(shí)現(xiàn)方式中，系統(tǒng)100可以用來檢測照 相機(jī)108所捕捉的圖像中的物體。在這種實(shí)現(xiàn)方式中，可以不需要表面104。
總的來說，在檢測和識別圖像中作為手指的物體的過程中會(huì)涉及很多處 理操作。例如，系統(tǒng)100首先經(jīng)過訓(xùn)練，以識別作為手指的物體。該訓(xùn)練階 段可以涉及捕捉以 一個(gè)或多個(gè)取向定位的 一個(gè)或多個(gè)手指的一組訓(xùn)練圖像， 以及建立該組訓(xùn)練圖像的模型。在識別階段，系統(tǒng)100可以捕捉圖像，從捕 捉的圖像中抽取物體，并將所抽取的物體與在訓(xùn)練階段生成的 一組訓(xùn)練圖像 的模型比較，從而確定所抽取的物體是否是手指。以下將更加詳細(xì)地描述在 檢測和識別圖像中的作為手指的物體的過程中可能涉及的處理。
圖像中感興趣的區(qū)域(ROI) 116可以定義為包括表面104的圖像的一 部分?？梢詫D像的ROI 116進(jìn)行檢查以檢測和識別一個(gè)或多個(gè)手指114。 照相機(jī)108捕捉的圖像可以包括由IR照明器102產(chǎn)生并被R01 116中的一 個(gè)或多個(gè)手指反射的IR映像，或者所述IR可被ROI 116中的一個(gè)或多個(gè)其 他物體反射。例如，表面104可以反射IR。
為了說明表面104或ROI 116中的其他物體始終反射的IR,可以創(chuàng)建表 面104或R01116中的其他物體始終反射的IR的背景模型(BGM)，并從照 相機(jī)108捕捉的每一圖像中減去該背景模型。從照相機(jī)108捕捉的每一圖像 中減去BGM可以有效排除或至少減少從所捕捉的圖像中處理得到的由于背 景物體造成的IR。因此，從每一圖像中減去BGM可以提高ROI 116中感興 趣的物體與表面104及/或ROI 116中一直存在的其他物體之間的對比度。
BGM的創(chuàng)建可以通過捕捉若干沒有出現(xiàn)感興趣物體的ROI 116的圖像，
ii然后逐像素地對捕捉的圖像進(jìn)行平均化，從而建立新的平均的圖像或BGM。 這樣，可以從照相機(jī)108捕捉的每一圖像中減去BGM。該處理可以通過以 下方程式來描述
、否則 (1)
其中，I是圖像，B是BGM， s是可調(diào)節(jié)閾值(例如，可調(diào)節(jié)常數(shù))，J 是得到的圖像。BGM可以例如隨機(jī)地、周期地或根據(jù)觸發(fā)事件的發(fā)生而更 新。
參照圖2 (a)、 2 (b)和3，其中示出用于檢測圖像中是否存在物體和 初始確定該物體是否是感興趣的物體的處理的示例。
具體而言，圖2 (a)示出示樣圖像200 (a)中的兩個(gè)物體202 (a)、 204 (a)。如圖2 (a)所示，物體202 ( a )和204 U )被示為比背景206 (a) 更暗。但是，在由兩個(gè)物體202 (a)、 204 (a)反射的光形成的圖像200 (a) 中，兩個(gè)物體202 (a)、 204 (a)有可能比背景206 (a)更亮。因此，可以 理解，圖2 (a)中的圖像200 (a)僅僅是圖像200 (a)中的兩個(gè)物體202 (a)、 204 (a)的示例，圖像200 (a)并不意圖表示圖像中的物體會(huì)比圖像 的背景更暗。
為了從圖像200 (a)中抽取物體202 (a)、 204 (a)，可以采用斑點(diǎn)分 才斤(blob-analysis )算;去，1"列長口 Grassfire算;去。在侈'B口文南史Pitas I.， Digital Image Processing Algorithms, Prentice-Hall, New York ( 1993 )中描述了 Grassfire算 法。也可以使用用于檢測圖像中是否存在物體并從圖像中抽取該物體的其他 算法。
Grassfire算法可以在圖像中搜索物體并用共同的標(biāo)記表示其所檢測到的 每一物體中的每一像素。具體而言，在物體比背景更亮的、通過物體反射光 形成的圖像中，Grassfire算法可以確定圖像中最亮的像素。例如，圖像可以 是灰度圖像，每個(gè)像素具有256個(gè)可能的值。也就是說，每個(gè)像素可以被分 配0- 255中的一個(gè)值，其中零表示可能的亮度最小的像素(例如，完全黑 的)，而255表示可能的最亮的像素(例如，完全白的)。圖像中的最亮的像 素可以具有值220。 Grassfire算法可以將圖像中的每個(gè)像素與相對于圖像中 最亮像素的可調(diào)闊值常數(shù)比較，從而確定該像素是否對應(yīng)于物體。例如，可 調(diào)閾值可以為50。因此，Grassfire算法可以將圖像中比最亮像素暗50級以內(nèi)的所有像素視為表示一個(gè)物體。也就是說，具有可接受范圍170-220內(nèi) 的值的所有像素可以視為表示一個(gè)物體。這樣，Grassfire算法可以將落入所 述可接受范圍內(nèi)的任何一組相鄰像素視為構(gòu)成一個(gè)物體。
Grassfire算法可以產(chǎn)生被稱為陰影矩陣的矩陣，其大小與原始圖像相同。 陰影矩陣中對應(yīng)于被標(biāo)識為表示原始圖像中的一個(gè)物體的像素的元素可以 用共同的標(biāo)記標(biāo)識。圖2 (b)示出對應(yīng)于圖2(a)中所示示樣圖像200 (a) 的陰影矩陣200 (b)。示樣圖像200 U)中的物體202 (a)用陰影矩陣200 (b)中的物體202 (b)表示，物體202 (b)的每個(gè)元素用共同的標(biāo)記"l" 標(biāo)識。類似地，示樣圖像200 (a)中的物體204 (a)用陰影矩陣200 (b) 中的物體204 (b)表示，并且物體204 (b)的每個(gè)元素用共同的標(biāo)記"2"標(biāo) 識。如圖2 (b)所示，Grassfire算法可以有效地從示樣圖像200 (a)中抽 耳又物體202 ( a)和204 ( a )。
再次參照圖1,理想情況下，如果手指114觸摸表面104或在表面104 附近移動(dòng)，則手指114會(huì)在圖像中產(chǎn)生最亮物體。然而，觸摸表面104或在 表面104附近移動(dòng)的手指114并不總是產(chǎn)生圖像中最亮的物體。例如，當(dāng)用 戶用其手指114觸摸表面104時(shí)，用戶的手掌118可能反射足夠多的IR輻 射，從而在圖像中表現(xiàn)為一個(gè)亮的物體。例如長袖之類的其他物體也會(huì)反射 足夠多的IR輻射從而在圖像中表現(xiàn)為亮的物體。 一些物體會(huì)比用戶的手指 114反射更多的IR輻射，從而在圖像中表現(xiàn)為比用戶手指114更亮的物體。
因此，在一種實(shí)現(xiàn)方式中，可從圖像中抽取到圖像中的若干物體，并非 僅僅是最亮物體。但是，處理圖像中的很多物體以進(jìn)行識別會(huì)需要很強(qiáng)的處 理能力，并且會(huì)很費(fèi)時(shí)。因此，會(huì)采取一些技術(shù)來減少所抽取的用于識別的 物體的數(shù)量。所抽取的物體可能表現(xiàn)出一些特征，表示它不可能是手指并因 此可以被放棄。用于挑選所抽取的物體的一種標(biāo)準(zhǔn)是尺寸。例如，所抽取的 物體可能太大而不會(huì)是手指。類似地，所抽取的物體可能太小而不會(huì)是手指。
圖3是示圖301,示出用于確定從圖像中抽取的物體300是否太大而不 會(huì)是手指的處理的一個(gè)示例。可以在所抽取物體300中心302周圍的四個(gè)采 樣區(qū)304、 306、 308、 310中釆樣一個(gè)或多個(gè)像素。所抽取物體300的中心 302與采樣區(qū)304、 306、 308、 310之間的距離可以是例如可調(diào)常數(shù)。如圖3 所示，所抽取物體300的中心302周圍的兩個(gè)采樣區(qū)304、 308可以位于經(jīng) 過所抽耳又物體300的中心302的垂直線312上。類似地，所抽取物體300的
13中心302周圍的兩個(gè)采樣區(qū)306、 310可以位于經(jīng)過所抽耳又物體的中心302 的水平線上。
由于手指114的圖像有時(shí)會(huì)包括一尾部(例如參見圖5)，采樣區(qū)304、 306、 308、 310可以成對考慮。例如，位于經(jīng)過所抽耳又物體300的中心302 的水平線上的兩個(gè)采樣區(qū)306、 310可以作為第一對進(jìn)行考慮。類似地，位 于經(jīng)過所抽取物體300的中心的垂直線312上的兩個(gè)釆樣區(qū)304、 308可以 作為第二對進(jìn)行考慮。
如果第一對采樣區(qū)306、 310中的像素值總和超出可接受閾值水平，則 可以確定采樣區(qū)306、 310是所抽取物體300的一部分。如果第一對采樣區(qū) 306、 310中的像素值總和超出可接受閾值水平，則可以將第二對采樣區(qū)304、 308中的像素值總和與可接受閾值水平比較。
如果第二對采樣區(qū)304、 308中的像素值總和超出可接受閾值水平，可 以確定釆樣區(qū)304、308是所抽取物體300的一部分。如果第一對采樣區(qū)306、 310中的像素值總和超出可接受閾值水平并且第二對采樣區(qū)304、308中的像 素值總和超出可接受閣值水平，則可以確定所述物體太大而不會(huì)是手指，從 而可以i文棄該物體。
類似地，從圖像中抽取的物體可能太小而不會(huì)是手指。可以對表示每個(gè) 被抽取物體的像素的數(shù)量計(jì)數(shù)。如果表示一個(gè)物體的像素?cái)?shù)量小于閾值常 數(shù)，則該物體可以確定為噪聲或其他一些物體，從而可以放棄該物體。
識別圖像中作為手指的物體可能涉及訓(xùn)練階段和識別階段。在訓(xùn)練階 段，可以通過使系統(tǒng)100接觸一大組要識別的物體的訓(xùn)練圖像，以訓(xùn)練系統(tǒng) 100識別物體。所述一組訓(xùn)練圖像可以包括各種不同取向的被識別物體的圖 像。在識別階段，系統(tǒng)100可以檢測圖像中的物體，并將該物體與所述一組 訓(xùn)練圖像比較，或與所述一組訓(xùn)練圖像的模型比較，從而確定該物體是否是 所要識別的物體。
在一種實(shí)現(xiàn)方式中，在訓(xùn)練階段，捕捉各種不同取向的一個(gè)或多個(gè)手指 的大量圖像。確定所述一組訓(xùn)練圖像的協(xié)方差矩陣，并使用協(xié)方差矩陣的選 定的一組特征向量來定義特征空間。可以選擇任意數(shù)量的特征向量來定義特 征空間。特征空間的維數(shù)由被選來定義特征空間的特征向量的數(shù)量決定。例 如，三維特征空間通過選擇三個(gè)特征向量來定義，所述三個(gè)特征向量例如為 對應(yīng)于三個(gè)最大特征值的特征向量。來自所述一組訓(xùn)練圖像的每個(gè)訓(xùn)練圖像被投影到三維特征空間中，在該特征空間中生成三維點(diǎn)的集合。特征空間中 三維點(diǎn)的集合利用能夠用多項(xiàng)式解析表達(dá)的三維集合模型(例如，二次表面
或線)來建模。例如，所述一組訓(xùn)練圖像的投影可以形成雙曲面形或圓錐形 表面。另外或者作為替代，所述一組訓(xùn)練圖像的投影可以在特征空間中形成 線形幾何形式。在三維空間中，雙曲面、圓錐和線可以用多項(xiàng)式解析表達(dá)。 因此，幾何形式(也稱為幾何模型)可以用來在特征空間中對這樣的一組訓(xùn) 練圖像進(jìn)行建模。
在該實(shí)現(xiàn)方式的識別階段，從圖像中抽取的物體被投影到訓(xùn)練階段定義 的特征空間中。特征空間中標(biāo)識對應(yīng)于被投影圖像的三維點(diǎn)的三坐標(biāo)被代入 在特征空間中定義所述一組訓(xùn)練圖像的模型的多項(xiàng)式中，從而確定特征空間 中被投影圖像與模型之間的距離。如果被投影物體位于例如所述模型的界定 距離之內(nèi)，則被投影物體可以確定為手指。
現(xiàn)參照圖5 _ 20更詳細(xì)地描述訓(xùn)練和識別階段的實(shí)現(xiàn)方式。 圖4 (a)是一處理流程圖，示出了用于訓(xùn)練系統(tǒng)100識別圖像中作為手 指的物體的示例性處理400。處理400從創(chuàng)建被表面104或ROI 116中的其 他物體始終反射的IR的BGM (操作402 )開始。然后通過照相機(jī)108捕捉 各種不同取向的手指114的大量輸入圖像(操作404)。然后，從每個(gè)輸入圖 像減去BGM (操作406 )。然后，每個(gè)圖像的表示手指114的部分被從圖像 中抽取出來，并轉(zhuǎn)換成標(biāo)準(zhǔn)的nxn圖像尺寸(操作408 )。每個(gè)圖像中表示 手指114的部分可以利用斑點(diǎn)分析算法，如Grassfire算法來抽取，或者每個(gè) 圖像中表示手指114的部分可以根據(jù)圖像的視覺表現(xiàn)手動(dòng)抽取。所抽取的圖 像中表示手指的部分可以包括大量像素。為了降低處理圖像中表示手指的該 部分所需的計(jì)算能力，可能希望減少用來表示手指的像素的數(shù)量。因此，所 抽取的圖像中表示手指的部分的分辨率可以降低。例如，原始圖像中表示手 指的部分可以是64x64像素的。在圖像中表示手指的該64x64的部分從圖像 中被抽取之后，所抽取的手指的分辨率可以降低至該手指用16x16的圖像表 示。
圖5示出手指502的示例性的nxn圖像500。
然后定義一組nxn訓(xùn)練圖像的特征空間(操作410 )。圖4 ( b )中更詳 細(xì)地示出了操作410。首先，確定所述一組訓(xùn)練圖像的協(xié)方差矩陣C (操作 410(a))。如果整形之后的nxn圖像I(,)用向量V(m)表示，其中m-n2,則所述一組t個(gè)訓(xùn)練圖像",12,...，It}的協(xié)方差矩陣C可以定義為 C=GTG ( 2 )
其中G是具有元素Gu= ( Vi，j卞i)的txm的矩陣，其中Vj，j是向量V,的 第j個(gè)元素，Vi是所述訓(xùn)練組的整形之后的圖像Ii的向量，m是向量Vi的中 值。因此，協(xié)方差矩陣C是mxm矩陣。然后，可以確定協(xié)方差矩陣的特征 值和特征向量(操作410 (b))。協(xié)方差矩陣的特征值和特征向量可以通過解 以下方程而獲得
A = OrCC) ( 3 )
其中A是協(xié)方差矩陣C的一組特征值，O是協(xié)方差矩陣C的一組特征向 量。美國專利No.5710833中描述這種處理。mxm的協(xié)方差矩陣可以具有m 個(gè)特征值和m個(gè)特征向量，每個(gè)特征向量對應(yīng)于一個(gè)特征值。因此，用于一 組16x16的訓(xùn)練圖像的256x256的協(xié)方差矩陣會(huì)具有256個(gè)特征值和256個(gè) 對應(yīng)的特征向量。另外，每個(gè)特征向量會(huì)是長度256的列向量。
協(xié)方差矩陣C的所有特征向量彼此垂直。因此，通過選擇協(xié)方差矩陣C 的一組特征向量并利用每個(gè)所選擇的特征向量定義空間中的一個(gè)方向(即， 維度)，可以定義一組訓(xùn)練圖像的特征空間(操作410(c))。對應(yīng)于協(xié)方差 矩陣C的最大特征值的特征向量指示所述一組圖像表現(xiàn)出最大變化的方向。 因此，所述一組訓(xùn)練圖像中包含的數(shù)據(jù)的大部分可以通過選擇協(xié)方差矩陣C 的對應(yīng)于若干最大特征向量的一組特征向量來表征。在一種實(shí)現(xiàn)方式中，協(xié) 方差矩陣C的對應(yīng)于三個(gè)最大特征值的特征向量被選擇用于定義三維特征 空間。
在定義了特征空間之后，將來自所述一組訓(xùn)練圖像的每個(gè)訓(xùn)練圖像投影 到特征空間中(操作410(d))。每個(gè)nxn的圖像I(^,被轉(zhuǎn)換成向量V(m,， 其中m-n2。例如，如果圖像I,nxn)是16x16的圖像，則向量V(m,是長度為 256 (m = n2= 16x16 = 256)的行向量。特征空間可由一個(gè)mxq的矩陣來定 義，其中，q是被選擇用來定義特征空間的特征向量的數(shù)量，矩陣的q列中 的每一個(gè)表示被選來定義特征空間的特征向量中的一個(gè)。然后向量V(w可 以乘以定義特征空間的mxq矩陣，得到一個(gè)lxq的矩陣或行向量，其中該 行向量的每個(gè)元素標(biāo)識特征空間中的一個(gè)對應(yīng)坐標(biāo)。例如，16x16的圖j象I U6M6)可以用256X1的列向量V,256x"表示。如果所述一組訓(xùn)練圖像的特征 空間用三個(gè)特征向量定義，則圖像向量V(256x,)的轉(zhuǎn)置可以乘以定義特征空間的256x3的矩陣，以得到定義被投影圖像在所述三維特征空間中的三坐標(biāo) 的1x3的行向量。
這樣，圖像在特征空間中的投影可以有效減少圖像的維數(shù)。圖像在特征 空間中的投影是有著與特征空間的維數(shù)相同多的坐標(biāo)的單個(gè)點(diǎn)。例如，圖像 在三維特征空間中的投影是一個(gè)三維點(diǎn)(即，該點(diǎn)由三個(gè)坐標(biāo)定義)。因此，
當(dāng)nxn的圖像投影到三維特征空間中時(shí)，圖像從由n2個(gè)像素定義轉(zhuǎn)變?yōu)橛扇?個(gè)坐標(biāo)標(biāo)識的單個(gè)點(diǎn)。
圖6示出用于各種取向的一個(gè)或多個(gè)手指的所述一組訓(xùn)練圖像的三維特 征空間600的示例。所述一組訓(xùn)練圖像中的每一圖像的投影用特征空間600 中的一個(gè)三維點(diǎn)表示。因此，如圖6所示，將所述一組訓(xùn)練圖像投影到特征 空間600中可以在特4正空間600中生成訓(xùn)練點(diǎn)云團(tuán)602。該片訓(xùn)練點(diǎn)602可 以表現(xiàn)出可識別的幾何形狀。例如，圖6中的訓(xùn)練點(diǎn)云團(tuán)602表現(xiàn)出雙曲面 形或圓錐形形狀。
所述訓(xùn)練點(diǎn)云團(tuán)602的形狀可以是手指的特定特征的函數(shù)。 當(dāng)手指114垂至于表面104時(shí)，手指114可以在照相機(jī)108捕捉的圖像 中表現(xiàn)為基本上圓形的物體。即使用戶旋轉(zhuǎn)他/她的手，手指114可以在照相 機(jī)108捕捉的圖像中繼續(xù)表現(xiàn)為基本上圓形的物體，只要手指114保持垂至 于表面104。換句話說，如果手指114保持垂至于表面104,則即使手發(fā)生 旋轉(zhuǎn)，手指114在照相機(jī)108捕捉的一系列圖像中的形狀也可僅有略微變化。 無論相對于照相機(jī)108手指114指在表面104上的什么位置上，都可以保持 僅有略微變化。
然而，如果用戶的手指114不垂至于表面104，手指114在照相機(jī)108 捕捉的圖像中會(huì)表現(xiàn)為帶有尾部的亮點(diǎn)。尾部可以是被手指114的主體反射 的IR。因此，如果手發(fā)生旋轉(zhuǎn)，則尾部的角度旋轉(zhuǎn)。
圖7 (a)和7 (b)是說明性的。圖7 (a)是帶有尾部702 (a)的手指 114的nxn圖像700 ( a )。在圖7 (a)中，尾部702 (a)朝向圖像700 (a) 的左上角。圖7 (b)是帶有尾部702 (b)的同一手指114的n^n圖像。在 圖7 (b)中，尾部702 (b)朝向圖像700 (b)的右上角。尾部702 (a)、 702 (b)的不同取向可以解釋為在兩個(gè)圖像700 (a)、 700 (b)中手指114 相對于照相機(jī)108的方向不同。圖像700 (a)中的手指114和圖像700 (b) 中的手指114與表面104形成相同的非垂直角度。但是，圖像700 (b)中的
17手指相對于圖像700 ( a)中的手指114的位置發(fā)生了旋轉(zhuǎn)，使得圖像700 ( a ) 中的手指114和圖像700(b)中的手指114相對于垂直于表面104的表面(未 示出)具有形成不同角度。
由于兩個(gè)圖像700 (a)、 700 (b)不同的事實(shí)，它們可由特征空間600 中的訓(xùn)練點(diǎn)云團(tuán)602中的不同點(diǎn)來表示。但是，因?yàn)閷D像投影到特征空間 600的處理是線性處理，所以帶有長度基本上相同但旋轉(zhuǎn)角度不同的尾部的 捕捉手指114的一組圖像的投影可以在特征空間600中得到排列成基本上圓 形圖形(未示出)的一組點(diǎn)。因此，盡管兩個(gè)圖像700 (a)、 700 (b)在特 征空間600中的訓(xùn)練點(diǎn)云團(tuán)602中會(huì)以不同的點(diǎn)表示，^f旦是它們在特征空間 中會(huì)沿基本上圓形的圖形排列。
圖像中手指的尾部的長度也會(huì)影響圖像在特征空間600中的投影位置。 如以上就圖7 (a)和7 (b)所示，尾部長度基本上相同但旋轉(zhuǎn)角度不同的 手指的圖像的投影在特征空間600中會(huì)排列成基本上圓形的圖形。相比于尾 部同樣長但旋轉(zhuǎn)角度不同的手指114的一組圖像的投影，尾部同樣短但旋轉(zhuǎn) 角度不同的手指114的一組圖像的投影可以排列成具有相對較小半徑的基本 上圓形的圖形。
圖6、 8 (a)、 8 (b)、 9 (a)和9 (b)是說明性的。圖6中形成訓(xùn)練點(diǎn) 云團(tuán)602的頂點(diǎn)604的訓(xùn)練點(diǎn)可以與其中手指114表現(xiàn)為尾部很小或沒有的 基本上圓形形狀的訓(xùn)練圖像相關(guān)聯(lián)。相反，圖6中形成訓(xùn)練點(diǎn)云團(tuán)602的基 部606的訓(xùn)練點(diǎn)可以與其中手指114跟有一較長尾部的訓(xùn)練圖像相關(guān)聯(lián)。
圖8 (a)示出手指114的訓(xùn)練圖像800 (a)，其具有由于手指114與表 面104之間的相對較小的角度引起的相對較長的尾部802 (a)。圖8 (b)示 出手指114的訓(xùn)練圖像800 (b)，其具有由于手指114與表面104之間的較 大的角度而引起的相對較短的尾部802 (b)。
圖9 (a)和9 (b)示出兩個(gè)圖像800 (a)、 800 (b)在三維特征空間 600中的投影800 (a) ，、 800 (b)，。如圖9 (a)所示，具有較長尾部802 (a)的手指114的圖像800 (a)投影到所述訓(xùn)練點(diǎn)云團(tuán)602的基部附近的 點(diǎn)800 (a)，，因?yàn)槠渚哂邢鄬^長的尾部802 ( a)。相反，具有較短尾部 802 (b)的手指114的圖像800 (b)被投影到所述訓(xùn)練點(diǎn)云團(tuán)602的頂點(diǎn) 604附近的點(diǎn)800 (b),上，因?yàn)槠渚哂邢鄬^短的尾部802 ( b )。
圖9(b)示出從所述訓(xùn)練點(diǎn)云團(tuán)602隔離出來的兩個(gè)圖像800 (a)、 800(b)在三維特征空間600中的投影800 (a) ，、 800 (b)，。如圖9 (b)所 示，投影800 (a)，與表現(xiàn)出同樣的相對較長尾部但是旋轉(zhuǎn)角度不同的手指 圖像的投影一起排列成基本上圓形的圖形902。類似地，投影800 (b)，與 表現(xiàn)出同樣的相對較短尾部但是旋轉(zhuǎn)角度不同的手指圖像的投影 一起排列 成基本上圓形的圖形904。
所述訓(xùn)練點(diǎn)云團(tuán)602可以表現(xiàn)出可識別的幾何形狀，因此訓(xùn)練點(diǎn)云團(tuán) 602可被修改以由能夠用多項(xiàng)式解析表達(dá)的幾何模型建模。為了方便用幾何 模型擬合訓(xùn)練點(diǎn)云團(tuán)602,可以對每個(gè)訓(xùn)練點(diǎn)應(yīng)用被稱為"轉(zhuǎn)移至中心(TTC, Transfer-to-Centre )，，的4支術(shù)(操作412)。在例如文獻(xiàn)Shamaie A. et. al" "International Journal of Scientia I服ica"， 6 ( 1 ), ( 1999 )中描述了 TTC技 術(shù)。TTC技術(shù)將數(shù)據(jù)組轉(zhuǎn)移至特征空間的中心。換句話說，數(shù)據(jù)組的中心被 移到特征空間的原點(diǎn)。
在對一組訓(xùn)練點(diǎn)應(yīng)用TTC技術(shù)之后，用模型擬合訓(xùn)練點(diǎn)云團(tuán)602 (操作
414)。三維二次表面的通用方程式為
F ^ =ax2+6_y2+cz2+(ix_y+exz"l^z+gz+/z_y+/z+l ( 4 )
如果訓(xùn)練點(diǎn)云團(tuán)602定義了一個(gè)理想的二次表面，則可以對云團(tuán)602中
的每個(gè)點(diǎn)成立以下方程式
F 6cj，zX) (5)
其中xj;和z是訓(xùn)練點(diǎn)云團(tuán)602中的每個(gè)點(diǎn)的坐標(biāo)。方程式4中的未知
參數(shù)為^= U力,c乂e,/g力，/)。為了將訓(xùn)練點(diǎn)云團(tuán)602擬合為二次表面，確定
方程式4中的未知參數(shù)的值，使得對于訓(xùn)練點(diǎn)云團(tuán)602中的一組點(diǎn)，誤差函
數(shù)被最小化。誤差函數(shù)由以下方程式定義
J]F2(x,y,z) (6)
其中TS是所述一組被投影訓(xùn)練點(diǎn)。誤差函數(shù)可以展開為
19<formula>formula see original document page 20</formula>
誤差函數(shù)可以利用準(zhǔn)牛頓(quasi-Newtonian)方法最小化。但是，線性 優(yōu)化方法，如準(zhǔn)牛頓方法，可能停留在局部的最小值，原因是誤差函數(shù)是二 次的。但是，在最小化誤差函數(shù)之前對所述一組訓(xùn)練點(diǎn)應(yīng)用TTC技術(shù)可以 減少準(zhǔn)牛頓最小化方法停留在局部最小值的風(fēng)險(xiǎn)。因此，如果在利用準(zhǔn)牛頓 方法最小化誤差函數(shù)之前對所述一組訓(xùn)練點(diǎn)應(yīng)用TTC技術(shù)，誤差函數(shù)可以 更快地收斂。最小化誤差函數(shù)產(chǎn)生所述一組未知參數(shù)T的值。通過最小化誤 差函數(shù)確定的^的值被代入方程式4以定義訓(xùn)練點(diǎn)云團(tuán)602的模型。
圖10 (a)示出與訓(xùn)練點(diǎn)云團(tuán)602的示例性模型(空心圓)重疊的訓(xùn)練 點(diǎn)(黑色點(diǎn))云團(tuán)602。圖10 (b)是圖10 (a)的彩色版。模型1000可以 通過將由最小化誤差函數(shù)確定的一組參數(shù)^的值代入方程式4而定義得到。 如圖10 (a)和10 (b)所示，該^t型具有第一表面1002和第二表面1004， 兩個(gè)表面都表現(xiàn)為雙曲面形形狀，分別具有頂點(diǎn)1002 (a)和1004 (a),兩 頂點(diǎn)彼此面對，同時(shí)兩個(gè)表面位于同一軸(未示出)上。在一種實(shí)現(xiàn)方式中， 僅第一表面1002被用來對訓(xùn)練點(diǎn)云團(tuán)602建模。如圖10 (a) -10 (b)所 示，訓(xùn)練點(diǎn)云團(tuán)602并不完全覆蓋第一表面1002，而且根本不覆蓋第二表面 1004。
圖11 (a)是用于對特征空間600中的訓(xùn)練點(diǎn)云團(tuán)602建模的模型1000 的第一表面1002的圖示。圖11 (a) - (c)沒有包括第二表面1004。圖11 (b)示出與模型(空心圓)IOOO的第一表面1002重疊的訓(xùn)練點(diǎn)(黑色點(diǎn)) 云團(tuán)602。圖11 (c)是圖11 (b)的彩色版。
圖12是流程圖，示出利用通過處理400訓(xùn)練的系統(tǒng)識別圖像中作為手指的物體的示例性處理1200。處理1200從創(chuàng)建被表面104或ROI 116中的 其他物體始終反射的IR的BGM開始(搡作1202 )。然后用照相機(jī)108捕捉 表面104及其附近的輸入圖像(操作1204),并從該輸入圖像中減去BGM (操作1206 )。
如以上就圖2 (a)和2 (b)詳細(xì)描述的，斑點(diǎn)分析算法，如Grassfire 算法，被用來從輸入圖像中抽取物體(操作1208 )。如以上就圖3詳細(xì)描述 的，從輸入圖像抽取的每個(gè)物體被處理，以標(biāo)識和放棄那些要么太大要么太 小而不會(huì)是手指的物體(操作1210)。剩余的物體經(jīng)排序而形成按總面積的 降序排列的列表(操作1212)。
然后，列表中的第一物體被轉(zhuǎn)換成nxn的圖像，并且改變大小之后的nxn 圖像^y殳影到一組訓(xùn)練數(shù)據(jù)的特征空間600中，以獲得圖像點(diǎn)(操作1214)。 模仿在訓(xùn)練階段400對訓(xùn)練點(diǎn)云團(tuán)602中的點(diǎn)應(yīng)用TTC技術(shù)，對圖像點(diǎn)應(yīng)用 TTC技術(shù)(操作1216)?？梢栽诓僮?216中使用與操作412中所用相同的 TTC 4爭才吳丫直。
利用圖像點(diǎn)的坐標(biāo)計(jì)算定義訓(xùn)練點(diǎn)云團(tuán)602的模型1000的二次多項(xiàng)式 的值(操作1218)。如果圖像點(diǎn)位于模型1000中，則圖像點(diǎn)的坐標(biāo)代入多項(xiàng) 式會(huì)得到零值。相反，如果圖像點(diǎn)不位于模型1000中，將圖像點(diǎn)的坐標(biāo)代 入多項(xiàng)式中會(huì)得到非零的實(shí)數(shù)。通過將圖像點(diǎn)的坐標(biāo)代入多項(xiàng)式而得到的值 表示圖像點(diǎn)與模型IOOO之間的距離。
對應(yīng)于特征空間600中靠近模型1000的圖像點(diǎn)的圖像會(huì)表現(xiàn)出與包括 所述一組訓(xùn)練點(diǎn)的圖像相似的特征。因此，圖像點(diǎn)越靠近模型1000，則對應(yīng) 于圖像點(diǎn)的圖像越可能是手指。所以，對應(yīng)于被發(fā)現(xiàn)位于模型1000上的圖 像點(diǎn)或落入模型1000的最大閾值距離之內(nèi)的圖像點(diǎn)的圖像可被確定是手指。
因此，計(jì)算通過將圖像點(diǎn)的坐標(biāo)代入二次多項(xiàng)式而得到的值，以確定其 是否小于所限定的閾值距離(操作1220)。如果通過將圖像點(diǎn)的坐標(biāo)代入二 次多項(xiàng)式而得到的值小于該閾值距離，則對應(yīng)于該圖像點(diǎn)的物體被視為手指 (操作1222)。如果通過將圖象點(diǎn)的坐標(biāo)代入二次多項(xiàng)式而得到的值大于最 大閾值距離，則對應(yīng)于該圖像點(diǎn)的圖像被放棄，并前進(jìn)到操作1214以處理 列表中的下一個(gè)物體(操作1224)。
通過將物體投影到特征空間而減小圖像中捕捉的物體的維數(shù)使得可以 在不用比較所捕捉圖像的每個(gè)像素與模型的每個(gè)像素的情況下將物體與訓(xùn)練物體的圖像的模型比較。從而，可以節(jié)省處理能力和資源以及/或者提高比 較速度。
現(xiàn)在參照圖13 - 19描述訓(xùn)練和識別階段的其他實(shí)現(xiàn)方式。
圖13是流程圖，示出訓(xùn)練手指識別和跟蹤系統(tǒng)100識別作為手指的物 體的處理1300的示例。處理1300包括對各個(gè)訓(xùn)練圖像應(yīng)用直方圖均ff化 (histogram equalization ) 4支術(shù)的才喿4乍。
處理1300從創(chuàng)建被表面104或ROI 116中的其他物體始終反射的IR的 BGM開始(操作1302)。利用照相機(jī)108捕捉各種不同取向的一個(gè)或多個(gè)手 指的大量輸入圖像(操作1304)，并從每個(gè)輸入圖像中減去BGM(操作1306)。 圖像中表示手指的部分被從圖像中抽取出來并轉(zhuǎn)換成標(biāo)準(zhǔn)的nxn的圖像尺 寸(操作1308 )。對每個(gè)nxn圖像應(yīng)用直方圖均衡化技術(shù)(操作1310)。
直方圖均衡化技術(shù)被應(yīng)用于nxn的圖像，以解決照明條件變化的問題。 對nxn圖像應(yīng)用直方圖均衡化技術(shù)涉及生成nxn圖像中像素光強(qiáng)的直方圖， 對nxn圖像的直方圖進(jìn)行歸 一化以及基于歸 一化的圖像直方圖對nxn圖像中 的像素重新賦值。因此，個(gè)體的像素保持了它們的亮度序位(例如，它們保 持比其他像素更亮或更暗)。
創(chuàng)建對應(yīng)于所述一組nxn的手指訓(xùn)練圖像的特征空間，并將每個(gè)訓(xùn)練圖 像投影到特征空間中(操作1312)。
如圖14所示，被投影的訓(xùn)練圖像在特征空間1400中形成訓(xùn)練點(diǎn)云團(tuán) 1402。對訓(xùn)練點(diǎn)云團(tuán)1402應(yīng)用TTC技術(shù)，以便將訓(xùn)練點(diǎn)云團(tuán)1402的中心 轉(zhuǎn)移到特征空間1400的原點(diǎn)(操作1314)。圖14所示訓(xùn)練點(diǎn)云團(tuán)1402的形 狀表現(xiàn)為不同于圖6所示訓(xùn)練點(diǎn)云團(tuán)602的形狀。具體而言，圖14所示訓(xùn) 練點(diǎn)云團(tuán)1402在圓錐形形狀1404的頂點(diǎn)1408處帶有一尾部1406。兩個(gè)訓(xùn) 練點(diǎn)云團(tuán)1402、 602在形狀上的差異可以歸因于對訓(xùn)練點(diǎn)圖^^且應(yīng)用了直方 圖均衡化技術(shù)(操作1310)，因?yàn)橹狈綀D均衡化技術(shù)減小了由于照明條件變 化造成的所述一組訓(xùn)練圖像中的變化。因此，當(dāng)訓(xùn)練圖像被投影到特征空間 1400中時(shí)，獲得更為統(tǒng)一的形狀。圖6中的訓(xùn)練點(diǎn)云團(tuán)602的形狀反映了訓(xùn) 練圖像組中照明條件的變化以及手指形狀和取向的變化。相反，圖14所示 訓(xùn)練點(diǎn)云團(tuán)1402的形狀主要反應(yīng)的是訓(xùn)練圖像組中手指形狀和取向的變化。
處理1300包括用一個(gè)或多個(gè)模型擬合轉(zhuǎn)移之后的訓(xùn)練點(diǎn)云團(tuán)1402 (操 作1316)。為了對訓(xùn)練點(diǎn)云團(tuán)1402建模，形成圓錐形形狀1404的訓(xùn)練點(diǎn)子組和形成尾部1406的訓(xùn)練點(diǎn)子組被分開考慮。圖15示出形成沒有尾部1406 的圓錐形形狀1404的訓(xùn)練點(diǎn)子組。圖16示出沒有圓錐形形狀1404的形成 尾部1406的訓(xùn)練點(diǎn)子組。
可以為形成圓錐形形狀1404的訓(xùn)練點(diǎn)子組創(chuàng)建一^t型，并為形成尾部 1406的訓(xùn)練點(diǎn)子組創(chuàng)建第二模型。如上所述，方程式4給出了三維二次表面 的通用公式。因此，通過首先確定方程式4中的未知參數(shù)^，可以確定形成 圓錐形形狀1404的一組訓(xùn)練點(diǎn)的模型，所述參數(shù)使方程式7相對于形成圓 錐形形狀1404的訓(xùn)練點(diǎn)子組中的一組點(diǎn)的誤差函數(shù)被最小化。通過最小化 誤差函數(shù)確定的^的值被插入方程式4中以定義訓(xùn)練點(diǎn)云團(tuán)1402的模型。
或者，可以用垂直圓錐來對形成圓錐形形狀1404的訓(xùn)練圖像的子組進(jìn) 行建模。如圖15所示，圓錐形訓(xùn)練點(diǎn)云團(tuán)1404表現(xiàn)出沿垂直軸1500的最 大變化量，所述垂直軸1500表示特征空間1400的第一主分量。換句話:沈， 圓錐形云團(tuán)1404的高度維度平行于特征空間1400的第一主分量。所觀察到 的圓錐形訓(xùn)練點(diǎn)云團(tuán)1404沿特征空間1400的第一主分量方向表現(xiàn)出最大變 化量的情況與對應(yīng)于第一主分量的協(xié)方差矩陣的特征向量代表一組訓(xùn)練圖 像顯示出最大變化的方向的事實(shí)相符。因此，可以使用垂直圓錐來對形成圓 錐形形狀1404的訓(xùn)練點(diǎn)子組進(jìn)行建模。 一般垂直圓錐用以下方程式描述
其中x和y表示特征空間1400的水平軸1502、 1504，z表示垂直軸1500。 方程式8中的未知參數(shù)為Q- (a》，c，《e/)。為了用垂直圓錐擬合形成圓錐形 形狀1404的訓(xùn)練圖像的子組，確定使方程式8相對于形成圓錐形形狀1404 的訓(xùn)練點(diǎn)子組中的一組點(diǎn)被最小化的未知參數(shù)Q的值。方程式8所示誤差函 數(shù)可以通過以下方程式定義
5X"，") (9)
可以使用準(zhǔn)牛頓方法來最小化方程式9所示誤差函數(shù)。對方程式9所示
誤差函數(shù)的最小化產(chǎn)生所述一組未知參數(shù)n的值。這些值被插入方程式8以
定義形成圓錐形形狀1404的訓(xùn)練點(diǎn)子組的垂直圓錐模型。
圖17 ( a)示出與圓錐形形狀1404的訓(xùn)練點(diǎn)云團(tuán)的示例性垂直圓錐模型 (空心圓)1700重疊的圓錐形形狀的訓(xùn)練點(diǎn)(黑色菱形)云團(tuán)。圖17 (c) 是圖17 (a)的彩色版。如圖17 (a)和17 (c)所示，垂直圓錐模型1700既有底表面1702又有頂表面1704。每個(gè)表面1702和1704形成的兩個(gè)圓錐 形狀在共同的頂點(diǎn)1706處相遇。兩個(gè)圓錐形狀位于同一軸(未示出)上。 形成圓錐形形狀1404的訓(xùn)練點(diǎn)云團(tuán)不完全覆蓋表面1702,同時(shí)根本不覆蓋 表面1704。在一種實(shí)現(xiàn)方式中，僅圓錐1700的下表面1702被用來對圓錐形 形狀1404的訓(xùn)練點(diǎn)云團(tuán)建模。圖17 (b)示出與圓錐形形狀1404的訓(xùn)練點(diǎn) 云團(tuán)的示例性垂直圓錐^f莫型(空心圓)1700的下表面1702重疊的圓錐形形 狀(黑色菱形)1404的訓(xùn)練點(diǎn)云團(tuán)。圖17 (d)是圖17 (b)的彩色版。
尾部1406的一種模型是垂直線。尾部1406的垂直線模型通過計(jì)算尾部 1406的訓(xùn)練點(diǎn)沿水平軸1602、 1604的中值來確定。圖18 (a)示出與形成 尾部1406的訓(xùn)練點(diǎn)云團(tuán)的示例性垂直線模型(黑線)1800重疊的尾部(黑 點(diǎn))1406的訓(xùn)練點(diǎn)云團(tuán)。形成尾部1406的訓(xùn)練點(diǎn)云團(tuán)在線1800的底部1810 周圍密集成群，并在更靠近線1800頂部1820處逐漸采用基本上線形的形狀。 圖18 (b)是圖18 (a)的彩色版。在一種可替代的實(shí)現(xiàn)方式中，線1800可 以不是垂直的。作為替代，線1800可以具有最好地匹配形成尾部1406的一 組訓(xùn)練點(diǎn)的方向。
圖19是流程圖，示出了識別圖像中手指的處理1900的一個(gè)示例。處理 1900使用由處理1300訓(xùn)練的系統(tǒng)。
處理1900從創(chuàng)建被表面104或ROI 116中的其它物體所始終反射的IR 的BGM (操作1902 )開始。利用照相機(jī)108捕捉表面104及其附近的輸入 圖像(操作1904)，從輸入圖像中減去BGM(操作1906)。如以上就圖2(a) 和2 (b)詳細(xì)描述的，斑點(diǎn)分析算法，如Grassfire算法，被用來從輸入圖 像中抽取物體(操作1908 )。如以上就圖3所討論的，從輸入圖像抽取的每 一物體被處理以標(biāo)識并放棄要么太小要么太大而不會(huì)是手指的物體(操作 1910)。剩余的物體被排序成按照總面積的升序排列的列表(操作1912)。然 后將列表中的第一個(gè)物體轉(zhuǎn)換成nxn的圖像(操作1914)并對改變大小之 后的圖像應(yīng)用與處理1300所應(yīng)用的相同的直方圖均衡化技術(shù)(操作1916)。 在對圖像應(yīng)用直方圖均衡化技術(shù)之后，將圖像投影到一組訓(xùn)練圖像的特征空 間中，并模仿訓(xùn)練階段1300中對訓(xùn)練點(diǎn)云團(tuán)1402應(yīng)用TTC技術(shù)，對圖像 點(diǎn)應(yīng)用TTC技術(shù)(操作1918 )。
如上所述，兩個(gè)才莫型，即垂直線1800和垂直圓錐1700的下表面1702 構(gòu)成，被用來對訓(xùn)練點(diǎn)云團(tuán)1402建模。因此，可以確定圖像點(diǎn)的垂直坐標(biāo)是在垂直圓錐模型1700的下表面1702的定點(diǎn)1706的上方還是下方(操作 1920)。
如果圖像點(diǎn)的垂直坐標(biāo)位于垂直圓錐模型1700的頂點(diǎn)1706的下方，則 由操作1920進(jìn)入"否"分支。利用圖像點(diǎn)的坐標(biāo)計(jì)算定義圓錐形訓(xùn)練點(diǎn)云團(tuán) 1404的垂直圓錐模型1700的方程式8(操作1922)。如果投影點(diǎn)位于垂直圓 錐模型1700的表面，則將投影點(diǎn)的坐標(biāo)代入方程式8會(huì)得到零值。相反， 如果圖像點(diǎn)不位于垂直圓錐模型1700的表面上，則通過將圖像點(diǎn)的坐標(biāo)代 入方程式8會(huì)得到非零的實(shí)數(shù)值。通過將圖像點(diǎn)坐標(biāo)代入方程式8得到的值 代表圖像點(diǎn)與垂直圓錐模型1700之間的距離。
對應(yīng)于特征空間1400中鄰近垂直圓錐模型1700的下表面1702的圖像 點(diǎn)的圖像會(huì)表現(xiàn)出與包括所述一組訓(xùn)練點(diǎn)的圖像類似的特征。因此，有可能 圖像點(diǎn)越靠近垂直圓錐模型1700的下表面1702,則對應(yīng)于圖像點(diǎn)的圖像越 有可能是手指。對應(yīng)于位于垂直圓錐模型1700的下表面1702上的圖像點(diǎn)或 落入垂直圓錐模型1700的下表面的最大閾值距離之內(nèi)的圖像點(diǎn)的圖像可以 被確定是手指。
因此，計(jì)算通過將圖像點(diǎn)坐標(biāo)代入方程式8得到的值來確定該值是否小 于限定的閾值距離(操作1924 )。如果通過將圖像點(diǎn)坐標(biāo)代入方程式8得到 的值小于該闞值距離(操作1924的"是"分支)，則對應(yīng)于該圖像點(diǎn)的圖像被 視為手指(操作1926)。如果通過將圖像點(diǎn)坐標(biāo)代入方程式8得到的值大于 閾值距離(操作1924的"否"分支)，則放棄對應(yīng)于該圖像點(diǎn)的圖像，并可進(jìn) 入操作1914以處理列表中下一個(gè)物體(操作1928 )。
如果圖像點(diǎn)的垂直坐標(biāo)位于垂直圓錐模型1700的頂點(diǎn)1706上方，則由 操作1920進(jìn)入"是"分支。利用圖像點(diǎn)的坐標(biāo)來評價(jià)定義垂直線模型1800的 方程式(操作1930)。如果圖像點(diǎn)位于線1800上，則將圖像點(diǎn)坐標(biāo)代入定義 所述線的方程式中會(huì)得到零值。相反，如果圖像點(diǎn)不位于線1800上，通過 將圖像點(diǎn)坐標(biāo)代入定義線1800的方程式中會(huì)得到非零的實(shí)數(shù)值。通過將圖 像點(diǎn)坐標(biāo)代入定義線1800的方程式而得到的值代表圖像點(diǎn)與線1800之間的 距離。
對應(yīng)于特征空間1400中鄰近垂直線模型1800的圖像點(diǎn)的圖像會(huì)表現(xiàn)出 與包括一組訓(xùn)練點(diǎn)的圖像相似的特征。因此，有可能圖像點(diǎn)越靠近垂直線模 型1800,對應(yīng)于圖像點(diǎn)的圖像越可能是手指。對應(yīng)于位于垂直線模型1800上的圖像點(diǎn)或落入垂直線模型1800的最大閾值距離之內(nèi)的圖像點(diǎn)的圖像可 以確定是手指。
因此，計(jì)算通過將圖像點(diǎn)坐標(biāo)代入定義所述線的方程式而得到的值，以
確定該值是否小于閾值距離(操作1932)。如果通過將圖像點(diǎn)坐標(biāo)代入定義 所述線的方程式而得到的值小于閾值距離(操作1932的"是"分支)，則對應(yīng) 于該圖象點(diǎn)的圖像被視為手指(操作1926)。如果通過將圖像點(diǎn)坐標(biāo)代入定 義所述線的方程式而得到的值大于閾值距離(操作1932的"否"分支)，則放 棄對應(yīng)于該圖像點(diǎn)的圖像，并可進(jìn)入操作1914而處理列表中下一個(gè)物體(操 作1928)。
存在各種技術(shù)可用于調(diào)節(jié)閾值距離。例如， 一種用于調(diào)節(jié)闊值距離的技 術(shù)涉及將訓(xùn)練點(diǎn)坐標(biāo)代入訓(xùn)練點(diǎn)模型。在一種實(shí)現(xiàn)方式中，包納90%的訓(xùn)練 點(diǎn)的閾值距離被認(rèn)為是閾值距離的合理選擇。當(dāng)然，也可以選擇其它的閾值 距離或百分比。
圖20是流程圖，示出用于識別圖像中的物體的處理2000的一個(gè)示例。 該處理從確定多維空間中表征物體的圖像點(diǎn)的坐標(biāo)(操作2002)開始。在一 種實(shí)現(xiàn)方式中，利用照相機(jī)捕捉特定物體的圖像，該圖像由計(jì)算機(jī)或軟件應(yīng) 用接收作為輸入。所述圖像點(diǎn)表征圖像中所捕捉的該特定物體。
提供描述表現(xiàn)訓(xùn)練圖像特征的多維空間中的幾何模型的方程式(操作 2004 )。將圖像點(diǎn)的坐標(biāo)代入描述幾何模型的方程式中，以確定圖像點(diǎn)與幾 何模型之間的距離(操作2006 )。
基于所確定的圖像點(diǎn)與幾何模型之間的距離，確定圖像點(diǎn)所表征的物體 是否匹配訓(xùn)練圖像(操作2008)。具體而言，無論訓(xùn)練圖像所捕捉的物體類 型如^f可，確定該物體是否匹配。
在一種實(shí)現(xiàn)方式中，確定圖像點(diǎn)坐標(biāo)涉及將圖像投影到不同的多維空間 中。該多維空間可以是例如特征空間。在這種實(shí)現(xiàn)方式中，表現(xiàn)訓(xùn)練圖像特 征的幾何模型也在該多維空間中。
以上已經(jīng)描述了實(shí)現(xiàn)方式。但是，應(yīng)該理解，可以做出各種變型。例如， 光盤(CD)、處理裝置或其它計(jì)算機(jī)可讀介質(zhì)可以包含用于實(shí)現(xiàn)這里所公開 的任何一種方法的程序、指令或代碼段。此外，可以提供用于實(shí)現(xiàn)所公開任 何一種方法的工具。該工具可以包括例如計(jì)算機(jī)可讀介質(zhì)、處理裝置、照相 機(jī)、投影儀或它們的組合以及其它可能的部件。處理設(shè)備可以包括例如處理器、計(jì)算機(jī)、可編程邏輯裝置或集成電路。
設(shè)備和特征至少可以部分實(shí)現(xiàn)為各種裝置。例子包括如上所述的計(jì)算 機(jī)，包括便攜式計(jì)算機(jī)或其它處理裝置。例子還包括便攜式電話、個(gè)人數(shù)字
助理、諸如例如傳真機(jī)或便攜式e-mail裝置(如Blackberry )之類的消息 接發(fā)裝置、例如1 0(1@之類的便攜式音樂播放器、或其它電子便攜式消息接 發(fā)、娛樂、組織或游戲裝置。
另外，盡管已經(jīng)就識別圖像中作為手指的物體的情況描述了所一般性公 開的系統(tǒng)和方法，但是識別其它圖像中其它物體的能力也已在考慮之內(nèi)。這 里描述的系統(tǒng)和方法可以用來識別可以用空間(例如特征空間)中的幾4可;f莫 型建^^的任何物體。例如，所描述的系統(tǒng)和方法可以用來識別圖像中作為筆 或罐的物體。另外，可以組合、替換、改變或去除不同實(shí)現(xiàn)方式中的元素以 獲得其它的實(shí)現(xiàn)方式。
盡管方法被描述為包括多個(gè)操作，但是也可以在所公開的方法中添加其 它操作。此外，并不是每個(gè)操作必須執(zhí)行，因此可以跳過一些操作。另夕卜， 所公開的操作并不必須按照描述的順序來執(zhí)行。
最后，可以使用、組合和改變不同的技術(shù)來得到一種實(shí)現(xiàn)方式，所述技 術(shù)包括例如各種硬件、軟件、固件、集成部件、獨(dú)立部件、處理裝置、存儲 器或存儲裝置、通信裝置、濾波器、顯示裝置和投影裝置。因此，其它實(shí)現(xiàn) 方式落入所附權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1.一種方法，其包括確定多維空間中圖像點(diǎn)的坐標(biāo)，所述圖像點(diǎn)表征一特定物體；提供描述所述多維空間中的一模型的方程式，所述模型表現(xiàn)一個(gè)或多個(gè)其它物體的一組訓(xùn)練圖像的特征；將所述坐標(biāo)代入所述方程式以確定所述圖像點(diǎn)與所述模型之間的距離；以及基于所確定的距離，確定所述特定物體是否匹配所述一個(gè)或多個(gè)其它物體。
2. 如權(quán)利要求l所述的方法，其中，還包括接收所述特定物體的圖像，所述圖像具有多個(gè)數(shù)據(jù)元素，所述多維空間 的維數(shù)低于所述數(shù)據(jù)元素的數(shù)量；并且其中確定坐標(biāo)的步驟包括將所述圖像投影到所述多維空間以產(chǎn)生所述 多維空間中的所述圖像點(diǎn)的坐標(biāo)。
3. 如權(quán)利要求2所述的方法，其中，所述模型是一組訓(xùn)練點(diǎn)在所述多 維空間中的模型，所述組中的每個(gè)所述訓(xùn)練點(diǎn)對應(yīng)于所述一系列訓(xùn)練圖像中 的一個(gè)或多個(gè)圖像。
4. 如權(quán)利要求2所述的方法，其中，所述特定物體的圖像在被接收之 前一皮歸一化。
5. 如權(quán)利要求4所述的方法，其中，歸一化所述特定物體的圖像的步 驟用于處理亮度變化。
6. 如權(quán)利要求4所述的方法，其中，歸一化所述物體的圖像的步驟包 括對所述特定物體的圖像應(yīng)用直方圖均衡化技術(shù)。
7. 如權(quán)利要求l所述的方法，其中，所述方程式描述雙曲面。
8. 如權(quán)利要求l所述的方法，其中，所述方程式描述圓錐。
9. 如權(quán)利要求l所述的方法，其中，所述方程式描述線。
10. 如權(quán)利要求1所述的方法，其中，所述方程式描述圓錐與線的組合。
11. 如權(quán)利要求l所述的方法，其中，所述特定物體包括由手指、筆和 基本上柱形物體構(gòu)成的組中的 一個(gè)物體。
12. 如權(quán)利要求l所述的方法，其中，提供所述方程式的步驟包括從第一方程式和第二方程式中選擇所述方程式，所述第一方程式描述表現(xiàn)第一組 訓(xùn)練圖像特征的第 一模型，所述第二方程式描述表現(xiàn)第二組訓(xùn)練圖像特征的 第二模型。
13. —種方法，其包括接收特定物體的圖像，所述圖像具有若千數(shù)據(jù)點(diǎn)；將所述圖像投影到維數(shù)小于所述數(shù)據(jù)點(diǎn)數(shù)量的多維空間中，以產(chǎn)生所述 多維空間中的圖像點(diǎn)的坐標(biāo)，所述圖像點(diǎn)表征所述特定物體；提供描述所述多維空間中的模型的方程式，所述片莫型是所述多維空間中 一組訓(xùn)練點(diǎn)的模型，所述組中的每個(gè)所述訓(xùn)練點(diǎn)對應(yīng)于一個(gè)或多個(gè)其它物體 的 一組訓(xùn)練圖像中的 一個(gè)或多個(gè)圖像。將所述坐標(biāo)代入所述方程式以確定所述圖像點(diǎn)與所述模型之間的距離；以及基于所確定的距離，確定所述特定物體是否匹配所述其它物體。
14. 如權(quán)利要求13所述的方法，其中，提供所述方程式的步驟包括從 第一方程式和第二方程式中選擇所述方程式，所述第一方程式描述表現(xiàn)第一 組訓(xùn)練圖像特征的第 一模型，所述第二方程式描述表現(xiàn)第二組訓(xùn)練圖像特征 的第二模型。
15. —種系統(tǒng)，其包括 月泉相才幾；和耦接到所述照相機(jī)的處理裝置，該處理裝置被構(gòu)造成確定多維空間中的圖像點(diǎn)的坐標(biāo)，所迷圖像點(diǎn)表征一特定物體； 提供描述所述多維空間中的一模型的方程式，所述模型表現(xiàn)一個(gè)或多個(gè)其它物體的 一組訓(xùn)練圖像的特征；將所述坐標(biāo)代入所述方程式以確定所述圖像點(diǎn)與所述模型之間的3巨離；以及基于所確定的距離，確定所述特定物體是否匹配所述一個(gè)或多個(gè)其 它物體。
16. 如權(quán)利要求15所述的系統(tǒng)，其中
17. 如權(quán)利要求16所述的系統(tǒng)，其中
18. 如權(quán)利要求15所述的系統(tǒng)，其中 的屏幕。3,所述照相才幾包括IR照相才幾。 ，還包括IR源。，還包括設(shè)置在所述照相機(jī)前方
19. 如權(quán)利要求18所述的系統(tǒng)，其中，所述屏幕至少是半透明的，使得位于與照相機(jī)相反的所述屏幕的一側(cè)上的物體所反射的光透過屏幕并被 所述照相一幾所接收。
20. —種方法，其包括 提供一種工具，該工具用于確定多維空間中特定圖像點(diǎn)的坐標(biāo)，所述特定圖像點(diǎn)表征一特定物體；提供描述所述多維空間中的一模型的方程式，所述模型表現(xiàn)一個(gè)或 多個(gè)其它物體的 一組訓(xùn)練圖像的特征；將所述坐標(biāo)代入所述方程式以確定所述特定圖像點(diǎn)與所述模型之 間的距離；以及基于所確定的距離，確定所述特定物體是否匹配所述一個(gè)或多個(gè)其 它物體。
21. 如權(quán)利要求20所述的方法，其中，還包括 接收所述一組訓(xùn)練圖像，所述組中的每個(gè)圖像具有若干數(shù)據(jù)元素； 基于所述一組訓(xùn)練圖像，確定維數(shù)小于所述數(shù)據(jù)元素的數(shù)量的所述多維空間；通過將所述一組訓(xùn)練圖像中的每個(gè)圖像投影到所述多維空間來生成一 組訓(xùn)練點(diǎn)，產(chǎn)生所述多維空間中的對應(yīng)訓(xùn)練點(diǎn)的坐標(biāo)，所述一組訓(xùn)練點(diǎn)中的 每個(gè)訓(xùn)練點(diǎn)對應(yīng)于所述一組訓(xùn)練圖像中的至少一個(gè)圖像；以及確定描述表現(xiàn)所述一組訓(xùn)練圖像的特征的所述多維空間中的模型的所 述方程式。
22. 如權(quán)利要求21所述的方法，其中，所述一組訓(xùn)練圖像中的每個(gè)圖 像在被接收之前被歸 一化。
23. 如權(quán)利要求22所述的方法，其中，歸一化所述一組訓(xùn)練圖像中的 每個(gè)圖像的步驟處理亮度變化。
24. 如權(quán)利要求23所述的方法，其中，歸一化所述一組訓(xùn)練圖像中的 每個(gè)圖像的步驟包括對所述一組訓(xùn)練圖像中的每個(gè)圖像應(yīng)用直方圖均衡化 技術(shù)。
全文摘要
根據(jù)公開的一種方法，相應(yīng)于表征特定物體的圖像點(diǎn)確定多維空間中的坐標(biāo)。提供描述該空間中的模型的方程式。該模型表現(xiàn)一個(gè)或多個(gè)其它物體的一組訓(xùn)練圖像的特征。所述坐標(biāo)被代入所述方程式以確定圖像點(diǎn)與模型之間的距離?；谒_定的距離，確定特定物體是否匹配所述一個(gè)或多個(gè)其它物體?？梢越邮找唤M訓(xùn)練圖像?；谠摻M訓(xùn)練圖像可以確定一多維空間(例如，特征空間)。通過將該組訓(xùn)練圖像投影到所述空間可以生成一組訓(xùn)練點(diǎn)?？梢源_定描述表現(xiàn)所述一組訓(xùn)練點(diǎn)的特征的所述空間中的一模型的方程式。
文檔編號G06K9/00GK101622630SQ200680007568
公開日2010年1月6日 申請日期2006年1月6日 優(yōu)先權(quán)日2005年1月7日
發(fā)明者阿提德·沙梅 申請人:格斯圖爾泰克股份有限公司