專利名稱：用于檢測運動的裝置和方法
用于檢測運動的裝置和方法
對相關申請的交叉引用
本申請要求于2009年9月18日在韓國知識產權局提交的韓國專利申請 No.10-2009-0088633的優(yōu)先權，其全部內容通過引用而被合并于此。技術領域
以下說明書涉及用于檢測和識別人的運動的技術。
技術背景
服務提供系統(tǒng)通過識別用戶的存在和位置以及該用戶的運動方向或類型來提供 用戶期望的服務，這有助于更方便地使用該系統(tǒng)。
這樣的系統(tǒng)的示例包括用于識別訪客的臉來感測訪客的安全進入控制系統(tǒng)、具 有用于感測登錄的用戶的臉的照相機的筆記本計算機、和檢測臉以捕獲微笑的照相機。
在近來的技術中，使用從安裝在系統(tǒng)中的照相機獲得的圖像信息來檢測用戶的 運動。
在這種情況下，通過計算由檢測圖像的特征點并跟蹤特征點的位置而獲得的光 流，來識別用戶的運動。
當用戶的背景圖像相對簡單或靜止時而不是當背景圖像包括相同的重復圖案或 活動圖像(例如，電視機屏幕)時，可以應用此技術。發(fā)明內容
根據示范性方面，提供一種用于檢測運動的裝置，包括對象圖像獲得單元， 使用從至少兩個照相機獲得的圖像中包括的對象的距離信息獲得對象圖像，該對象圖像 僅僅包括該對象而不包括背景；運動檢測區(qū)域設置單元，在獲得的對象圖像中設置運動 檢測區(qū)域；和運動檢測單元，基于獲得的對象圖像之間的運動檢測區(qū)域的圖像變化量來 檢測該對象的運動。
該對象圖像獲得單元可以包括第一圖像獲得單元；第二圖像獲得單元；臉部 區(qū)域檢測單元，從第一圖像獲得單元或第二圖像獲得單元獲得的圖像中檢測臉部區(qū)域； 距離圖像獲得單元，從第一圖像獲得單元和第二圖像獲得單元獲得的圖像中獲得距離圖 像；和圖像過濾單元，使用檢測的臉部區(qū)域和獲得的距離圖像產生該對象圖像。
該對象圖像獲得單元可以包括第一圖像獲得單元；第二圖像獲得單元；臉部 區(qū)域檢測單元，從第一圖像獲得單元或第二圖像獲得單元獲得的圖像中檢測臉部區(qū)域； 距離圖像獲得單元，從第一圖像獲得單元和第二圖像獲得單元獲得的圖像中獲得距離圖 像；蒙片(mask)創(chuàng)建單元，使用檢測的臉部區(qū)域和獲得的距離圖像創(chuàng)建圖像蒙片；和圖 像過濾單元，使用創(chuàng)建的圖像蒙片，由第一圖像獲得單元或第二圖像獲得單元獲得的圖 像產生對象圖像。
該運動檢測區(qū)域可以被設置在對象的臉部周圍。該圖像變化量可以被定義為圖像之間的光流、或特征點的位置或距離變化量。
根據另一個示范性方面，提供一種用于檢測運動的方法，包括使用從至少兩 個照相機獲得的圖像中包括的對象的距離信息獲得對象圖像，該對象圖像僅僅包括該對 象而不包括背景；在獲得的對象圖像中設置運動檢測區(qū)域；和基于獲得的對象圖像之間 的運動檢測區(qū)域的圖像變化量來檢測該對象的運動。
本發(fā)明的附加方面將在下面的描述中被部分地闡明，以及從該描述中將部分地 明顯，或者可以通過實踐本發(fā)明而學習到。
將理解，上述的一般描述和后面的詳細描述都是示范性和說明性的，并且預期 提供所要求保護的本發(fā)明的進一步的說明。


所包括的為了提供對本發(fā)明的進一步理解并且并入本說明書且構成本說明書的 一部分的附圖示出了本發(fā)明的示范性實施例，并且與說明書一起用來說明本發(fā)明的各方面。
圖1示出了示范性距離圖像；
圖2示出了獲得距離圖像的示范性原理；
圖3是示范性運動檢測裝置的框圖4是示范性對象圖像獲得單元的框圖5是另一個示范性對象圖像獲得單元的框圖6示出了運動檢測裝置的示范性操作；
圖7示出了運動檢測裝置的另一個示范性操作；和
圖8是示出了檢測運動的示范性方法的流程圖。
具體實施方式
現在將參考示出本發(fā)明的示范性實施例的附圖更完整地描述本發(fā)明。然而， 本發(fā)明可以被實施為許多不同的形式，并且不應當被理解為限于這里闡述的示范性實施 例。相反，提供這些示范性實施例以使得本公開是徹底且完全的，并且將本發(fā)明的范圍 完全傳達給本領域技術人員。在附圖中，為了清楚，層和區(qū)域的尺寸和相對大小可以被 放大。附圖中相似的參考數字表示相似的元件。
圖1示出了示范性距離圖像。
在圖1中，距離圖像101可以被定義為其中各個點由距離信息表示的圖像。在 距離圖像101中，距離信息可以由各種顏色表示。例如，距離圖像101的各個點可以由 根據距離而具有不同亮度的顏色表示。
圖2示出了獲得距離圖像的示范性原理。
在圖2中，距離圖像可以從由立體照相機獲得的兩個圖像中獲得。立體照相機 可以具有按照人眼組合的左照相機和右照相機。例如，左照相機可以位于點C，右照相 機可以位于點C’。也就是說，參考數字102指示從左照相機獲得的第一圖像，參考數字 103指示從右照相機獲得的第二圖像。在這種情況下，可以由等式1獲得從第一圖像102 或第二圖像103到特定點M的距離5
等式1
z=(B/d)*F
在等式1中，ζ表示從圖像到點M的距離，B表示點C和點C'之間的距離，d 表示各個圖像中點M的位置坐標之間的差(即，之間的差)，F表示照相機鏡頭 的焦距。B可以是常數或測量值，d可以使用方差和6SD)方案獲得，F可以取決于鏡 頭?；谶@些值，可以獲得從每個圖像到特定點的距離ζ。
因而，由立體照相機獲得兩個圖像，計算圖像的各個點的距離，根據距離由不 同的顏色表示點，從而可以獲得如圖1所示的距離圖像。
圖3示出了示范性運動檢測裝置。
在圖3中，運動檢測裝置100可以包括對象圖像獲得單元301、運動檢測區(qū)域設 置單元302和運動檢測單元303。
對象圖像獲得單元301使用從至少兩個照相機中獲得的圖像中包括的對象的距 離信息獲得對象圖像，該對象圖像是僅僅包括對象而不包括背景的圖像。
在本示范性實施例中，對象圖像可以通過從包括該背景和對象的任何圖像中去 掉背景，來僅僅包括對象?？梢酝ㄟ^基于從立體照相機獲得的各個圖像獲得的臉部區(qū)域 信息和距離圖像，來獲得對象圖像。對象圖像可以由對象圖像獲得單元301以特定的時 間間隔連續(xù)地獲得。也就是說，可以在時間^獲得第一對象圖像并且可以在點^獲得第 二對象圖像。
運動檢測區(qū)域設置單元302在獲得的對象圖像中設置運動檢測區(qū)域。運動檢測 區(qū)域可以是用于識別第一對象圖像和第二對象圖像之間的圖像變化量的參考區(qū)域。該運 動檢測區(qū)域可以被形成在每個對象圖像的臉部周圍。
運動檢測單元303識別獲得的對象圖像之間的圖像變化量以檢測對象的運動。 例如，運動檢測單元303可以基于在第一和第二對象圖像的每一個中設置的運動檢測區(qū) 域中的圖像變化量來檢測對象的運動。在這種情況下，圖像變化量可以被定義為圖像之 間的光流、或特定特征點的位置或距離變化量。
檢測的運動可以包括運動類型，諸如人手的移動方向。運動檢測裝置300還可 以包括運動控制器(未示出)，根據由運動檢測單元303檢測的運動來產生預定的控制命 令。
因而，由于根據本示范性實施例的運動檢測裝置300以特定時間間隔獲得僅僅 包括對象而不包括背景的第一和第二對象圖像，在每個對象圖像的臉部周圍設置運動檢 測區(qū)域，并通過運動檢測區(qū)域中的圖像變化量來檢測對象的運動，因此運動檢測裝置300 可以不管背景的變化，在少的計算量的情況下檢測對象的運動。
圖4是示范性對象圖像獲得單元的框圖。
參考圖4，對象圖像獲得單元400可以包括第一圖像獲得單元401、第二圖像獲 得單元402、臉部區(qū)域檢測單元403、距離圖像獲得單元404和圖像過濾單元405。
第一圖像獲得單元401和第二圖像獲得單元402可以是同時拍攝相同區(qū)域的立體 照相機。例如，第一圖像獲得單元401可以是立體照相機的左照相機，第二圖像獲得單 元可以是立體照相機的右照相機，二者隔開預定距離。為了方便起見，由第一圖像獲得 單元401獲得的圖像被稱為L圖像，由第二圖像獲得單元402獲得的圖像被稱為R圖像。
臉部區(qū)域檢測單元403由L圖像檢測臉部區(qū)域?？梢圆捎酶鞣N臉部檢測算法， 諸如用于特征點的放大級連(boosted cascade)方案。例如，臉部區(qū)域檢測單元403可以 通過掃描L圖像中的預定搜索窗口來檢測臉部區(qū)域。
距離圖像獲得單元404使用L和R圖像獲得距離圖像。距離圖像的定義和采集 與圖1和2所示的相同。
圖像過濾單元405使用由臉部區(qū)域檢測單元403檢測的臉部區(qū)域和由距離圖像獲 得單元404獲得的距離圖像來產生上述對象圖像。例如，圖像過濾單元405可以識別距 離圖像中與檢測的臉部區(qū)域對應的區(qū)域，使用與臉部區(qū)域對應的距離圖像的距離信息來 計算到對象的距離，然后去掉與除了該對象之外的背景對應的部分。如果計算的到對象 的距離為d，則由大于d-th和小于d+th的距離構成的距離圖像可以用作該對象圖像。這 里，th表示預先確定的閾值。
圖5是另一個示范性對象圖像獲得單元的框圖。
在圖5中，對象圖像獲得單元500可以包括第一圖像獲得單元401、第二圖像獲 得單元402、臉部區(qū)域檢測單元403、距離圖像獲得單元404、蒙片創(chuàng)建單元501和圖像過 濾單元502。
第一圖像獲得單元401、第二圖像獲得單元402、臉部區(qū)域檢測單元403和距離 圖像獲得單元404與圖4所示的相同。
蒙片創(chuàng)建單元501使用由臉部區(qū)域檢測單元403檢測的臉部區(qū)域和由距離圖像獲 得單元404獲得的距離圖像創(chuàng)建過濾蒙片。例如，蒙片創(chuàng)建單元501可以識別距離圖像 中與檢測的臉部區(qū)域對應的區(qū)域，使用與該臉部區(qū)域對應的距離圖像的距離信息來計算 到對象的距離，然后去掉與除了該對象之外的背景對應的部分。如果計算的到對象的距 離為d，則與大于d-th和小于d+th的距離對應的部分可以被設置為1，并且其它部分被設 置為0，以創(chuàng)建該過濾蒙片。這里，th表示預先確定的閾值。
圖像過濾單元502利用創(chuàng)建的過濾蒙片掩蓋R圖像以產生上述對象圖像。
圖6示出了運動檢測裝置的示范性操作。
參考圖6，第一圖像獲得單元401和第二圖像獲得單元402分別獲得L圖像601 和R圖像602。在這種情況下，L圖像601和R圖像602可以包括對象和背景二者。
臉部區(qū)域檢測單元403由L圖像601檢測臉部區(qū)域603。
距離圖像獲得單元404使用L圖像601和R圖像602獲得距離圖像604。
圖像過濾單元405使用與臉部區(qū)域603對應的距離圖像604的距離信息獲得對象 圖像605。
當已經獲得對象圖像605時，運動檢測區(qū)域設置單元302在對象圖像605中設置 運動檢測區(qū)域606。在這種情況下，運動檢測區(qū)域可以被設置在對象圖像605中對象的臉 部周圍。
可以在特定時間間隔連續(xù)地執(zhí)行對象圖像605的獲得和運動檢測區(qū)域606的設 置。也就是說，通過上述過程，在時間^獲得具有運動檢測區(qū)域的第一對象圖像，然后 在時間^獲得具有運動檢測區(qū)域的第二對象圖像。
因而，運動檢測單元303可以通過第一對象圖像和第二對象圖像之間的運動檢 測區(qū)域中的圖像變化量來檢測對象的運動。
圖7示出了運動檢測裝置的另一個示范性操作。
參考圖7，第一圖像獲得單元401和第二圖像獲得單元402分別獲得L圖像701 和R圖像702。在這種情況下，L圖像701和R圖像702可以包括對象和背景二者。
臉部區(qū)域檢測單元403由L圖像701檢測臉部區(qū)域703。
距離圖像獲得單元404使用L圖像701和R圖像702獲得距離圖像704。
蒙片創(chuàng)建單元501使用與臉部區(qū)域703對應的距離圖像704的距離信息來創(chuàng)建圖 像蒙片705。例如，圖像蒙片705可以是過濾蒙片，其中與對象對應的區(qū)域被設置為1， 其它區(qū)域被設置為0。
圖像過濾單元502利用圖像蒙片705掩蓋R圖像702以產生對象圖像706。
當已經獲得對象圖像706時，運動檢測區(qū)域設置單元302在對象圖像706中設置 運動檢測區(qū)域707。在這種情況下，運動檢測區(qū)域可以被設置在對象圖像706中對象的臉 部周圍。
可以在特定時間間隔連續(xù)地執(zhí)行對象圖像706的獲得和運動檢測區(qū)域707的設 置。也就是說，通過上述過程，在時間^獲得具有運動檢測區(qū)域的第一對象圖像，然后 在時間^獲得具有運動檢測區(qū)域的第二對象圖像。
因而，運動檢測單元303可以通過第一對象圖像和第二對象圖像之間的運動檢 測區(qū)域中的圖像變化量來檢測對象的運動。
圖8是示出了檢測運動的示范性方法的流程圖。
參考圖8，首先，獲得對象圖像(801)。對象圖像可以通過從包括背景和對象的 任何圖像中去掉該背景來僅僅包括對象，并且可以通過如圖4或5所示的配置來獲得。
在對象圖像中設置運動檢測區(qū)域(80 。運動檢測區(qū)域可以是用于識別對象圖像 之間的圖像變化量的參考區(qū)域。例如，運動檢測區(qū)域可以由運動檢測區(qū)域設置單元302 設置在對象圖像的臉部周圍。
檢測對象圖像之間的運動檢測區(qū)域中的圖像變化量以檢測對象的運動(803)。例 如，運動檢測單元303可以通過運動檢測區(qū)域中對象圖像之間的光流、特征點的位置、 或距離變化量來檢測對象的運動。
檢測的運動可以包括運動的類型。因此，該方法還可以包括根據檢測的運動類 型產生預定的控制命令?？梢愿鶕z測的運動類型產生的控制命令來控制使用根據本示 范性實施例的檢測運動的方法的系統(tǒng)的各種功能。
同時，本發(fā)明也可以被實現為計算機可讀記錄介質上的計算機可讀代碼。計算 機可讀記錄介質包括其中存儲計算機可讀數據的所有類型的記錄介質。
計算機可讀記錄介質的示例包括ROM、RAM、CD-ROM、磁帶、軟盤和光數 據存儲器。此外，記錄介質可以被實現為載波的形式，諸如互聯網發(fā)送。此外，計算機 可讀記錄介質可以通過網絡分布在計算機系統(tǒng)上，其中計算機可讀代碼可以以分布式方 式存儲和運行。此外，實現本發(fā)明的功能性程序、代碼和代碼段可以被本領域程序員容 易地推斷。
此外，上述示范性實施例可以應用于識別對象的運動以控制吹風方向的空氣調 節(jié)器。
在不脫離本發(fā)明的精神或范圍的情況下，本領域技術人員顯然可以對本發(fā)明做8出各種修改和變化。因而，預期本發(fā)明覆蓋提供的對本發(fā)明的修改和變化，它們落入所 附權利要求書和它們的等效物之內。
權利要求
1.一種用于檢測運動的裝置，包括對象圖像獲得單元，使用從至少兩個照相機獲得的圖像中包括的對象的距離信息獲 得對象圖像，該對象圖像僅僅包括該對象而不包括背景；運動檢測區(qū)域設置單元，在獲得的對象圖像中設置運動檢測區(qū)域；和 運動檢測單元，基于獲得的對象圖像之間的運動檢測區(qū)域中的圖像變化量來檢測該 對象的運動。
2.如權利要求1所述的裝置，其中，該對象圖像獲得單元包括 第一圖像獲得單元；第二圖像獲得單元；臉部區(qū)域檢測單元，由從第一圖像獲得單元或第二圖像獲得單元獲得的圖像檢測臉 部區(qū)域；距離圖像獲得單元，由從第一圖像獲得單元和第二圖像獲得單元獲得的圖像獲得距 離圖像；和圖像過濾單元，使用檢測的臉部區(qū)域和獲得的距離圖像產生對象圖像。
3.如權利要求1所述的裝置，其中，該對象圖像獲得單元包括 第一圖像獲得單元；第二圖像獲得單元；臉部區(qū)域檢測單元，由從第一圖像獲得單元或第二圖像獲得單元獲得的圖像檢測臉 部區(qū)域；距離圖像獲得單元，由從第一圖像獲得單元和第二圖像獲得單元獲得的圖像獲得距 離圖像；蒙片創(chuàng)建單元，使用檢測的臉部區(qū)域和獲得的距離圖像創(chuàng)建圖像蒙片；知 圖像過濾單元，使用創(chuàng)建的圖像蒙片，由從第一圖像獲得單元或第二圖像獲得單元 獲得的圖像產生對象圖像。
4.如權利要求1所述的裝置，其中，該運動檢測區(qū)域被設置在對象的臉部周圍。
5.如權利要求1所述的裝置，其中，該圖像變化量被定義為圖像之間的光流、或特征 點的位置或距離變化量。
6.—種用于檢測運動的方法，包括使用從至少兩個照相機獲得的圖像中包括的對象的距離信息獲得對象圖像，該對象 圖像僅僅包括該對象而不包括背景；在獲得的對象圖像中設置運動檢測區(qū)域；和基于獲得的對象圖像之間的運動檢測區(qū)域中的圖像變化量來檢測該對象的運動。
7.如權利要求6所述的方法，其中，該對象圖像的獲得包括 由從照相機獲得的圖像檢測臉部區(qū)域；由從照相機獲得的圖像獲得距離圖像；以及 使用檢測的臉部區(qū)域和獲得的距離圖像產生對象圖像。
8.如權利要求7所述的方法，其中該對象圖像的產生包括通過檢測的臉部區(qū)域的距離 信息過濾該距離圖像。
9.如權利要求6所述的方法，其中，該對象圖像的獲得包括由從照相機獲得的圖像檢測臉部區(qū)域；由從照相機獲得的圖像獲得距離圖像；以及 使用檢測的臉部區(qū)域和獲得的距離圖像創(chuàng)建圖像蒙片；以及 使用創(chuàng)建的圖像蒙片，由從照相機獲得的圖像產生該對象圖像。
全文摘要
提供了一種使用立體照相機檢測運動的裝置和方法。該裝置可以使用立體照相機獲得僅包括對象而不包括背景的對象圖像。該裝置可以在獲得的對象圖像中設置運動檢測區(qū)域，并識別運動檢測區(qū)域中的圖像變化量來檢測該對象的運動。
文檔編號G06T7/20GK102024263SQ20101020519
公開日2011年4月20日 申請日期2010年6月22日 優(yōu)先權日2009年9月18日
發(fā)明者趙俊基, 金鍊淏 申請人:三星電子株式會社