用于在目標(biāo)空間中檢測(cè)對(duì)象的運(yùn)動(dòng)的裝置和方法
【技術(shù)領(lǐng)域】
[0001] 本公開涉及用于在目標(biāo)空間中檢測(cè)對(duì)象的運(yùn)動(dòng)的裝置和方法，并且具體涉及飛行 時(shí)間（ToF)成像中的運(yùn)動(dòng)偽影的基于像素的并且無存儲(chǔ)器的片上測(cè)量。
【背景技術(shù)】
[0002] 近來，三維成像技術(shù)諸如T0F獲得了更多的興趣。然而，為了在場(chǎng)景中正確地確定 從成像設(shè)備到對(duì)象的距離，需要執(zhí)行距離測(cè)量，該距離測(cè)量通?；ㄙM(fèi)一段時(shí)間。另一方面， 如果對(duì)象在該段時(shí)間期間移動(dòng)，則因?yàn)樵谶\(yùn)動(dòng)期間對(duì)象改變其位置所以能夠生成偽影并且 不能唯一地定義對(duì)象位于哪里。如果要進(jìn)一步處理三維成像，則必須考慮這樣的偽影。

【發(fā)明內(nèi)容】

[0003] 有需求提供用于在目標(biāo)空間中檢測(cè)對(duì)象的運(yùn)動(dòng)的裝置和方法，以便使得成像設(shè)備 能夠考慮運(yùn)動(dòng)偽影。
[0004] 本公開涉及一種用于在目標(biāo)空間中檢測(cè)對(duì)象的運(yùn)動(dòng)的裝置，其中對(duì)象位于相距圖 像捕獲設(shè)備一段距離，該圖像捕獲設(shè)備被配置為測(cè)量該距離并且提供指示該距離的傳感器 信號(hào)，如果對(duì)象靜止則該傳感器信號(hào)可分解在包括奇次諧波的分解中。該裝置包括：確定模 塊，被配置為接收該傳感器信號(hào)并且基于該傳感器信號(hào)的分解的至少一個(gè)偶次諧波生成至 少一個(gè)運(yùn)動(dòng)信號(hào)。該裝置還包括檢測(cè)模塊，被配置為針對(duì)每個(gè)幀基于至少一個(gè)運(yùn)動(dòng)信號(hào)檢 測(cè)該對(duì)象的運(yùn)動(dòng)并且提供指示該對(duì)象的運(yùn)動(dòng)的檢測(cè)信號(hào)。
[0005] 本公開還涉及一種用于在目標(biāo)空間中檢測(cè)對(duì)象的運(yùn)動(dòng)的裝置，該對(duì)象位于相距圖 像捕獲設(shè)備一段距離，該圖像捕獲設(shè)備被配置為發(fā)射波并且接收在該對(duì)象處被反射的反射 波以從對(duì)象捕獲圖像，該圖像捕獲設(shè)備還被配置為取決于反射波而提供傳感器信號(hào)，其中 所發(fā)射的波包括預(yù)定波長并且該圖像包括多個(gè)像素。該裝置包括組合模塊，被配置為接收 傳感器信號(hào)作為與預(yù)定波長關(guān)聯(lián)的多個(gè)采樣值并且形成該多個(gè)采樣值的組合以使得如果 對(duì)象靜止則該組合包括預(yù)定值。該裝置還包括檢測(cè)模塊，被配置為檢測(cè)指示該對(duì)象的運(yùn)動(dòng) 的、與組合的預(yù)定值的偏差，其中該檢測(cè)模塊還被配置為輸出指示所檢測(cè)的與該預(yù)定值的 偏差的檢測(cè)信號(hào)作為指示該對(duì)象的運(yùn)動(dòng)的信號(hào)。
[0006] 本公開還涉及一種用于在目標(biāo)空間中檢測(cè)對(duì)象的運(yùn)動(dòng)的方法，其中該對(duì)象位于相 距圖像捕獲設(shè)備一段距離，該圖像捕獲設(shè)備被配置為測(cè)量該距離并且提供指示該距離的傳 感器信號(hào)，如果該對(duì)象靜止則該傳感器信號(hào)可分解在包括奇次諧波的分解中。該方法包括： 接收該傳感器信號(hào)，該傳感器信號(hào)包括任意數(shù)目的每幀基本上等距地采樣的值；基于該傳 感器信號(hào)的分解中的至少一個(gè)偶次諧波生成至少一個(gè)運(yùn)動(dòng)信號(hào)；以及基于該至少一個(gè)運(yùn)動(dòng) 信號(hào)檢測(cè)該對(duì)象的運(yùn)動(dòng)并且提供指示該對(duì)象的運(yùn)動(dòng)的檢測(cè)信號(hào)。
【附圖說明】
[0007] 下面將僅通過示例的方式并且參考附圖來描述該裝置和/或方法的一些示例，在 附圖中：
[0008] 圖1A描繪用于檢測(cè)對(duì)象的運(yùn)動(dòng)的裝置的框圖；
[0009] 圖1B描繪用于檢測(cè)對(duì)象的運(yùn)動(dòng)的另一裝置的框圖；
[0010] 圖2描繪包括用于檢測(cè)對(duì)象的運(yùn)動(dòng)的裝置的系統(tǒng)；
[0011] 圖3圖示使用傳感器響應(yīng)函數(shù)的距離測(cè)量；
[0012] 圖4圖示由對(duì)象的運(yùn)動(dòng)引起的運(yùn)動(dòng)偽影；
[0013] 圖5圖示與對(duì)象的不同距離有關(guān)的傳感器響應(yīng)函數(shù)；
[0014] 圖6圖示在采樣程序期間由于距離轉(zhuǎn)換而引入到傳感器響應(yīng)函數(shù)的非對(duì)稱；
[0015] 圖7圖示運(yùn)動(dòng)偽影和偶次諧波之間的聯(lián)系；
[0016] 圖8圖不沒有運(yùn)動(dòng)對(duì)象的圖像；
[0017]圖9圖不圖8的具有對(duì)象的常規(guī)運(yùn)動(dòng)的圖像；
[0018] 圖10圖不具有強(qiáng)移動(dòng)對(duì)象的圖像；
[0019] 圖11圖示具有移動(dòng)對(duì)象的、經(jīng)過過濾和沒有經(jīng)過過濾運(yùn)動(dòng)偽影的圖像的比較；以 及
[0020] 圖12示出用于在目標(biāo)空間中檢測(cè)對(duì)象的運(yùn)動(dòng)的方法的框圖。
【具體實(shí)施方式】
[0021] 飛行時(shí)間（ToF)是一種基于發(fā)射的（和反射的）波（諸如光線、紅外輻射或者其它 電磁波或者聲波）的傳播延遲測(cè)量的3D圖形技術(shù)。所發(fā)射的波可以是在某個(gè)頻率fMd(例 如在200kHz到100MHz之間或者5MHz到50MHz之間或者大約20MHz)處被調(diào)制并且成像設(shè) 備可以具有傳感器，該傳感器能夠在所發(fā)射的波返回時(shí)，根據(jù)它的相移以及波的傳播速度 (例如光速）重新構(gòu)建傳播的距離。該相移轉(zhuǎn)而通過將入射信號(hào)與其非延遲項(xiàng)進(jìn)行相關(guān)來 估計(jì)。例如，在片上所發(fā)射的波或者其相位信息能夠被傳輸?shù)教幚韱卧?，該處理單元可以?用這一信息根據(jù)所反射的波（例如，通過組合兩個(gè)波）生成相關(guān)函數(shù)。在這一過程中，圖像 的一個(gè)像素的輸出能夠由所生成的相關(guān)函數(shù)的N個(gè)等距采樣給出，該相關(guān)函數(shù)也被稱為傳 感器響應(yīng)函數(shù)（SRF)。該采樣的數(shù)目能夠通過在準(zhǔn)確性和計(jì)算工作量之間進(jìn)行折衷而選擇。 可能的采樣數(shù)目是：N= 3,4,6,8...。傳感器響應(yīng)函數(shù)的形狀可以在三角形狀和正弦形狀 之間改變，其取決于調(diào)制頻率。
[0022] 參考圖示了一些示例的附圖，現(xiàn)在將更加詳細(xì)地描述各種示例。在圖中，為了清楚 起見，可以夸大線的粗細(xì)、層和/或區(qū)域。
[0023] 據(jù)此，雖然示例能夠有各種修改和備選形式，本文仍然將詳細(xì)描述圖中的說明性 示例。然而，應(yīng)當(dāng)理解的是，不旨在將示例限制于所公開的特定形式，而是相反，示例要涵蓋 落在本公開的范圍內(nèi)的所有修改、等同和備選。貫穿對(duì)圖的描述，同樣的數(shù)字指的是同樣的 或相似的元件。
[0024] 將被理解的是，在元件被稱為被"連接"或"耦合"到另一元件時(shí)，它可能被直接連 接或耦合到其它元件或者可能存在中間元件。相比之下，在元件被稱為被"直接連接"或"直 接耦合"到另一元件時(shí)，沒有中間元件存在。用于描述元件之間的關(guān)系的其它詞語應(yīng)當(dāng)以同 樣的方式來解釋（例如，"在...之間"對(duì)"直接在...之間"，"峨鄰"對(duì)"直接毗鄰"等）。
[0025] 本文中所使用的術(shù)語僅是為了描述特定說明性示例的目的并且不旨在于進(jìn)行限 制。如本文中所使用的，單數(shù)形式"一"、"一個(gè)"和"該"旨在也包含復(fù)數(shù)形式，除非上下文 另外明確指示。還將理解的是，術(shù)語"包括"、"包含"和/或"含有"在本文中使用時(shí)指定所 陳述的特征、整數(shù)、步驟、操作、元件和/或組分的存在，但是不排除存在或添加一個(gè)或多個(gè) 其它特征、整數(shù)、步驟、操作、元件、組分和/或它們的組。
[0026] 除非另外定義，本文中所使用的所有術(shù)語（包含技術(shù)和科學(xué)術(shù)語）具有與由示例 所屬領(lǐng)域的普通技術(shù)人員通常理解的相同的含義。將進(jìn)一步被理解的是，例如那些在常用 字典中定義的術(shù)語應(yīng)當(dāng)被解釋為具有與它們?cè)谙嚓P(guān)領(lǐng)域的上下文中的含義一致的含義，并 且不會(huì)在理想化或過于正式的意義上來解釋，除非本文中明確地如此定義。
[0027] 圖1A描繪用于在目標(biāo)空間中檢測(cè)對(duì)象的運(yùn)動(dòng)的裝置100A，其中該對(duì)象位于相距 圖像捕獲設(shè)備一段距離，該圖像捕獲設(shè)備被配置為測(cè)量該距離并且提供指示該距離的傳感 器信號(hào)。如果對(duì)象（關(guān)于該圖像捕獲設(shè)備）靜止則傳感器信號(hào)105可分解在包括（已標(biāo)識(shí) 的）基波的奇次諧波的分解中。該裝置100A包括：確定模塊110A，被配置為接收傳感器信 號(hào)105并且基于該傳感器信號(hào)105的分解的（已標(biāo)識(shí)的）基波的至少一個(gè)偶次諧波生成至 少一個(gè)運(yùn)動(dòng)信號(hào)115A;以及檢測(cè)模塊120A，被配置為基于至少一個(gè)運(yùn)動(dòng)信號(hào)115檢測(cè)該對(duì) 象的運(yùn)動(dòng)并且如果運(yùn)動(dòng)已經(jīng)被檢測(cè)到則被配置為提供指示該對(duì)象的運(yùn)動(dòng)的檢測(cè)信號(hào)125。 [0028]可以理解，在實(shí)際檢測(cè)中，例如由于噪聲和/或信號(hào)處理，因此奇次諧波和偶次諧 波總會(huì)存在，并且可以理解僅考慮例如涉及理想化的情形的一種類型的諧波。因此，例如當(dāng) 提到只包括奇次諧波的分解時(shí)，如果對(duì)象靜止，則人們可能指代偶次諧波的貢獻(xiàn)低于預(yù)定 閾值（例如，低于總體信號(hào)的1%或者低于總體信號(hào)的10% )的情形，使得偶次諧波的貢獻(xiàn) 能夠被忽略或者被認(rèn)為是噪聲。
[0029] 例如，確定模塊110或者檢測(cè)模塊120確定傳感器信號(hào)的分解內(nèi)的基波的偶數(shù)階 的諧波的部分高于或者低于預(yù)定閾值。例如，對(duì)于靜止的對(duì)象，傳感器信號(hào)的分解內(nèi)的基波 的偶數(shù)階的諧波的部分可能低于預(yù)定閾值；對(duì)于運(yùn)動(dòng)中的對(duì)象，傳感器信號(hào)的分解內(nèi)的基 波的偶數(shù)階的諧波的部分可能高于預(yù)定閾值。
[0030] 在裝置100A中，該圖像捕獲設(shè)備200可選地被配置為捕獲包括多個(gè)像素的圖像， 并且確定模塊110A可選地被配置為接收傳感器信號(hào)105并且針對(duì)該多個(gè)像素中的每個(gè)像 素生成運(yùn)動(dòng)信號(hào)115而不依靠該多個(gè)像素的相鄰像素。
[0031] 在裝置110A中，該圖像捕獲設(shè)備200可選地被配置為發(fā)射波210e，被配置為接收 在該對(duì)象102處反射的反射波210r以從該對(duì)象102捕獲圖像，并且可選地被配置為提供傳 感器信號(hào)105作為傳感器響應(yīng)函數(shù)。該裝置100A還可以包括采樣模塊，被配置為對(duì)該傳感 器信號(hào)105采樣以使得反射波210r的每個(gè)波長的至少一部分被采樣N個(gè)值。
[0032] 在裝置100A中，采樣數(shù)目N可以可選地是偶數(shù)并且至少一個(gè)偶次諧波具有N/2 階。
[0033] 在裝置100A中，運(yùn)動(dòng)信號(hào)115A可選地只從與反射波210r的每個(gè)采樣波長的至少 一部分關(guān)聯(lián)的N個(gè)采樣值取得。
[0034] 在裝置100A中，運(yùn)動(dòng)信號(hào)115A中的至少一個(gè)偶次諧波可選地是二次諧波。
[0035] 在裝置100A中，運(yùn)動(dòng)信號(hào)115A中的至少一個(gè)偶次