基于姿態(tài)的工業(yè)監(jiān)控的制作方法
【專利摘要】本發(fā)明涉及基于姿態(tài)的工業(yè)監(jiān)控。一種系統(tǒng)包括諸如3D結(jié)構(gòu)化光成像系統(tǒng)的成像器以及與成像器進(jìn)行數(shù)據(jù)通信的姿態(tài)邏輯。成像器被配置為創(chuàng)建移動(dòng)對(duì)象的運(yùn)動(dòng)圖像。姿態(tài)邏輯被配置為：基于圖像生成移動(dòng)對(duì)象的當(dāng)前運(yùn)動(dòng)的第一映射；訪問存儲(chǔ)的模型姿態(tài)的第二映射，并且將第一映射與第二映射進(jìn)行比較以確定移動(dòng)對(duì)象的操作狀況。
【專利說明】基于姿態(tài)的工業(yè)監(jiān)控
[0001]優(yōu)先權(quán)聲明
[0002]該申請(qǐng)要求于2014年I月13日提交的美國(guó)臨時(shí)申請(qǐng)序列號(hào)61/926，742的優(yōu)先權(quán)以及于2013年10月I日提交的美國(guó)臨時(shí)申請(qǐng)序列號(hào)61/885，303的優(yōu)先權(quán)，通過引用將其全部?jī)?nèi)容結(jié)合于本文中。

【技術(shù)領(lǐng)域】
[0003]本公開涉及自動(dòng)監(jiān)控。本公開還涉及通過識(shí)別機(jī)器姿態(tài)(gesture)來進(jìn)行監(jiān)控。

【背景技術(shù)】
[0004]機(jī)器視覺系統(tǒng)允許與各種環(huán)境進(jìn)行計(jì)算機(jī)控制的視覺交互。例如，可以使用機(jī)器視覺系統(tǒng)自動(dòng)駕駛機(jī)動(dòng)車輛。機(jī)器視覺系統(tǒng)可使用成像和其他視覺化技術(shù)，例如，聲納、雷達(dá)、超聲波掃描、紅外線成像和/或其他視覺化技術(shù)。在工業(yè)設(shè)置中，視頻監(jiān)控被用于監(jiān)視操作并且提供安全和保障。操作人員可使用幾個(gè)查看屏幕以監(jiān)控在遠(yuǎn)程位置的操作。操作員能夠從查看屏幕檢測(cè)錯(cuò)誤操作、安全漏洞和/或安全問題。通過查看屏幕進(jìn)行遠(yuǎn)程監(jiān)控可減少例如在現(xiàn)場(chǎng)或在工業(yè)活動(dòng)時(shí)對(duì)親自監(jiān)控的需要。


【發(fā)明內(nèi)容】

[0005]根據(jù)本發(fā)明的一個(gè)方面，提供了一種監(jiān)控系統(tǒng)，包括:成像器，被配置為捕獲制造裝置的當(dāng)前運(yùn)動(dòng)的視頻；以及邏輯(logic)，在與所述成像器進(jìn)行數(shù)據(jù)通信時(shí)，所述邏輯被配置為:基于所述視頻在多維空間中生成所述制造裝置的當(dāng)前運(yùn)動(dòng)的第一映射；訪問存儲(chǔ)的模型姿態(tài)(model gesture)的第二映射；并且將所述第一映射與所述第二映射進(jìn)行比較以確定所述制造裝置的當(dāng)前運(yùn)動(dòng)是否偏離所述模型姿態(tài)；以及當(dāng)所述制造裝置的當(dāng)前運(yùn)動(dòng)偏離所述模型姿態(tài)時(shí)，生成表示所述偏離的消息；以及將所述消息發(fā)送給與所述制造裝置相關(guān)聯(lián)的監(jiān)控處理。
[0006]其中，所述消息被配置為表示所述制造裝置的非相容的操作；以及所述監(jiān)控處理被配置為響應(yīng)于所述消息在查看屏幕上生成警報(bào)。
[0007]根據(jù)本發(fā)明的另一個(gè)方面，提供了一種監(jiān)控系統(tǒng)，包括:成像器，被配置為創(chuàng)建移動(dòng)對(duì)象的當(dāng)前運(yùn)動(dòng)的圖像；邏輯，在與所述成像器進(jìn)行數(shù)據(jù)通信時(shí)，所述邏輯被配置為:基于所述圖像生成所述移動(dòng)對(duì)象的當(dāng)前運(yùn)動(dòng)的第一映射；訪問存儲(chǔ)的模型姿態(tài)的第二映射；以及將所述第一映射與所述第二映射進(jìn)行比較以確定所述移動(dòng)對(duì)象的操作狀況(operat1nal condit1n)。
[0008]其中，所述成像器被配置為創(chuàng)建包括所述圖像的一系列圖像。
[0009]其中，所述第一映射包括基于所述一系列圖像的第一視頻映射。
[0010]其中，所述模型姿態(tài)包括一組確定的運(yùn)動(dòng)；并且所述第二映射包括所述一組確定的運(yùn)動(dòng)的第二視頻映射。
[0011]其中，所述一組確定的運(yùn)動(dòng)與所述移動(dòng)對(duì)象的相容的操作狀態(tài)相關(guān)聯(lián)。
[0012]其中，所述邏輯進(jìn)一步被配置為在所述比較表示當(dāng)前運(yùn)動(dòng)不同于所述一組確定的運(yùn)動(dòng)時(shí)生成警報(bào)。
[0013]其中，所述邏輯被配置為基于源的屬性來處理所述圖像。
[0014]其中，所述源包括光源；并且所述屬性包括嵌入所述光源的輸出中的碼。
[0015]其中，所述成像器包括:光學(xué)傳感器，被配置為捕獲所述圖像；以及聚焦設(shè)備，被配置為在所述光學(xué)傳感器上產(chǎn)生所述圖像。
[0016]其中，所述第一映射和所述第二映射包括在多維空間中的映射。
[0017]其中，所述邏輯被配置為基于確定的操作狀況生成警報(bào)。
[0018]其中，所述移動(dòng)對(duì)象包括設(shè)備操作員；以及所述警報(bào)被配置為響應(yīng)于潛在的注意力下降(attent1n lapse)來喚醒所述設(shè)備操作員。
[0019]其中，所述警報(bào)被配置為表示所述移動(dòng)對(duì)象突破了安全區(qū)域。
[0020]根據(jù)本發(fā)明的另一個(gè)方面，提供了一種監(jiān)控方法，包括:捕獲移動(dòng)對(duì)象的當(dāng)前運(yùn)動(dòng)的視頻；基于所述視頻生成所述移動(dòng)對(duì)象的當(dāng)前運(yùn)動(dòng)的第一映射；訪問存儲(chǔ)的模型姿態(tài)的第二映射；以及將所述第一映射與所述第二映射進(jìn)行比較以確定所述移動(dòng)對(duì)象的操作狀態(tài)(operat1nal status)。
[0021]所述監(jiān)控方法進(jìn)一步包括:基于所述移動(dòng)對(duì)象的類型和為由所述移動(dòng)對(duì)象執(zhí)行而調(diào)度的任務(wù)來選擇存儲(chǔ)的所述第二映射。
[0022]其中，確定所述操作狀態(tài)包括確定所述移動(dòng)對(duì)象是否以非相容的方式執(zhí)行所述任務(wù)。
[0023]其中，所述移動(dòng)對(duì)象與所述模型姿態(tài)的偏離表示非相容性行為(non-compliantperformance)。
[0024]其中，基于照亮所述移動(dòng)對(duì)象的光源的屬性來生成所述第一映射。

【專利附圖】

【附圖說明】
[0025]圖1示出了實(shí)施自動(dòng)操作監(jiān)控的環(huán)境的示例；
[0026]圖2示出了示例姿態(tài)邏輯；
[0027]圖3示出了示例姿態(tài)識(shí)別情景；
[0028]圖4示出了一個(gè)示例結(jié)構(gòu)化的光成像過程。

【具體實(shí)施方式】
[0029]在工業(yè)環(huán)境中的監(jiān)控操作會(huì)是有挑戰(zhàn)性的。在某些情況下，可使用員工來監(jiān)控視頻傳送和/或直接查看設(shè)備和/或其他員工，以確定工業(yè)環(huán)境內(nèi)的系統(tǒng)的操作狀態(tài)。在某些情況下，監(jiān)控處理可包括查看反復(fù)檢測(cè)缺陷的更長(zhǎng)時(shí)間的重復(fù)處理。在某些情況下，員工可能中斷注意力并且會(huì)錯(cuò)過感興趣的事件。例如，在裝配線上負(fù)責(zé)監(jiān)控生產(chǎn)裝置的員工會(huì)睡著。在某些情況下，睡著的人不能報(bào)告在窗口內(nèi)的裝置上發(fā)生故障以避免更嚴(yán)重的問題(例如，線路中斷等)。另外地或可替換地，員工不能識(shí)別感興趣的事件。例如，人員可查看裝置的異常操作但是不能將該操作確定為異常。在另一個(gè)示例中，監(jiān)控人員可能無法識(shí)別操作裝置(例如，車輛和/或重型機(jī)械等)的人員不注意其任務(wù)的情況。在某些情況下，可有利地實(shí)施用于工業(yè)操作監(jiān)控的自動(dòng)技術(shù)，從而由員工增強(qiáng)和/或代替監(jiān)控。
[0030]圖1示出了實(shí)施自動(dòng)操作監(jiān)控的環(huán)境100的示例。環(huán)境100可為任何工業(yè)環(huán)境，例如，生產(chǎn)裝配線、工業(yè)材料加工廠或工廠庫存區(qū)。特別地，在圖1中所示的環(huán)境100是包括生產(chǎn)線110的工業(yè)環(huán)境。然而，環(huán)境100不限于工業(yè)設(shè)置，并且可能具有下面論述的安全功能配置可能有用的任何環(huán)境，例如，在車輛、醫(yī)院、主題公園或監(jiān)獄內(nèi)。例如，在醫(yī)院未進(jìn)行監(jiān)控操作會(huì)對(duì)患者和/或員工造成傷害。
[0031]環(huán)境100可包括多個(gè)裝置。在圖1中的示例工業(yè)環(huán)境100包括制造裝置111-117、控制裝置121和122、無線接入點(diǎn)(AP) 131和132以及標(biāo)記為傳感器141-151的多個(gè)傳感器。另外的或可替換的裝置可存在于工業(yè)環(huán)境100中，包括作為示例的網(wǎng)絡(luò)裝置(例如，集線器、開關(guān)、路由器或橋接器)、數(shù)據(jù)服務(wù)器、致動(dòng)器、發(fā)電機(jī)、馬達(dá)、機(jī)械裝置、監(jiān)控裝置(例如，攝影機(jī)或其他成像器)、光源、計(jì)算機(jī)、管理或控制系統(tǒng)、環(huán)境管理裝置、分析系統(tǒng)、通信裝置以及諸如移動(dòng)電話、平板電腦等的任何移動(dòng)裝置。
[0032]制造裝置111-117沿著生產(chǎn)線110被定位。制造裝置111-117可被實(shí)施為任何機(jī)械裝置、機(jī)器人、致動(dòng)器、工具或沿著生產(chǎn)線110參與組裝(或拆卸)過程的其他電子設(shè)備。制造裝置111-117通信鏈接至控制裝置，制造裝置111-117通過其接收監(jiān)控、指導(dǎo)或控制制造裝置111-117的控制信號(hào)。在圖1中，控制裝置121通信鏈接至制造裝置111-113，并且控制裝置122通信鏈接至制造裝置114-117。在某些變化中，控制裝置112是可編程邏輯控制器(PLC)。
[0033]傳感器141-151可在工業(yè)環(huán)境100中監(jiān)控各種位置。在圖1中，傳感器141-151沿著生產(chǎn)線110被定位在預(yù)定的監(jiān)控位置處并且鄰近制造裝置111-117。傳感器141-151可捕獲用于監(jiān)控環(huán)境100的環(huán)境數(shù)據(jù)，例如，視覺數(shù)據(jù)、音頻數(shù)據(jù)、溫度數(shù)據(jù)、位置或運(yùn)動(dòng)數(shù)據(jù)或表示工業(yè)環(huán)境100的特征的任何其他環(huán)境數(shù)據(jù)。傳感器141-151可將捕獲的數(shù)據(jù)傳送給在工業(yè)環(huán)境100中的任何裝置、分析系統(tǒng)或監(jiān)控系統(tǒng)。如下所述，監(jiān)控系統(tǒng)可整合姿態(tài)識(shí)別以有助于對(duì)操作狀態(tài)的變化的自動(dòng)響應(yīng)和/或其他監(jiān)控啟動(dòng)響應(yīng)。
[0034]工業(yè)環(huán)境100在位于工業(yè)環(huán)境100內(nèi)和/或外面的任何裝置之間支持多個(gè)通信鏈路。多個(gè)通信鏈路可在通信裝置之間提供超靜定性(redundancy)或失效備援(failover)功能。作為在圖1中所示的一個(gè)這種示例，控制裝置121通過有線通信路徑(例如，通過有線電纜)和無線通信路徑(例如，通過無線接入點(diǎn)131)連接至制造裝置111。在這方面，制造裝置111-117可通過多種技術(shù)進(jìn)行通信，包括任意數(shù)量的有線技術(shù)和/或無線技術(shù)。為了支持通信鏈路，控制裝置121和制造裝置111-117可包括執(zhí)行通信協(xié)議和安全特性的邏輯。例如，該裝置可包括主終端單元(MTU)、可編程邏輯控制器(PLC)和/或可編程陣列控制器(PAC)。例如，在一些實(shí)施中，安全特性(例如，端對(duì)端加密)可在位于控制器裝置上的MTU與位于制造裝置上的PLC之間的通信鏈路上提供保護(hù)。通信鏈路可有助于傳送圖像，例如，視頻、照片、聲像圖等，用于在控制裝置或其他數(shù)據(jù)處理器上進(jìn)行處理。
[0035]在工業(yè)環(huán)境100中的裝置可包括通信接口，該通信接口支持與在工業(yè)環(huán)境100內(nèi)或外面的其他裝置具有多個(gè)通信鏈路。通信接口可被配置為根據(jù)一個(gè)或多個(gè)通信模式(例如，根據(jù)各種通信技術(shù)、標(biāo)準(zhǔn)、協(xié)議或者通過各種網(wǎng)絡(luò)或拓?fù)?進(jìn)行通信。通信接口可支持根據(jù)特定的服務(wù)質(zhì)量(QoS)技術(shù)、編碼格式、來通過各種物理(PHY)接口等進(jìn)行的通信。例如，通信接口可根據(jù)以下網(wǎng)絡(luò)技術(shù)、拓?fù)洹⒔橘|(zhì)、協(xié)議或標(biāo)準(zhǔn)中的任一個(gè)進(jìn)行通信:包括工業(yè)以太網(wǎng)的以太網(wǎng)、任何開放的或?qū)Ｓ玫墓I(yè)通信協(xié)議、電纜(例如，DOCSIS)、DSL、同軸電纜多媒體聯(lián)盟(MoCA)、電力線(例如，家庭插電聯(lián)盟AV)、以太網(wǎng)無源光網(wǎng)絡(luò)(EP0N)、吉比特?zé)o源光網(wǎng)絡(luò)(GPON)、任意數(shù)量的蜂窩標(biāo)準(zhǔn)(例如，2G、3G、通用移動(dòng)電信系統(tǒng)(UMTS)、GSM(R)協(xié)會(huì)、長(zhǎng)期演進(jìn)技術(shù)(LTE) (TM)或更多)、WiFi (包括802.lla/b/g/n/ac)、WiMAX、藍(lán)牙、WiGig(例如，802.1lad)以及任何其他有線或無線技術(shù)或協(xié)議。作為一個(gè)示例，控制裝置121包括通信接口 160。
[0036]控制裝置121可包括用于處理圖像的姿態(tài)邏輯161，以有助于下面論述姿態(tài)識(shí)別技術(shù)。例如，姿態(tài)邏輯161可包括處理器164(例如，圖形處理單元(GPU)、通用處理器和/或其他處理裝置)和存儲(chǔ)器166，以分析用于姿態(tài)識(shí)別所記錄的圖像。在一些實(shí)施中，成像器190 (例如，3D照相機(jī)等)可包括光學(xué)傳感器192 (例如，3D傳感器等)，該成像器可捕獲一個(gè)或多個(gè)移動(dòng)對(duì)象(例如，制造裝置111-117)的圖像。成像器可(例如，通過網(wǎng)絡(luò)或在成像與處理相結(jié)合的裝置內(nèi))將圖像傳輸給姿態(tài)邏輯161。姿態(tài)邏輯161可運(yùn)行運(yùn)動(dòng)處理163(例如，姿態(tài)識(shí)別中間件等)。運(yùn)動(dòng)處理163可在圖像內(nèi)識(shí)別運(yùn)動(dòng)并且與所確定的姿態(tài)進(jìn)行比較。運(yùn)動(dòng)處理軟件可確定在圖像內(nèi)識(shí)別的運(yùn)動(dòng)是否與一個(gè)或多個(gè)所確定的姿態(tài)相對(duì)應(yīng)。
[0037]圖2示出了示例姿態(tài)邏輯161。姿態(tài)邏輯161可接收顯示移動(dòng)對(duì)象的運(yùn)動(dòng)的一個(gè)或多個(gè)捕獲的圖像(202)。例如，圖像可包括顯示對(duì)象的當(dāng)前運(yùn)動(dòng)的直播視頻。在一些實(shí)施中，圖像可以是包含關(guān)于在3D空間內(nèi)移動(dòng)對(duì)象的位置的數(shù)據(jù)的3D圖像。移動(dòng)對(duì)象實(shí)際上可包括任何運(yùn)動(dòng)中的物體或一組物體，例如，人或動(dòng)物、機(jī)器、正在操縱的靜物等。
[0038]姿態(tài)邏輯161可在空間內(nèi)生成移動(dòng)對(duì)象的運(yùn)動(dòng)的映射(204)。例如，姿態(tài)邏輯161可基于3D圖像中的位置數(shù)據(jù)將移動(dòng)對(duì)象的運(yùn)動(dòng)映射為3D。為了有助于移動(dòng)對(duì)象的運(yùn)動(dòng)的映射，姿態(tài)邏輯161可將運(yùn)動(dòng)處理163應(yīng)用于捕獲的圖像。在各種實(shí)施中，運(yùn)動(dòng)處理163可應(yīng)用背景建模和消減(background modeling and subtract1n)以移除圖像中的背景信息。在一些實(shí)施中，運(yùn)動(dòng)處理163可應(yīng)用特征提取以確定對(duì)在捕獲的圖像內(nèi)的一個(gè)或多個(gè)移動(dòng)對(duì)象的限制(bound)。在某些情況下，運(yùn)動(dòng)處理163可將像素處理應(yīng)用于準(zhǔn)備好的所捕獲的圖像來用于分析。在一些實(shí)施中，運(yùn)動(dòng)處理163可將跟蹤和識(shí)別例行程序應(yīng)用于識(shí)別所捕獲的圖像中的運(yùn)動(dòng)，其被應(yīng)用于正在被分析的一個(gè)或多個(gè)移動(dòng)對(duì)象的運(yùn)動(dòng)。例如，背景建模和消減可包括以下處理，例如，從彩色圖像(例如，YUV:422)提取亮度、計(jì)算移動(dòng)平均值和方差(例如，指數(shù)加權(quán)或均一化加權(quán)等)、統(tǒng)計(jì)背景消減、混合高斯背景消減、形態(tài)運(yùn)算(例如，腐蝕、膨脹等)、連通元件標(biāo)記和/或其他背景建模和消減。在一些實(shí)施中，特征提取可包括哈里斯(Harris)角落分?jǐn)?shù)計(jì)算、霍夫線路變換、直方圖計(jì)算(例如，用于整數(shù)標(biāo)量、多維向量等)、勒讓德力矩計(jì)算(Legendre moment calculat1n)、凱尼邊緣檢測(cè)(Cannyedge detect1n)(例如,通過平滑、梯度計(jì)算、非極大值抑制、磁滯等)和/或其他特征提取處理。在各種實(shí)施中，像素處理可包括顏色轉(zhuǎn)換(例如，YUV: 422轉(zhuǎn)換成YUV平面、RGB、LAB、HIS等)、積分圖像處理、圖像金字塔計(jì)算(例如，2X2模塊平均化、梯度、高斯或其他圖像金字塔計(jì)算)、非極大值抑制(例如，3X3、5X5、7X7等)、一階遞歸無限脈沖響應(yīng)過濾、立體圖像的基于絕對(duì)差總和的差異和/或其他像素處理。在一些實(shí)施中，跟蹤和識(shí)別可包括Lucas-Kanade特征跟蹤(例如,7X7等)、卡爾曼濾波、Nelder-Mead單純形優(yōu)化、Bhattacharya距離計(jì)算和/或其他跟蹤和識(shí)別工序。
[0039]姿態(tài)邏輯161可訪問可以與所確定的姿態(tài)相對(duì)應(yīng)的一個(gè)或多個(gè)存儲(chǔ)的映射(206)。例如，該映射可包括移動(dòng)對(duì)象可行進(jìn)以完成姿態(tài)的一系列位置的指示。另外地或可替換地，映射可包含相關(guān)的部件。例如，為了完成規(guī)定的姿態(tài)，可將確定的距離從其開始位置移動(dòng)到左邊。該姿態(tài)可包括移動(dòng)對(duì)象的確定部分的運(yùn)動(dòng)。例如，該姿態(tài)可包括使用其右手抓住杠桿并且將該杠桿拉下的人。姿態(tài)映射可反映移動(dòng)對(duì)象的結(jié)構(gòu)。例如，映射可包括與具有能夠以確定的方式彎曲的關(guān)節(jié)的骨骼框架相對(duì)應(yīng)的運(yùn)動(dòng)。姿態(tài)可包括針對(duì)多個(gè)對(duì)象的運(yùn)動(dòng)。例如，姿態(tài)可與協(xié)作動(dòng)作(coordinated act1n)相對(duì)應(yīng),例如,在多個(gè)制造裝置之間的產(chǎn)品的傳遞。姿態(tài)可表示針對(duì)所確定的運(yùn)動(dòng)的時(shí)間幀或速度。
[0040]姿態(tài)邏輯161可將所生成的映射與所確定的姿態(tài)的一個(gè)或多個(gè)映射進(jìn)行比較(208)。例如，姿態(tài)邏輯161可確定移動(dòng)對(duì)象的運(yùn)動(dòng)是否與在姿態(tài)(該姿態(tài)在所確定的閾值內(nèi)匹配)中限定的運(yùn)動(dòng)匹配。在一些實(shí)施中，姿態(tài)邏輯161可在移動(dòng)對(duì)象的運(yùn)動(dòng)的映射上進(jìn)行轉(zhuǎn)換。例如，在某些情況下，如果針對(duì)初始映射沒有發(fā)現(xiàn)匹配，則姿態(tài)邏輯161可翻轉(zhuǎn)和/或平移移動(dòng)物體映射。在某些情況下，姿態(tài)邏輯161可將移動(dòng)對(duì)象的映射應(yīng)用于結(jié)構(gòu)(例如，骨架結(jié)構(gòu))，以有助于與應(yīng)用于這種結(jié)構(gòu)的姿態(tài)映射進(jìn)行比較。另外地或可替換地，該比較可包括確定移動(dòng)對(duì)象的運(yùn)動(dòng)是否包括到絕對(duì)位置的行進(jìn)(或其他運(yùn)動(dòng))，同時(shí)不應(yīng)用轉(zhuǎn)換。例如，這可用于確保裝置停留在所確定的安全區(qū)域內(nèi)和/或在制造過程期間從正確的位置中拾取材料。在某些情況下，姿態(tài)邏輯161可將移動(dòng)對(duì)象的映射運(yùn)動(dòng)與多個(gè)姿態(tài)映射進(jìn)行比較。
[0041]基于該比較，姿態(tài)邏輯161可生成表示是否找到與針對(duì)移動(dòng)對(duì)象的運(yùn)動(dòng)相匹配的姿態(tài)的消息(210)。姿態(tài)邏輯161可將消息轉(zhuǎn)發(fā)給監(jiān)控處理(212)。在某些實(shí)施中，監(jiān)控處理可在姿態(tài)邏輯161上運(yùn)行。另外地或可替換地，監(jiān)控處理可位于姿態(tài)邏輯161的外部。例如，姿態(tài)邏輯161可將消息轉(zhuǎn)發(fā)給警報(bào)系統(tǒng)。在某些情況下，例如，如果與不可取的姿態(tài)不匹配和/或與不可取的姿態(tài)匹配，警報(bào)系統(tǒng)可生成警報(bào)或響應(yīng)于表示感興趣事件的消息來激活警報(bào)。
[0042]圖3示出了示例姿態(tài)識(shí)別情景310、320、330、340。在示例情景310、320、330、340中，成像器190記錄制造裝置302的圖像。成像器經(jīng)由網(wǎng)絡(luò)鏈路304將捕獲的圖像發(fā)送給包括姿態(tài)邏輯161的控制裝置121。姿態(tài)邏輯161處理用于示例情景310、320、330以及340的圖像以識(shí)別運(yùn)動(dòng)。在情景310、320、330中，在捕獲的圖像中識(shí)別的運(yùn)動(dòng)與第一運(yùn)動(dòng)序列(例如，水平擺動(dòng)等)相對(duì)應(yīng)。在情景340中，在捕獲的圖像中識(shí)別的運(yùn)動(dòng)與不同于第一運(yùn)動(dòng)序列的第二運(yùn)動(dòng)序列(例如，垂直擺動(dòng)等)相對(duì)應(yīng)。姿態(tài)邏輯161可訪問所確定的姿態(tài)306，用于在存儲(chǔ)器166上進(jìn)行識(shí)別比較。在示例情景310、320、330、340中，所確定的姿態(tài)與第一運(yùn)動(dòng)序列相對(duì)應(yīng)。姿態(tài)邏輯161可通過生成表示與識(shí)別的姿態(tài)匹配的消息來對(duì)在情景310、320、330中的識(shí)別的運(yùn)動(dòng)做出響應(yīng)。對(duì)于情景340，姿態(tài)邏輯161可通過生成表示所識(shí)別的運(yùn)動(dòng)與確定的姿態(tài)不匹配的消息來對(duì)所識(shí)別的運(yùn)動(dòng)(例如，所有或一部分第二運(yùn)動(dòng)序列)做出響應(yīng)。示例情景310、320、330、340基于姿態(tài)識(shí)別提供用于說明自動(dòng)監(jiān)控的上下文(context)?？墒褂闷渌麑?duì)象、運(yùn)動(dòng)的類型以及姿態(tài)(例如，復(fù)雜的運(yùn)動(dòng)序列、多對(duì)象序列坐^
寸/ ο
[0043]表示匹配或不匹配的消息可應(yīng)用在不同的監(jiān)控處理中。例如，這些消息可用于確定裝置的操作狀態(tài)(例如，正常操作、異常操作等)，監(jiān)控人員(例如，注意工作職責(zé)、情緒、性能等)，響應(yīng)于感興趣的事件(例如，未識(shí)別的姿態(tài)等)來生成警報(bào)，優(yōu)化裝配流水線，響應(yīng)于感興趣事件來自動(dòng)改變監(jiān)控活動(dòng)和/或其他監(jiān)控處理活動(dòng)。
[0044]在某些情況下，自動(dòng)改變監(jiān)控活動(dòng)可包括提高所捕獲的安全視頻的質(zhì)量和/或數(shù)量。例如，視頻監(jiān)控系統(tǒng)可在第一模式(例如，低清晰度視頻、低幀速率、無音頻和/或灰度等)下記錄視頻。響應(yīng)于表示感興趣事件的消息，視頻監(jiān)控系統(tǒng)可切換成第二模式(例如，高清晰度視頻、高幀速率、音頻和/或彩色等)。在某些情況下，在感興趣事件之前捕獲的監(jiān)視視頻可取地在第二模式下進(jìn)行查看。在某些實(shí)施中，可在第二模式下捕獲視頻，然后，在延遲(例如，分鐘、小時(shí)、天、周等)之后，該視頻壓縮成第一模式。在某些情況下，表示感興趣的事件的一個(gè)或多個(gè)消息可促使系統(tǒng)超過該延遲(例如，永久地、在審查之前、在授權(quán)人員刪除之前等)而存儲(chǔ)包圍事件的監(jiān)控視頻的周期。另外地或可替換地，自動(dòng)改變的監(jiān)控活動(dòng)可包括為現(xiàn)場(chǎng)或離線人員自動(dòng)傳輸和/或突出監(jiān)控視頻(例如，用于現(xiàn)場(chǎng)查看而非稍后復(fù)查等)。
[0045]在某些實(shí)施中，在由監(jiān)控處理接收的消息表示完成或即將完成任務(wù)時(shí)，優(yōu)化的裝配流水線和/或其他工作流程可包括使隊(duì)列自動(dòng)前進(jìn)。例如，所確定的姿態(tài)可與用于執(zhí)行任務(wù)所進(jìn)行的運(yùn)動(dòng)或者在任務(wù)的確定點(diǎn)中的任務(wù)相對(duì)應(yīng)。監(jiān)控處理可被配置為使將一個(gè)新部件移動(dòng)到用于支持任務(wù)的下一個(gè)迭代或重復(fù)的位置中(例如，向前移動(dòng)裝配線等)。另外地或可替換地，可響應(yīng)于姿態(tài)來中斷流動(dòng)。例如，員工可舉起手以使裝配線停止。在某些情況下，例如，準(zhǔn)備食物，由于戴防護(hù)手套的員工可避免為了停止線路而按壓按鈕或與其他表面進(jìn)行接觸而造成污染，所以這種系統(tǒng)可有利。
[0046]在各種實(shí)施中，警報(bào)可包括諸如用于喚醒已喪失注意力的人的警報(bào)、通知技術(shù)人員可發(fā)生設(shè)備故障的警報(bào)、已經(jīng)違反安全區(qū)域的警報(bào)和/或其他警報(bào)的警報(bào)。
[0047]在某些實(shí)施中，在本文中論述的基于姿態(tài)的監(jiān)控處理可應(yīng)用于非工業(yè)監(jiān)控中。例如，在醫(yī)學(xué)應(yīng)用中，姿態(tài)可用于跟蹤物理治療患者的進(jìn)程，監(jiān)控睡眠模式(例如，臉部張力、快速眼動(dòng)(REM)、睡眠持續(xù)時(shí)間等)，用于進(jìn)行研究，監(jiān)控治療應(yīng)用(例如，滴落速率、傳感器位移、設(shè)備配置等)、患者狀態(tài)(例如，疼痛、關(guān)節(jié)炎、中風(fēng)的表示(例如，通過不對(duì)稱的臉部運(yùn)動(dòng))等)和/或其他醫(yī)學(xué)監(jiān)控/診斷。
[0048]在某些實(shí)施中，可獲得3D圖像以支持姿態(tài)識(shí)別處理。3D成像器的示例可包括基于飛行時(shí)間的系統(tǒng)(例如，雷達(dá)、聲納、回聲位置、激光雷達(dá)等)、多傳感器和/或多照明源系統(tǒng)、掃描系統(tǒng)(例如，磁共振成象(MRI)、計(jì)算機(jī)體層掃描(CT掃描))、結(jié)構(gòu)化照明系統(tǒng)、編碼燈系統(tǒng)和/或其他3D成像系統(tǒng)。
[0049]在各種實(shí)施中，飛行時(shí)間成像系統(tǒng)通過以確定的角度或方向發(fā)出信號(hào)來進(jìn)行操作，并且測(cè)量用于接收反射回信號(hào)源(例如，接近源(或與該源相距確定的距離)的傳感器)的時(shí)間?？捎砂l(fā)送的信號(hào)的速度(例如，光速、聲速等)分割接收反射的時(shí)間?？赏ㄟ^掃描各種角度和/或方向生成包圍飛行時(shí)間成像器的反射表面的3D圖像。在某些情況下，飛行時(shí)間成像器與挑戰(zhàn)相關(guān)聯(lián)，例如，混淆現(xiàn)象(距離模糊)、運(yùn)動(dòng)模糊(例如，對(duì)于比掃描更快的運(yùn)動(dòng)和/或源信號(hào)間距)、分辨率、干擾(例如，來自相似的源頭)和/或環(huán)境信號(hào)。飛行時(shí)間系統(tǒng)可提供在度量(例如，操作范圍、視場(chǎng)、圖像捕獲(尺寸、分辨率、顏色)、幀速率、潛伏期、功耗、系統(tǒng)尺寸以及操作環(huán)境)方面可與其他3D成像系統(tǒng)競(jìng)爭(zhēng)的性能。飛行時(shí)間系統(tǒng)還在諸如全身跟蹤、多體部件跟蹤以及多體跟蹤的應(yīng)用中提供有競(jìng)爭(zhēng)力的性能。然而，會(huì)對(duì)飛行時(shí)間系統(tǒng)的成本提出挑戰(zhàn)。
[0050]在某些實(shí)施中，結(jié)構(gòu)化光系統(tǒng)將2D的光圖像投影為成像的3D環(huán)境內(nèi)，以允許將在成像的3D環(huán)境內(nèi)的物體的位置編碼至投影儀的協(xié)調(diào)系統(tǒng)內(nèi)。結(jié)構(gòu)化光系統(tǒng)可使用三角測(cè)量來確定由結(jié)構(gòu)化光源照明的物體的3D位置和特征。圖4示出了示例結(jié)構(gòu)化光成像處理400。提供包括條紋406的條紋圖案404的結(jié)構(gòu)化光投影儀402照亮成形物體410。通過在成形物體410上投影使條紋406變形。變形的條紋432由照相機(jī)上的像素陣列430捕獲。位于像素陣列434上的變形的條紋432的位置可被用來利用三角測(cè)量法來映射成形物體的特征和位置?；诎ㄔ诮Y(jié)構(gòu)化光源與像素陣列434之間的已知距離的三角測(cè)量基線450來進(jìn)行三角測(cè)量。結(jié)構(gòu)化光系統(tǒng)可提供在諸如操作范圍、視場(chǎng)、圖像捕獲(尺寸、分辨率、顏色)、幀速率、潛伏期、功耗、系統(tǒng)尺寸以及操作環(huán)境的度量方面可與其他3D成像系統(tǒng)競(jìng)爭(zhēng)的性能。在諸如全身跟蹤的應(yīng)用中，結(jié)構(gòu)化光系統(tǒng)還提供有競(jìng)爭(zhēng)性的性能。然而，會(huì)在結(jié)構(gòu)化光系統(tǒng)中的對(duì)多個(gè)主體部分跟蹤以及多主體跟蹤提出挑戰(zhàn)。
[0051]在各種實(shí)施中，編碼的光系統(tǒng)可與結(jié)構(gòu)化光系統(tǒng)相似的原理進(jìn)行操作。2D光圖案可投影至成像的3D環(huán)境中，以允許將在成像的3D環(huán)境中的物體的位置編碼至投影儀的協(xié)作系統(tǒng)中。編碼的光系統(tǒng)可使用三角測(cè)量來確定由編碼的光源來照明的物體的3D位置和特征。編碼的光系統(tǒng)可進(jìn)一步時(shí)間多路復(fù)用多個(gè)2D的圖案，用于進(jìn)行投影。額外的2D圖案可允許具有更大的空間分辨率。例如，成形物體的位置和特征可針對(duì)多個(gè)2D的圖案，并且可應(yīng)用統(tǒng)計(jì)處理以移除計(jì)算誤差。在某些情況下，照明對(duì)象的運(yùn)動(dòng)在時(shí)間多路復(fù)用的時(shí)間標(biāo)度上會(huì)是模糊的。編碼的光系統(tǒng)可提供在諸如操作范圍、視場(chǎng)、圖像捕獲(尺寸、分辨率、顏色)、幀速率、潛伏期、功耗、系統(tǒng)尺寸以及操作環(huán)境的度量方面可與其他3D成像系統(tǒng)競(jìng)爭(zhēng)的性能。在諸如全身跟蹤、多體部件跟蹤以及多體跟蹤的應(yīng)用中，編碼的光系統(tǒng)還提供有競(jìng)爭(zhēng)性的性能。
[0052]在各種實(shí)施中，基于源的照明器(例如，用在飛行時(shí)間、結(jié)構(gòu)化光、編碼光系統(tǒng)等中)可包含已知的屬性(例如，頻率等)?？珊雎跃哂胁煌瑢傩缘墓庠吹墓?。這可有助于移除背景。例如，可在光源中實(shí)施選通(strobing)(或其他光編碼)以增加用于與外部光源進(jìn)行區(qū)別的屬性。編碼的光源可投射出已知的時(shí)分多路復(fù)用圖案。在各種實(shí)施中，可移除未發(fā)現(xiàn)反映時(shí)分多路復(fù)用屬性的捕獲的圖像數(shù)據(jù)以避免噪音對(duì)源的干擾。
[0053]在一些實(shí)施中，可在工業(yè)環(huán)境中捕獲音頻。音頻姿態(tài)(例如，確定的音頻模式識(shí)另Ij)分析可被應(yīng)用于捕獲的音頻。例如，執(zhí)行確定的任務(wù)的制造裝置可生成可識(shí)別的音頻模式。捕獲的音頻可與已知的模式進(jìn)行比較以確定操作狀態(tài)。在各種實(shí)施中，音頻姿態(tài)分析可與圖像姿態(tài)分析相配對(duì)。在各種實(shí)施中，麥克風(fēng)傳感器可被分布在示例工業(yè)環(huán)境100內(nèi)從而有助于音頻姿態(tài)分析。
[0054]另外地或可替換地，可控制工業(yè)環(huán)境100以盡可能減少具有與照明源相似的性能的干擾源。例如，使用這種燈來照明，在沒有員工時(shí)，可在全自動(dòng)制造中盡可能減少或消除工廠燈和其他輻射源。另外地或可替換地，在工業(yè)環(huán)境100內(nèi)，照明源(例如，碼光源、結(jié)構(gòu)化光源、飛行時(shí)間光源等)可在人們或其他設(shè)備未使用的頻帶內(nèi)進(jìn)行操作。例如，照明源可在人們看不見的近紅外或遠(yuǎn)紅外頻帶內(nèi)進(jìn)行操作并且不能用于通用照明。
[0055]通過硬件、軟件或硬件和軟件的多種不同的組合，可用多種不同的方法來實(shí)施上述方法、裝置以及邏輯。例如，所有或部分系統(tǒng)在控制器、微處理器或?qū)Ｓ眉呻娐?ASIC)中可包括電路，或者可通過離散邏輯或元件或其他類型的模擬或數(shù)字電路的組合實(shí)現(xiàn)、在單個(gè)集成電路上組合或分布在多個(gè)集成電路之間。所有或部分上述邏輯可用作由處理器、控制器或其他處理裝置執(zhí)行的指令，并且可存儲(chǔ)在有形的或永久的機(jī)器可讀的或計(jì)算機(jī)可讀的媒質(zhì)內(nèi)，例如，閃速存儲(chǔ)器、隨機(jī)存取存儲(chǔ)器(RAM)或只讀存儲(chǔ)器(ROM)、電可擦可編程只讀存儲(chǔ)器(EPROM)，或者可存儲(chǔ)在其他機(jī)器可讀的媒質(zhì)內(nèi)，例如，光盤只讀存儲(chǔ)器(CDROM)或磁盤或光盤。因此，計(jì)算機(jī)程序產(chǎn)品等產(chǎn)品可包括存儲(chǔ)媒質(zhì)和存儲(chǔ)在該媒質(zhì)上的計(jì)算機(jī)可讀指令，在端點(diǎn)、計(jì)算機(jī)系統(tǒng)或其他裝置內(nèi)執(zhí)行時(shí)，促使該裝置根據(jù)以上任何一種描述進(jìn)行操作。
[0056] 該系統(tǒng)的處理能力可分布在多個(gè)系統(tǒng)元件之間，例如在多個(gè)處理器和存儲(chǔ)器之間，可選地包括多個(gè)分布的處理系統(tǒng)。參數(shù)、數(shù)據(jù)庫以及其他數(shù)據(jù)結(jié)構(gòu)可單獨(dú)地存儲(chǔ)和管理，可包含在單個(gè)存儲(chǔ)器或數(shù)據(jù)庫內(nèi)，可用多種不同的方式在邏輯上和物理上進(jìn)行組織，并且可用多種方式實(shí)施，包括數(shù)據(jù)結(jié)構(gòu)，例如，鏈接表、哈希表、或隱式存儲(chǔ)機(jī)構(gòu)。程序可為單個(gè)程序的一部分(例如，子程序)、單獨(dú)的程序，通過若干個(gè)存儲(chǔ)器和處理器進(jìn)行分布，或者可用多種不同的方式實(shí)現(xiàn)，例如，在文庫內(nèi)，例如，共享庫(例如，動(dòng)態(tài)鏈接庫(DLL))。例如，DLL可存儲(chǔ)執(zhí)行上述任何系統(tǒng)處理的代碼。雖然已經(jīng)描述了各種實(shí)施，但是對(duì)于本領(lǐng)域的技術(shù)人員而言，在本公開的范圍內(nèi)顯然能夠具有更多的實(shí)施方式和實(shí)施。
【權(quán)利要求】
1.一種監(jiān)控系統(tǒng)，包括: 成像器，被配置為捕獲制造裝置的當(dāng)前運(yùn)動(dòng)的視頻；以及 邏輯，在與所述成像器進(jìn)行數(shù)據(jù)通信時(shí)，所述邏輯被配置為: 基于所述視頻在多維空間中生成所述制造裝置的當(dāng)前運(yùn)動(dòng)的第一映射； 訪問存儲(chǔ)的模型姿態(tài)的第二映射；并且 將所述第一映射與所述第二映射進(jìn)行比較以確定所述制造裝置的當(dāng)前運(yùn)動(dòng)是否偏離所述模型姿態(tài)；以及 當(dāng)所述制造裝置的當(dāng)前運(yùn)動(dòng)偏離所述模型姿態(tài)時(shí)， 生成表示所述偏離的消息；以及 將所述消息發(fā)送給與所述制造裝置相關(guān)聯(lián)的監(jiān)控處理。
2.根據(jù)權(quán)利要求1所述的監(jiān)控系統(tǒng),其中， 所述消息被配置為表示所述制造裝置的非相容的操作；以及 所述監(jiān)控處理被配置為響應(yīng)于所述消息而在查看屏幕上生成警報(bào)。
3.一種監(jiān)控系統(tǒng)，包括: 成像器，被配置為創(chuàng)建移動(dòng)對(duì)象的當(dāng)前運(yùn)動(dòng)的圖像； 邏輯，在與所述成像器進(jìn)行數(shù)據(jù)通信時(shí)，所述邏輯被配置為: 基于所述圖像生成所述移動(dòng)對(duì)象的當(dāng)前運(yùn)動(dòng)的第一映射； 訪問存儲(chǔ)的模型姿態(tài)的第二映射；以及 將所述第一映射與所述第二映射進(jìn)行比較以確定所述移動(dòng)對(duì)象的操作狀況。
4.根據(jù)權(quán)利要求3所述的監(jiān)控系統(tǒng)，其中，所述成像器被配置為創(chuàng)建包括所述圖像的一系列圖像。
5.根據(jù)權(quán)利要求3所述的監(jiān)控系統(tǒng)，其中，所述邏輯被配置為基于源的屬性來處理所述圖像。
6.根據(jù)權(quán)利要求3所述的監(jiān)控系統(tǒng)，其中，所述成像器包括: 光學(xué)傳感器，被配置為捕獲所述圖像；以及 聚焦設(shè)備，被配置為在所述光學(xué)傳感器上產(chǎn)生所述圖像。
7.根據(jù)權(quán)利要求3所述的監(jiān)控系統(tǒng)，其中，所述第一映射和所述第二映射包括在多維空間中的映射。
8.根據(jù)權(quán)利要求3所述的監(jiān)控系統(tǒng)，其中，所述邏輯被配置為基于確定的操作狀況生成警報(bào)。
9.一種監(jiān)控方法，包括: 捕獲移動(dòng)對(duì)象的當(dāng)如運(yùn)動(dòng)的視頻； 基于所述視頻生成所述移動(dòng)對(duì)象的當(dāng)前運(yùn)動(dòng)的第一映射； 訪問存儲(chǔ)的模型姿態(tài)的第二映射；以及 將所述第一映射與所述第二映射進(jìn)行比較以確定所述移動(dòng)對(duì)象的操作狀態(tài)。
10.根據(jù)權(quán)利要求9所述的監(jiān)控方法，進(jìn)一步包括: 基于所述移動(dòng)對(duì)象的類型和用于由所述移動(dòng)對(duì)象執(zhí)行而調(diào)度的任務(wù)來選擇存儲(chǔ)的所述第二映射。
【文檔編號(hào)】G05B19/418GK104516337SQ201410525812
【公開日】2015年4月15日 申請(qǐng)日期:2014年10月8日 優(yōu)先權(quán)日:2013年10月1日
【發(fā)明者】陳雪敏, 永范·金 申請(qǐng)人:美國(guó)博通公司