基于人員檢測的嵌入式控制系統(tǒng)、設備和方法
【技術領域】
[0001]本申請涉及嵌入式智能設備技術領域，具體涉及一種基于人員檢測的嵌入式控制系統(tǒng)、設備和方法。
【背景技術】
[0002]目前的嵌入式系統(tǒng)均期望在家居家電等設備上創(chuàng)造出創(chuàng)新的用戶體驗，若要實現快速準確的人員感知系統(tǒng)、按照用戶的位置距離進行自適應的控制調整，主要技術難點在于:
[0003]—、難以快速準確地檢測各種不同姿態(tài)的人員；
[0004]二、目前的硬件解決方案中采用的攝像頭成本較高。例如一些游戲機和家電方案，采用深度攝像頭如kinect，或雙目攝像頭系統(tǒng)，獲得人的深度或立體信息以進行檢測識別，攝像頭的成本高昂且需要占用較多的計算資源。而基于單目攝像頭的圖像處理算法，通常需要運行多個復雜的模型，處理不同姿態(tài)和遮擋情況的人員的圖像進行檢測，占用內存高，
計算復雜度非常高。
【發(fā)明內容】
[0005]鑒于現有技術中的上述缺陷或不足，期望提供一種能快速準確地檢測不同姿態(tài)的人員同時整體硬件成本較低的基于人員檢測的嵌入式控制系統(tǒng)、設備和方法。
[0006]第一方面，本發(fā)明提供一種基于人員檢測的嵌入式控制系統(tǒng)，所述系統(tǒng)包括:
[0007]單目攝像頭，用于采集當前場景的圖像序列，并將所采集的圖像序列發(fā)送至人員檢測單元；
[0008]人員檢測單元，與所述單目攝像頭連接，用于通過多層深度神經網絡的圖像識別對所述圖像序列所示場景中是否存在人員、存在人員的位置信息進行檢測，并將檢測結果發(fā)送至設備控制單元；
[0009]設備控制單元，與所述人員檢測單元連接，用于根據所述檢測結果和預設的控制策略生成操作指令，并控制所述嵌入式智能設備執(zhí)行所述操作指令。
[0010]第二方面，本發(fā)明提供一種嵌入式智能設備，所述設備內設有上述的基于人員檢測的嵌入式控制系統(tǒng)。
[0011]第三方面，本發(fā)明提供一種適用于上述系統(tǒng)或設備的基于人員檢測的嵌入式控制方法，所述方法包括:
[0012]S10:米集當前場景的圖像序列；
[0013]S30:通過多層深度神經網絡的圖像識別對所述圖像序列所示場景中是否存在人員、存在人員的位置信息進行檢測，得到檢測結果；
[0014]S50:根據所述檢測結果和預設的控制策略生成操作指令，并控制所述嵌入式智能設備執(zhí)行所述操作指令。
[0015]本發(fā)明諸多實施例提供的基于人員檢測的嵌入式控制系統(tǒng)、設備和方法通過多層深度神經網絡的圖像識別檢測單目攝像頭所采集的圖像序列，再根據檢測結果和預設的控制策略生成操作指令，最終控制嵌入式智能設備執(zhí)行操作指令，從而以較低的硬件成本實現了快速準確的人員感知并對設備進行控制調整；
[0016]本發(fā)明一些實施例提供的基于人員檢測的嵌入式控制系統(tǒng)、設備和方法進一步通過多級檢測卷積神經網絡模型對不同的姿態(tài)和角度的人員進行探測、通過多模型分類卷積神經網絡對不同的姿態(tài)和角度的人員模型進行歸類，實現了快速準確地檢測各種不同姿態(tài)的人員；
[0017]本發(fā)明一些實施例提供的基于人員檢測的嵌入式控制系統(tǒng)、設備和方法進一步通過對所采集的圖像降采樣實現了在基本不影響檢測結果的準確率的前提下大幅減輕了系統(tǒng)的計算壓力；
[0018]本發(fā)明一些實施例提供的基于人員檢測的嵌入式控制系統(tǒng)、設備和方法進一步通過預設置多種一一對應的工作模式和控制策略，實現了系統(tǒng)能自動在設備的不同工作模式下進行不同策略的靈活控制。
【附圖說明】
[0019]通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優(yōu)點將會變得更明顯:
[0020]圖1為本發(fā)明一實施例中基于人員檢測的嵌入式控制系統(tǒng)的結構示意圖。
[0021 ]圖2為本發(fā)明一優(yōu)選實施例中探測子單元的工作流程示意圖。
[0022]圖3為本發(fā)明一優(yōu)選實施例中人員在不同的姿態(tài)和角度下的模型示意圖。
[0023]圖4為本發(fā)明一實施例中基于人員檢測的嵌入式控制方法的流程圖。
[0024]圖5為圖4所示嵌入式控制方法的一優(yōu)選實施方式中步驟S30的流程圖。
[0025]圖6為圖5所示步驟S30的一優(yōu)選實施方式的流程圖。
[0026]附圖標記說明:
[0027]10 嵌入式控制系統(tǒng)
[0028]30 嵌入式智能設備
[0029]11 單目攝像頭[°03°]13 人員檢測單元
[0031]15 設備控制單元
[0032]51 頭部模型
[0033]52 半身模型
[0034]53 全身模型
【具體實施方式】
[0035]下面結合附圖和實施例對本申請作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用于解釋相關發(fā)明，而非對該發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與發(fā)明相關的部分。
[0036]需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結合實施例來詳細說明本申請。
[0037]圖1為本發(fā)明一實施例提供的基于人員檢測的嵌入式控制系統(tǒng)的結構示意圖。
[0038]如圖1所示，在本實施例中，本發(fā)明提供的基于人員檢測的嵌入式控制系統(tǒng)10設置在嵌入式智能設備30中，所述系統(tǒng)包括:
[0039]單目攝像頭11，用于采集當前場景的圖像序列，并將所采集的圖像序列發(fā)送至人員檢測單元13;
[0040]人員檢測單元13，與單目攝像頭11連接，用于通過多層深度神經網絡的圖像識別對所述圖像序列所示場景中是否存在人員、存在人員的位置信息進行檢測，并將檢測結果發(fā)送至設備控制單元15;
[0041]設備控制單元15，與人員檢測單元13連接，用于根據所述檢測結果和預設的控制策略生成操作指令，并控制嵌入式智能設備30執(zhí)行所述操作指令。
[0042]上述實施例通過多層深度神經網絡的圖像識別檢測單目攝像頭所采集的圖像序列，再根據檢測結果和預設的控制策略生成操作指令，最終控制嵌入式智能設備執(zhí)行操作指令，從而以較低的硬件成本實現了快速準確的人員感知并對設備進行控制調整。
[0043]在一優(yōu)選實施例中，人員檢測單元13包括探測子單元和分類子單元。
[0044]所述探測子單元用于對所述圖像序列的每一圖像進行滑動窗搜索，獲取可能包含人員部分模型或完整模型的備選區(qū)域。所述滑動窗檢索包括對所述圖像每間隔預設數量的像素即提取一預設大小的圖像塊，對所述圖像塊輸入多級檢測卷積神經網絡模型以探測是否包含人員部分模型或完整模型。所述多級檢測卷積神經網絡模型為各人員模型共用的卷積神經網絡模型。
[0045]所述分類子單元用于對所述備選區(qū)域輸入多模型分類卷積神經網絡以準確判斷所述備選區(qū)域所包含的人員模型的類型并進行分類，根據所述人員模型的類型、在所述圖像中的相對大小和位置進行歸并，得到以人員為單位的檢測結果，并根據所述單目攝像頭的事先得到的校準信息，如攝像頭安裝高度和內外參數矩陣，計算出所檢測到人員的位置信息，如到攝像頭的距離和相對角度。。
[0046]具體地，以720P高清單目攝像頭為例，所述圖像序列的每一圖像的分辨率為1280*720，探測子單元對圖像中每間隔3個像素提取一個40*40的圖像塊。預設的多級檢測卷積神經網絡模型同時用于檢測3項人員部分模型和I項人員完整模型，探測子單元對每個圖像塊輸入多級檢測卷積神經網絡模型以探測是否包含人員模型，如包含，則該圖像塊為備選區(qū)域。
[0047]分類子單元對各個備選區(qū)域分別輸入多模型分類卷積神經網絡，從而準確判斷出，備選區(qū)域所包含的人員模型屬于頭部模型、上半身模型、下半身模型和全身模型中的哪一種，并以此進行分類。然后再根據所述人員模型的類型、在所述圖像中的相對大小和位置進行歸并，得到以人員為單位的檢測結果。例如模型a為頭部模型、模型b為上半身模型、模型g為下半身模型、模型h為全身模型，且模型a、b、g、h在圖像A中的相對大小和位置匹配，從而確認圖像A的檢測結果中包含人員α。分類子單元還根據單目攝像頭提前獲取的校準信息和人員α在圖像A中的位置計算出人員α的位置信息。
[0048]在更多的實施例中，上述實施例中的單目攝像頭像素、圖像的分辨率、圖像塊的大小、滑動窗檢索所間隔的像素數、人員模型的類型，均可根據實際需求采用不同的設置參數，只要探測子單元通過滑動窗搜索的原理選出了可能包含人員模型的備選區(qū)域，即可實現相同的技術效果，并未超出上述技術方案的設計思想和保護范圍。
[0049]上述實施例進一步通過多級檢測卷積神經網絡模型對不同的姿態(tài)和角度的人員進行探測、通過多模型分類卷積神經網絡對不同的姿態(tài)和角度的人員模型進行歸類，實現了快速準確地檢測各種不同姿態(tài)的人員。
[0050]圖2為本發(fā)明一優(yōu)選實施例中探測子單元的工作流程示意圖。
[0051]如圖2所示，在一優(yōu)選實施例中，所述探測子單元還用于對所述圖像序列的每一圖像進行降采樣以得到包含不同分辨率圖像的圖像金字塔，并對每一分辨率圖像進行所述滑動窗檢索。
[0052]具體地，對于分辨率較高的單目攝像頭，例如720P、1080P的高清攝像頭乃至更高分辨率的超清攝像頭，所采集的圖像分辨率較大，對應地，探測子單元所提取的圖像塊數量大幅增長，判斷備選區(qū)域的計算次數大幅增長，系統(tǒng)的計算壓力非常大。通過降采樣降低圖像分辨率，可以大幅減少圖像塊的數量，對應地大幅減少了備選區(qū)域的計算次數，減輕了系統(tǒng)的計算壓力。同時由分類子單元的判斷分類和歸并保障了檢測結果的高準確率，因此降低圖像分辨率對最終檢測結果的準確率影響非常微小。
[0053]上述實施例進一步通過對所采集的圖像降采樣實現了在基本不影響檢測結果的準確率的前提下大幅減輕了系統(tǒng)的計算壓力。<