本發(fā)明涉及圖像跟蹤
技術領域：
，特別是涉及視頻流中行人檢測方法與系統(tǒng)。
背景技術：
：視頻流中行人檢測技術目前廣泛應用于智能家居及工業(yè)安防領域。行人檢測技術通過對前端攝像頭采集的視頻流逐幀分析獲得行人區(qū)域，并以此為觸發(fā)條件將檢測得到的人行物體上報給用戶。視頻流中行人檢測技術大體分為兩類：1、基于移動目標的檢測，該類技術通過無人的靜止圖像作為前景圖像，實時分析每一幀圖像與前景圖像的差值，對每個位置的像素建立其屬于靜止目標或移動目標的概率，將屬于移動目標的位置合并聯(lián)通為行人區(qū)域，該類技術具有檢測速度快的優(yōu)點；2、基于卷積神經網絡的檢測，該類技術設計對行人區(qū)域有高響應值的卷積神經網絡，將每一幀圖像通過卷積神經網絡獲得其特征圖像，在特征圖像上滑窗檢測計算每個窗口的響應值，將高響應值的窗口輸出為行人區(qū)域，該類技術具有檢測精度高的優(yōu)點。雖然上述兩類視頻流中行人檢測技術都能實現(xiàn)行人檢測且具有各自的優(yōu)點，但基于移動目標的檢測技術容易造成誤報，其檢測結果不準確，基于卷積神經網絡的檢測檢測過程數(shù)據(jù)處理復雜，效率低且結果不準確。技術實現(xiàn)要素：基于此，有必要針對一般視頻流中行人檢測技術檢測效率低且檢測結果不準確的問題，提供一種檢測效率高且檢測結果準確的視頻流中行人檢測方法與系統(tǒng)。一種視頻流中行人檢測方法，包括步驟：獲取多路視頻流，對每路視頻流分別進行移動目標檢測，分割出每張圖片的移動目標區(qū)域；通過基于分治的合并算法將每張圖像的移動目標區(qū)域拼接成單張大圖，獲得拼接圖像；通過卷積神經網絡對拼接圖像進行神經網絡預測，獲得檢測結果。一種視頻流中行人檢測系統(tǒng)，包括：分割模塊，用于獲取多路視頻流，對每路視頻流分別進行移動目標檢測，分割出每張圖片的移動目標區(qū)域；拼接模塊，用于通過基于分治的合并算法將每張圖像的移動目標區(qū)域拼接成單張大圖，獲得拼接圖像；檢測模塊，用于通過卷積神經網絡對拼接圖像進行神經網絡預測，獲得檢測結果。本發(fā)明視頻流中行人檢測方法與系統(tǒng)，獲取多路視頻流，對每路視頻流分別進行移動目標檢測，分割出每張圖片的移動目標區(qū)域，通過基于分治的合并算法將拼接成單張大圖，獲得拼接圖像，通過卷積神經網絡對拼接圖像進行神經網絡預測，獲得檢測結。整個過程中，通過分治的區(qū)域合并算法將移動目標檢測算法和卷積神經網絡行人檢測算法高效的結合在一起，實現(xiàn)高效且準確對視頻流中行人檢測。附圖說明圖1為本發(fā)明視頻流中行人檢測方法第一個實施例的流程示意圖；圖2為本發(fā)明視頻流中行人檢測方法第二個實施例的流程示意圖；圖3至圖7為在本發(fā)明視頻流中行人檢測方法其中一個應用實例中，每張圖片的移動目標區(qū)域填充過程示意圖；圖8為本發(fā)明視頻流中行人檢測系統(tǒng)第一個實施例的結構示意圖；圖9為本發(fā)明視頻流中行人檢測系統(tǒng)第一個實施例的結構示意圖。具體實施方式為了清楚解釋說明本發(fā)明視頻流中行人檢測方法與系統(tǒng)的技術方案，下面將針對后續(xù)內容中出現(xiàn)的符號定義進行說明，具體如下表1、表2、表3以及表4所示。表1為符號與定義第一對應表符號idxfullvalidroi說明移動幀側區(qū)域序號最終合并后的圖像可填充區(qū)域真實填充區(qū)域表2為符號與定義第二對應表符號rightdown說明填充后右側剩余區(qū)域填充后下方剩余區(qū)域表3為符號與定義第三對應表表4為符號與定義第四對應表如圖1所示，一種視頻流中行人檢測方法，其特征在于，包括步驟：S200：獲取多路視頻流，對每路視頻流分別進行移動目標檢測，分割出每張圖片的移動目標區(qū)域。獲取多路視頻流，并且針對每路視頻分別進行移動目標檢測，在檢測之后分割出每張圖片的移動目標區(qū)域。在這里，獲取視頻流的方式可以是采用相機等視頻拍攝設備實時采集，也可以是外部存儲的數(shù)據(jù)直接獲取導入的視頻流。在分割出的每張圖片的移動目標區(qū)域中可能有行人也可能沒有行人。S400：通過基于分治的合并算法將每張圖像的移動目標區(qū)域拼接成單張大圖，獲得拼接圖像。針對步驟S200獲得的每張圖片的移動目標區(qū)域進行拼接，具體采用分治的合并算法進行拼接，獲得拼接圖像。S600：通過卷積神經網絡對拼接圖像進行神經網絡預測，獲得檢測結果。卷積神經網絡主要用來識別位移、縮放及其他形式扭曲不變性的圖形。卷積神經網絡可以并行學習，另外，卷積神經網絡以其局部權值共享的特殊結構在語音識別和圖像處理方面有著獨特的優(yōu)越性，其布局更接近于實際的生物神經網絡，權值共享降低了網絡的復雜性，特別是多維輸入向量的圖像可以直接輸入網絡這一特點避免了特征提取和分類過程中數(shù)據(jù)重建的復雜度。在這里，采用卷積神經網絡對拼接圖像進行神經網絡預測，獲得檢測結果。由于卷積神經網絡只需針對單個圖像(拼接圖像)進行神經網絡預測，在進行視頻流中行人檢測過程需要處理的數(shù)據(jù)量已經大大減小。非必要的，在獲得檢測結果可以將檢測結果推送至用戶，推送方式可以采用遠程數(shù)據(jù)傳輸，例如通過無線網絡遠程傳輸方式推送，以便用戶及時且準確了解視頻流中行人檢測結果。本發(fā)明視頻流中行人檢測方法，獲取多路視頻流，對每路視頻流分別進行移動目標檢測，分割出每張圖片的移動目標區(qū)域，通過基于分治的合并算法將拼接成單張大圖，獲得拼接圖像，通過卷積神經網絡對拼接圖像進行神經網絡預測，獲得檢測結。整個過程中，通過分治的區(qū)域合并算法將移動目標檢測算法和卷積神經網絡行人檢測算法高效的結合在一起，實現(xiàn)高效且準確對視頻流中行人檢測。如圖2所示，在其中一個實施例中，步驟S200包括：S220：通過分布式服務器集群應用移動目標檢測算法，并行檢測每路視頻流中每一幀的移動區(qū)域，獲得移動區(qū)域檢測結果。分布式服務器集群是指一定數(shù)量服務器分布式設置，通過這些分布服務器群，能夠第一時間對獲取的視頻流進行并行處理。在每個服務器內應用移動目標檢測算法，每個服務器處理自身獲取的一路視頻流，并行檢測該路視頻流中每一幀的移動區(qū)域。S240：根據(jù)移動區(qū)域檢測結果，分割出每張圖片的移動目標區(qū)域。針對步驟S220中檢測得到的每路視頻流中每一幀的移動區(qū)域，分割出每張圖片的移動目標區(qū)域。具體來說，輸入多視頻流通過并行服務器的移動目標檢測算法獲得所有待合并(檢測)的移動區(qū)域。Q{Iidx}＝{I1,I2...IN}，idx∈[1,N]，Q{Sidx}＝{S1,S2...SN}。如圖2所示，在其中一個實施例中，步驟S400包括：S420：獲取卷積神經網絡中設定的固定寬度與高度值。卷積神經網絡中設定的固定寬度與高度值是基于行業(yè)準則設定好的數(shù)值，可以將卷積神經網絡處理圖片的尺寸大小理解為一個處理窗口的大小，這個窗口固定有寬度和高度，而這個寬度和高度即為卷積神經網絡中設定的固定寬度與高度值。S440：根據(jù)卷積神經網絡模型中設定的固定寬度與高度值，確定拼接圖像的初始矩形區(qū)域大小，獲得初始拼接圖像。最終獲得的拼接圖像的尺寸大小即為卷積神經網絡中固定寬度與高度值。簡單來說，在這里劃設一個拼接圖像的矩形區(qū)域，這個矩形區(qū)域的寬度與高度值等于卷積神經網絡模型中設定的固定寬度與高度值。S460：根據(jù)每張圖片的移動目標區(qū)域的高度值，對每張圖片的移動目標區(qū)域根據(jù)高度值由大到小進行優(yōu)先級排序，獲得移動目標區(qū)域排序集合。在步驟S200獲得的每張圖片的移動目標區(qū)域中，有的圖片的移動目標區(qū)域的高度大、有的小，為了將一定數(shù)量的圖片的移動目標區(qū)域填充至步驟S440劃設好的矩形區(qū)域中(初始拼接圖像)，需要對每張圖片的移動目標區(qū)域的高度值由大到小進行優(yōu)先級排序。具體來說，高度值越大的圖片的移動目標區(qū)域對應的優(yōu)先級越高。即在移動目標區(qū)域排序集合中元素(每張圖片的移動目標區(qū)域)對應的高度值依次減小。S480：根據(jù)優(yōu)先級順序依次將每張圖片的移動目標區(qū)域填充至初始拼接圖像，獲得每張圖像的移動目標區(qū)域拼接成的無縫單張大圖。由于初始矩形區(qū)域大小有限，為了將每張圖片的移動目標區(qū)域合理填充至初始拼接圖像，在這里需要根據(jù)優(yōu)先級順序依次填充。具體來說，優(yōu)先級越高的圖片的移動目標區(qū)域優(yōu)先填充，即高度值越大的圖片的移動目標區(qū)域的越先填充，最終獲得每張圖像的移動目標區(qū)域拼接成的無縫單張大圖。非必要的，在其中一個實施例中，步驟S480包括：步驟一：在初始拼接圖像中構建坐標，其中，初始拼接圖像的任意一個角作為坐標原點，坐標X軸表征移動目標區(qū)的寬度，坐標Y軸表征移動目標區(qū)的高度。具體來說，初始拼接圖像Ifull為一個初始化的形狀，該形狀寬高即為卷積神經網絡模型接受的固定寬高。初始化的形狀記為Sfull。空間坐標系原點建于Ifull的任意一個角即可(在這里選擇左上角)，即X(Sfull)＝0，Y(Sfull)＝0。步驟二：確定當前可填充區(qū)域，初始時，可填充區(qū)域為初始拼接圖像。當前可填充區(qū)域Svalid是一個變化的區(qū)域，在每次填充之后可填充區(qū)域大小將會減小。在初始時，可填充區(qū)域為初始拼接圖像Svalid＝Sfull，且初始時Ifull所有像素點為0，即可以將初始拼接圖像理解為一種大小固定且已知的白紙。步驟三：從移動目標區(qū)域排序集合中第一元素開始，查找圖片的移動目標區(qū)域的寬度值與高度值均小于或等于當前可填充區(qū)域的寬度值與高度值的元素。從移動目標區(qū)域排序集合中第一個Sidx開始遍歷Q{Sidx}，選取Si滿足h(Si)≤h(Svalid)且w(Si)≤w(Svalid)。步驟四：若查找到，則確定當前真實填充區(qū)域，并將查找到的圖片的移動目標區(qū)域的像素填充至當前真實填充區(qū)域，其中，當前真實填充區(qū)域的高度值等于查找到的圖片的移動目標區(qū)域的高度值，當前真實填充區(qū)域的寬度值等于查找到的圖片的移動目標區(qū)域的寬度值，當前真實填充區(qū)域的起始點為當前可填充區(qū)域四個方位角中與坐標原點方位相同的一個角，即若步驟一中坐標原點為初始拼接圖像的左上角，那么當前真實填充區(qū)域的起始點為當前可填充區(qū)域的左上角。若查找到合格的Si，則確定當前真實填充區(qū)域Sroi，將查找到的圖片的移動目標區(qū)域Si的像素填充至當前真實填充區(qū)域Sroi，當前真實填充區(qū)域Sroi為：X(Sroi)＝X(Svalid)，Y(Sroi)＝Y(Svalid)；h(Sroi)＝h(Si)，w(Sroi)＝w(Si)。步驟五：計算填充后真實填充區(qū)域X軸方向側剩余的可填充區(qū)域以及Y軸方向側剩余的可填充區(qū)域。計算步驟四填充后在X軸方向側剩余的可填充區(qū)域Sright，具體來說，由于坐標原點為初始拼接圖像中任意一個角，以其左上角為例，X軸方向側剩余的可填充區(qū)域，即為其右側剩余的可填充區(qū)域，其具體為：X(Sright)＝X(Svalid)+w(Si)，Y(Sright)＝Y(Svalid)；w(Sright)＝w(Svalid)-w(Si)，h(Sright)＝h(Si)。同理，Y軸方向側剩余的可填充區(qū)域，即為下方剩余的可填充區(qū)域，其具體為：X(Sdown)＝X(Svalid)，Y(Sdown)＝Y(Svalid)+h(Si)；w(Sdown)＝w(Svalid)，h(Sdown)＝h(Svalid)-h(Si)。步驟六：分別使用真實填充區(qū)域X軸方向側剩余的可填充區(qū)域以及Y軸方向側剩余的可填充區(qū)域作為當前可填充區(qū)域，返回確定當前可填充區(qū)域的步驟。設X軸方向側剩余的可填充區(qū)域Svalid，即令Svalid＝Sright，返回確定當前可填充區(qū)域的步驟，設Y軸方向側剩余的可填充區(qū)域作為當前可填充區(qū)域Svalid，即令Svalid＝Sdown，返回確定當前可填充區(qū)域的步驟。在這里分別將X軸方向側剩余的可填充區(qū)域以及Y軸方向側剩余的可填充區(qū)域作為當前可填充區(qū)域，返回步驟二，當發(fā)現(xiàn)X軸方向側剩余的可填充區(qū)域無法填充當前Si時，嘗試在Y軸方向側剩余的可填充區(qū)域作為當前可填充區(qū)域填充當前Si，反之亦然，以此來循壞填充，最終遞歸終止獲得最終合并圖像。為了更進一步詳細說明上述填充過程，下面將采用具體實例，并結合附圖3至圖7進行詳細說明。1、如圖3所示，為Ifull設置一個初始化的形狀，記錄為Sfull，空間坐標系原點建于Ifull的左上角，即Sfull，Y(Sfull)＝0，令Svalid＝Sfull。初始化Ifull所有像素點為0。2、如圖4所示，根據(jù)高優(yōu)先準則，排序Q{S}，使其中的形狀按照高度由高到低排列即當滿足i＜j，h(Si)≥h(Sj)。3、如圖5所示，根據(jù)可填充區(qū)域選取Si，從第一個Sidx開始遍歷Q{Sidx}，選取Si滿足h(Si)≤h(Svalid)且w(Si)≤w(Svalid)。如果找到Si執(zhí)行步驟4，否則返回上一層遞歸。4、如圖5與圖6所示，填充圖像，記Sroi為真實填充區(qū)域。X(Sroi)＝X(Svalid)，Y(Sroi)＝Y(Svalid)；h(Sroi)＝h(Si)，w(Sroi)＝w(Si)。將Ii將其像素值拷貝至Ifull的Sroi區(qū)域，計算填充后右側還剩余的可填充區(qū)域：X(Sright)＝X(Svalid)+w(Si)，Y(Sright)＝Y(Svalid)；w(Sright)＝w(Svalid)-w(Si)，h(Sright)＝h(Si)。計算填充后下方還剩余的可填充區(qū)域：X(Sdown)＝X(Svalid)，Y(Sdown)＝Y(Svalid)+h(Si)；w(Sdown)＝w(Svalid)，h(Sdown)＝h(Svalid)-h(Si)。5、如圖6所示，設右側區(qū)域為填充區(qū)域執(zhí)行步驟3，即令Svalid＝Sright執(zhí)行步驟3。6、如圖6所示，設右側區(qū)域為填充區(qū)域執(zhí)行步驟3，即令Svalid＝Sdown執(zhí)行步驟3。7、如圖7所示，遞歸終止獲得最終合并圖像，當遞歸完全終止時獲得最終圖像Ifull。如圖8所示，一種視頻流中行人檢測系統(tǒng)，包括：分割模塊200，用于獲取多路視頻流，對每路視頻流分別進行移動目標檢測，分割出每張圖片的移動目標區(qū)域。拼接模塊400，用于通過基于分治的合并算法將每張圖像的移動目標區(qū)域拼接成單張大圖，獲得拼接圖像。檢測模塊600，用于通過卷積神經網絡對拼接圖像進行神經網絡預測，獲得檢測結果。本發(fā)明視頻流中行人檢測系統(tǒng)，分割模塊200獲取多路視頻流，對每路視頻流分別進行移動目標檢測，分割出每張圖片的移動目標區(qū)域，拼接模塊400通過基于分治的合并算法將拼接成單張大圖，獲得拼接圖像，檢測模塊600通過卷積神經網絡對拼接圖像進行神經網絡預測，獲得檢測結。整個過程中，通過分治的區(qū)域合并算法將移動目標檢測算法和卷積神經網絡行人檢測算法高效的結合在一起，實現(xiàn)高效且準確對視頻流中行人檢測。如圖9所示，在其中一個實施例中，分割模塊200包括：并行處理單元220，用于通過分布式服務器集群應用移動目標檢測算法，并行檢測每路視頻流中每一幀的移動區(qū)域，獲得移動區(qū)域檢測結果。分割單元240，用于根據(jù)移動區(qū)域檢測結果，分割出每張圖片的移動目標區(qū)域。如圖9所示，在其中一個實施例中，拼接模塊400包括：參數(shù)值獲取單元420，用于獲取卷積神經網絡中設定的固定寬度與高度值。初始確定單元440，用于根據(jù)卷積神經網絡模型中設定的固定寬度與高度值，確定拼接圖像的初始矩形區(qū)域大小，獲得初始拼接圖像。優(yōu)先級排序單元460，用于根據(jù)每張圖片的移動目標區(qū)域的高度值，對每張圖片的移動目標區(qū)域根據(jù)高度值由大到小進行優(yōu)先級排序，獲得移動目標區(qū)域排序集合。填充拼接單元480，用于根據(jù)優(yōu)先級順序依次將每張圖片的移動目標區(qū)域填充至初始拼接圖像，獲得每張圖像的移動目標區(qū)域拼接成的無縫單張大圖。在其中一個實施例中，填充拼接單元480包括：坐標構建層，用于在初始拼接圖像中構建坐標，其中，初始拼接圖像的任意一個角作為坐標原點，坐標X軸表征移動目標區(qū)的寬度，坐標Y軸表征移動目標區(qū)的高度?？商畛鋮^(qū)域確定層，用于確定當前可填充區(qū)域，初始時，可填充區(qū)域為初始拼接圖像。查找層，用于從移動目標區(qū)域排序集合中第一元素開始，查找圖片的移動目標區(qū)域的寬度值與高度值均小于或等于當前可填充區(qū)域的寬度值與高度值的元素。填充層，用于若查找到，則確定當前真實填充區(qū)域，并將查找到的圖片的移動目標區(qū)域的像素填充至當前真實填充區(qū)域，其中，當前真實填充區(qū)域的高度值等于查找到的圖片的移動目標區(qū)域的高度值，當前真實填充區(qū)域的寬度值等于查找到的圖片的移動目標區(qū)域的寬度值，當前真實填充區(qū)域的起始點為當前可填充區(qū)域四個方位角中與坐標原點方位相同的一個角。剩余計算層，用于計算填充后真實填充區(qū)域X軸方向側剩余的可填充區(qū)域以及Y軸方向側剩余的可填充區(qū)域。遞歸層，用于分別使用真實填充區(qū)域X軸方向側剩余的可填充區(qū)域以及Y軸方向側剩余的可填充區(qū)域作為當前可填充區(qū)域，返回確定當前可填充區(qū)域的步驟。在其中一個實施例中，視頻流中行人檢測系統(tǒng)還包括：推送模塊，用于推送檢測結果。以上所述實施例僅表達了本發(fā)明的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對發(fā)明專利范圍的限制。應當指出的是，對于本領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干變形和改進，這些都屬于本發(fā)明的保護范圍。因此，本發(fā)明專利的保護范圍應以所附權利要求為準。當前第1頁1 2 3