基于人工糾錯(cuò)機(jī)制與深度學(xué)習(xí)網(wǎng)絡(luò)協(xié)作機(jī)器視覺識(shí)別系統(tǒng)的制作方法
【專利摘要】基于人工糾錯(cuò)機(jī)制與深度學(xué)習(xí)網(wǎng)絡(luò)協(xié)作機(jī)器視覺識(shí)別系統(tǒng)，深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)時(shí)接收拍攝的視覺反饋圖像，對(duì)接收的每幀圖像進(jìn)行深度學(xué)習(xí)處理，將處理后的圖像以及圖像上檢測(cè)目標(biāo)的坐標(biāo)、角度和時(shí)間信息發(fā)送至中間結(jié)果綜合處理單元；將處理后的圖像發(fā)送至人機(jī)糾錯(cuò)接口；人機(jī)糾錯(cuò)接口對(duì)接收每幀處理后的圖像進(jìn)行連續(xù)顯示，由人工根據(jù)拍攝的視覺反饋圖像的具體情況，在顯示的圖像上將明顯錯(cuò)誤目標(biāo)的著重顯示去掉，并將相關(guān)信息發(fā)送至中間結(jié)果綜合處理單元；中間結(jié)果綜合處理單元從接收到的每幀圖像的檢測(cè)目標(biāo)在圖像坐標(biāo)系下的坐標(biāo)、角度和時(shí)間信息中剔除錯(cuò)誤目標(biāo)的信息，得到圖像坐標(biāo)系下，識(shí)別目標(biāo)的坐標(biāo)、角度和時(shí)間信息，同時(shí)在接收的著重顯示的視覺反饋圖像上將錯(cuò)誤目標(biāo)的著重顯示去掉，完成視覺識(shí)別。
【專利說明】
基于人工糾錯(cuò)機(jī)制與深度學(xué)習(xí)網(wǎng)絡(luò)協(xié)作機(jī)器視覺識(shí)別系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及一種基于人工糾錯(cuò)機(jī)制與深度學(xué)習(xí)網(wǎng)絡(luò)協(xié)作機(jī)器視覺識(shí)別系統(tǒng)。
【背景技術(shù)】
[0002] 在機(jī)器視覺技術(shù)中，現(xiàn)有的圖像識(shí)別方法，通常是對(duì)一定的特征進(jìn)行提取，得到的 特征與理想值進(jìn)行比對(duì)，比對(duì)相似度高的作為識(shí)別結(jié)果。
[0003] 在多目標(biāo)分煉領(lǐng)域，需要識(shí)別的目標(biāo)類別、特征種類非常多，例如各種形狀、顏色 的瓶子、罐子等，由于特征提取的計(jì)算量很大，提取多種特征的方法在實(shí)時(shí)性上不能滿足要 求;并且特征提取的方法的準(zhǔn)確率一直不高，在工業(yè)自動(dòng)化生產(chǎn)線上，很難滿足使用要求。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的技術(shù)解決問題是：克服現(xiàn)有技術(shù)的不足，提出一種基于人工糾錯(cuò)機(jī)制與 深度學(xué)習(xí)網(wǎng)絡(luò)協(xié)作機(jī)器視覺識(shí)系統(tǒng)。
[0005] 本發(fā)明的技術(shù)解決方案是:一種基于人工糾錯(cuò)機(jī)制與深度學(xué)習(xí)網(wǎng)絡(luò)協(xié)作機(jī)器視覺 識(shí)別系統(tǒng)，包括深度學(xué)習(xí)網(wǎng)絡(luò)、中間結(jié)果綜合處理單元和人機(jī)糾錯(cuò)接口；
[0006] 深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)時(shí)接收拍攝的視覺反饋圖像，對(duì)接收的每帖圖像進(jìn)行深度學(xué)習(xí)處 理，即多層卷積、池化操作、分類處理后得到圖像上檢測(cè)目標(biāo)在圖像坐標(biāo)系下的坐標(biāo)、角度 和時(shí)間，并在拍攝的視覺反饋圖像上將圖像上檢測(cè)目標(biāo)的坐標(biāo)、角度進(jìn)行著重顯示，將處理 后的圖像W及圖像上檢測(cè)目標(biāo)的坐標(biāo)、角度和時(shí)間信息發(fā)送至中間結(jié)果綜合處理單元;將 處理后的圖像發(fā)送至人機(jī)糾錯(cuò)接口，所述的時(shí)間為圖像拍攝時(shí)間，所述的角度為目標(biāo)所在 軸線與圖像坐標(biāo)系X軸之間的夾角；
[0007] 人機(jī)糾錯(cuò)接口對(duì)接收每帖處理后的圖像進(jìn)行連續(xù)顯示，由人工根據(jù)拍攝的視覺反 饋圖像的具體情況，在顯示的圖像上將明顯錯(cuò)誤目標(biāo)的著重顯示去掉，將著重顯示去掉的 目標(biāo)在人機(jī)糾錯(cuò)接口坐標(biāo)系下的坐標(biāo)信息W及時(shí)間發(fā)送至中間結(jié)果綜合處理單元；
[000引中間結(jié)果綜合處理單元將人機(jī)糾錯(cuò)接口發(fā)送的坐標(biāo)信息轉(zhuǎn)換到圖像坐標(biāo)系下，得 到錯(cuò)誤目標(biāo)的坐標(biāo)，從接收到的每帖圖像的檢測(cè)目標(biāo)在圖像坐標(biāo)系下的坐標(biāo)、角度和時(shí)間 信息中剔除錯(cuò)誤目標(biāo)的信息，得到圖像坐標(biāo)系下，識(shí)別目標(biāo)的坐標(biāo)、角度和時(shí)間信息，同時(shí) 在接收的著重顯示的視覺反饋圖像上將錯(cuò)誤目標(biāo)的著重顯示去掉，完成視覺識(shí)別。
[0009]所述的分類處理為將多層卷積、池化操作后的最后一層即1層的每個(gè)結(jié)果分別進(jìn) 行如下處理：
[0010] (1)將1層的第k個(gè)結(jié)果Mik池化為3個(gè)不同尺寸的目標(biāo)矩陣Mkfi，Mkf2，Mkf3;其中Mkfi的 尺寸為4X4,池化時(shí)滑動(dòng)窗的尺寸號(hào)X ^，步長(zhǎng)為等，著；Mkf2的尺寸為2X2,池化時(shí) 滑動(dòng)窗的尺寸導(dǎo)X每j步長(zhǎng)為罩，每，Mkf3的尺寸為1X1，池化時(shí)滑動(dòng)窗的尺寸m，n， 么 'jL. L· 步長(zhǎng)為m，n;mXn為化k的尺寸；
[oow (2)將Mik、Mkf2、Mkf3的元素依次復(fù)制到一個(gè)向量，作為尺寸規(guī)則化向量Vk;將Vk分別 輸入到Ξ個(gè)全連接神經(jīng)網(wǎng)絡(luò)，第一個(gè)網(wǎng)絡(luò)為類別網(wǎng)絡(luò)，神經(jīng)元個(gè)數(shù)為2即背景和目標(biāo)物兩 類，得到結(jié)果為Fik，尺寸為2X1;第二個(gè)網(wǎng)絡(luò)為包圍盒回歸網(wǎng)絡(luò)，神經(jīng)元個(gè)數(shù)為8即分別為背 景和目標(biāo)物的包圍盒坐標(biāo)信息，得到結(jié)果為F2k，尺寸為8X1;第Ξ個(gè)網(wǎng)絡(luò)為角度回歸網(wǎng)絡(luò)， 神經(jīng)元個(gè)數(shù)為1，得到結(jié)果為的k，尺寸為1 X 1;
[001^ (3)根據(jù)P = h(Fik)得到目標(biāo)物的概率，其中
巧分類參數(shù);取P 的概率作為目標(biāo)物，其中b為預(yù)設(shè)的闊值參數(shù)；
[001引則，目標(biāo)物的坐楊
卻k為包圍盒的坐標(biāo)(x，y，w，h)，其中，巧為包圍盒左 上角坐標(biāo)，Wh為盒子的寬度和高度;F3k的結(jié)果為目標(biāo)物的角度。
[0014] 中間結(jié)果綜合處理單元具體實(shí)現(xiàn)步驟如下：
[0015] (1)將人機(jī)糾錯(cuò)接口發(fā)送的坐標(biāo)信息轉(zhuǎn)換到圖像坐標(biāo)系下，得到錯(cuò)誤目標(biāo)的坐標(biāo)；
[0016] (2)根據(jù)錯(cuò)誤目標(biāo)的時(shí)間T0,從接收到的深度學(xué)習(xí)網(wǎng)絡(luò)處理結(jié)果中獲取對(duì)應(yīng)帖圖 像Q0;
[0017] (3)將錯(cuò)誤目標(biāo)的坐標(biāo)分別與上述對(duì)應(yīng)帖圖像的所有檢測(cè)目標(biāo)坐標(biāo)計(jì)算歐氏距 離，歐氏距離最小的目標(biāo)即為圖像Q0上的錯(cuò)誤目標(biāo)^0，￥0,20)，將該目標(biāo)的相關(guān)信息剔除；
[0018] (4) WQ0為基準(zhǔn)，依次獲取下一帖圖像上縱坐標(biāo)為Y0的所有目標(biāo)，根據(jù)拍攝時(shí)目標(biāo) 物的運(yùn)動(dòng)速度V及兩帖時(shí)間差，計(jì)算下一帖圖像上對(duì)應(yīng)錯(cuò)誤目標(biāo)的理論位置，計(jì)算理論位置 與下一帖圖像上所有目標(biāo)的歐氏距離，歐氏距離最小對(duì)應(yīng)的目標(biāo)位置即為下一帖圖像上對(duì) 應(yīng)錯(cuò)誤目標(biāo)的坐標(biāo)系，直至在某一帖圖像上獲取不到縱坐標(biāo)為Y0的目標(biāo)；
[0019] (5)對(duì)步驟(4)處理后的每帖圖像所有目標(biāo)的Y值進(jìn)行統(tǒng)計(jì)，得到同一個(gè)目標(biāo)的連 續(xù)被統(tǒng)計(jì)的次數(shù)，若在規(guī)定的時(shí)間內(nèi)統(tǒng)計(jì)次數(shù)達(dá)到預(yù)設(shè)的闊值，則該目標(biāo)為識(shí)別的正確目 標(biāo)，否則，將該目標(biāo)的相關(guān)信息剔除。
[0020] 每帖圖像上同一目標(biāo)的確定方法，W-帖圖像上的一個(gè)目標(biāo)為基準(zhǔn)，依次獲取其 他帖圖像上與基準(zhǔn)目標(biāo)縱坐標(biāo)相同的目標(biāo)，根據(jù)拍攝時(shí)目標(biāo)物的運(yùn)動(dòng)速度V及兩帖時(shí)間差， 計(jì)算另外一帖圖像上對(duì)應(yīng)目標(biāo)的理論位置，計(jì)算理論位置與該另外一帖圖像上所有目標(biāo)的 歐氏距離，歐氏距離最小對(duì)應(yīng)的目標(biāo)為與基準(zhǔn)目標(biāo)相同的目標(biāo)。
[0021] 本發(fā)明與現(xiàn)有技術(shù)相比的有益效果是：
[0022] (1)本發(fā)明的基于人工糾錯(cuò)機(jī)制與深度學(xué)習(xí)網(wǎng)絡(luò)協(xié)作機(jī)器視覺識(shí)別方法，能夠克 服上述兩點(diǎn)不足，在需要識(shí)別的特征種類多的情況下，深度學(xué)習(xí)網(wǎng)絡(luò)能夠有效的識(shí)別目標(biāo)， 并且實(shí)時(shí)性能夠滿足使用要求;但是深度網(wǎng)絡(luò)的計(jì)算的綜合特征雖然數(shù)量足夠多、速度足 夠快，但是存在誤識(shí)別的問題，即錯(cuò)誤的將非目標(biāo)物識(shí)別為目標(biāo)物，人工糾錯(cuò)機(jī)制的引入， 能夠去除運(yùn)些非目標(biāo)物，同時(shí)保證了速度要求，有效的提高識(shí)別的準(zhǔn)確率。
[0023] (2)深度學(xué)習(xí)網(wǎng)絡(luò)目前在工業(yè)領(lǐng)域還沒有成熟應(yīng)用，主要原因是識(shí)別的范圍和正 確率不能保證。本發(fā)明的待識(shí)別目標(biāo)范圍非常廣泛，形狀、尺寸、顏色差異較大，并且識(shí)別環(huán) 境惡劣，目標(biāo)物被遮蓋的情況十分嚴(yán)重，運(yùn)在計(jì)算機(jī)視覺和機(jī)器視覺應(yīng)用中十分少見，識(shí)別 難度大，人工糾錯(cuò)機(jī)制和深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)合的識(shí)別方法，很好的解決了被識(shí)別目標(biāo)廣泛和 識(shí)別環(huán)境惡劣的問題。在正確率的保證上，由于有人工糾錯(cuò)機(jī)制的引入，正確率大幅提高， 滿足了工業(yè)穩(wěn)定性的要求。
【附圖說明】
[0024] 圖1為本發(fā)明系統(tǒng)框圖；
[0025] 圖2為本發(fā)明物理架構(gòu)實(shí)施框圖；
[0026] 圖3為本發(fā)明基于機(jī)器視覺的動(dòng)態(tài)目標(biāo)信息提取示意圖；
[0027] 圖4為本發(fā)明深度學(xué)習(xí)網(wǎng)絡(luò)模塊示意圖。
【具體實(shí)施方式】
[0028] 下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明做詳細(xì)說明。
[0029] 如圖1、2所示，本發(fā)明系統(tǒng)包括深度學(xué)習(xí)網(wǎng)絡(luò)、中間結(jié)果綜合處理單元和人機(jī)糾錯(cuò) 接口；按照?qǐng)D2中的物理架構(gòu)，攝像頭實(shí)時(shí)拍攝傳送帶上的物品，得到視覺反饋圖像，人機(jī)糾 錯(cuò)接口可W采用目前常用的觸摸屏的方式，深度學(xué)習(xí)網(wǎng)絡(luò)和中間結(jié)果綜合處理單元都運(yùn)行 在工控機(jī)上，各個(gè)部分組合完成對(duì)傳送帶上目標(biāo)物的識(shí)別。下面分別對(duì)每部分進(jìn)行詳細(xì)說 明。
[0030] (一)深度學(xué)習(xí)網(wǎng)絡(luò)
[0031] 深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)時(shí)接收拍攝的視覺反饋圖像，對(duì)接收的每帖圖像進(jìn)行深度學(xué)習(xí)處 理，即多層卷積、池化操作、分類處理后得到圖像上檢測(cè)目標(biāo)在圖像坐標(biāo)系下的坐標(biāo)、角度 和時(shí)間，并在拍攝的視覺反饋圖像上將圖像上檢測(cè)目標(biāo)的坐標(biāo)、角度進(jìn)行著重顯示，將處理 后的圖像W及圖像上檢測(cè)目標(biāo)的坐標(biāo)、角度和時(shí)間信息發(fā)送至中間結(jié)果綜合處理單元;將 處理后的圖像發(fā)送至人機(jī)糾錯(cuò)接口（圖4)，所述的時(shí)間為圖像拍攝時(shí)間，所述的角度為目標(biāo) 所在軸線與圖像坐標(biāo)系X軸之間的夾角；
[0032] 圖像坐標(biāo)系描述單個(gè)像素在整幅圖像中的位置坐標(biāo)，坐標(biāo)系原點(diǎn)設(shè)在圖像左上角 的像素點(diǎn)，坐標(biāo)為(〇,〇)，圖像坐標(biāo)系橫軸為水平方向，最大值1600,圖像坐標(biāo)系縱軸為垂直 方向，最大值為1200,即圖像寬度為1600X1200。
[0033] (1)對(duì)輸入的圖像分層卷積和池化。
[0034] ①輸入圖像的數(shù)值矩陣為Mo，尺寸為Μ X N，本方案采用1600 X 1200。將數(shù)值矩陣為 Mo與卷積核化1作卷積運(yùn)算：
[003引 Μ巧=舶巧材
[0036] 其中，@表示矩陣卷積?；?為第1層的第k個(gè)特征的卷積核矩陣，4=1···256,即第一 層共256個(gè)特征卷積核，Hki的參數(shù)由VGG16模型得到。Mik為深度網(wǎng)絡(luò)第1層的第k個(gè)輸出，即 第一層的卷積輸出共256個(gè)。
[0037] ②將第一層的卷積結(jié)果化k作池化處理，本方案采用最大值池化方法，即將化k中每 2 X 2個(gè)局部矩陣合并為一個(gè)元素，W四個(gè)元素中最大值作為結(jié)果，池化時(shí)的步長(zhǎng)為2。
[003引化k池化后的結(jié)果為化kc，Mikc的尺寸為原尺寸的一半。
[0039] ③將第一層的卷積池化結(jié)果Mik。輸入到第二層，得到第二層的結(jié)果M2k。，依次得到 第^1層的結(jié)果M(i-I)kc。
[0040]遞推得到第1層的卷積和池化操作：
[0041 ] .M煤.'='M(z-1他 0 /；/拍
[0042] 其中化1為第1層的第k個(gè)特征的卷積核矩陣，化1的參數(shù)由VGG16模型得到。Mik為深 度網(wǎng)絡(luò)第1層的第k個(gè)輸出。
[0043] (2)分類器操作。
[0044] ①將化k (尺寸為m X η)池化為3個(gè)不同尺寸的目標(biāo)矩陣Mkf 1，Mkf 2，Mkf 3。其中Mkf 1的尺 寸為4 X 4，池化時(shí)滑動(dòng)窗的尺寸
。同理得至ljMkf2、Mkf3，其中Mkf2 的尺寸為2 X 2，Mkf3的尺寸為1 X 1。
[0045] ②將Mik、Mkf2、Mkf3的元素依次復(fù)制到一個(gè)向量，作為尺寸規(guī)則化向量Vk。將Vk分別 輸入到Ξ個(gè)全連接神經(jīng)網(wǎng)絡(luò)。第一個(gè)網(wǎng)絡(luò)為類別網(wǎng)絡(luò)，神經(jīng)元個(gè)數(shù)為2(背景和瓶子共兩 類），得到結(jié)果為Fik，尺寸為2X1。第二個(gè)網(wǎng)絡(luò)為包圍盒回歸網(wǎng)絡(luò)，神經(jīng)元個(gè)數(shù)為8(類別的包 圍盒坐標(biāo)信息），得到結(jié)果為F2k，尺寸為8X1。第Ξ個(gè)網(wǎng)絡(luò)為角度回歸網(wǎng)絡(luò)，神經(jīng)元個(gè)數(shù)為1， 得到結(jié)果為的k，尺寸為IX 1。
[0046] (3)將F化輸入至分類器函數(shù)：
[0047]
[004引其中目為分類參數(shù)。將F化代入上式得瓶子的概率:P = h(Fik)取陪b的概率作為目 標(biāo)瓶子，其中b為闊值參數(shù)。
[0049] F化為包圍盒的坐標(biāo)(x，y，w，h)，其中，巧為包圍盒左上角坐標(biāo)，Λ為盒子的寬度和 高度，由此可得瓶子的坐標(biāo)為：
[0052] F3k的結(jié)果為瓶子的角度Α。
[0化3](二)人機(jī)糾錯(cuò)接口
[0054] 人機(jī)糾錯(cuò)接口對(duì)接收每帖處理后的圖像進(jìn)行連續(xù)顯示，由人工根據(jù)拍攝的視覺反 饋圖像的具體情況，在顯示的圖像上將明顯錯(cuò)誤目標(biāo)的著重顯示去掉，將著重顯示去掉的 目標(biāo)在人機(jī)糾錯(cuò)接口坐標(biāo)系下的坐標(biāo)信息W及時(shí)間發(fā)送至中間結(jié)果綜合處理單元；
[0055] 人機(jī)糾錯(cuò)接口坐標(biāo)系W屏幕的左上角的第一個(gè)像素點(diǎn)為原點(diǎn)，橫坐標(biāo)為水平方 向，縱坐標(biāo)為垂直方向；
[0056] W從傳送帶上的垃圾中識(shí)別瓶子目標(biāo)為例，觸摸屏上將深度學(xué)習(xí)網(wǎng)絡(luò)后每帖圖像 連續(xù)平滑的顯示，圖像上將深度學(xué)習(xí)網(wǎng)絡(luò)得到的檢測(cè)目標(biāo)采用最小矩形框或者其他方式進(jìn) 行著重顯示，當(dāng)人工通過觸摸屏上的圖像發(fā)現(xiàn)，最小矩形框中目標(biāo)不是瓶子時(shí)，人工點(diǎn)擊觸 摸屏上對(duì)應(yīng)的矩形框，該位置的矩形框W消失或者其他更亮、更暗的方式進(jìn)行顯示，觸摸屏 將相應(yīng)的坐標(biāo)信息發(fā)送至中間結(jié)果綜合處理單元。
[0057] (Ξ)中間結(jié)果綜合處理單元
[005引中間結(jié)果綜合處理單元將人機(jī)糾錯(cuò)接口發(fā)送的坐標(biāo)信息轉(zhuǎn)換到圖像坐標(biāo)系下，得 到錯(cuò)誤目標(biāo)的坐標(biāo)，從接收到的每帖圖像的檢測(cè)目標(biāo)在圖像坐標(biāo)系下的坐標(biāo)、角度和時(shí)間 信息中剔除錯(cuò)誤目標(biāo)的信息，得到圖像坐標(biāo)系下，識(shí)別目標(biāo)的坐標(biāo)、角度和時(shí)間信息，同時(shí) 在接收的著重顯示的視覺反饋圖像上將錯(cuò)誤目標(biāo)的著重顯示去掉，完成視覺識(shí)別。具體實(shí) 現(xiàn)步驟如下：
[0059] (1)將人機(jī)糾錯(cuò)接口發(fā)送的坐標(biāo)信息轉(zhuǎn)換到圖像坐標(biāo)系下，得到錯(cuò)誤目標(biāo)的坐標(biāo)；
[0060] (2)根據(jù)錯(cuò)誤目標(biāo)的時(shí)間T0,從接收到的深度學(xué)習(xí)網(wǎng)絡(luò)處理結(jié)果中獲取對(duì)應(yīng)帖圖 像Q0;
[0061] (3)將錯(cuò)誤目標(biāo)的坐標(biāo)分別與上述對(duì)應(yīng)帖圖像的所有檢測(cè)目標(biāo)坐標(biāo)計(jì)算歐氏距 離，歐氏距離最小的目標(biāo)即為圖像Q0上的錯(cuò)誤目標(biāo)^0，￥0,20)，將該目標(biāo)的相關(guān)信息剔除；
[0062] (4) WQ0為基準(zhǔn)，依次獲取下一帖圖像上縱坐標(biāo)為Y0的所有目標(biāo)，根據(jù)拍攝時(shí)目標(biāo) 物的運(yùn)動(dòng)速度V及兩帖時(shí)間差，計(jì)算下一帖圖像上對(duì)應(yīng)錯(cuò)誤目標(biāo)的理論位置，計(jì)算理論位置 與下一帖圖像上所有目標(biāo)的歐氏距離，歐氏距離最小對(duì)應(yīng)的目標(biāo)位置即為下一帖圖像上對(duì) 應(yīng)錯(cuò)誤目標(biāo)的坐標(biāo)系，直至在某一帖圖像上獲取不到縱坐標(biāo)為Y0的目標(biāo)；
[0063] WQ0的下一帖圖像Q1為例，Q1上對(duì)應(yīng)錯(cuò)誤目標(biāo)的理論位置橫坐標(biāo)X1 = X0+V(T1 - TO) ;Q1的下一帖圖像Q2對(duì)應(yīng)錯(cuò)誤目標(biāo)的理論位置橫坐標(biāo)Χ2 = Χ0+ν(Τ2-Τ0)，W此類推。當(dāng)某 一帖圖像上獲取不到縱坐標(biāo)為Υ0的目標(biāo)時(shí)，代表該目標(biāo)由于傳送帶的移動(dòng)已經(jīng)不在攝像范 圍內(nèi)，因此，后續(xù)不需要對(duì)該目標(biāo)進(jìn)行相應(yīng)的處理。
[0064] 在傳送帶上的目標(biāo)識(shí)別對(duì)象是在不斷移動(dòng)的，攝像頭對(duì)目標(biāo)識(shí)別對(duì)象進(jìn)行連續(xù)拍 照，在攝像頭視野范圍內(nèi)，同一目標(biāo)識(shí)別對(duì)象會(huì)在多張圖像的不同位置出現(xiàn)，動(dòng)態(tài)目標(biāo)信息 提取時(shí)，需要剔除那些重復(fù)的目標(biāo)識(shí)別信息。為解決同一目標(biāo)識(shí)別對(duì)象在連續(xù)運(yùn)動(dòng)狀態(tài)下 的信息提取，本文提出了基于機(jī)器視覺的動(dòng)態(tài)目標(biāo)信息提取方法。該方法示意如圖1所示。 把目標(biāo)識(shí)別對(duì)象在攝像頭視野范圍內(nèi)的圖像分為兩類，一、剛進(jìn)攝像頭視野和出攝像頭視 野的目標(biāo)對(duì)象局部圖像，如圖3中的①和③;二、在攝像頭視野范圍內(nèi)的目標(biāo)對(duì)象的完整圖 像，如圖1中的②。
[0065] 假設(shè)傳送帶的速度為V。，攝像頭的帖率為Fps，攝像頭在Υ方向的視野范圍為Sy，目 標(biāo)對(duì)象的輪廓W不同姿態(tài)在Y軸上占用的最大長(zhǎng)度Lmax。則：目標(biāo)對(duì)象在圖像中完整的成像 次數(shù)Nc可W計(jì)算為：
[0066]
[0067] Nc取整數(shù)部分。
[0068] 因此，上述步驟(4)也可W預(yù)先通過計(jì)算完整的成像次數(shù)N。，當(dāng)計(jì)算下一帖圖像上 對(duì)應(yīng)錯(cuò)誤目標(biāo)理論位置的次數(shù)達(dá)到Nc時(shí)，表明目標(biāo)由于傳送帶的移動(dòng)已經(jīng)不在攝像范圍 內(nèi)。
[0069] (5)對(duì)步驟(4)處理后的每帖圖像所有目標(biāo)的Y值進(jìn)行統(tǒng)計(jì)，得到同一個(gè)目標(biāo)的連 續(xù)被統(tǒng)計(jì)的次數(shù)，若在規(guī)定的時(shí)間內(nèi)統(tǒng)計(jì)次數(shù)達(dá)到預(yù)設(shè)的闊值，則該目標(biāo)為識(shí)別的正確目 標(biāo)，否則，將該目標(biāo)的相關(guān)信息剔除。
[0070] 每帖圖像上同一目標(biāo)的確定方法，W-帖圖像上的一個(gè)目標(biāo)為基準(zhǔn)，依次獲取其 他帖圖像上與基準(zhǔn)目標(biāo)縱坐標(biāo)相同的目標(biāo)，根據(jù)拍攝時(shí)目標(biāo)物的運(yùn)動(dòng)速度V及兩帖時(shí)間差， 計(jì)算另外一帖圖像上對(duì)應(yīng)目標(biāo)的理論位置，計(jì)算理論位置與該另外一帖圖像上所有目標(biāo)的 歐氏距離，歐氏距離最小對(duì)應(yīng)的目標(biāo)為與基準(zhǔn)目標(biāo)相同的目標(biāo)。
[0071] 中間結(jié)果綜合處理單元輸出給后續(xù)外部應(yīng)用的信息為每個(gè)目標(biāo)在圖像坐標(biāo)系下 的坐標(biāo)、角度、時(shí)間。當(dāng)目標(biāo)在多帖圖像上出現(xiàn)時(shí)，根據(jù)上述方法確定每帖圖像上的相同目 標(biāo)，選擇其中一帖圖像上的坐標(biāo)、角度、時(shí)間輸出?；蛘邔?duì)所有同一目標(biāo)的坐標(biāo)、角度、時(shí)間 取均值輸出。
[0072] 本發(fā)明未詳細(xì)說明部分屬于本領(lǐng)域技術(shù)人員公知常識(shí)。
【主權(quán)項(xiàng)】
1. 一種基于人工糾錯(cuò)機(jī)制與深度學(xué)習(xí)網(wǎng)絡(luò)協(xié)作機(jī)器視覺識(shí)別系統(tǒng)，其特征在于包括深 度學(xué)習(xí)網(wǎng)絡(luò)、中間結(jié)果綜合處理單元和人機(jī)糾錯(cuò)接口； 深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)時(shí)接收拍攝的視覺反饋圖像，對(duì)接收的每幀圖像進(jìn)行深度學(xué)習(xí)處理， 即多層卷積、池化操作、分類處理后得到圖像上檢測(cè)目標(biāo)在圖像坐標(biāo)系下的坐標(biāo)、角度和時(shí) 間，并在拍攝的視覺反饋圖像上將圖像上檢測(cè)目標(biāo)的坐標(biāo)、角度進(jìn)行著重顯示，將處理后的 圖像以及圖像上檢測(cè)目標(biāo)的坐標(biāo)、角度和時(shí)間信息發(fā)送至中間結(jié)果綜合處理單元;將處理 后的圖像發(fā)送至人機(jī)糾錯(cuò)接口，所述的時(shí)間為圖像拍攝時(shí)間，所述的角度為目標(biāo)所在軸線 與圖像坐標(biāo)系X軸之間的夾角； 人機(jī)糾錯(cuò)接口對(duì)接收每幀處理后的圖像進(jìn)行連續(xù)顯示，由人工根據(jù)拍攝的視覺反饋圖 像的具體情況，在顯示的圖像上將明顯錯(cuò)誤目標(biāo)的著重顯示去掉，將著重顯示去掉的目標(biāo) 在人機(jī)糾錯(cuò)接口坐標(biāo)系下的坐標(biāo)信息以及時(shí)間發(fā)送至中間結(jié)果綜合處理單元； 中間結(jié)果綜合處理單元將人機(jī)糾錯(cuò)接口發(fā)送的坐標(biāo)信息轉(zhuǎn)換到圖像坐標(biāo)系下，得到錯(cuò) 誤目標(biāo)的坐標(biāo)，從接收到的每幀圖像的檢測(cè)目標(biāo)在圖像坐標(biāo)系下的坐標(biāo)、角度和時(shí)間信息 中剔除錯(cuò)誤目標(biāo)的信息，得到圖像坐標(biāo)系下，識(shí)別目標(biāo)的坐標(biāo)、角度和時(shí)間信息，同時(shí)在接 收的著重顯示的視覺反饋圖像上將錯(cuò)誤目標(biāo)的著重顯示去掉，完成視覺識(shí)別。2. 根據(jù)權(quán)利要求1所述的一種基于人工糾錯(cuò)機(jī)制與深度學(xué)習(xí)網(wǎng)絡(luò)協(xié)作機(jī)器視覺識(shí)別系 統(tǒng)，其特征在于:所述的分類處理為將多層卷積、池化操作后的最后一層即1層的每個(gè)結(jié)果 分別進(jìn)行如下處理： (1) 將1層的第k個(gè)結(jié)果Mik池化為3個(gè)不同尺寸的目標(biāo)矩陣Mkfi，Mkf2，Mkf3;其中Mkfi的尺寸 為4X4,池化時(shí)滑動(dòng)窗的尺寸步長(zhǎng)為；Mkf2的尺寸為2X2,池化時(shí)滑動(dòng) 窗的尺X，步長(zhǎng)為，Mkf3的尺寸為1X1，池化時(shí)滑動(dòng)窗的尺寸m，n，步長(zhǎng) (2) 將Mik、Mkf2、Mkf3的元素依次復(fù)制到一個(gè)向量，作為尺寸規(guī)則化向量Vk;將Vk分別輸入 到三個(gè)全連接神經(jīng)網(wǎng)絡(luò)，第一個(gè)網(wǎng)絡(luò)為類別網(wǎng)絡(luò)，神經(jīng)元個(gè)數(shù)為2即背景和目標(biāo)物兩類，得 到結(jié)果為F lk，尺寸為2X1;第二個(gè)網(wǎng)絡(luò)為包圍盒回歸網(wǎng)絡(luò)，神經(jīng)元個(gè)數(shù)為8即分別為背景和 目標(biāo)物的包圍盒坐標(biāo)信息，得到結(jié)果為F 2k，尺寸為8X1;第三個(gè)網(wǎng)絡(luò)為角度回歸網(wǎng)絡(luò)，神經(jīng) 元個(gè)數(shù)為1，得到結(jié)果為F3k，尺寸為1 X 1; ⑶根據(jù)P=h(Flk)得到目標(biāo)物的概率，其中<…為分類參數(shù);取p彡b的 概率作為目標(biāo)物，其中b為預(yù)設(shè)的閾值參數(shù)；貝1J，目標(biāo)物的坐標(biāo)，F(xiàn)2k為包圍盒的坐標(biāo)(x，y，w，h)，其中，xy為包圍盒左上角 坐標(biāo)，wh為盒子的寬度和高度;F3k的結(jié)果為目標(biāo)物的角度。3. 根據(jù)權(quán)利要求1所述的一種基于人工糾錯(cuò)機(jī)制與深度學(xué)習(xí)網(wǎng)絡(luò)協(xié)作機(jī)器視覺識(shí)別系 統(tǒng)，其特征在于：中間結(jié)果綜合處理單元具體實(shí)現(xiàn)步驟如下： (1) 將人機(jī)糾錯(cuò)接口發(fā)送的坐標(biāo)信息轉(zhuǎn)換到圖像坐標(biāo)系下，得到錯(cuò)誤目標(biāo)的坐標(biāo)； (2) 根據(jù)錯(cuò)誤目標(biāo)的時(shí)間T0,從接收到的深度學(xué)習(xí)網(wǎng)絡(luò)處理結(jié)果中獲取對(duì)應(yīng)幀圖像Q0; (3) 將錯(cuò)誤目標(biāo)的坐標(biāo)分別與上述對(duì)應(yīng)幀圖像的所有檢測(cè)目標(biāo)坐標(biāo)計(jì)算歐氏距離，歐 氏距離最小的目標(biāo)即為圖像Q0上的錯(cuò)誤目標(biāo)0〇，￥〇,2〇)，將該目標(biāo)的相關(guān)信息剔除； (4) 以Q0為基準(zhǔn)，依次獲取下一幀圖像上縱坐標(biāo)為Y0的所有目標(biāo)，根據(jù)拍攝時(shí)目標(biāo)物的 運(yùn)動(dòng)速度v及兩幀時(shí)間差，計(jì)算下一幀圖像上對(duì)應(yīng)錯(cuò)誤目標(biāo)的理論位置，計(jì)算理論位置與下 一幀圖像上所有目標(biāo)的歐氏距離，歐氏距離最小對(duì)應(yīng)的目標(biāo)位置即為下一幀圖像上對(duì)應(yīng)錯(cuò) 誤目標(biāo)的坐標(biāo)系，直至在某一幀圖像上獲取不到縱坐標(biāo)為Y0的目標(biāo)； (5) 對(duì)步驟(4)處理后的每幀圖像所有目標(biāo)的Y值進(jìn)行統(tǒng)計(jì)，得到同一個(gè)目標(biāo)的連續(xù)被 統(tǒng)計(jì)的次數(shù)，若在規(guī)定的時(shí)間內(nèi)統(tǒng)計(jì)次數(shù)達(dá)到預(yù)設(shè)的閾值，則該目標(biāo)為識(shí)別的正確目標(biāo)，否 則，將該目標(biāo)的相關(guān)信息剔除。4.根據(jù)權(quán)利要求1所述的一種基于人工糾錯(cuò)機(jī)制與深度學(xué)習(xí)網(wǎng)絡(luò)協(xié)作機(jī)器視覺識(shí)別系 統(tǒng)，其特征在于:每幀圖像上同一目標(biāo)的確定方法，以一幀圖像上的一個(gè)目標(biāo)為基準(zhǔn)，依次 獲取其他幀圖像上與基準(zhǔn)目標(biāo)縱坐標(biāo)相同的目標(biāo)，根據(jù)拍攝時(shí)目標(biāo)物的運(yùn)動(dòng)速度v及兩幀 時(shí)間差，計(jì)算另外一幀圖像上對(duì)應(yīng)目標(biāo)的理論位置，計(jì)算理論位置與該另外一幀圖像上所 有目標(biāo)的歐氏距離，歐氏距離最小對(duì)應(yīng)的目標(biāo)為與基準(zhǔn)目標(biāo)相同的目標(biāo)。
【文檔編號(hào)】G06K9/03GK106067031SQ201610362686
【公開日】2016年11月2日
【申請(qǐng)日】2016年5月26日 公開號(hào)201610362686.8, CN 106067031 A, CN 106067031A, CN 201610362686, CN-A-106067031, CN106067031 A, CN106067031A, CN201610362686, CN201610362686.8
【發(fā)明人】王燕波, 梁斌焱, 楊濤, 陳志鴻, 張科, 鄒河彬, 由曉明
【申請(qǐng)人】北京新長(zhǎng)征天高智機(jī)科技有限公司