一種基于機器視覺的虛擬人機操作界面系統(tǒng)及構(gòu)建方法
【專利摘要】本發(fā)明公開了一種基于機器視覺的虛擬人機操作界面系統(tǒng)及構(gòu)建方法，包括以下步驟：在一臺HMI顯示器正前方裝置攝像頭，攝像區(qū)域覆蓋整個HMI顯示器；對HMI顯示器顯示的各子畫面進行初始圖像采集；對步驟二中采集到的各子畫面初始圖像進行處理并將圖片信息傳遞給虛擬HMI客戶端；對HMI顯示器顯示的圖像進行實時采集，并利用圖像處理和模式識別算法對數(shù)據(jù)進行提取和識別；虛擬HMI客戶端將步驟三中得到的初始子畫面信息與步驟四中得到的數(shù)據(jù)信息進行合并，從而在虛擬HMI客戶端上進行HMI重建。該方法通過監(jiān)控HMI的顯示器進行數(shù)據(jù)采集，在單獨的網(wǎng)絡(luò)上進行HMI畫面重建，既不占用PLC所在網(wǎng)絡(luò)的帶寬，也可以讓生產(chǎn)方控制監(jiān)控方的監(jiān)控時間及監(jiān)控內(nèi)容，保證重要數(shù)據(jù)不泄密。
【專利說明】一種基于機器視覺的虛擬人機操作界面系統(tǒng)及構(gòu)建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于工業(yè)自動化【技術(shù)領(lǐng)域】，涉及一種基于機器視覺的虛擬人機操作界面系統(tǒng)及構(gòu)建方法。
【背景技術(shù)】
[0002]在工業(yè)自動化生產(chǎn)過程中，人機操作界面(HMI)是一種很重要的計算機程序，它可以顯示在生產(chǎn)過程中的生產(chǎn)狀態(tài)。同時，生產(chǎn)操作人員可以利用其進行生產(chǎn)參數(shù)設(shè)置及生產(chǎn)狀態(tài)改變；工程技術(shù)人員和工藝人員可以從人機操作界面上對生產(chǎn)運行狀況進行簡單故障的診斷。
[0003]多方進行HMI監(jiān)控，一般需要在多臺機器上安裝HMI程序。由于HMI和PLC進行數(shù)據(jù)交換，占用了可編程邏輯控制器(PLC)—定的計算負荷，也占用了一定的網(wǎng)絡(luò)帶寬。因此，從網(wǎng)絡(luò)和PLC負荷角度出發(fā)，對安裝HMI客戶端的數(shù)量都會有一定限制；另一方面，出于對計算機安全和生產(chǎn)數(shù)據(jù)保密因素的考慮，廠方不想外部計算機連入HMI所在網(wǎng)絡(luò)進行監(jiān)控，這樣從場外進行HMI監(jiān)控也存在一定問題。

【發(fā)明內(nèi)容】

[0004]有鑒于此，本發(fā)明的目的在于提供一種基于機器視覺的虛擬人機操作界面系統(tǒng)及構(gòu)建方法，該方法和系統(tǒng)通過監(jiān)控HMI的顯示器進行數(shù)據(jù)采集，在單獨的網(wǎng)絡(luò)上進行HMI畫
面重建。
[0005]為達到上述目的，本發(fā)明提供如下技術(shù)方案:
[0006]一種基于機器視覺的虛擬人機操作界面構(gòu)建方法，包括以下步驟:步驟一:在一臺HMI顯示器正前方裝置攝像頭，攝像區(qū)域覆蓋整個HMI顯示器；步驟二:對HMI顯示器顯示的各子畫面進行初始圖像采集；步驟三:對步驟二中采集到的各子畫面初始圖像進行處理并將圖片信息傳遞給虛擬HMI客戶端；步驟四:對HMI顯示器顯示的圖像進行實時采集，并利用圖像處理和模式識別算法對數(shù)據(jù)進行提取和識別；步驟五:虛擬HMI客戶端將步驟三中得到的初始子畫面信息與步驟四中得到的數(shù)據(jù)信息進行合并，從而在虛擬HMI客戶端上進行HMI重建。
[0007]進一步，在步驟二中，對HMI各子畫面進行初始圖像采集，對各子畫面分別得到多幅圖像，保證采集到各子畫面各個狀態(tài)的全部集合。
[0008]進一步，步驟三具體包括:對初次圖像采集得到的HMI各子畫面圖像，通過手動處理得到各子畫面的背景圖片，并給出背景圖片的子畫面類別標(biāo)記；對初次采集得到的各HMI子畫面圖像進行手動分割，分割出感興趣的顏色、箭頭方向等狀態(tài)監(jiān)控區(qū)域及過程數(shù)據(jù)區(qū)域，標(biāo)記這些區(qū)域的位置及對應(yīng)子畫面種類；標(biāo)記區(qū)域的顏色、箭頭等狀態(tài)的全部樣本，并給予子畫面種類及狀態(tài)類別標(biāo)記；將各HMI子畫面背景圖片、狀態(tài)位置及狀態(tài)樣本及類別傳送給虛擬HMI的客戶端。
[0009]進一步，在步驟四中，采集視頻幀率大于HMI畫面設(shè)定變化頻率的兩倍。[0010]進一步，在步驟四中，結(jié)合采集到的每一幀HMI畫面，在服務(wù)器上進行子畫面類別的識別；對于采集到的HMI畫面和識別得到的子畫面背景圖片進行比較得到數(shù)字、顏色及箭頭方向的變化區(qū)域；利用模式識別算法對變化區(qū)域進行識別，識別出狀態(tài)類別及數(shù)字。
[0011]進一步，在步驟五中，將子畫面類別、狀態(tài)類別、數(shù)字傳遞給客戶端，客戶端根據(jù)狀態(tài)類別、子畫面類別找到狀態(tài)位置和子畫面背景圖片，在客戶端顯示器上對該類別HMI子畫面背景圖片的相應(yīng)位置上進行數(shù)字和狀態(tài)顯示，顯示出實時變化HMI子畫面。
[0012]本發(fā)明還提供了一種基于機器視覺的虛擬人機操作界面系統(tǒng)，包括攝像機、服務(wù)器、交換機及多臺客戶端計算機；攝像機對運行HMI的計算機顯示器進行攝像監(jiān)控，攝像機的攝像區(qū)域覆蓋整個顯示器屏幕，并將得到的視頻數(shù)據(jù)傳送至服務(wù)器；服務(wù)器提取HMI各子畫面的背景圖像，并給出類別標(biāo)記；服務(wù)器對攝像機采集得到的實時視頻利用圖像處理和模式識別技術(shù)進行過程數(shù)據(jù)提取和識別，將過程數(shù)據(jù)提取出來，并利用背景圖像在客戶端計算機進行HMI重建。
[0013]進一步，攝像機采集視頻幀率大于HMI畫面設(shè)定變化頻率的兩倍。
[0014]本發(fā)明的有益效果在于:本發(fā)明通過監(jiān)控HMI的顯示器進行數(shù)據(jù)采集，在單獨的網(wǎng)絡(luò)上進行HMI畫面重建，既不占用PLC所在網(wǎng)絡(luò)的帶寬，也可以讓生產(chǎn)方控制監(jiān)控方的監(jiān)控時間及監(jiān)控內(nèi)容，保證重要數(shù)據(jù)不泄密。
【專利附圖】

【附圖說明】
[0015]為了使本發(fā)明的目的、技術(shù)方案和有益效果更加清楚，本發(fā)明提供如下附圖進行說明:
[0016]圖1為本發(fā)明所述系統(tǒng)的結(jié)構(gòu)示意圖；
[0017]圖2為本發(fā)明所述方法的流程示意圖。
【具體實施方式】
[0018]下面將結(jié)合附圖，對本發(fā)明的優(yōu)選實施例進行詳細的描述。
[0019]圖1為本發(fā)明所述系統(tǒng)的結(jié)構(gòu)示意圖，如圖所示，該系統(tǒng)包括攝像機、服務(wù)器、交換機及多臺客戶端計算機；攝像機對運行HMI的計算機顯示器進行攝像監(jiān)控，攝像機的攝像區(qū)域覆蓋整個顯示器屏幕，并將得到的視頻數(shù)據(jù)傳送至服務(wù)器；服務(wù)器提取HMI各子畫面的背景圖像，并給出類別標(biāo)記；服務(wù)器對攝像機采集得到的實時視頻利用圖像處理和模式識別技術(shù)進行過程數(shù)據(jù)提取和識別，將過程數(shù)據(jù)提取出來，并利用背景圖像在客戶端計算機進行HMI重建。
[0020]圖2為本發(fā)明所述方法的流程示意圖，該方法包括以下步驟:步驟一:在一臺HMI顯示器正前方裝置攝像頭，攝像區(qū)域覆蓋整個HMI顯示器；步驟二:對HMI顯示器顯示的各子畫面進行初始圖像采集；步驟三:對步驟二中采集到的各子畫面初始圖像進行處理并將圖片信息傳遞給虛擬HMI客戶端；步驟四:對HMI顯示器顯示的圖像進行實時采集，并利用圖像處理和模式識別算法對數(shù)據(jù)進行提取和識別；步驟五:虛擬HMI客戶端將步驟三中得到的初始子畫面信息與步驟四中得到的數(shù)據(jù)信息進行合并，從而在虛擬HMI客戶端上進行HMI重建。
[0021]下面通過一個實施例來說明系統(tǒng)的工作流程。[0022]SI) 一臺運行HMI程序的計算機連接19寸以上的LED顯示器，HMI畫面更新時間為100ms。在HMI顯示器正前方安裝一臺千兆以太網(wǎng)彩色cmos工業(yè)攝像機，分辨率1400 X 1024，保證攝像機正對顯示器，位置固定不變，拍攝區(qū)域剛好覆蓋整個HMI顯示器。攝像機采樣頻率為30Hz。一臺計算機作為虛擬HMI服務(wù)器，一臺計算機作為虛擬HMI客戶端，工業(yè)攝像機、虛擬HMI服務(wù)器、虛擬HMI客戶機通過一臺交換機組成獨立的局域計算機網(wǎng)絡(luò)。
[0023]S2)通過工業(yè)攝像機對HMI各子畫面采集一定數(shù)量圖像，保證樣本圖像包含諸如顏色、箭頭方向等各個狀態(tài)的全部集合。
[0024]S3)對初次圖像采集得到的HMI子畫面圖像，通過手動處理得到各子畫面的背景圖片，并給出背景圖片的子畫面類別標(biāo)記；
[0025]S4)對初次采集得到的各HMI子畫面圖像進行手動分割，分割出感興趣的顏色、箭頭方向等狀態(tài)監(jiān)控區(qū)域及過程數(shù)據(jù)區(qū)域，標(biāo)記這些區(qū)域的位置及對應(yīng)子畫面種類；
[0026]S5)標(biāo)記區(qū)域的顏色、箭頭等狀態(tài)的全部樣本，并給予子畫面種類及狀態(tài)類別標(biāo)記；
[0027]S6)將各HMI子畫面背景圖片、狀態(tài)位置及狀態(tài)樣本及類別傳遞給虛擬HMI的客戶端;
[0028]S7)實時進行HMI圖像采集，采集視頻幀率大于HMI畫面設(shè)定變化頻率的二倍。
[0029]S8)結(jié)合采集得到每一幀HMI畫面，在視頻處理服務(wù)器上進行子畫面類別的識別；
[0030]S9)對于采集得到的HMI畫面和識別得到的子畫面背景圖片進行比較得到數(shù)字及顏色、箭頭方向等狀態(tài)的變化區(qū)域；
[0031]S10)利用模式識別算法對變化區(qū)域進行識別，識別出狀態(tài)類別及數(shù)字；
[0032]Sll)將子畫面類別、狀態(tài)類別、數(shù)字傳遞給客戶端，客戶端根據(jù)狀態(tài)類別、子畫面類別找到狀態(tài)位置和子畫面背景圖片，在客戶端顯示器上對該類別HMI子畫面背景圖片的相應(yīng)位置上進行數(shù)字和狀態(tài)顯示，顯示出實時變化HMI子畫面。
[0033]最后說明的是，以上優(yōu)選實施例僅用以說明本發(fā)明的技術(shù)方案而非限制，盡管通過上述優(yōu)選實施例已經(jīng)對本發(fā)明進行了詳細的描述，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，可以在形式上和細節(jié)上對其作出各種各樣的改變，而不偏離本發(fā)明權(quán)利要求書所限定的范圍。
【權(quán)利要求】
1.一種基于機器視覺的虛擬人機操作界面構(gòu)建方法，其特征在于:包括以下步驟: 步驟一:在一臺HMI顯示器正前方裝置攝像頭，攝像區(qū)域覆蓋整個HMI顯示器； 步驟二:對HMI顯示器顯示的各子畫面進行初始圖像采集； 步驟三:對步驟二中采集到的各子畫面初始圖像進行處理并將圖片信息傳遞給虛擬HMI客戶端； 步驟四:對HMI顯示器顯示的圖像進行實時采集，并利用圖像處理和模式識別算法對數(shù)據(jù)進行提取和識別； 步驟五:虛擬HMI客戶端將步驟三中得到的初始子畫面信息與步驟四中得到的數(shù)據(jù)信息進行合并，從而在虛擬HMI客戶端上進行HMI重建。
2.根據(jù)權(quán)利要求1所述的一種基于機器視覺的虛擬人機操作界面構(gòu)建方法，其特征在于:在步驟二中，對HMI各子畫面進行初始圖像采集，對各子畫面分別得到多幅圖像，保證采集到各子畫面各個狀態(tài)的全部集合。
3.根據(jù)權(quán)利要求2所述的一種基于機器視覺的虛擬人機操作界面構(gòu)建方法，其特征在于:步驟三具體包括:對初次圖像采集得到的HMI各子畫面圖像，通過手動處理得到各子畫面的背景圖片，并給出背景圖片的子畫面類別標(biāo)記；對初次采集得到的各HMI子畫面圖像進行手動分割，分割出感興趣的顏色、箭頭方向等狀態(tài)監(jiān)控區(qū)域及過程數(shù)據(jù)區(qū)域，標(biāo)記這些區(qū)域的位置及對應(yīng)子畫面種類；標(biāo)記區(qū)域的顏色、箭頭等狀態(tài)的全部樣本，并給予子畫面種類及狀態(tài)類別標(biāo)記；將各HMI子畫面背景圖片、狀態(tài)位置及狀態(tài)樣本及類別傳送給虛擬HMI的客戶端。
4.根據(jù)權(quán)利要求3所述的一種基于機器視覺的虛擬人機操作界面構(gòu)建方法，其特征在于:在步驟四中，采集視頻幀率大于HMI畫面設(shè)定變化頻率的兩倍。
5.根據(jù)權(quán)利要求4所述的一種基于機器視覺的虛擬人機操作界面構(gòu)建方法，其特征在于:在步驟四中，結(jié)合采集到的每一幀HMI畫面，在服務(wù)器上進行子畫面類別的識別；對于采集到的HMI畫面和識別得到的子畫面背景圖片進行比較得到數(shù)字、顏色及箭頭方向的變化區(qū)域；利用模式識別算法對變化區(qū)域進行識別，識別出狀態(tài)類別及數(shù)字。
6.根據(jù)權(quán)利要求5所述的一種基于機器視覺的虛擬人機操作界面構(gòu)建方法，其特征在于:在步驟五中，將子畫面類別、狀態(tài)類別、數(shù)字傳遞給客戶端，客戶端根據(jù)狀態(tài)類別、子畫面類別找到狀態(tài)位置和子畫面背景圖片，在客戶端顯示器上對該類別HMI子畫面背景圖片的相應(yīng)位置上進行數(shù)字和狀態(tài)顯示，顯示出實時變化HMI子畫面。
7.一種基于機器視覺的虛擬人機操作界面系統(tǒng)，其特征在于:包括攝像機、服務(wù)器、交換機及多臺客戶端計算機；攝像機對運行HMI的計算機顯示器進行攝像監(jiān)控，攝像機的攝像區(qū)域覆蓋整個顯示器屏幕，并將得到的視頻數(shù)據(jù)傳送至服務(wù)器；服務(wù)器提取HMI各子畫面的背景圖像，并給出類別標(biāo)記；服務(wù)器對攝像機采集得到的實時視頻利用圖像處理和模式識別技術(shù)進行過程數(shù)據(jù)提取和識別，將過程數(shù)據(jù)提取出來，并利用背景圖像在客戶端計算機進行HMI重建。
8.根據(jù)權(quán)利要求7所述的一種基于機器視覺的虛擬人機操作界面系統(tǒng)，其特征在于:攝像機采集視頻幀率大于HMI畫面設(shè)定變化頻率的兩倍。
【文檔編號】G05B19/418GK103488158SQ201310475409
【公開日】2014年1月1日 申請日期:2013年10月12日 優(yōu)先權(quán)日:2013年10月12日
【發(fā)明者】劉斌, 郭圣威, 于目奎, 沈加強 申請人:中冶賽迪電氣技術(shù)有限公司