一種基于增強現(xiàn)實技術(shù)的制圖類作業(yè)評閱方法
【專利摘要】本發(fā)明公開了一種基于增強現(xiàn)實技術(shù)的制圖類作業(yè)評閱方法，該方法包括的步驟為將移動終端作為客戶端，獲取圖像幀并將數(shù)據(jù)發(fā)送給服務(wù)器端，從服務(wù)器端接收數(shù)據(jù)并顯示；接收從客戶端傳送的視頻幀數(shù)據(jù)，然后通過圖像處理相關(guān)算法處理圖像；將標(biāo)準(zhǔn)答案視圖模型以及計算得出的參考分?jǐn)?shù)發(fā)送給客戶端；客戶端接收從服務(wù)器端發(fā)送的數(shù)據(jù)之后，通過OpenGL將模型渲染到視頻幀中，并通過圖層的疊加顯示參考分?jǐn)?shù)，達(dá)到虛實融合的效果。本發(fā)明將評閱制圖作業(yè)的任務(wù)交給計算機視覺來處理，與增強現(xiàn)實技術(shù)相結(jié)合，并將功能移植到移動終端上實現(xiàn)，給評閱老師帶來了極大的便利和樂趣。
【專利說明】一種基于增強現(xiàn)實技術(shù)的制圖類作業(yè)評閱方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及增強現(xiàn)實【技術(shù)領(lǐng)域】，具體涉及一種基于增強現(xiàn)實技術(shù)的制圖類作業(yè)評閱方法。
【背景技術(shù)】
[0002]據(jù)國外媒體報道，市場研究公司Forrester日前預(yù)測了 2013年移動業(yè)的十大發(fā)展趨勢，概括起來就是六個字:移動改變一切。手機的功能日益強大，正逐步替代照相機、現(xiàn)金支付、地圖、遠(yuǎn)程控制設(shè)備、掌上游戲機、登機牌、門票、現(xiàn)金出納機、計算器和記事本等。手機無處不在，已成為全球人們不可或缺的產(chǎn)品:去年全球手機出貨量達(dá)16億部，今年年底全球智能手機用戶將達(dá)14億。從這些數(shù)據(jù)不難看出，移動終端不僅在現(xiàn)在，而且在未來必將成為人們生活中比不缺少的一部分。因此基于移動終端開發(fā)的應(yīng)用也將必不可少。未來的人們很多事情都將會依靠移動終端來幫助我們完成，對于教師群體而言，智能評閱試卷也將成為一種趨勢。
[0003]機器視覺就是用機器代替人眼來做測量和判斷。如今，中國正成為世界機器視覺發(fā)展最活躍的地區(qū)之 一，應(yīng)用范圍涵蓋了工業(yè)、農(nóng)業(yè)、醫(yī)藥、軍事、航天、氣象、天文、公安、交通、安全、科研等國民經(jīng)濟的各個行業(yè)。其重要原因是中國已經(jīng)成為全球制造業(yè)的加工中心，高要求的零部件加工及其相應(yīng)的先進生產(chǎn)線，使許多具有國際先進水平的機器視覺系統(tǒng)和應(yīng)用經(jīng)驗也進入了中國。經(jīng)歷過長期的蟄伏，2010年我國機器視覺市場迎來了爆發(fā)式增長。據(jù)《2013-2017年中國機器視覺產(chǎn)業(yè)發(fā)展前景與投資預(yù)測分析報告》[1]數(shù)據(jù)顯示當(dāng)年，我國機器視覺市場規(guī)模達(dá)到8.3億元，同比增長48.2%，其中智能相機、軟件、光源和板卡的增長幅度都達(dá)到了 50%，工業(yè)相機和鏡頭也保持了 40%以上的增幅，皆為2007年以來的最高水平。因此機器視覺的應(yīng)用也相當(dāng)成熟了。
[0004]增強現(xiàn)實技術(shù)(Augmented Reality Technique,簡稱AR),是在虛擬現(xiàn)實基礎(chǔ)上發(fā)展起來的新技術(shù)，是通過計算機系統(tǒng)提供的信息增加用戶對現(xiàn)實世界感知的技術(shù)，并將計算機生成的虛擬物體、場景或系統(tǒng)提示信息疊加到真實場景中，從而實現(xiàn)對現(xiàn)實的“增強”。傳統(tǒng)的增強現(xiàn)實技術(shù)越來越越不能夠滿足人們的需求。隨著移動終端的大力發(fā)展，移動增強現(xiàn)實的應(yīng)用也在不斷的發(fā)展，也產(chǎn)出大量的產(chǎn)品，如商業(yè)應(yīng)用，游戲等等，尤其是基于Android和IOS操作系統(tǒng)的增強現(xiàn)實技術(shù)的應(yīng)用。
[0005]就目前的情況來說，制圖類作業(yè)的評閱工作基本都是靠人工來做，但是制圖類作業(yè)具有題目類型多，評閱較復(fù)雜的特點，是一件耗時耗力的工作。

【發(fā)明內(nèi)容】

[0006]本發(fā)明針對現(xiàn)有技術(shù)的不足，提供了一種基于增強現(xiàn)實技術(shù)的制圖類作業(yè)評閱方法，本發(fā)明方法將計算機視覺技術(shù)和增強現(xiàn)實技術(shù)以及移動終端的發(fā)展結(jié)合起來，為制圖類作業(yè)的評閱的智能性方面做出貢獻(xiàn)，方便老師快捷準(zhǔn)確地完成評閱工作。
[0007]本發(fā)明的技術(shù)方案為:一種基于增強現(xiàn)實技術(shù)的制圖類作業(yè)評閱方法，包括以下幾個步驟:
Si，建立服務(wù)器端，包括圖像處理核心算法的實現(xiàn)，標(biāo)準(zhǔn)答案模板數(shù)據(jù)庫的建立，以及將處理之后的結(jié)果發(fā)送給客戶端程序；
S2，開發(fā)客戶端程序，使用移動終端獲取視頻幀，并基于TCP/IP協(xié)議將視頻幀發(fā)送到服務(wù)器端；
S3，服務(wù)器端接收視頻幀并對其進行相關(guān)的圖像處理；
S4，將S3中獲取的攝像頭位姿矩陣和標(biāo)志物對應(yīng)的模型數(shù)據(jù)以及計算出的參考分?jǐn)?shù)發(fā)送到客戶端程序；
S5，客戶端接收從服務(wù)器發(fā)回來的數(shù)據(jù)，并進行渲染，將標(biāo)準(zhǔn)答案和最終計算的分?jǐn)?shù)顯示在視頻幀中，達(dá)到虛實融合的效果；
S6:根據(jù)增強現(xiàn)實的結(jié)果結(jié)合參考進行分?jǐn)?shù)情況統(tǒng)計。
[0008]進一步地，所述的圖像處理分為兩個部分，增強現(xiàn)實技術(shù)實現(xiàn)；使用標(biāo)準(zhǔn)的模板匹配計算學(xué)生作答的參考分?jǐn)?shù)；具體包含以下幾個步驟:
S11，對模板數(shù)據(jù)庫中標(biāo)志圖片進行離線訓(xùn)練，獲取標(biāo)志物的描述子集合數(shù)據(jù)以及圖元的數(shù)據(jù)信息等；
S12，圖像幀的初始化；
S13，使用ORB算法進行特征點的檢測和描述；
S14，采用基于漢明距的強制匹配算法進行描述子的匹配；
S15，計算單應(yīng)性矩陣并對匹配結(jié)果進行優(yōu)化；
S16，檢測并識別視頻幀中是否具有標(biāo)志物，有則繼續(xù)進行以下步驟，否則重復(fù)檢測獲取的視頻幀；
S17，攝像頭位姿估算，并對計算結(jié)果進行阿爾法貝塔濾波；
S18，對圖像進行二值化處理；
S19，對圖像進行去噪處理；
SI 10，對圖像進行幾何校正；
S111，提取圖像中的各種圖元，例如直線段中的實線、虛線、點劃線，圓及圓弧等，并計算保存圖元具有的屬性信息；
S112，使用模板匹配對圖像幀中檢測的圖元與標(biāo)準(zhǔn)答案模板中的圖元進行比較，計算出參考成績。
[0009]進一步地，SI中制作服務(wù)器端，建立標(biāo)準(zhǔn)答案數(shù)據(jù)庫系統(tǒng)，所述服務(wù)器端包含兩個內(nèi)容:相關(guān)圖像處理算法的實時運算；標(biāo)準(zhǔn)答案數(shù)據(jù)庫的建立和使用。
[0010]進一步地，S2中移動客戶端獲取視頻幀并傳送到服務(wù)器端采用基于TCP/IP協(xié)議的方式，以字節(jié)流的形式將視頻幀傳輸。
[0011]進一步地，S3中所述服務(wù)器端相關(guān)圖像處理算法的實現(xiàn)，該圖像處理算法分三個部分:增強現(xiàn)實技術(shù)實現(xiàn)，標(biāo)志識別與攝像頭位姿估計；采用標(biāo)準(zhǔn)模板匹配對學(xué)生繪制結(jié)果與模板庫中標(biāo)準(zhǔn)答案進行匹配并計算參考分?jǐn)?shù)；對標(biāo)準(zhǔn)模板庫中的標(biāo)準(zhǔn)答案模板進行離線處理。
[0012]進一步地，S4中將S3中計算的結(jié)果發(fā)送到移動客戶端采用TCP/IP協(xié)議進行數(shù)據(jù)傳輸操作。[0013]進一步地，S5中移動客戶端獲取從服務(wù)器端傳輸?shù)臄?shù)據(jù)之后，使用OpenGL圖形程序接口對答案視圖模型進行渲染，并且采用多層視圖疊加的方法將參考分?jǐn)?shù)顯示出來，達(dá)到虛實融合效果。
[0014]本發(fā)明的有益效果在于:
本發(fā)明首次將評閱制圖作業(yè)的任務(wù)交給計算機視覺來處理，與增強現(xiàn)實技術(shù)相結(jié)合，并將功能移植到移動終端上實現(xiàn)；
本發(fā)明給老師個人評閱制圖作業(yè)時帶來便利和樂趣，老師只需要在手機上安裝一個APP,就能高效快捷準(zhǔn)確地評閱制圖作業(yè)；
本發(fā)明采用C/S架構(gòu)，大大降低移動終端的運算壓力，可以較好地達(dá)到實時性的效果，具有很高的研究價值和實用價值。
【專利附圖】

【附圖說明】
[0015]圖1是本發(fā)明專利具體框架結(jié)構(gòu)圖。
[0016]圖2是相關(guān)圖像處理算法的具體流程圖。
[0017]圖3是標(biāo)準(zhǔn)答案對應(yīng)模型視圖實例圖片。
[0018]圖4是獲取的圖像巾貞不例圖片。
[0019]圖5是圖像幀經(jīng)過二值化提取圖元特征之后的效果圖。
[0020]圖6是圖像幀經(jīng)過幾何校正之后的效果圖。
[0021]圖7是極坐標(biāo)系示例。
[0022]圖8是最終顯示在移動客戶端的效果圖示例。
[0023]【具體實施方式】
[0024]下面結(jié)合附圖對本發(fā)明做進一步的描述，但本發(fā)明的實施方式并不限于此。
[0025]制作服務(wù)器端，建立標(biāo)準(zhǔn)答案數(shù)據(jù)庫系統(tǒng)，服務(wù)器端主要包含兩個內(nèi)容，一個是圖像處理算法的實時運算，一個是標(biāo)準(zhǔn)答案數(shù)據(jù)庫，如圖1所示。
[0026]首先在服務(wù)器端實現(xiàn)圖像處理相關(guān)算法，將圖像處理算法設(shè)置在服務(wù)器端的一個最主要考慮因素是為了減輕移動終端的運算壓力，提高系統(tǒng)的實時性效果。
[0027]其次在服務(wù)器端建立標(biāo)準(zhǔn)答案數(shù)據(jù)庫，這個數(shù)據(jù)庫主要包含大量的機械制圖作業(yè)習(xí)題集以及對應(yīng)的答案，其中數(shù)據(jù)庫設(shè)置了很多不同的表，每個表對應(yīng)著一套習(xí)題，表的主鍵為已知的視圖，其他字段包含了標(biāo)準(zhǔn)答案的視圖，以及各種圖元的數(shù)據(jù)和屬性值等，例如直線段的個數(shù)，直線段兩個端點的坐標(biāo)值等。同時，主鍵保存的圖像為對應(yīng)的標(biāo)志圖片，如圖3所示。當(dāng)后續(xù)步驟需要檢測并識別標(biāo)志時，都是通過搜索主鍵的圖片進行匹配的，當(dāng)識別出對應(yīng)的標(biāo)志圖片時，將會調(diào)取對應(yīng)的答案視圖以及包含的各種圖元的數(shù)量和屬性值，答案視圖是經(jīng)過事先處理的，例如需要補畫的線條使用紅色線條標(biāo)記等，這樣就使用戶更容易區(qū)分，如圖3所示。
[0028]客戶端程序的開發(fā)，客戶端程序主要承擔(dān)的任務(wù)有三點:
第一，獲取視頻幀，視頻幀圖像見圖4所示，并將視頻幀傳輸給服務(wù)器端。獲取的視頻幀通過TCP/IP協(xié)議，以字節(jié)流的形式實時地發(fā)送給服務(wù)器端；
第二，實時接收從服務(wù)器端發(fā)來的數(shù)據(jù)，包括攝像頭位姿矩陣、對應(yīng)的答案視圖模型以及計算的最后的參考成績等，這個同樣采用TCP/IP協(xié)議進行數(shù)據(jù)傳輸。[0029]第三，利用增強現(xiàn)實技術(shù)顯示獲取的視圖模型及參考分?jǐn)?shù)。將標(biāo)準(zhǔn)答案視圖模型注冊到真實場景中，參考分?jǐn)?shù)顯示在屏幕中合適位置上。
[0030]服務(wù)器端接收了客戶端傳來的字節(jié)數(shù)組之后將其轉(zhuǎn)換為圖片保存或者對應(yīng)OpenCV的Mat數(shù)據(jù)結(jié)構(gòu)保存，并采取相關(guān)圖像處理算法對其進行處理，具體流程圖如圖2所示，該圖像處理算法主要分成三個部分，一個是增強現(xiàn)實技術(shù)實現(xiàn)，標(biāo)志識別與攝像頭位姿估計；一個是采用標(biāo)準(zhǔn)模板匹配對學(xué)生繪制結(jié)果與模板庫中標(biāo)準(zhǔn)答案進行匹配并計算參考分?jǐn)?shù)；一個是對標(biāo)準(zhǔn)模板庫中的標(biāo)準(zhǔn)答案模板進行離線處理。本實施例使用OpenCV函數(shù)庫中相關(guān)函數(shù)。
[0031]對數(shù)據(jù)庫中的標(biāo)志進行離線訓(xùn)練。離線訓(xùn)練也有兩個任務(wù)，一個主要是對對標(biāo)志進行特征點檢測和描述，采用ORB特征點檢測和描述算法，并將處理之后的描述子保存。另一個任務(wù)是對模板庫中標(biāo)準(zhǔn)答案視圖進行圖元的檢測和提取，這里的圖元主要包含直線段(實線、虛線、點劃線等)，圓及圓弧等，提取算法見步驟圖2中離線處理部分，提取的內(nèi)容是各種圖元的數(shù)量，圖元屬性值，例如直線段兩個端點坐標(biāo)值，圓形的圓心坐標(biāo)值和半徑等，將計算的結(jié)果保存在數(shù)據(jù)庫中對應(yīng)的字段中。
[0032]對獲取的圖像幀進行初始化，主要是對圖像進行灰度化處理。在OpenCV函數(shù)庫中，采用相關(guān)函數(shù)進行圖像灰度化處理。
[0033]同樣采用ORB特征點檢測和描述算法對視頻幀進行特征點的檢測和描述。
[0034]采用基于漢明距的強制匹配對標(biāo)志圖片和視頻幀描述子進行匹配。
[0035]在OpenCV函數(shù)庫中提供了兩種類型的匹配算法，一種是強制匹配，一種是FLANN匹配。通過比較，本實施例采用基于漢明距離的強制匹配算法。
[0036]計算單應(yīng)性矩陣，并對匹配結(jié)果進行優(yōu)化處理。
[0037]單應(yīng)性矩陣表示的是模板圖片與圖像幀平面之間的對應(yīng)關(guān)系，它與后面標(biāo)志的識另O、攝像頭位姿計算以及圖像的幾何校正有著直接關(guān)系，所以十分重要，對其求解本實施例也采用了優(yōu)化的算法。
[0038]為了保證匹配結(jié)果的精確性，系統(tǒng)還對野點進行過濾處理。利用前面介紹的ORB描述子獲取的數(shù)據(jù)，對其進行匹配對的優(yōu)化處理，其步驟可總結(jié)如下:
使用交叉匹配，交叉匹配，主要是對訓(xùn)練集合和搜索集合中的描述子進行交叉匹配，選取兩次匹配共有的結(jié)果作為最終匹配結(jié)果。這種方式在匹配對足夠多，而野點較少的情況下可以產(chǎn)生最好的結(jié)果，包括:使用隨機采樣一致性(RANSAC)算法計算單應(yīng)性矩陣；根據(jù)上一步計算的單應(yīng)性矩陣對視頻幀進行仿射變換，再次進行特征點檢測、描述和匹配，獲取優(yōu)化之后的匹配對，再計算最優(yōu)單應(yīng)性矩陣歷。
[0039]檢測視頻幀中是否包含標(biāo)志物，并且進行識別。從數(shù)據(jù)庫中對應(yīng)表中選擇主鍵中保存的標(biāo)志進行檢測，設(shè)定正確匹配個數(shù)閾值為A，假設(shè)優(yōu)化之后的正確匹配對的數(shù)目為R，如果滿足R>A，則識別出標(biāo)志，繼續(xù)執(zhí)行下一步，否則標(biāo)志無效，檢測下一個候選項，如果沒有任何標(biāo)志與其對應(yīng)，則選擇下一幀重復(fù)進行檢測。
[0040]根據(jù)識別出的標(biāo)志圖像在標(biāo)準(zhǔn)答案模板數(shù)據(jù)庫中獲取對應(yīng)的答案視圖。
[0041](8)對于估算攝像頭位姿，首先需要了解攝像頭的投影方程，如公式-，
【權(quán)利要求】
1.一種基于增強現(xiàn)實技術(shù)的制圖類作業(yè)評閱方法，其特征在于包括以下幾個步驟: S1，建立服務(wù)器端，包括圖像處理核心算法的實現(xiàn)，標(biāo)準(zhǔn)答案模板數(shù)據(jù)庫的建立，以及將處理之后的結(jié)果發(fā)送給客戶端程序； S2，開發(fā)客戶端程序，使用移動終端獲取視頻幀，并基于TCP/IP協(xié)議將視頻幀發(fā)送到服務(wù)器端； S3，服務(wù)器端接收視頻幀并對其進行相關(guān)的圖像處理； S4，將S3中獲取的攝像頭位姿矩陣和標(biāo)志物對應(yīng)的模型數(shù)據(jù)以及計算出的參考分?jǐn)?shù)發(fā)送到客戶端程序； S5，客戶端接收從服務(wù)器發(fā)回來的數(shù)據(jù)，并進行渲染，將標(biāo)準(zhǔn)答案和最終計算的分?jǐn)?shù)顯示在視頻幀中，達(dá)到虛實融合的效果； S6:根據(jù)增強現(xiàn)實的結(jié)果結(jié)合參考進行分?jǐn)?shù)情況統(tǒng)計。
2.如權(quán)利要求1所述的方法，其特征在于:所述的圖像處理分為兩個部分，增強現(xiàn)實技術(shù)實現(xiàn)；使用標(biāo)準(zhǔn)的模板匹配計算學(xué)生作答的參考分?jǐn)?shù)；具體包含以下幾個步驟: S11，對模板數(shù)據(jù)庫中標(biāo)志圖片進行離線訓(xùn)練，獲取標(biāo)志物的描述子集合數(shù)據(jù)以及圖元的數(shù)據(jù)信息等； S12，圖像幀的初始化； S13，使用ORB算法進行特征點的檢測和描述； S14，采用基于漢明距的強制匹配算法進行描述子的匹配； S15，計算單應(yīng)性矩陣并對匹配結(jié)果進行優(yōu)化； S16，檢測并識別視頻幀中是否具有標(biāo)志物，有則繼續(xù)進行以下步驟，否則重復(fù)檢測獲取的視頻幀； S17，攝像頭位姿估算，并對計算結(jié)果進行阿爾法貝塔濾波； S18，對圖像進行二值化處理； S19，對圖像進行去噪處理； S110，對圖像進行幾何校正； S111，提取圖像中的各種圖元，例如直線段中的實線、虛線、點劃線，圓及圓弧等，并計算保存圖元具有的屬性信息； S112，使用模板匹配對圖像幀中檢測的圖元與標(biāo)準(zhǔn)答案模板中的圖元進行比較，計算出參考成績。
3.如權(quán)利要求1中所述的方法，其特征在于:S1中制作服務(wù)器端，建立標(biāo)準(zhǔn)答案數(shù)據(jù)庫系統(tǒng)，所述服務(wù)器端包含兩個內(nèi)容:相關(guān)圖像處理算法的實時運算；標(biāo)準(zhǔn)答案數(shù)據(jù)庫的建立和使用。
4.如權(quán)利要求1中所述的方法，其特征在于:S2中移動客戶端獲取視頻幀并傳送到服務(wù)器端采用基于TCP/IP協(xié)議的方式，以字節(jié)流的形式將視頻幀傳輸。
5.如權(quán)利要求1中所述的方法，其特征在于:S3中所述服務(wù)器端相關(guān)圖像處理算法的實現(xiàn)，該圖像處理算法分三個部分:增強現(xiàn)實技術(shù)實現(xiàn)，標(biāo)志識別與攝像頭位姿估計；采用標(biāo)準(zhǔn)模板匹配對學(xué)生繪制結(jié)果與模板庫中標(biāo)準(zhǔn)答案進行匹配并計算參考分?jǐn)?shù)；對標(biāo)準(zhǔn)模板庫中的標(biāo)準(zhǔn)答案模板進行離線處理。
6.如權(quán)利要求1中所述的方法，其特征在于:S4中將S3中計算的結(jié)果發(fā)送到移動客戶端采用TCP/IP協(xié)議進行數(shù)據(jù)傳輸操作。
7.如權(quán)利要求1中所述的方法，其特征在于:S5中移動客戶端獲取從服務(wù)器端傳輸?shù)臄?shù)據(jù)之后，使用OpenGL圖形程序接口對答案視圖模型進行渲染，并且采用多層視圖疊加的方法將參考分?jǐn)?shù)顯示出來，達(dá)到虛實融合效果。
【文檔編號】G06T5/00GK103955889SQ201310748149
【公開日】2014年7月30日 申請日期:2013年12月31日 優(yōu)先權(quán)日:2013年12月31日
【發(fā)明者】何漢武, 陳和恩, 宋春雨, 黃垚波 申請人:廣東工業(yè)大學(xué)