專利名稱：設備零件裝配像檢索裝置的制作方法
技術領域：
本發(fā)明涉及一種用于提取和核對設備零件裝配像的裝置。
背景技術：
對已經以紙張形式存在的技術圖紙進行有效管理和檢索是一個亟待解決的問題。根據統(tǒng)計數據，僅在美國和加拿大在20世紀90年代中技術圖紙數量就高達35億頁并且以每年大約2600萬頁遞增。用于將這些圖紙歸檔、定位和管理的年費超過10億美元。已經開始研究用于電子管理技術圖紙的裝置以便削減維護費用、改善對技術圖紙的理解以及在內容核對方面的效率等的研究人員正在出現(xiàn)。
基于內容對技術圖紙進行核對和檢索在應用中非常重要。例如，在工程師規(guī)劃特定產品的設計或變型時要參照現(xiàn)有的技術圖紙。在這種情況下，傳統(tǒng)上，工程師必須一張張地查看這些圖紙以找到所需圖紙，從而消耗了大量的時間和精力。作為對該問題的一個解決方案，已經提出一種基于文本內容的檢索方法。這是一種這樣的方法，該方法例如將文本標簽貼在每幅圖上作為關鍵詞索引。雖然這個信息在檢索整個圖形文件時是方便的，但是必須給幾百萬幅圖紙貼上標簽，從而需要非常大的精力。另外，通過這樣的文本標簽對圖紙內容進行說明不能完全詳盡地容納用于核對的所有圖像，并且通常不能指示與查詢圖像相對應的區(qū)域在該技術圖紙內的位置。如果可以實現(xiàn)基于圖紙內容的自動檢索和核對技術，則將大大改善檢索這些圖紙的效率，并且將大幅度削減技術圖紙的管理費用。
公知的技術是這樣一種技術，其中通過施加F特征(F-signature)來核對技術圖紙圖元。參照非專利參考文獻1。但是，該方法只能夠核對和檢索在技術圖紙內的分離的圖元，而不能實現(xiàn)圖段檢測和圖段比較。因此，其應用范圍有限。
Pasi Franti提出了一種通過使用Hough變換表示線條的全局特性而基于內容對技術圖紙進行檢索的方法。參照非專利參考文獻2。該方法在整體上處理每幅技術圖紙并且不適于進行片段比較。另外，線條特性僅僅在對由線條、曲線等構成的圖紙進行比較時才有效，從而限制了應用范圍。
另一種公知的方法是這樣一種方法，其中利用文本和圖形結構信息從數據庫中檢索包括與查詢圖像類似的設備零件的技術圖紙。參照專利參考文獻1。在該方法中，將文本輸入作為輸入數據，將文本幾何描述作為參考索引，并且最終獲知與在技術圖紙內的查詢圖像相對應的零件的存在。該方法基本上依靠文本檢索模式。
非專利參考文獻1S.Tabbone，L.Wendling，K.Tombre，使用角度信號信息進行線條像中圖形符號的匹配(Matching of graphical symbols inline-drawing images using angular signature infromation)，國際文件分析及識別期刊(International Journal Document Analysisand Recognition)，第6卷，第1期，2003年6月非專利參考文獻2Pasi Franti，Alexey Mednonogov，Ville Kyrki，HeikkiKalviainen，使用Hough變換進行線條圖的基于內容的匹配(Content-based matching of line-drawings using the Houghtransform)，國際文件分析及識別期刊(International Journal ofDocument Analysis and Recognition)，第3卷，第2期，2000年12月專利參考文獻1美國專利No.5,845,288說明書如上所述，基于圖紙內容的檢索和核對技術的研究和開發(fā)才剛剛開始，并且還沒有研制出足夠的技術。

發(fā)明內容
本發(fā)明的目的在于提供一種用于在裝配圖內的設備零件的圖像檢索裝置，該裝置可以通過將包含在該圖紙中的設備零件和查詢圖像進行比較，而從裝配圖內匹配與查詢設備零件圖像相對應的設備零件圖像。
根據本發(fā)明的設備零件圖像檢索裝置是一種將在技術圖紙中的設備零件的圖像與查詢圖像進行核對的設備零件圖像檢索裝置，該裝置檢測在技術圖紙中繪制的線，并且包括分割裝置，用于將技術圖紙分成一個或多個子區(qū)域；非文本區(qū)域確定裝置，用于確定該子區(qū)域是主要由文本構成的文本區(qū)域還是主要由文本以外的內容構成的非文本區(qū)域；提取裝置，用于提取與非文本數據相對應的設備零件圖像；以及核對裝置，用于核對所述查詢圖像和所提取的設備零件圖像。
根據本發(fā)明，可以提供一種基于圖紙內容的有效的裝配圖設備零件提取核對器。


圖1是一方框圖，顯示出根據本發(fā)明的用于裝配圖的設備零件提取核對器的結構；圖2A是顯示出水平和垂直投影直方圖表和從中生成直方圖表的圖形文件表的視圖；圖2B是顯示出在實際表格和從第一表格線檢測中獲得的表格之間的關系的視圖；圖3顯示出用于在格子中進行表格連接過程的偽代碼；圖4A是顯示出設定區(qū)域及其原始輪廓和平滑輪廓的視圖；圖4B是顯示出在圖4A中的平滑輪廓的一階導數的視圖；圖4C是顯示在圖4A的區(qū)域中的每條文本線的邊界線的視圖；圖5是顯示將文本行分割為由每個連通分量(connectedcomponent)調整的封閉矩形的視圖；圖6是顯示從輸入至分離過程的處理流程的流程圖；圖7是顯示設備零件提取過程的流程圖；圖8是顯示輪廓操作過程的示例的視圖；
圖9是顯示設備零件圖像格子掃描順序的視圖；圖10是以順序的典型形式顯示本發(fā)明一個實施例的處理結果的視圖(1)；圖11是以順序的典型形式顯示本發(fā)明一個實施例的處理結果的視圖(2)；以及圖12是以順序的典型形式顯示本發(fā)明一個實施例的處理結果的視圖(3)。
具體實施例方式
裝配圖是一種更專業(yè)且更重要類型的技術圖紙，通常用于顯示構成設備的零件以及這些零件如何裝配。在實際應用中，從構成具體設備零件的數據中檢索所有的圖紙。因此，裝配圖設備零件提取核對器從裝配圖中提取設備零件圖像，并將它們與查詢設備零件圖像作比較。裝配圖設備零件提取核對器包括布局(layout)分析單元，用于從裝配圖中去除文本區(qū)域；設備零件提取單元，用于通過合并和分離過程將每個設備零件編組；以及設備零件比較單元，用于將所提取的設備零件圖像和查詢零件圖像進行比較，以從裝配圖中選擇用于檢測對應于查詢圖像的零件圖像的特征。
布局分析的目的在于將圖紙中的圖形區(qū)域和文字區(qū)域分開。這一過程開始于對裝配圖中檢測到的由線形成的表格形式的區(qū)域進行處理。根據整個圖紙周圍的空白區(qū)域，估計文件頁面的方向，并校正圖紙的角度。然后，根據空白區(qū)域的結構，將圖紙分出大致的區(qū)域，同時根據投影直方圖特征，將這些區(qū)域標為文字區(qū)域或非文字區(qū)域。然后，在空白區(qū)域處將非文字區(qū)域遞歸劃分為更小的區(qū)域，繼續(xù)該過程直至不能進行進一步的細分為止。
僅在上述獲得的非文字區(qū)域上進行設備零件的提取，這是因為文字區(qū)域不含有圖形組成部分，因此不需要設備零件核對檢索。通過對連通分量分析來進行設備零件的提取。首先，將在另一個組成部分的輪廓內的所有連通分量合并，以防止設備零件彼此分離。然后，將由解釋線連接的設備組成部分通過分離過程而進行分離。通過該過程對分離區(qū)域進行處理，以僅包括一個設備零件。
布局分析和設備零件提取的結果是，將包括在裝配圖中的設備零件分成單獨的圖像。因此，查詢設備零件圖像與裝配圖的核對就是查詢設備零件圖像與這些分開的設備零件圖像的核對。因此，將圖像分成格子，并進行用于通過傅立葉變換確定特征數量的處理。
查詢設備零件圖像和裝配圖的核對可以認為是一個檢索目標的問題，并且目標區(qū)域的位置、尺寸以及方向都必須同時考慮。在本發(fā)明中，首先提取裝配圖中的設備零件圖像，這是因為可以容易解決確定目標區(qū)域的位置的問題。因此，可以簡單且有效地實現(xiàn)核對過程。
圖1是顯示根據本發(fā)明用于裝配圖的設備零件提取核對器的配置的方框圖。用于裝配圖的設備零件提取核對器的結構包括三個單元布局分析單元10；設備零件提取單元11；以及設備零件比較單元12。
輸入的裝配像優(yōu)選是二進制格式的圖像，但是如果輸入非二進制格式的圖像，則進行二值化預處理。
1、布局分析單元10裝配圖中的圖像通常是文本和圖形區(qū)域的結合。文字區(qū)域通常描述設備零件，并包括裝配的名稱和類型。但是，這些文本區(qū)域在基于查詢圖像的設備零件核對檢索中并不起作用。布局分析的目的在于將圖中的文本區(qū)域與圖形區(qū)域分開并去除文本區(qū)域。
1.1空白區(qū)域檢測和方向校正裝配圖的一個主要特征是環(huán)繞整個圖紙的空白區(qū)域。該空白區(qū)域通常覆蓋裝配圖的整個頁面，并顯示圖的有效區(qū)域。除此以外，空白區(qū)域通常用于將圖表文件分成各種功能區(qū)域，例如圖形區(qū)域、文字區(qū)域和標題區(qū)域。
如果滿足以下條件，則將圖紙圖像的連通分量確定為空白(1)構成毗鄰象素的連通分量的尺寸與圖紙圖像的比例大于預定閾值(該閾值應當由本領域技術人員相應地設定)；(2)構成圖像的象素的數量明顯小于背景的象素數量；
(3)連通分量不包括在其它連通分量中；(4)連通分量僅由直線構成。
用于發(fā)現(xiàn)滿足這些條件的區(qū)域的算法在本發(fā)明的技術領域被認為是公知的，因此省略對其的詳細說明。
另外，通過分析構成空白區(qū)域的直線的方向，確定圖表文件的方向，并進行圖表文件的方向校正。
1.2表格檢測以及根據所述表格的分離這里，將包括由在圖表文件中繪制的線形成的矩形圖段的類型稱之為表格。根據投影直方圖特征進行表格檢測。投影直方圖是每一行或者列象素的直方圖，其中將象素值水平或者豎直相加。以下“一行或者一列”簡稱為“一行”。用于確定表格的標準如下(1)在與表格線對應的水平或者豎直投影直方圖中每一行相加的象素值通常是較大的數字。線寬通常具有相似的值。
(2)在水平或者豎直直方圖中表格線之外的各行相加的象素值的分布具有較小的變化，并且具有極小的峰值。
通過該過程，將象素的連通分量以它們是否是表格線來分類。同樣，從直方圖中，可以將表格線的位置確定為具有非常大象素值的行。
圖2A是顯示水平和豎直投影直方圖表格以及從其中生成直方圖表格的圖表文件表格的視圖。
在表格檢測和表格線確定之后，獲得用于每個表格的格子。這里，格子是由線條分開的矩形區(qū)域。首先，在檢測表格區(qū)域的表格線位置處將圖水平劃分成多個矩形格子。該第一格子沒有被線(表格線)分開，并且這些格子的組合覆蓋了整個區(qū)域。
圖2B為顯示在實際表格和從第一表格線檢測獲得的表格之間的關系的視圖。
在圖2A中的第一表格的分離結果顯示在圖2B中。這里，細線表示實際表格線。接著，將該第一分開的格子通過區(qū)域增長方法合并成下方的自然表格。
圖3顯示出用于執(zhí)行在格子中表格連接過程的偽代碼。
首先，將Label Number(標號數)設定為0。接著，將所有格子的Label Number設定為0。然后，找到其Label Number為0的格子，并且將Grid設定為其中Label Number為0的格子編號。這里，格子編號為在表格提取時給予每個格子的編號。接著，將待處理的格子的LabelNumber加1，并且將Label Number設定為該格子的數據棧的標號數據。將通過Stack.push操作返回的Grid編號表示的數據寫入到該數據棧。接著，找到不為空的棧，并且通過Stack.pop操作將數據讀入Grid中。然后，將位于該格子右手側的格子中的數據讀入GridRight。假設，在表格提取時預先獲取了格子編號及其位置關系。
接著，檢測出在由Grid和GridRight表示的格子之間是否存在線條。盡管已知有各種方法，但是一個示例是這樣的方法，其中對原始圖面數據的相應圖段進行掃描以確定是否存在線條。
如果確定沒有線條，則將數據寫入到GridRight格子，從而使得GridRight的標號數與Grid的標號數相同。
在該格子的左、右、上和下邊界上并且另外在所有格子上進行該過程，并且完成這些格子的合并過程。
通過上面的過程，給所有第一格子賦予標號，并且將具有相同標號的格子合并成原始表格格子。
根據這些原始表格格子，將圖表文件分成多個大區(qū)域。如果通過空白區(qū)域來獲得這些格子，則覆蓋整個文件，或者根據這些格子的組合必須加入額外的區(qū)域以完成這些區(qū)域的合并。如果沒有任何空白或其它表格，則不必進行基于表格的進一步分隔處理。
1.3文本區(qū)域的標識將段落的文本線垂直或水平對準，具有大致相同的寬度，進而分布成通過白條紋(白底，空白區(qū)域)來分段。如段落的文本線一樣，將文本線中的分布字符垂直或水平對準，具有大致相同的寬度，并且由白條紋分開?？梢酝ㄟ^投影輪廓(projection profile)利用這些特征將文本區(qū)域與其它區(qū)域區(qū)分開。
首先，計算出在每個格子內的設定區(qū)域的投影輪廓。該區(qū)域為包括每個連通分量的區(qū)域，并且生成該小區(qū)域的直方圖。該設定區(qū)域以每個格子為基礎，并且由此如果格子由白條紋劃分，則設定區(qū)域為由該白條紋劃分的區(qū)域。換句話說，將包含在每個連通分量的封閉矩形中的象素設定為1，并且將設定區(qū)域中的其它象素設定為0。進行平滑處理以控制投影輪廓的細節(jié)量。將在平滑之前和之后獲得的投影輪廓分別稱為原始輪廓和平滑輪廓，并用Po和Ps表示。
Po＝Ps×f (這里，f為某些類型的濾子)圖4A是顯示設定區(qū)域以及其原始輪廓和平滑輪廓的視圖。接下來，如下定義和計算作為切線與平滑輪廓的角度的一階導數，以確定平滑輪廓的最大值和最小值。
D={dn|dn=Σm=1wpn+mS-Σm=1wpn-mS2*Σm=1wm}]]>這里，PSn和dn分別是平滑輪廓中一行象素值以及該輪廓的一階導數，n是行的序號，而w應當由本領域技術人員相應地設定。
圖4B是顯示圖4A中的平滑輪廓的一階導數的視圖。
然后，平滑輪廓的一階導數變?yōu)?的點(零點)用于獲得每條文本線的邊界線。
(1)確定平滑輪廓的最大值和最小值。滿足以下條件的零點分別對應于平滑輪廓的最大值和最小值。
MAXn＝{n|dn＞0，并且dn+1≤0}MINn＝{n|dn＜0，并且dn+1≥0}或者，最大值和最小值可以對應于與點相對的線段。在這種情況下，上述等式變?yōu)橐韵碌仁組AXn＝{n|n＝(i+j)/2，dj-1＞0，dj+1＜0，dm＝0，i≤m≤j}MINn＝{n|n＝i…j，dj-1＜0，dj+1＞0，dm＝0，i≤m≤j}(2)邊界線檢測?？梢约僭O上面獲得的最大值與一文本線相對應。每條文本線的邊界線可以如下利用最小值和原始輪廓來確定。
確定沿著從每個最大值點或者原始輪廓的零點的兩個方向的最小值點。所遇到的第一最小值點或者原始輪廓的零點變?yōu)樵摲较虻倪吔缇€。如果在遇到另一最大值點之前沒有發(fā)現(xiàn)諸如這些的點，則放棄當前的最大值點。圖4C是顯示在圖4A的區(qū)域中的每條文本線的邊界線的視圖。
(3)特征提取。至此，一對邊界線和對應的最大值已經獲得并由{(ln1,mn,ln2)|ln1<mn<ln2,n=1...N}]]>表示。這里，n是包括在設定區(qū)域內的文本線的索引編號(index numbering)。該索引被分別賦予目前正在處理的設定區(qū)域，并且如果例如在n上進行加法，則在通過表格提取所獲得的設定格子內的設定區(qū)域上進行加法。
圖5是顯示將文本線分成由每個連通分量調整的封閉矩形的視圖。
計算三個特征量以根據這些矩形識別文本區(qū)域。
尺寸一致性DU測量文本線寬度的一致性。
DU=varM,var=Σn=1N(ln-m)2N,ln=ln2-ln1,M=Σn=1NlnN]]>這里，ln是文本線的寬度，M是文本線的平均寬度，而“var”是文本線寬度的變化。
覆蓋一致性CU測量文本線中字符(character)的分布。如果將構成被由邊界線[ln1和ln2]形成的區(qū)域分開并包括在該區(qū)域內的字符的象素的連通分量表示為ci，i＝1…I，且環(huán)繞這些連通分量的封閉矩形的高度和中央位置表示為hi，ti，i＝1…I，則該區(qū)域的覆蓋一致件如下CUn=Σi=1l(Hi*Ti)/I]]> 這里，σ由本領域技術人員相應設定。而且，CU定義為包括在設定區(qū)域內的所有區(qū)域的平均的覆蓋一致性。這里，Hi是一個函數，當包含在文本線內的連通分量的寬度包含在文本線的寬度中時，它是1，而如果連通分量的寬度不包含在其中時，它是一個較小的數值。Ti是一個函數，當連通分量的中央位置包含在文本線的寬度內時，它是1，而當在寬度之外時，它是0。通過使用這些函數，可生成一個函數，如果連通分量的寬度包含在文本線內并且連通分量的位置包含在文本線的寬度內，則該函數的值較大，否則該函數的值較小。
CU=Σn=1NCUnN]]>這里，CU是設定區(qū)域內的平均值。最大值與最小值的比例簡稱為MMR。如上確定的最大值通常對應于兩條文本線之間的間隔，因此取平滑輪廓中的極小值。因此，MMR被定義為這些特征的特征條件。
MMR=1NΣn=1N(pln1S+pln2S)pmnS]]>這里，MMR定義為在設定區(qū)域中最終達到平均數的由最大值所分開的文本線的邊界線的象素值的總和。
從這三個特征量，通過設定閾值可以將文本區(qū)域與其它區(qū)域容易地分開。
例如，如果尺寸一致性具有接近0的值，覆蓋一致性具有接近1的值，且最大值與最小值的比例具有接近0的值，則該區(qū)域被確定為文本區(qū)域。
1.4分離必須進一步分開非文本區(qū)域。對在原始水平豎直方向投影輪廓內的0值部分(section)進行檢查，并且將在輪廓內0值連續(xù)的最大部分確定為非文本區(qū)域分離的位置和方向。因此，通過最大白色區(qū)域將非文本區(qū)域分成兩部分。
在所有的非文本區(qū)域內重復分離過程，直至不能進一步的分離，或者換句話說直到再沒有白色區(qū)域為止。
圖6是顯示從輸入至分離過程的流程處理的流程圖。在圖6的流程圖中，首先輸入裝配像。在步驟S10中進行空白檢測。在步驟S11中確定是否存在空白區(qū)域。如果步驟S11的確定結果是“否”，則該過程前進至步驟S13。如果在步驟S11的確定結果是“是”，則在步驟S12中校正圖形文件的方向。在步驟S13中確定是否存在表格。
如果步驟S13的確定結果是“否”，則該過程前進至步驟S15。如果步驟S13的確定結果是“是”，則步驟S14基于表格將文件分開。步驟S15確定在分開區(qū)域中待處理的區(qū)域是否是文本區(qū)域。如果步驟S15的確定結果是“是”，則輸出分割結果。如果步驟S15的確定結果是“否”，則步驟S16確定是否要進行進一步的分開。如果步驟S16的確定結果是“否”，則輸出分割結果。如果步驟S16的確定結果是“是”，則在步驟S17中進行分開，并且該過程返回至步驟S15。
2、設備零件提取單元在布局分析之后，將文件分成小區(qū)域，并分類為文本區(qū)域和非文本區(qū)域。僅從非文本區(qū)域提取在核對和檢索中有效的設備零件圖像。因此，通過設備零件提取單元僅處理上述獲得的非文本區(qū)域。
設備零件提取基于連通分量分析以及形態(tài)學操作包括(1)輪廓操作，(2)合并，(3)分離，以及(4)標簽文本消除步驟。
圖7是顯示設備零件提取過程的流程圖。
首先，在步驟S20中進行輪廓操作以提取輪廓。在步驟S21，合并設備零件圖像。在步驟S22，分開已經被不必要連接的設備零件圖像。在步驟S23，刪除通過解釋線與零件圖像連接的標簽文本。
以下將詳細描述每個步驟。
(1)輪廓操作首先，關于在相關的非文本區(qū)域中的每個連通分量提取輪廓。該過程可以采用已知的方法。參考Lueiano da Fontoura Costa以及Roberto Marcondes Cesar Jr.，形狀分析和分類理論和實踐(ShapeAnalysis and ClassificationTheory and Practice)，CRC Press LLC，341-347頁。
當將紙件圖形文件掃描為圖像時或者由于二值化過程導致的噪音，輪廓可能會受到損壞并可能被切為多個部分。因此，進行膨脹操作以校正輪廓中的開口。參考I.Pitas，數字圖像處理算法和應用(Digital image Processing Algorithms and Applications)，AWiley-Interscience出版社，361-369頁。
通過這些方法所獲得的輪廓是封閉曲線。該曲線內部指示了由連通分量占據的區(qū)域。另外，為了獲得與實際連通分量相對應的區(qū)域，進行侵蝕處理(erosion process)以除去膨脹過程的人工因素。
圖8是顯示輪廓操作過程的示例的視圖。圖8(A)顯示了第一連通分量，圖8(B)顯示了從圖8(A)中的圖像獲得的輪廓，圖8(C)顯示了由該連通分量占據的區(qū)域，而圖8(D)顯示了在不進行輪廓校正處理時獲得的連通分量所占據的區(qū)域。
(2)合并經常發(fā)生將設備零件圖像分成多個連通分量。因此，檢查由連通分量所保持的每個區(qū)域。如果發(fā)現(xiàn)由一定的連通分量所保持的區(qū)域完全覆蓋的連通分量，則將被覆蓋的連通分量的區(qū)域與進行覆蓋的連通分量的區(qū)域合并。因此，不必將設備零件圖像分開。
(3)分離裝配圖的線條主要由兩種類型形成形成設備零件對象的線以及標記和連接對象、指示內/外關系并解釋對象的線(解釋線)。分離過程的目的在于將由解釋線連接的設備零件分離，并刪除解釋線。利用其中解釋線通常比設備零件對象的尺寸明顯更細的特點來進行該操作。
首先，對環(huán)繞連通分量的區(qū)域進行形態(tài)侵蝕處理。通過該處理，除去與設備對象相關聯(lián)的較細的解釋線。結果，由于侵蝕處理而極大地減少了象素數量，并且如果該區(qū)域被確定為細線狀，則相應的連通分量被確定為解釋線并被刪除。
圖8(E)是顯示圖8(A)中的圖像的分離結果的視圖。
(4)標簽文字的去除。
甚至在非文本區(qū)域中，也存在用于指示尺寸信息等的文字以及設備零件的索引編號。為了減少后面核對過程的負擔，應當消除該文本。通過分析作為區(qū)域函數的零件的相對出現(xiàn)頻率的直方圖，可以容易地實現(xiàn)這一點。參考Lloyd Alan Eletcher以及Rangachar Kasturi，用于從文本/圖形混合圖像分離文本串的加強算法(A Robust Algorithmfor Text String Separation from Mixed Text/Graphics Images)，IEEE圖形分析及機器智能學報(IEEE Transactions on Pattern Analysisand Machine Intelligence)，第10卷，第6期，910-918頁，1988年。
3、設備零件比較單元在布局分析單元和設備零件提取單元處理之后，提取包括在裝配圖中的所有設備零件圖像。如果進行比較，則將這些提取的設備零件圖像與輸入的查詢圖像作比較。所提取的設備零件圖像用作分開和獨立的圖像。
可以采用幾種已知的方法進行比較。例如，下面解釋格子像素分布(Grid Pixel Distribution)方法。
通過輸入二值化設備零件圖像、將該圖像在極坐標空間內分成格子、并通過前述方法計算每個格子的象素而使得設備零件比較單元生成矢量，并通過傅立葉變換確定用于比較的特征量。該特征量是Affine不變量，即使在平移、旋轉或者比例轉換的情況下也不會改變。
(1)坐標空間轉換，它將圖像的象素坐標由直角坐標變?yōu)闃O坐標。為了減少通過平移變換的象素坐標變換的影響，將設備零件圖像的中心定義為極坐標系統(tǒng)的原點。
(2)生成格子。將在距離設備零件圖像的原點最遠的象素以及極坐標系統(tǒng)的原點之間的區(qū)域沿著圖像的徑向分成m個區(qū)域(m是任意自然數)，沿著角方向分成n個區(qū)域(n是任意自然數)，并且將所有的設備零件圖像分成“m×n格子”。
(3)格子象素分布特征量提取。
首先，統(tǒng)計在每個格子內的設備零件象素的數量。
然后，沿著徑向掃描格子，并且如下所示生成矢量。在格子內的象素的數量與該矢量的每個象素一致。
圖9顯示了格子的掃描順序。標記為mn的格子內的象素數量被表示為Cmn，并且圖9中生成的矢量被表示為{C11，C12，C13，C21，C22，C23，C31，C32，C33……}。
最后，在上述生成的指示格子象素分布的矢量上進行傅立葉變換，最后采用傅立葉系數的大小作為用于比較的特征量(矢量)。
(4)比較。通過步驟(1)-(3)獲得用于與查詢圖像以及從裝配圖中提取的設備零件圖像相對應的兩個輸入二值圖像的特征量，并計算這兩個特征量矢量的幾何距離(Euclidean distant)，作為兩幅圖像之間的相似度。
圖10-圖12是以典型形式順序顯示本發(fā)明實施例的處理結果的視圖。
圖10(A)和圖10(B)分別顯示了查詢設備零件圖像以及裝配技術圖紙圖像。
圖11(A)顯示了空白區(qū)域的分割結果(分類為文本區(qū)域以及非文本區(qū)域)以及文本區(qū)域的規(guī)范(specification)結果。在圖11(A)中，具有粗線的矩形以及具有細線的矩形分別表示文本和非文本區(qū)域。
接下來，在所獲得的非文本區(qū)域上進行遞歸式分開處理，直至不能進一步分開為止。圖11(B)顯示了最后的布局結果。如上所述，在該圖中，文本和非文本區(qū)域分別由具有粗線的矩形和具有細線的矩形表示。
在設備零件提取單元中，從所有的非文本區(qū)域提取設備零件圖像。圖12(A)顯示了由矩形指示的所獲得的設備零件圖像的區(qū)域。
最后，在設備零件比較單元中將查詢設備零件圖像與所提取的設備零件圖像進行比較。圖12(B)顯示了比較結果，并且矩形指示在輸入裝配圖中存在查詢設備零件圖像。
權利要求
1.一種設備零件圖像檢索裝置，用于核對該技術圖紙中的設備零件圖像與查詢圖像，該裝置包括提取單元，用于提取設備零件圖像區(qū)域，其中根據技術圖紙中的接近度來分開應當被分開的零件；以及核對單元，用于核對查詢圖像和所提取的設備零件圖像區(qū)域。
2.一種設備零件圖像檢索裝置，用于核對技術圖紙中的設備零件圖像與查詢圖像，該裝置包括分割單元，用于檢測技術圖紙中繪制的線，并將技術圖紙分成一個或者多個子區(qū)域；非文本區(qū)域確定單元，用于確定該子區(qū)域是主要包括文本的文本區(qū)域還是主要包括文本以外內容的非文本區(qū)域；提取單元，用于從非文本區(qū)域提取設備零件圖像；以及核對單元，用于核對查詢圖像和所提取的設備零件圖像。
3.如權利要求2所述的設備零件圖像檢索裝置，其特征在于，還包括空白檢測方向校正單元，用于檢測在所述技術圖紙中的空白區(qū)域，并校正技術圖紙的方向。
4.如權利要求2所述的設備零件圖像檢索裝置，其特征在于，所述分割單元生成投影直方圖，其中技術圖紙的象素被水平或者豎直地投影，并且從投影直方圖的峰的特征來檢測線。
5.如權利要求4所述的設備零件圖像檢索裝置，其特征在于，將實際上沒有被線分開的子區(qū)域合并，從而使得由線檢測所生成的子區(qū)域對技術圖紙的分割與在實際技術圖紙中線的區(qū)域分割相同。
6.如權利要求2所述的設備零件圖像檢索裝置，其特征在于，所述非文本區(qū)域確定單元通過檢測待包括在子區(qū)域的帶狀區(qū)域內的每個子區(qū)域中包括的象素的連通分量的分布傾向，來確定該子區(qū)域是文本區(qū)域還是非文本區(qū)域。
7.如權利要求6所述的設備零件圖像檢索裝置，其特征在于，通過對每個子區(qū)域生成水平或者豎直投影直方圖、平滑投影直方圖、并檢測平滑后的投影直方圖的最大值和最小值來檢測所述帶狀區(qū)域的邊界線。
8.如權利要求6所述的設備零件圖像檢索裝置，其特征在于，所述非文本區(qū)域確定單元通過對指示所述連通分量的寬度與所述帶狀區(qū)域的寬度差別如何的尺寸一致性、指示連通分量的位置和寬度與帶狀區(qū)域的差別如何的覆蓋一致性、以及指示包含在帶狀區(qū)域內的連通分量的象素值的最小值與最大值的比例有多么小的最大值/最小值比例進行計算，從而確定該區(qū)域是文本區(qū)域還是非文本區(qū)域。
9.如權利要求2所述的設備零件圖像檢索裝置，其特征在于，所述提取單元與包括在非文本區(qū)域內的白色區(qū)域相對應地分開非文本區(qū)域，并從設備的裝配圖中提取設備零件圖段的圖像區(qū)域。
10.如權利要求9所述的設備零件圖像檢索裝置，其特征在于，所述提取單元還對在所述設備零件圖段中的圖像進行輪廓檢測，進行一體的零件圖像的合并，并同時對要分開的零件進行分離。
11.如權利要求2所述的設備零件圖像檢索裝置，其特征在于，所述核對單元將所述設備零件圖像沿著徑向和角方向分開，計算每個格子的象素值，并且使用通過由所計算象素值產生的矢量上進行傅立葉變換而獲得的設備零件圖像的特征量矢量、以及對于查詢圖像類似獲得的特征量矢量的幾何距離，作為相似度的標準。
12.一種設備零件圖像檢索方法，用于核對技術圖紙中的設備零件圖像與查詢圖像，包括如下步驟檢測技術圖紙中繪制的線，并將技術圖紙分成一個或者多個子區(qū)域；確定該子區(qū)域是主要包括文本的文本區(qū)域還是主要包括文本以外內容的非文本區(qū)域；在非文本區(qū)域中提取設備零件圖像；以及核對查詢圖像和所提取的設備零件圖像。
13.一種使得信息處理設備進行設備零件圖像檢索處理的程序，其中對技術圖紙中的設備零件圖像和查詢圖像進行核對；并且還使得信息處理設備實現(xiàn)設備零件圖像檢索方法，所述程序包括檢測技術圖紙中繪制的線，并將技術圖紙分成一個或者多個子區(qū)域；確定該子區(qū)域是主要包括文本的文本區(qū)域還是主要包括文本以外內容的非文本區(qū)域；在非文本區(qū)域中提取設備零件圖像；以及核對查詢圖像和所提取的設備零件圖像。
全文摘要
輸入查詢設備零件圖像以及來自作為檢索目標的圖紙數據庫裝配像。在布局分析單元(10)中將裝配像分成文本和非文本區(qū)域。在設備零件提取單元(11)中，從非文本區(qū)域提取零件圖像。設備零件比較單元(12)核對所提取的零件圖像以及查詢設備零件圖像。
文檔編號G06F17/30GK1760860SQ200510063768
公開日2006年4月19日 申請日期2005年3月31日 優(yōu)先權日2004年10月15日
發(fā)明者劉汝杰, 馬場孝之, 遠藤進, 椎谷秀一, 上原祐介, 增本大器 申請人:富士通株式會社