包括操作上下文感知復(fù)制和粘貼特征的機(jī)器視覺系統(tǒng)程序編輯環(huán)境的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及機(jī)器視覺檢查系統(tǒng)，并涉及這樣的系統(tǒng)、圖形用戶界面和方法，其在計(jì) 算機(jī)可讀介質(zhì)中被實(shí)施，用于在這種系統(tǒng)中創(chuàng)建和編輯部件程序，包括智能復(fù)制和粘貼特 征，其可被用于產(chǎn)生基本"計(jì)算機(jī)語言"指令和/或它們相應(yīng)的基本指令的簡化表示，以在 創(chuàng)建部件程序時(shí)協(xié)助"非程序員"用戶。
【背景技術(shù)】
[0002] 精確機(jī)器視覺檢查系統(tǒng)（或簡稱為"視覺系統(tǒng)"）可被用于獲得檢查的對象的精確 尺寸測量，并檢查各種其他對象特性。這樣的系統(tǒng)可以包括計(jì)算機(jī)、攝像機(jī)和光學(xué)系統(tǒng)和精 密工臺，其可在多個方向上移動，以允許攝像機(jī)掃描被檢查的工件的特征。一個可商用的示 例性現(xiàn)有技術(shù)系統(tǒng)是可從位于Aurora, III的Mitutoyo America Corporation(MAC)得到 的QVPAK?軟件、以及基于PC的視覺系統(tǒng)的QUICK VISKM_系列。例如，在2〇〇3年1 月公布的"the QVPAK 3D CNC Vision Measuring Machine User's Guide"、以及 1996 年 9 月公布的 "the QVPAK 3D CNC Vision Measuring Machine Operation Guide" 中，一般性 地描述了視覺系統(tǒng)的QUICK VISION?系列和QVMK?軟件的特征和操作，通過引用將 其各自的全部內(nèi)容合并于此。例如，這一系列的產(chǎn)品能夠使用顯微鏡型光學(xué)系統(tǒng)，以在各種 放大倍數(shù)提供工件的圖像，并根據(jù)需要移動臺，以超過任何單個視頻圖像的限制而遍歷工 件表面。在給定這種系統(tǒng)的期望放大倍率、測量分辨率以及物理尺寸限制的情況下，單個視 頻圖象通常僅涵蓋被觀察或檢查的工件的一部分。
[0003] 機(jī)器視覺檢查系統(tǒng)通常利用自動化的視頻檢查。美國專利6542180( '180專利） 教導(dǎo)了這種自動視頻檢查的各個方面，在此引入其全部內(nèi)容。如'180專利所教導(dǎo)的，自動 視頻檢查計(jì)量儀器一般具有編程能力，其允許用戶為每個特定的工件配置定義自動檢查事 件序列。例如，這可以通過基于文本的編程來實(shí)現(xiàn)，或由通過存儲與用戶在圖形用戶界面的 幫助下執(zhí)行的檢查操作的序列對應(yīng)的機(jī)器控制指令序列而逐步地"學(xué)習(xí)"檢查事件序列的 記錄模式來實(shí)現(xiàn)，或通過結(jié)合上述兩個方法來實(shí)現(xiàn)。這種記錄模式經(jīng)常被稱為"學(xué)習(xí)模式" 或"訓(xùn)練模式"。一旦在"學(xué)習(xí)模式"中定義了檢查事件序列，隨后便可在"運(yùn)行模式"期間， 使用這樣的序列來自動獲得（并另外分析或檢查）工件的圖像。
[0004] 機(jī)器控制指令，包括具體的檢查事件序列（即，如何獲得每個圖像以及如何分析/ 檢查每個獲得的圖像），通常被存儲為"部件程序"或"工件程序"，其專用于特定的工件配 置。例如，部件程序定義如何獲得每個圖像，例如，如何相對于工件定位攝像頭、在什么照明 度、在什么放大級別等。此外，部件程序定義如何分析/檢查所獲得的圖像，例如，通過使用 一個或多個視頻工具，如邊緣/邊界檢測視頻工具。
[0005] 為了有助于由相對不熟練的用戶編程，視頻工具（或簡稱為"工具"）和其它GUI 特征可以被設(shè)置來完成檢查和/或其他機(jī)器控制操作?？稍趯W(xué)習(xí)模式中記錄視頻工具的設(shè) 置參數(shù)和操作，以創(chuàng)建自動檢查程序，或"部件程序"，其并入了要由各種視頻工具執(zhí)行的測 量/分析操作。例如，視頻工具可以包括邊緣/邊界檢測工具、自動對焦工具、形狀或圖案 匹配工具、尺寸測量工具，等等。其它GUI特征可以包括與數(shù)據(jù)分析、步驟和重復(fù)循環(huán)編程 相關(guān)的對話框--例如，在美國專利8271895 (' 895專利）中公開的，在此通過引用將其全 部內(nèi)容合并于此一一等等。例如，這樣的工具和⑶I特征被例行用于在各種商用的機(jī)器視 覺檢查系統(tǒng)中，如QUICK VISION?系列視覺系統(tǒng)和相關(guān)聯(lián)的QVPAK?軟件，如上面所討 論的。
[0006] 由相對不熟練的用戶編輯部件程序可能是困難的。特別是目前，沒有用于由不熟 練的用戶進(jìn)行"支持操作上下文"的復(fù)制和粘貼操作的簡便方法。也就是說，沒有用于機(jī) 器視覺系統(tǒng)或其他自動檢查系統(tǒng)的部件程序的復(fù)制和粘貼操作，它通過考慮復(fù)制被配置用 于兼容部件程序中的一個位置的操作上下文和/或編輯上下文的指令需要修改之后才可 提供與部件程序中的另一個位置處的粘帖位置的操作上下文和/或編輯上下文的兼容，這 對編輯程序是有用的。例如，從步驟和重復(fù)循環(huán)的內(nèi)部向外部復(fù)制和粘貼指令（或反之亦 然），對于不熟練的用戶來說尤其困難。
[0007] 本發(fā)明的目的是提供系統(tǒng)、圖形用戶界面和方法，其在計(jì)算機(jī)可讀介質(zhì)中實(shí)施，其 允許創(chuàng)建和使用直觀、靈活和強(qiáng)大的操作和/或命令，用于精密機(jī)器視覺檢查系統(tǒng)的部件 程序的復(fù)制和粘貼編輯命令。

【發(fā)明內(nèi)容】

[0008] 提供本概述來以簡化形式介紹概念的選擇，其在下面的【具體實(shí)施方式】部分被進(jìn)一 步描述。本概述并不旨在標(biāo)識所要求保護(hù)的主題的關(guān)鍵特征，也不是旨在用于幫助確定所 要求保護(hù)的主題的范圍。
[0009] 在各種實(shí)施例中，提供了機(jī)器視覺檢查系統(tǒng)，它可操作用來在學(xué)習(xí)模式中創(chuàng)建部 件程序，并在運(yùn)行模式中可操作來執(zhí)行先前創(chuàng)建的部件程序。該系統(tǒng)包括成像部分、用于在 成像部分的視野中持有一個或多個工件的臺、控制部分、以及圖形用戶界面（GUI)。該系統(tǒng) 還包括編輯部分，其可操作來在學(xué)習(xí)模式中編輯部件程序指令，所述編輯部分包括可顯示 在GUI中的編輯接口部分。
[0010] 該系統(tǒng)還包括復(fù)制和粘貼管理器部分，其可以以硬件和/或軟件來實(shí)現(xiàn)，其配置 為可操作用來在學(xué)習(xí)模式中生成和定義部件程序中的復(fù)制操作和粘貼操作。在一些實(shí)施例 中，復(fù)制和粘貼命令可被用于粘貼一組元素，其為在部件程序中的新位置處復(fù)制的元素的 實(shí)質(zhì)重復(fù)。如這里所使用的，短語"實(shí)質(zhì)重復(fù)"不一定意味著檢查指令或它們的表示的所有 細(xì)節(jié)的字面或精確重復(fù)，盡管在一些實(shí)施例中可能是這樣的情況。相反，它意味著：對重復(fù) 的操作塊的本質(zhì)或基本操作進(jìn)行重復(fù)的至少指令特征的重復(fù)。
[0011] 復(fù)制的元素可以包括以標(biāo)記語言（例如，HTML、XML或衍生物）編寫的機(jī)器可執(zhí) 行代碼指令和/或顯示在圖形用戶界面（例如，在編輯部分中）的相關(guān)聯(lián)的可編輯指令表 示。本文所用的術(shù)語"復(fù)制的元素" 一般可以包括這兩個關(guān)聯(lián)的方面，除非描述或上下文另 有說明。與這里引用的其他類型的指令和指令的表示一樣，可在各個實(shí)施例中分配和使用 唯一標(biāo)識（例如，節(jié)點(diǎn)標(biāo)識），以支持特定的操作上下文建立操作、和/或用戶界面窗口同步 操作、和/或代碼和表示關(guān)聯(lián)。在一個實(shí)施例中，這樣的關(guān)聯(lián)和特征可如下面的文獻(xiàn)所述那 樣實(shí)現(xiàn)：2011年11月15日提交的共同未決、共同轉(zhuǎn)讓的美國專利申請13/297232 ('232申 請），題為"Machine Vision System Program Editing Environment Including Real Time Context Generation Features"，公布號為美國申請公開 2013/0123945A1 ;以及 2012 年 11 月13日提交的共同未決、共同轉(zhuǎn)讓的美國專利申請13/676061 ('061申請），題為"Machine Vision System Program Editing Environment Including Synchronized User Interface Features"，公布號為美國申請公開2013/0125044A1，各自在此通過引用整體并入本文。
[0012] 在一些實(shí)施例中，部件程序表示和/或復(fù)制的元素（例如，指令表示和/或代碼指 令）可以樹結(jié)構(gòu)的方式被布置，其包括具有一個或多個子節(jié)點(diǎn)的一個或多個父節(jié)點(diǎn)，等等。 用來在圖形用戶界面上編輯指令表示（包括復(fù)制的元素）的用戶輸入可包括添加、刪除和 修改任何指令表示中的一個或多個。在一些實(shí)施例中，一些節(jié)點(diǎn)對應(yīng)于各自包含針對諸如 幾何測量操作或成像（例如，自動對焦）操作、或圖像處理操作等的離散操作的指令的子集 的視頻工具。在各種實(shí)施例中，每個復(fù)制的元素可以被分配唯一節(jié)點(diǎn)名、變量名稱和/或代 碼塊名稱。在一些實(shí)施例和/或情況下，可在已編輯當(dāng)節(jié)點(diǎn)或復(fù)制的元素時(shí)改變名稱。
[0013] 在各種實(shí)施例中，提供了計(jì)算機(jī)可讀介質(zhì)，其包括計(jì)算機(jī)可執(zhí)行指令，其被配置為 加載到計(jì)算機(jī)，以使計(jì)算機(jī)能夠執(zhí)行對應(yīng)于本文所述的特征和操作的方法。
[0014] 應(yīng)當(dāng)理解的是，編輯用于機(jī)器視覺檢查系統(tǒng)的部件程序是比編輯用于機(jī)器工具或 裝配機(jī)器人等的程序等更復(fù)雜的任務(wù)。例如，用于機(jī)器視覺檢查系統(tǒng)的部件程序包括隨后 的部分，其控制操作，并且/或者，提供依賴于圖像的測量結(jié)果，其至少部分依賴由程序的 先前部分的執(zhí)行確定的結(jié)果、和/或被用于提供檢查操作必需的圖像的工件的特定實(shí)例。 此外，特定圖像所需要的所需照明和/或曝光時(shí)間可取決于工件的特定實(shí)例。此外，如果用 戶保存部分完成的部件程序，并在之后再調(diào)用部件程序以改變或完成編程，則可能不知道 其間是否已發(fā)生了特定類型的改變（例如，環(huán)境條件的改變，在臺上無意移動部件，等等）， 其可能不利地影響對部件程序的繼續(xù)編輯。由于這種考慮，對于一些這樣的系統(tǒng)，已經(jīng)有了 標(biāo)準(zhǔn)實(shí)踐，用來從開始實(shí)際執(zhí)行部件程序的全部指令，并包括任何潛在的附加修改、或?qū)Σ?件程序指令的添加，以便基于它們的操作的真實(shí)條件集合來驗(yàn)證修改和/或添加正在被編 程。然而，為了修改或添加指令而執(zhí)行部件程序的所有指令以提供真實(shí)操作條件，這對于大 型部件程序來說不現(xiàn)實(shí)（例如，包括大量圖像獲取和/或特征檢查的那些大型部件程序）， 大型部件程序?qū)τ谔峁┖暧^物體（如，幾十或數(shù)百毫米的物體）的微觀檢查（例如，微米分 辨率測量）的機(jī)器視覺檢查系統(tǒng)來說特別常見。
[0015] 通過引用并入本文的'232申請和'061申請公開了這樣的特征，其可以提供編輯 環(huán)境，其可以在編輯操作期間、在短時(shí)間（例如，近"實(shí)時(shí)"）可靠地更新操作條件或操作上 下文，并允許更快速、高效、直觀、靈活和健壯地創(chuàng)建和編輯用于精密機(jī)器視覺檢查系統(tǒng)的 部件程序。然而，仍需要與這樣的編輯環(huán)境相關(guān)聯(lián)的復(fù)制和粘貼操作。已知的復(fù)制和粘貼 的方法也不支持與在' 232申請和' 061申請中公開的操作關(guān)聯(lián)的元素和功能。困難在于， 在機(jī)器視覺檢查系統(tǒng)部件程序中的復(fù)制和粘貼指令比不實(shí)際移動物理對象的基于文本的 程序中的剪切和粘貼指令更復(fù)雜，且甚至比用于機(jī)器工具或組裝機(jī)器人等的程序中的剪切 和粘貼指令更復(fù)雜。通過先前已知的方法，不能執(zhí)行根據(jù)部件程序中的一個位置處的適當(dāng) 操作上下文配置、隨后粘帖到部件程序的另一個位置的復(fù)制指令。先前已知的基于文本的 方法，即使可能能夠執(zhí)行所需的操作，也不能被相對不熟練的用戶使用，所述相對不熟練的 用戶非計(jì)算機(jī)程序員，且不理解用來編寫被存儲和再調(diào)用以便之后執(zhí)行來檢查工件的基礎(chǔ) 部件程序的計(jì)算機(jī)語言。在' 232申請和' 061申請中概述的方法與這樣的編輯環(huán)境相關(guān)： 其允許高速操作上下文生成和使用，并向相對不熟練的程序編輯者提供相對即時(shí)和真實(shí)的 "程序創(chuàng)建和編輯結(jié)果"反饋，但未考慮到與從部件程序的一個部分復(fù)制"允許上下文的操 作"程序指令并將其粘帖到部件程序的另一部分相關(guān)聯(lián)的困難。期望用于在這樣的編輯環(huán) 境中進(jìn)行復(fù)制和粘貼的手段。
[0016] 根據(jù)上述考慮，對于機(jī)器視覺檢查系統(tǒng)來說，期望提供這樣的復(fù)制和粘貼操作，其 在編輯部件程序時(shí)與對操作上下文的近實(shí)時(shí)更新兼容，以便在對修改和/或添加編程時(shí)驗(yàn) 證操作條件的真實(shí)集合可用作所述修改和/或添加的基礎(chǔ)或操作上下文。這在通過記錄 機(jī)器視覺檢查系統(tǒng)的用戶輸入的實(shí)際控制操作而創(chuàng)建和編輯部件程序時(shí)尤其重要，原因在 于，用戶基于機(jī)器視覺檢查系統(tǒng)的狀態(tài)和/或其提供其輸入操作時(shí)呈現(xiàn)的圖像的外觀和位 置等，直觀地選擇其輸入操作的細(xì)節(jié)。因此，用戶沒有首先在如由部件程序的先前指令在運(yùn) 行模式期間在其執(zhí)行自動模式期間的執(zhí)行所提供的那個位置、在基本相同的操作上下文中 建立系統(tǒng)的情況下，不能在部件程序中的任意位置開始部件程序的有效和可靠的修改。迄 今，沒有通用機(jī)器視覺檢查系統(tǒng)，尤其沒有記錄實(shí)際用戶控制的操作以便創(chuàng)建部件程序的 系統(tǒng)（例如，與簡單的圖形對象或基于文本的編程系統(tǒng)相反）已提供了這樣的編輯環(huán)境，其 能夠可靠且穩(wěn)健地提供有效的部件編程操作上下文，用于在編輯操作期間近實(shí)時(shí)復(fù)制和粘 貼操作。
[0017] 復(fù)制和粘貼操作應(yīng)至少包括一些自動操作，使得復(fù)制和粘貼操作可由相對不熟練 的用戶使用。在各種實(shí)施例中，復(fù)制和粘貼操作應(yīng)向用戶呈現(xiàn)為：在可由相對不熟練的用戶 編輯的部件程序指令的簡單表示上、而不是在實(shí)際形成被存儲并運(yùn)行以自動執(zhí)行檢查操作 的部件程序指令的基于基礎(chǔ)文本的語言上動作。在各種實(shí)施例中，可與可被編輯的簡單表 示相關(guān)聯(lián)的各種元數(shù)據(jù)被包括在基礎(chǔ)部件程序指令或代碼中，使得它們被隱藏。在各種實(shí) 施例中，它們的存在和/或去除可能對用戶不可見，以避免GUI中的混亂，并避免對相對不 熟練的用戶混淆。用于運(yùn)行的編輯模式的替代數(shù)據(jù)可以是一個這樣類型的元數(shù)據(jù)。在為"步 驟-重復(fù)"程序定義的陣列的形式中的數(shù)據(jù)格式可以是元數(shù)據(jù)的另一個例子。在各種實(shí)施 例中，復(fù)制和粘貼操作自動調(diào)整（增加、刪除、修改）與部件程序指令的復(fù)制的表示相關(guān)聯(lián) 的元數(shù)據(jù)，使得調(diào)整后的元數(shù)據(jù)可以與部件程序內(nèi)的粘帖位置兼容。在各種實(shí)施例中，所粘 貼的表示自身中可能不反映基礎(chǔ)關(guān)聯(lián)的指令或元數(shù)據(jù)（如替代數(shù)據(jù)等）的存在、不存在、或 改變。相反，復(fù)制和粘貼命令可包括這樣的操作，其被構(gòu)造為使得對用戶識別有用的元數(shù)據(jù) 狀態(tài)的方面被反映在狀態(tài)指示符（例如，節(jié)點(diǎn)標(biāo)識、編碼的光標(biāo)狀態(tài)、插入指向狀態(tài)、"彩條" 的狀態(tài)，其將其狀態(tài)沿著代碼塊的邊緣延伸到顏色代碼，如在' 232申請等中公開的）中，所 述狀態(tài)指示符通常在用來執(zhí)行此功能的編輯界面中被使用。因此，復(fù)制和粘貼操作提供粘 貼的代碼，其與它被粘貼到的操作上下文兼容，并以與用戶可能在粘帖位置和/或在該操 作上下文中執(zhí)行的其它編程操作（例如，新操作創(chuàng)建等）共享許多或大多數(shù)操作特性的方 式，關(guān)于狀態(tài)指示和運(yùn)行操作等而作用，包括其響應(yīng)于粘貼位置的編輯操作的行為，等等。
[0018] 在編輯環(huán)境由于部件程序指令以基礎(chǔ)編程語言（例如，標(biāo)記語言）編寫而抑制部 件程序指令、并替代地在編輯界面中使用指令的簡化表示以有助于由相對不熟練的用戶 (例如，不理解標(biāo)記語言的用戶）編程時(shí)，出現(xiàn)另外的考慮。在這樣的情況下，在各個實(shí)施例 中，這對復(fù)制和粘貼命令來說可能是有利的：對指令表示和基礎(chǔ)編程語言都自動操作，同時(shí) 向用戶隱藏基礎(chǔ)程序復(fù)制和粘貼操作。這對復(fù)制和粘貼命令來說也可能是有利：自動展開 最初在指令表示中收縮的任何父節(jié)點(diǎn)，使得用戶可以看到它們的子節(jié)點(diǎn)，從而理解復(fù)制和/ 或粘貼操作的全部范圍。此外，如上所述的編輯環(huán)境的圖形用戶界面可以包括編輯上下文 狀態(tài)指示符，其在接近于所顯示的部件程序表示的位置中顯示，以指示該位置的編輯上下 文狀態(tài)（操作上下文狀態(tài)）。在這樣的情況下，這對復(fù)制和/或粘貼命令來說可能是有利 的：操作使得粘貼的元素以類似于新創(chuàng)建或插入的新的指令那樣的方式作用，而不