本發(fā)明涉及圖像處理裝置、機(jī)器人系統(tǒng)、機(jī)器人以及圖像處理方法。

背景技術(shù)：

進(jìn)行拍攝圖像所包含的物體的檢查以及測量的圖像處理的研究、開發(fā)正在開展。

關(guān)于此，已知有一種在依次登錄圖像處理指令來創(chuàng)建圖像處理順序時(shí)，根據(jù)之前剛剛登錄的圖像處理指令的種類，來顯示應(yīng)該作為下一個(gè)順序而登錄的圖像處理指令的候補(bǔ)的圖像處理指令的選擇方法(參照專利文獻(xiàn)1)。

另外，拍攝裝置(照相機(jī))具備用于使焦點(diǎn)對(duì)準(zhǔn)對(duì)象物(對(duì)焦)的1塊以上透鏡。有一種具備能夠通過用戶(人)的手動(dòng)來進(jìn)行對(duì)焦的調(diào)整的部位(聚焦環(huán))的拍攝裝置。例如，用戶一邊觀看通過拍攝裝置當(dāng)前正拍攝的映像(直播映像)，一邊手動(dòng)調(diào)整該拍攝裝置的聚焦環(huán)。

然而，在這樣的基于用戶的視覺的調(diào)整中，存在難以準(zhǔn)確地進(jìn)行調(diào)整的情況，例如，存在難以一邊觀看圖像的細(xì)節(jié)部分一邊進(jìn)行調(diào)整的作業(yè)。并且，在使焦點(diǎn)對(duì)準(zhǔn)有進(jìn)深的對(duì)象物時(shí)，用戶需要與聚焦環(huán)一起對(duì)透鏡的光圈也進(jìn)行調(diào)整。

為了輔助這樣的基于用戶的手動(dòng)進(jìn)行的調(diào)整，有一種顯示對(duì)對(duì)焦的程度進(jìn)行表示的指標(biāo)值(聚焦指標(biāo)值)的圖像處理裝置。作為聚焦指標(biāo)值，例如可使用亮度差的統(tǒng)計(jì)值。

作為一個(gè)例子，在專利文獻(xiàn)2所記載的圖像處理裝置中，進(jìn)行使用輸入圖像所包含的像素的顏色的濃度值的平均值、以及輸入圖像所包含的像素的顏色的濃度值的平方平均值，來計(jì)算聚焦值，并輸出計(jì)算出的聚焦值的處理(參照專利文獻(xiàn)2的第0109～0110段)。

專利文獻(xiàn)1：日本特開平07-28970號(hào)公報(bào)

專利文獻(xiàn)2：日本特開2011-49980號(hào)公報(bào)

然而，在專利文獻(xiàn)1所示的選擇方法中，由于根據(jù)之前剛剛登錄的圖像處理指令來顯示該候補(bǔ)，所以即使能夠輔助圖像處理順序的創(chuàng)建，用戶自身也只能選擇為了進(jìn)行所希望的檢查以及測定而需要的圖像處理指令。因此，在具有該選擇方法的圖像處理裝置中，存在若不是具有與圖像處理相關(guān)的專業(yè)知識(shí)的用戶，則很難進(jìn)行所希望的圖像處理的情況。

另外，在專利文獻(xiàn)2中，以往使用的聚焦值是相對(duì)的指標(biāo)，存在對(duì)焦的精度不充分的情況。例如，由于亮度分布根據(jù)圖像的內(nèi)容而變化，所以按每個(gè)圖像，受對(duì)象物的反射與相對(duì)較亮或較暗的調(diào)焦沒有關(guān)系的要素影響，而存在圖像的對(duì)焦的精度不充分的情況。

另外，在僅使圖像處理的對(duì)象物體的關(guān)心區(qū)域?qū)沟那闆r下(使拍攝到的圖像的一部分對(duì)焦的情況下)，存在精度不充分的情況。另外，在具備圖像處理裝置的機(jī)器人或機(jī)器人系統(tǒng)中，也存在同樣的情況。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是為了解決上述課題的至少一部分而完成的，能夠作為以下的形態(tài)或者實(shí)施方式來實(shí)現(xiàn)。

[實(shí)施方式1]本發(fā)明的一個(gè)實(shí)施方式是進(jìn)行圖像所包含的物體的檢查或者測量的圖像處理裝置，受理來自用戶的操作，并基于受理到的上述操作，來選擇表示由多個(gè)第一圖像處理構(gòu)成的第二圖像處理的信息即第二圖像處理信息，進(jìn)行構(gòu)成上述第二圖像處理信息所表示的上述第二圖像處理的多個(gè)上述第一圖像處理的編輯。

根據(jù)該結(jié)構(gòu)，圖像處理裝置受理來自用戶的操作，并基于受理到的操作，來選擇表示由多個(gè)第一圖像處理構(gòu)成的第二圖像處理的信息即第二圖像處理信息，進(jìn)行構(gòu)成第二圖像處理信息所表示的第二圖像處理的多個(gè)第一圖像處理的編輯。由此，在圖像處理裝置中，能夠容易地進(jìn)行用戶所希望的圖像處理。

[實(shí)施方式2]另外，本發(fā)明的其它實(shí)施方式也可以采用在圖像處理裝置中，使多個(gè)上述第二圖像處理信息顯示于顯示部，能夠從所顯示的該多個(gè)上述第二圖像處理信息中選擇上述第二圖像處理信息的結(jié)構(gòu)。

根據(jù)該結(jié)構(gòu)，圖像處理裝置能夠?qū)⒍鄠€(gè)第二圖像處理信息顯示于顯示部，并從所顯示的該多個(gè)第二圖像處理信息中選擇第二圖像處理信息。由此，圖像處理裝置能夠基于所選擇出的第二圖像處理信息，容易地進(jìn)行用戶所希望的圖像處理。

[實(shí)施方式3]另外，本發(fā)明的其它實(shí)施方式也可以采用在圖像處理裝置中，基于從用戶受理到的操作，進(jìn)行對(duì)構(gòu)成上述第二圖像處理信息所表示的上述第二圖像處理的上述第一圖像處理進(jìn)行表示的第一圖像處理信息的追加或者刪除來作為上述編輯的結(jié)構(gòu)。

根據(jù)該結(jié)構(gòu)，圖像處理裝置基于從用戶受理到的操作，進(jìn)行對(duì)構(gòu)成第二圖像處理信息所表示的第二圖像處理的第一圖像處理進(jìn)行表示的第一圖像處理信息的追加或者刪除來作為構(gòu)成第二圖像處理信息所表示的第二圖像處理的多個(gè)第一圖像處理的編輯。由此，圖像處理裝置能夠?qū)⒌诙D像處理變更為用戶所希望的圖像處理。

[實(shí)施方式4]另外，本發(fā)明的其它實(shí)施方式也可以采用在圖像處理裝置中，用戶能夠輸入在上述第一圖像處理信息所表示的上述第一圖像處理的執(zhí)行中所使用的參數(shù)的結(jié)構(gòu)。

根據(jù)該結(jié)構(gòu)，圖像處理裝置能夠由用戶輸入在第一圖像處理信息所表示的第一圖像處理的執(zhí)行中所使用的參數(shù)。由此，圖像處理裝置能夠基于輸入的參數(shù)，容易地進(jìn)行用戶所希望的圖像處理。

[實(shí)施方式5]另外，本發(fā)明的其它實(shí)施方式也可以采用在圖像處理裝置中，基于從用戶受理到的操作來選擇2個(gè)以上上述第一圖像處理信息，并基于選擇出的上述第一圖像處理信息來生成上述第二圖像處理信息的結(jié)構(gòu)。

根據(jù)該結(jié)構(gòu)，圖像處理裝置基于從用戶受理到的操作來選擇2個(gè)以上第一圖像處理信息，并基于選擇出的第一圖像處理信息來生成第二圖像處理信息。由此，圖像處理裝置能夠基于生成的第二圖像處理信息，容易地進(jìn)行用戶所希望的圖像處理。

[實(shí)施方式6]另外，本發(fā)明的其它實(shí)施方式是一種機(jī)器人系統(tǒng)，該機(jī)器人系統(tǒng)具備上述任意一項(xiàng)所述的圖像處理裝置、以及基于圖像處理裝置的圖像處理的結(jié)果來進(jìn)行規(guī)定的作業(yè)的機(jī)器人。

根據(jù)該結(jié)構(gòu)，機(jī)器人系統(tǒng)受理來自用戶的操作，并基于受理到的操作，選擇表示由多個(gè)第一圖像處理構(gòu)成的第二圖像處理的信息即第二圖像處理信息，進(jìn)行構(gòu)成第二圖像處理信息所表示的上述第二圖像處理的多個(gè)第一圖像處理的編輯。由此，在機(jī)器人系統(tǒng)中，能夠容易地進(jìn)行用戶所希望的圖像處理。

[實(shí)施方式7]另外，本發(fā)明的其它實(shí)施方式是一種機(jī)器人，該機(jī)器人具備上述任意一項(xiàng)所述的圖像處理裝置。

根據(jù)該結(jié)構(gòu)，機(jī)器人受理來自用戶的操作，并基于受理到的操作，選擇表示由多個(gè)第一圖像處理構(gòu)成的第二圖像處理的信息即第二圖像處理信息，進(jìn)行構(gòu)成第二圖像處理信息所表示的上述第二圖像處理的多個(gè)第一圖像處理的編輯。由此，在機(jī)器人中，能夠容易地進(jìn)行用戶所希望的圖像處理。

[實(shí)施方式8]另外，本發(fā)明的其它實(shí)施方式是一種圖像處理方法，該圖像處理方法是進(jìn)行圖像所包含的物體的檢查或者測量的圖像處理方法，具有：受理來自用戶的操作的操作受理步驟；基于通過上述操作受理步驟受理到的第一上述操作，來選擇表示由多個(gè)第一圖像處理構(gòu)成的第二圖像處理的信息即第二圖像處理信息的選擇步驟；以及基于通過上述操作受理步驟受理到的第二上述操作，進(jìn)行構(gòu)成上述第二圖像處理信息所表示的上述第二圖像處理的多個(gè)上述第一圖像處理的編輯的編輯步驟。

根據(jù)該結(jié)構(gòu)，圖像處理方法受理來自用戶的操作，并基于受理到的操作，選擇表示由多個(gè)第一圖像處理構(gòu)成的第二圖像處理的信息即第二圖像處理信息，進(jìn)行構(gòu)成第二圖像處理信息所表示的上述第二圖像處理的多個(gè)第一圖像處理的編輯。由此，在圖像處理方法中，能夠容易地進(jìn)行用戶所希望的圖像處理。

如上所述，本發(fā)明的實(shí)施方式1～8涉及的圖像處理裝置、機(jī)器人系統(tǒng)、機(jī)器人、以及圖像處理方法受理來自用戶的操作，并基于受理到的操作，選擇表示由多個(gè)第一圖像處理構(gòu)成的第二圖像處理的信息即第二圖像處理信息，進(jìn)行構(gòu)成第二圖像處理信息所表示的上述第二圖像處理的多個(gè)第一圖像處理的編輯。由此，在圖像處理裝置、機(jī)器人系統(tǒng)、機(jī)器人、以及圖像處理方法中，能夠容易地進(jìn)行用戶所希望的圖像處理。

[實(shí)施方式9]本發(fā)明的一個(gè)實(shí)施方式是一種圖像處理裝置，在使拍攝裝置所具有的透鏡的位置變化之后，顯示用于判定是否對(duì)上述拍攝裝置所拍攝到的圖像的一部分或者全部進(jìn)行了對(duì)焦的第一信息、以及上述透鏡的位置處的對(duì)焦的第二信息。

根據(jù)該結(jié)構(gòu)，在圖像處理裝置中，顯示用于判定是否對(duì)拍攝到的圖像的一部分或者全部進(jìn)行了對(duì)焦的第一信息、以及透鏡的位置處的對(duì)焦的第二信息。由此，在圖像處理裝置中，例如能夠?qū)榱藱z查、測量等而拍攝到的圖像的一部分或者全部，提示圖像的對(duì)焦的精度，例如，雖然自動(dòng)地進(jìn)行微妙的調(diào)整很難，但能夠通過基于用戶的手動(dòng)的調(diào)整來提高對(duì)焦的精度。

[實(shí)施方式10]另外，在上述實(shí)施方式9所記載的圖像處理裝置中，具備指定上述圖像的一部分的指定部。

根據(jù)該結(jié)構(gòu)，在圖像處理裝置中，指定圖像的一部分。由此，在圖像處理裝置中，例如能夠?qū)υ谙胍鳛闄z查、測量等的對(duì)象的情況下被指定的圖像的一部分提示圖像的對(duì)焦的精度。

[實(shí)施方式11]另外，在上述實(shí)施方式10所述的圖像處理裝置中，上述圖像的一部分是關(guān)心區(qū)域的單位、或者像素的單位。

根據(jù)該結(jié)構(gòu)，在圖像處理裝置中，以關(guān)心區(qū)域的單位、或者像素的單位，來顯示與第一指標(biāo)值相關(guān)的信息以及與第二指標(biāo)值相關(guān)的信息。由此，在圖像處理裝置中，能夠以關(guān)心區(qū)域的單位、或者像素的單位，來僅提示例如想要作為檢查、測量等的對(duì)象的關(guān)心區(qū)域或者像素的圖像(圖像部分)的對(duì)焦的精度。

[實(shí)施方式12]另外，在上述實(shí)施方式9～11中任一項(xiàng)所述的圖像處理裝置中，上述第一信息以及上述第二信息是指標(biāo)值。

根據(jù)該結(jié)構(gòu)，在圖像處理裝置中，第一信息以及第二信息是指標(biāo)值。由此，在圖像處理裝置中，能夠使用指標(biāo)值來提示圖像的對(duì)焦的精度。

[實(shí)施方式13]另外，在上述實(shí)施方式12所述的圖像處理裝置中，上述第一信息是焦點(diǎn)最符合的上述指標(biāo)值。

根據(jù)該結(jié)構(gòu)，在圖像處理裝置中，顯示作為焦點(diǎn)最符合的指標(biāo)值的第一信息、和第二信息。由此，在圖像處理裝置中，能夠提示焦點(diǎn)最符合的指標(biāo)值。

[實(shí)施方式14]另外，在上述實(shí)施方式12或者15所述的圖像處理裝置中，具備對(duì)上述圖像的一部分基于上述指標(biāo)值來顯示對(duì)焦的有無的一方或者兩方的對(duì)焦顯示部。

根據(jù)該結(jié)構(gòu)，在圖像處理裝置中，針對(duì)圖像的一部分顯示對(duì)焦的有無的一方或者兩方。由此，在圖像處理裝置中，能夠?qū)D像的一部分提示對(duì)焦的有無(進(jìn)行了對(duì)焦、以及未進(jìn)行對(duì)焦)的一方或者兩方。

[實(shí)施方式15]另外，在上述實(shí)施方式12～14中任一項(xiàng)所述的圖像處理裝置中，具備傾斜判定部，該傾斜判定在有多個(gè)上述圖像的一部分，并對(duì)上述多個(gè)上述圖像的一部分全部進(jìn)行了對(duì)焦的情況下，關(guān)于由上述多個(gè)上述圖像的一部分確定的對(duì)象判定為沒有傾斜，另一方面，在對(duì)上述多個(gè)上述圖像的一部分的1個(gè)以上未進(jìn)行對(duì)焦的情況下，關(guān)于上述對(duì)象物判定為有傾斜。

根據(jù)該結(jié)構(gòu)，在圖像處理裝置中，在對(duì)多個(gè)圖像的一部分的全部進(jìn)行了對(duì)焦情況下，關(guān)于由該多個(gè)圖像的一部分確定的對(duì)象物判定為沒有傾斜，另一方面，在對(duì)該多個(gè)圖像的一部分的1個(gè)以上未進(jìn)行對(duì)焦的情況下，關(guān)于該對(duì)象物判定為有傾斜。由此，在圖像處理裝置中，能夠關(guān)于對(duì)象物提示傾斜的有無，例如，能夠通過基于用戶的手動(dòng)的調(diào)整來調(diào)整該傾斜。

[實(shí)施方式16]另外，在上述實(shí)施方式12～15中任一項(xiàng)所述的圖像處理裝置中，具備使用上述圖像提取物體的輪廓，并計(jì)算上述指標(biāo)值的指標(biāo)值計(jì)算部。

根據(jù)該結(jié)構(gòu)，在圖像處理裝置中，提取物的輪廓，并計(jì)算指標(biāo)值。由此，在圖像處理裝置中，能夠使用與物體的輪廓相關(guān)的指標(biāo)值，來提示圖像的對(duì)焦的精度。

[實(shí)施方式17]另外，在上述實(shí)施方式16所述的圖像處理裝置中，上述指標(biāo)值是基于上述輪廓的亮度的梯度方向的長度的值。

根據(jù)該結(jié)構(gòu)，在圖像處理裝置中，指標(biāo)值是基于輪廓的亮度的梯度方向的長度的值。由此，在圖像處理裝置中，能夠使用基于輪廓的亮度的梯度方向的長度的指標(biāo)值，來提示圖像的對(duì)焦的精度。

[實(shí)施方式18]另外，在上述實(shí)施方式16所述的圖像處理裝置中，上述指標(biāo)值是基于上述輪廓的亮度的邊緣的寬度的值。

根據(jù)該結(jié)構(gòu)，在圖像處理裝置中，指標(biāo)值是基于輪廓的亮度的邊緣的寬度的值。由此，在圖像處理裝置中，能夠使用基于輪廓的亮度的邊緣的寬度的指標(biāo)值，來提示圖像的對(duì)焦的精度。

[實(shí)施方式19]另外，在上述實(shí)施方式16所述的圖像處理裝置中，上述指標(biāo)值是基于連接了上述輪廓的多個(gè)微小的亮度梯度的邊緣寬度的值。

根據(jù)該結(jié)構(gòu)，在圖像處理裝置中，指標(biāo)值是基于連接了輪廓的多個(gè)微小的亮度梯度的邊緣寬度的值。由此，在圖像處理裝置中，能夠使用基于連接了輪廓的多個(gè)微小的亮度梯度的邊緣寬度的指標(biāo)值，來提示圖像的對(duì)焦的精度。

[實(shí)施方式20]本發(fā)明的一個(gè)實(shí)施方式是一種機(jī)器人，該機(jī)器人具備上述實(shí)施方式9～19中任一項(xiàng)所述的圖像處理裝置。

根據(jù)該結(jié)構(gòu)，在機(jī)器人中，作為在圖像處理裝置中能夠單獨(dú)地判定是否對(duì)拍攝到的圖像的一部分或者全部進(jìn)行了對(duì)焦的指標(biāo)值，顯示與第一指標(biāo)值相關(guān)的信息以及與第二指標(biāo)值相關(guān)的信息。由此，在機(jī)器人中，能夠提示圖像的對(duì)焦的精度，例如，能夠通過基于用戶的手動(dòng)的調(diào)整來提高對(duì)焦的精度。

[實(shí)施方式21]本發(fā)明的一個(gè)實(shí)施方式是一種機(jī)器人系統(tǒng)，該機(jī)器人系統(tǒng)具備：上述實(shí)施方式9～19中任一項(xiàng)所述的圖像處理裝置；以及對(duì)上述圖像進(jìn)行拍攝的上述拍攝裝置。

根據(jù)該結(jié)構(gòu)，在機(jī)器人系統(tǒng)中，作為在圖像處理裝置中能夠單獨(dú)地判定是否對(duì)拍攝到的圖像的一部分或者全部進(jìn)行了對(duì)焦的指標(biāo)值，顯示與第一指標(biāo)值相關(guān)的信息以及與第二指標(biāo)值相關(guān)的信息。由此，在機(jī)器人系統(tǒng)中，能夠提示圖像的對(duì)焦的精度，例如，能夠通過基于用戶的手動(dòng)的調(diào)整來提示對(duì)焦的精度。

如上所述，根據(jù)本發(fā)明的實(shí)施方式9～21涉及的圖像處理裝置、機(jī)器人以及機(jī)器人系統(tǒng)，顯示用于判定是否對(duì)拍攝到的圖像的一部分或者全部進(jìn)行了對(duì)焦的第一信息、以及上述透鏡的位置處的對(duì)焦的第二信息。由此，在本發(fā)明的圖像處理裝置、機(jī)器人以及機(jī)器人系統(tǒng)中，例如，能夠?qū)榱诉M(jìn)行檢查、測量等而拍攝到的圖像的一部分或者全部，提示圖像的對(duì)焦的精度，例如，能夠通過基于用戶的手動(dòng)的調(diào)整來提高對(duì)焦的精度。

附圖說明

圖1是表示本實(shí)施方式涉及的圖像處理系統(tǒng)1的一個(gè)例子的結(jié)構(gòu)圖。

圖2是表示圖像處理裝置20的硬件結(jié)構(gòu)的一個(gè)例子的圖。

圖3是表示圖像處理裝置20的功能結(jié)構(gòu)的一個(gè)例子的圖。

圖4是表示主畫面的一個(gè)例子的圖。

圖5是表示當(dāng)在主畫面g1中由用戶選擇事例且構(gòu)成選擇出的事例的多個(gè)工具的每一個(gè)被執(zhí)行時(shí)，控制部28所進(jìn)行的處理的流程的一個(gè)例子的流程圖。

圖6是表示選擇方法選擇畫面的一個(gè)例子的圖。

圖7是表示事例選擇畫面的一個(gè)例子的圖。

圖8是表示顯示有對(duì)構(gòu)成事例的工具進(jìn)行表示的工具信息的主畫面的一個(gè)例子的圖。

圖9是表示顯示有編輯畫面的主畫面的一個(gè)例子的圖。

圖10是表示濾波處理選擇畫面的一個(gè)例子的圖。

圖11是表示實(shí)施方式的變形例涉及的機(jī)器人50的一個(gè)例子的結(jié)構(gòu)圖。

圖12是表示機(jī)器人控制裝置60的功能結(jié)構(gòu)的一個(gè)例子的圖。

圖13是表示本發(fā)明的一個(gè)實(shí)施方式(第二實(shí)施方式)涉及的圖像處理裝置的簡要的結(jié)構(gòu)例的圖。

圖14是表示由拍攝裝置拍攝到的圖像的一個(gè)例子的圖。

圖15是表示梯度方向的距離與亮度的關(guān)系的一個(gè)例子的圖。

圖16是表示邊緣圖的一個(gè)例子的圖。

圖17是表示圖像的尺寸的一個(gè)例子的圖。

圖18是針對(duì)邊緣寬度表示對(duì)比度與個(gè)數(shù)的關(guān)系的一個(gè)例子的圖。

圖19是表示在邊緣圖中提取出的部分的一個(gè)例子的圖。

圖20是表示計(jì)算模糊寬度的處理的順序的一個(gè)例子的流程圖。

圖21是表示拍攝的配置的一個(gè)例子的圖。

圖22是表示對(duì)焦的有無的顯示的一個(gè)例子的圖。

圖23是表示顯示對(duì)焦的有無的處理以及判定傾斜的處理的順序的一個(gè)例子的流程圖。

圖24是表示拍攝的配置的其它一個(gè)例子的圖。

圖25是表示由拍攝裝置拍攝的圖像中的對(duì)象物的圖像的配置的一個(gè)例子的圖。

圖26是表示每個(gè)像素的對(duì)焦的有無的顯示的一個(gè)例子的圖。

圖27是表示每個(gè)像素的對(duì)焦的有無的顯示的另一個(gè)例子的圖。

圖28是表示每個(gè)像素的對(duì)焦的有無的顯示的另一個(gè)例子的圖。

圖29是表示包含對(duì)焦最符合的指標(biāo)值的顯示的畫面顯示的一個(gè)例子的圖。

圖30是表示在通過用戶的手動(dòng)來調(diào)整拍攝的配置的情況下，由圖像處理裝置進(jìn)行的處理的順序的一個(gè)例子的圖。

圖31是表示本發(fā)明的一個(gè)實(shí)施方式(第三實(shí)施方式)涉及的機(jī)器人的簡要的結(jié)構(gòu)例的圖。

圖32是表示本發(fā)明的一個(gè)實(shí)施方式(第三實(shí)施方式)涉及的控制裝置的簡要的結(jié)構(gòu)例的圖。

圖33是表示本發(fā)明的一個(gè)實(shí)施方式(第四實(shí)施方式)涉及的機(jī)器人系統(tǒng)的簡要的結(jié)構(gòu)例的圖。

具體實(shí)施方式

以下，參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。

(第一實(shí)施方式)

<圖像處理系統(tǒng)的結(jié)構(gòu)>

首先，對(duì)圖像處理系統(tǒng)1的結(jié)構(gòu)進(jìn)行說明。圖1是表示本實(shí)施方式涉及的圖像處理系統(tǒng)1的一個(gè)例子的結(jié)構(gòu)圖。圖像處理系統(tǒng)1具備拍攝部10、以及圖像處理裝置20。

拍攝部10例如是具備作為將會(huì)聚的光轉(zhuǎn)換為電信號(hào)的拍攝元件的ccd(chargecoupleddevice：電荷耦合器件)、cmos(complementarymetaloxidesemiconductor：互補(bǔ)金屬氧化物半導(dǎo)體)等的照相機(jī)。在這一個(gè)例子中，拍攝部10被設(shè)置于能夠拍攝包含對(duì)象物o在內(nèi)的范圍的位置。

對(duì)象物o例如是組裝于產(chǎn)品的板、齒輪、螺釘、螺栓等工業(yè)用的零件、部件。在圖1中，為了圖的簡化，將對(duì)象物o表示為立方體形狀的物體。此外，對(duì)象物o也可以取代工業(yè)用的零件、部件而是日用品、生物體等其它物體。另外，對(duì)象物o的形狀也可以取代立方體形狀而是其它形狀。

另外，在這一個(gè)例子中，對(duì)象物o被載置于作業(yè)臺(tái)tb的上表面。作業(yè)臺(tái)tb例如是桌子。此外，作業(yè)臺(tái)tb也可以取代桌子而是地板、貨架等其它物體。另外，在圖1所示的例子中，在作業(yè)臺(tái)tb的上表面僅載置有1個(gè)對(duì)象物o，但也可以代替于此而為載置2個(gè)以上對(duì)象物o的結(jié)構(gòu)。

另外，拍攝部10通過線纜以能夠通信的方式與圖像處理裝置20連接。經(jīng)由線纜的有線通信例如依據(jù)以太網(wǎng)(注冊(cè)商標(biāo))、usb等標(biāo)準(zhǔn)來進(jìn)行。此外，拍攝部10也可以是通過依據(jù)wi-fi(注冊(cè)商標(biāo))等通信標(biāo)準(zhǔn)進(jìn)行的無線通信來與圖像處理裝置20連接的結(jié)構(gòu)。

圖像處理裝置20進(jìn)行圖像所包含的物體的檢查或者測量。該測量中也包含計(jì)算該物體的三維坐標(biāo)系中的位置以及姿勢(shì)。該三維坐標(biāo)系例如是世界坐標(biāo)系、機(jī)器人坐標(biāo)系、其它局部坐標(biāo)系等。圖像處理裝置20例如是工作站、臺(tái)式pc(personalcomputer：個(gè)人電腦)、筆記本pc、平板pc、多功能移動(dòng)電話終端(智能手機(jī))、帶有通信功能的電子書閱讀器、pda(personaldigitalassistant：個(gè)人數(shù)字助理)等。

<圖像處理裝置所進(jìn)行的處理的概要>

以下，對(duì)圖像處理裝置20所進(jìn)行的處理的概要進(jìn)行說明。

在這一個(gè)例子中，圖像處理裝置20將包括對(duì)象物o的范圍作為拍攝范圍來使拍攝部10進(jìn)行拍攝。而且，圖像處理裝置20獲取拍攝部10拍攝到的拍攝圖像。圖像處理裝置20基于獲取到的拍攝圖像，來進(jìn)行該拍攝圖像所包含的對(duì)象物o的檢查或者測量。

具體而言，圖像處理裝置20受理來自用戶的操作，并基于受理的操作，來執(zhí)行多個(gè)第一圖像處理，進(jìn)行用戶所希望的圖像處理。對(duì)于多個(gè)第一圖像處理的一部分或者全部而言，對(duì)圖像進(jìn)行的處理可以相互不同，該處理也可以相互相同。

在執(zhí)行多個(gè)第一圖像處理時(shí)，圖像處理裝置20受理來自用戶的操作，并基于受理的操作，選擇表示由多個(gè)第一圖像處理構(gòu)成的第二圖像處理的信息即第二圖像處理信息，并執(zhí)行構(gòu)成選擇出的第二圖像處理信息所表示的第二圖像處理的多個(gè)第一圖像處理。另外，圖像處理裝置20受理來自用戶的操作，并基于受理的操作，進(jìn)行構(gòu)成第二圖像處理信息所表示的第二圖像處理的多個(gè)第一圖像處理的編輯。由此，圖像處理裝置20能夠容易地進(jìn)行用戶所希望的圖像處理。

例如，當(dāng)由在過去進(jìn)行的圖像處理中執(zhí)行的多個(gè)第一圖像處理構(gòu)成第二圖像處理的情況下，用戶通過選擇表示該第二圖像處理的第二圖像處理信息，能夠執(zhí)行進(jìn)行與過去進(jìn)行的圖像處理相同的處理的圖像處理。另外，在第二圖像處理信息是表示該過去進(jìn)行的圖像處理的圖像、字符串等的情況下，用戶能夠基于該圖像、該字符串等，從多個(gè)第二圖像處理信息中選擇表示所希望的圖像處理的第二圖像處理信息。由此，圖像處理裝置20能夠容易地進(jìn)行用戶所希望的圖像處理。

以下，作為第一圖像處理的一個(gè)例子，將第一圖像處理視為用戶為了進(jìn)行所希望的圖像處理而使用的道具，將第一圖像處理稱為工具，將第一圖像處理信息稱為工具信息來進(jìn)行說明。在這一個(gè)例子中，工具信息是包含表示工具的文字、圖像的按鈕。按鈕是在圖像處理裝置20所顯示的各種畫面中能夠選擇操作(按下、點(diǎn)擊、輕擊)的圖標(biāo)。

另外，以下作為第二圖像處理的一個(gè)例子，將第二圖像處理視為由多個(gè)工具進(jìn)行的圖像處理的模型(模板)，將第二圖像處理稱為事例，將第二圖像處理信息稱為事例信息來進(jìn)行說明。在這一個(gè)例子中，事例信息是包含表示事例的文字、圖像的按鈕。

<工具的具體例>

在這一個(gè)例子中，工具中包含以下所示的1a)～7a)這7個(gè)圖像處理。

1a)幾何探索處理(幾何搜索)

2a)直線檢測處理

3a)直線間距離計(jì)算處理

4a)顏色檢查處理

5a)2點(diǎn)間距離計(jì)算處理

6a)2條直線交點(diǎn)檢測處理

7a)預(yù)先處理(前處理)

8a)簡易運(yùn)算處理

此外，也可以是代替上述1a)～8a)的一部分或者全部而在工具中包含其它圖像處理的結(jié)構(gòu)，還可以是除了上述1a)～8a)的全部以外，還包含其它圖像處理的結(jié)構(gòu)。

幾何探索處理是從圖像中檢測由用戶指定的物體的輪廓的幾何學(xué)特征的處理。圖像處理裝置20在幾何探索處理中，基于由用戶預(yù)先輸入的參數(shù)來確定由用戶指定的形狀。在這一個(gè)例子中，參數(shù)是在圖像處理裝置20所顯示的畫面中按每個(gè)工具由用戶輸入的信息。另外，參數(shù)在該畫面中按每個(gè)工具由用戶輸入后，與各工具建立對(duì)應(yīng)關(guān)系。例如，在圖像處理裝置20所顯示的畫面中針對(duì)幾何探索處理由用戶輸入的參數(shù)與幾何探索處理建立對(duì)應(yīng)關(guān)系。

直線檢測處理是從圖像中檢測被用戶指定的區(qū)域內(nèi)所包含的直線的處理。圖像處理裝置20在直線檢測處理中，基于由用戶預(yù)先輸入的參數(shù)來確定要檢測的直線。

直線間距離計(jì)算處理是基于由用戶預(yù)先輸入的參數(shù)，在2個(gè)位置進(jìn)行直線檢測處理，并計(jì)算檢測出的2條直線之間的距離的處理。圖像處理裝置20在直線間距離計(jì)算處理中，基于由用戶預(yù)先輸入的參數(shù)來分別確定兩條直線。

顏色檢查處理是判定通過幾何探索處理檢測出的物體的表面、通過幾何探索處理檢測出的輪廓的內(nèi)部等的顏色是否是由用戶指定的顏色的處理。圖像處理裝置20在顏色檢查處理中，基于由用戶預(yù)先輸入的參數(shù)來確定由用戶指定的顏色。

2點(diǎn)間距離計(jì)算處理是計(jì)算由用戶指定的2點(diǎn)之間的距離的處理。圖像處理裝置20在2點(diǎn)間距離計(jì)算處理中，基于由用戶預(yù)先輸入的參數(shù)來分別確定由用戶指定的2點(diǎn)。該2點(diǎn)例如是表示通過幾何探索處理檢測出的物體的重心的點(diǎn)、和通過幾何探索處理檢測出的直線的兩個(gè)端點(diǎn)中的一個(gè)端點(diǎn)等。

2條直線交點(diǎn)檢測處理是檢測由用戶指定的2條直線的交點(diǎn)的位置的處理。圖像處理裝置20在2條直線交點(diǎn)檢測處理中，基于由用戶預(yù)先輸入的參數(shù)來確定由用戶指定的兩條直線。

預(yù)先處理是在進(jìn)行上述1a)～6a)的每一個(gè)處理之前，對(duì)圖像進(jìn)行由用戶指定的濾波處理的處理。圖像處理裝置20在預(yù)先處理中，基于由用戶預(yù)先輸入的參數(shù)來確定由用戶指定的濾波處理。由用戶指定的濾波處理例如包含圖像的二值化濾波處理、圖像的平滑化濾波處理、銳化濾波處理、中值濾波處理等。

簡易運(yùn)算處理是進(jìn)行由用戶指定的運(yùn)算(例如，四則運(yùn)算、使用了初等函數(shù)的運(yùn)算)的處理。圖像處理裝置20在簡易運(yùn)算處理中，基于由用戶預(yù)先輸入的參數(shù)來確定由用戶指定的運(yùn)算。

其中，有向上述說明了的各參數(shù)中輸入執(zhí)行了其它工具的結(jié)果的情況。具體而言，有在逐個(gè)依次執(zhí)行多個(gè)工具的情況下，向與某個(gè)工具建立了對(duì)應(yīng)關(guān)系的參數(shù)中的一個(gè)，輸入作為在該工具之前執(zhí)行的工具的執(zhí)行結(jié)果而被輸出的值的情況。例如，在通過兩個(gè)幾何探索處理和2點(diǎn)間距離計(jì)算處理的組合，來進(jìn)行計(jì)算兩個(gè)物體的距離的處理的情況下，通過2點(diǎn)間距離計(jì)算處理計(jì)算的2點(diǎn)間的距離是通過兩個(gè)幾何探索處理的每一個(gè)檢測出的2點(diǎn)間的距離。即，該情況下，分別通過兩個(gè)幾何探索處理檢測出的2個(gè)點(diǎn)各自的位置作為與2點(diǎn)間距離計(jì)算處理建立對(duì)應(yīng)關(guān)系的參數(shù)被輸入。這樣，在圖像處理裝置20中，有在某個(gè)工具的參數(shù)中反映其它工具的處理結(jié)果、工具彼此的依賴關(guān)系的情況。以下，為了便于說明，將在某個(gè)工具的參數(shù)中反映其它工具的處理結(jié)果、工具彼此的依賴關(guān)系的情況稱為參數(shù)的依賴關(guān)系性來進(jìn)行說明。

<事例的具體例>

在這一個(gè)例子中，事例包含以下所示的1b)～4b)這4個(gè)圖像處理。

1b)間隙測量處理

2b)物體顏色檢查處理

3b)2個(gè)物體間距離計(jì)算處理

4b)四邊形中心檢測處理

此外，也可以為在事例中代替上述1b)～4b)的一部分或者全部而包含其它圖像處理的結(jié)構(gòu)，還可以為除了上述1b)～4b)的全部以外還包含其它圖像處理的結(jié)構(gòu)。

如上所述，事例由多個(gè)工具構(gòu)成。間隙測量處理由工具中的幾何探索處理、預(yù)先處理、2條直線檢測處理以及直線間距離計(jì)算處理的組合構(gòu)成。具體而言，在間隙測量處理中，對(duì)圖像進(jìn)行預(yù)先處理，從進(jìn)行了預(yù)先處理的圖像中通過幾何探索處理來檢測測量對(duì)象的位置，并根據(jù)檢測出的位置來對(duì)直線間距離檢測處理的2條直線探索區(qū)域進(jìn)行修正，從進(jìn)行了預(yù)先處理的圖像中檢測2條直線，并通過直線間距離計(jì)算處理來計(jì)算檢測出的2條直線之間的距離。由此，在間隙測量處理中，可計(jì)算(測量)圖像所包含的兩個(gè)物體間的間隙。

物體顏色檢查處理由工具中的幾何探索處理、和顏色檢查處理的組合構(gòu)成。具體而言，在物體顏色檢查處理中，從圖像中通過幾何探索處理檢測由用戶指定的物體，并通過顏色檢查處理來判定檢測出的該物體的顏色是否是由用戶指定的顏色。由此，在物體顏色檢查處理中，可判定圖像所包含的物體的顏色是否是由用戶指定的顏色。

2個(gè)物體間距離計(jì)算處理由工具中的幾何探索處理與2點(diǎn)間距離計(jì)算處理的組合構(gòu)成。具體而言，在2個(gè)物體間距離計(jì)算處理中，從圖像中通過第一次的幾何探索處理來檢測表示由用戶指定的第一個(gè)物體即第一物體的重心的點(diǎn)，并從該圖像中通過第二次的幾何探索處理來檢測表示由用戶指定的第二個(gè)物體即第二物體的重心的點(diǎn)，通過2點(diǎn)間距離計(jì)算處理計(jì)算表示第一物體的重心的點(diǎn)與表示第二物體的重心的點(diǎn)之間的距離。由此，在2個(gè)物體間距離計(jì)算處理中，可計(jì)算圖像所包含的第一物體與第二物體之間的距離。

四邊形中心檢測處理由工具中的2條直線交點(diǎn)檢測處理與簡易運(yùn)算處理的組合構(gòu)成。具體而言，在四邊形中心檢測處理中，從圖像中通過第一次的2條直線交點(diǎn)檢測處理來檢測第一直線與第二直線的交點(diǎn)，從該圖像中通過第二次的2條直線交點(diǎn)檢測處理來檢測第一直線與第三直線的交點(diǎn)，從該圖像中通過第三次的2條直線交點(diǎn)檢測處理來檢測第二直線與第四直線的交點(diǎn)，從該圖像中通過第四次的2條直線交點(diǎn)檢測處理來檢測第三直線與第四直線的交點(diǎn)。然后，在四邊形中心檢測處理中，通過簡易運(yùn)算處理來計(jì)算具有以檢測出的4個(gè)交點(diǎn)分別為頂點(diǎn)的四邊形的中心(例如，形心)。

此外，在圖像處理裝置20中，也可以是在上述事例的一部分或者全部中，不用用戶輸入上述的參數(shù)的依賴關(guān)系性而是預(yù)先登錄有該參數(shù)的依賴關(guān)系性的結(jié)構(gòu)，還可以是預(yù)先由用戶輸入的結(jié)構(gòu)，也可以是未預(yù)先登錄而之后用戶輸入的結(jié)構(gòu)。

<圖像處理裝置的硬件結(jié)構(gòu)>

以下，參照?qǐng)D2，對(duì)圖像處理裝置20的硬件結(jié)構(gòu)進(jìn)行說明。圖2是表示圖像處理裝置20的硬件結(jié)構(gòu)的一個(gè)例子的圖。圖像處理裝置20例如具備cpu(centralprocessingunit：中央處理器)21、存儲(chǔ)部22、輸入受理部23、通信部24、以及顯示部25。另外，圖像處理裝置20經(jīng)由通信部24與拍攝部10進(jìn)行通信。這些結(jié)構(gòu)要素經(jīng)由總線bus相互以能夠通信的方式進(jìn)行連接。

cpu21執(zhí)行儲(chǔ)存于存儲(chǔ)部22的各種程序。

存儲(chǔ)部22例如包含hdd(harddiskdrive：硬盤驅(qū)動(dòng)器)、ssd(solidstatedrive：固態(tài)硬盤)、eeprom(electricallyerasableprogrammableread-onlymemory：電可擦除可編程只讀存儲(chǔ)器)、rom(read-onlymemory：只讀存儲(chǔ)器)、ram(randomaccessmemory：隨機(jī)存儲(chǔ)器)等。此外，存儲(chǔ)部22也可以代替內(nèi)置于圖像處理裝置20的結(jié)構(gòu)，而是通過usb等數(shù)字輸入輸出端口等連接的外置型的存儲(chǔ)裝置。存儲(chǔ)部22儲(chǔ)存由圖像處理裝置20處理的各種信息、圖像、程序(包括執(zhí)行上述工具的程序)。

輸入受理部23例如是鍵盤、鼠標(biāo)、觸摸板、其它的輸入裝置。此外，輸入受理部23也可以作為觸摸面板而與顯示部25一體地構(gòu)成。

通信部24例如包含usb等數(shù)字輸入輸出端口、以太網(wǎng)(注冊(cè)商標(biāo))端口等而構(gòu)成。

顯示部25例如是液晶顯示器面板、或有機(jī)el(electroluminescence：電致發(fā)光)顯示器面板。

<圖像處理裝置的功能結(jié)構(gòu)>

以下，參照?qǐng)D3，對(duì)圖像處理裝置20的功能結(jié)構(gòu)進(jìn)行說明。圖3是表示圖像處理裝置20的功能結(jié)構(gòu)的一個(gè)例子的圖。圖像處理裝置20具備存儲(chǔ)部22、輸入受理部23、顯示部25、圖像獲取部27、以及控制部28。

圖像獲取部27從拍攝部10獲取拍攝部10拍攝到的拍攝圖像。

控制部28對(duì)圖像處理裝置20的整體進(jìn)行控制?？刂撇?8具備拍攝控制部31、顯示控制部33、第二圖像處理信息生成部37、第二圖像處理信息編輯部39、以及圖像處理執(zhí)行部43?？刂撇?8所具備的這些功能部例如通過cpu21執(zhí)行存儲(chǔ)于存儲(chǔ)部22的各種程序來實(shí)現(xiàn)。另外，這些功能部中的一部分或者全部也可以是lsi(largescaleintegration：大規(guī)模集成電路)、asic(applicationspecificintegratedcircuit：專用集成電路)等硬件功能部。

拍攝控制部31使拍攝部10對(duì)包含對(duì)象物o的拍攝范圍進(jìn)行拍攝。

顯示控制部33基于由輸入受理部23受理的來自用戶的操作，使顯示部25顯示包含gui(graphicaluserinterface：圖形用戶界面)的各種畫面。

第二圖像處理信息生成部37基于在顯示控制部33使顯示部25顯示的畫面上由用戶使用輸入受理部23選擇出的1個(gè)以上工具信息，生成對(duì)由該工具信息分別表示的工具構(gòu)成的事例進(jìn)行表示的事例信息。第二圖像處理信息生成部37將所生成的事例信息存儲(chǔ)至存儲(chǔ)部22。

第二圖像處理信息編輯部39基于在顯示控制部33使顯示部25顯示的畫面上通過輸入受理部23受理的來自用戶的操作，對(duì)存儲(chǔ)于存儲(chǔ)部22的事例信息進(jìn)行編輯。

圖像處理執(zhí)行部43執(zhí)行在顯示控制部33使顯示部25顯示的畫面上由用戶使用輸入受理部23選擇出的工具信息所表示的工具。另外，圖像處理執(zhí)行部43執(zhí)行構(gòu)成在顯示控制部33使顯示部25顯示的畫面上由用戶使用輸入受理部23選擇出的事例信息所表示的事例的多個(gè)工具的每一個(gè)。在這些時(shí)候，圖像處理執(zhí)行部43基于在顯示控制部33使顯示部25顯示的畫面上由用戶使用輸入受理部23輸入的參數(shù)來執(zhí)行工具。

<關(guān)于控制部所進(jìn)行的處理的具體例>

以下，參照?qǐng)D4～圖8，對(duì)控制部28所進(jìn)行的處理的具體例進(jìn)行說明。其中，這里作為控制部28所進(jìn)行的處理的一個(gè)例子，對(duì)在顯示控制部33使顯示部25顯示的主畫面上用戶選擇事例信息，并執(zhí)行構(gòu)成選擇出的事例信息所表示的事例的多個(gè)工具的每一個(gè)時(shí)由控制部28所進(jìn)行的處理進(jìn)行說明。

這一個(gè)例子中的主畫面是用戶進(jìn)行事例的生成、編輯、刪除、執(zhí)行等的畫面。事例的生成是指選擇多個(gè)工具，來生成與選擇出的該工具建立有對(duì)應(yīng)關(guān)系的事例信息。事例的編輯包含針對(duì)構(gòu)成事例的多個(gè)工具的新的工具的追加、構(gòu)成事例的多個(gè)工具的一部分的刪除。事例的刪除是構(gòu)成事例的多個(gè)工具的全部的刪除。事例的執(zhí)行是構(gòu)成事例的多個(gè)工具的執(zhí)行。另外，該主畫面是顯示在圖像處理裝置20中執(zhí)行的圖像處理的結(jié)果的畫面。此外，該主畫面除了這些以外，也可以是用戶執(zhí)行其它處理的畫面，還可以是顯示其它信息的畫面。

這里，參照?qǐng)D4，對(duì)主畫面進(jìn)行說明。圖4是表示主畫面的一個(gè)例子的圖。圖4所示的主畫面的一個(gè)例子即主畫面g1具有區(qū)域g11、區(qū)域g12、包含按鈕b11～按鈕b18的多個(gè)按鈕、以及多個(gè)下拉菜單。此外，主畫面g1也可以是具有除了按鈕b11～按鈕b18以外的多個(gè)按鈕、和取代多個(gè)下拉菜單的一部分或者全部而具有其它信息、圖像、字符串、gui等的結(jié)構(gòu)，還可以是除了這些全部部件以外，還具有其它信息、圖像、字符串、gui等的結(jié)構(gòu)。

在區(qū)域g11顯示用戶選擇出的工具信息。例如，顯示控制部33在由用戶選擇了工具信息的情況下，將選擇出的工具信息顯示于區(qū)域g11。另外，顯示控制部33在由用戶選擇出事例信息的情況下，將分別表示構(gòu)成選擇出的事例信息所表示的事例的多個(gè)工具的工具信息顯示于區(qū)域g11。

在區(qū)域g12顯示成為用戶進(jìn)行圖像處理的對(duì)象的圖像、即作為對(duì)該圖像進(jìn)行各種圖像處理之前的圖像的處理前圖像、或?qū)υ搱D像進(jìn)行了各種圖像處理后的圖像即處理后圖像。成為用戶進(jìn)行圖像處理的對(duì)象的圖像可以是圖像獲取部27從拍攝部10獲取到的拍攝圖像，也可以是預(yù)先存儲(chǔ)于存儲(chǔ)部22的圖像。例如，顯示控制部33在選擇了該拍攝圖像作為成為由用戶進(jìn)行圖像處理的對(duì)象的圖像的情況下，將選擇出的該拍攝圖像顯示于區(qū)域g12。

按鈕b11是顯示選擇方法選擇畫面的按鈕，該選擇方法選擇畫面用于選擇為了用戶進(jìn)行所希望的圖像處理而使用的工具的選擇方法。顯示控制部33在由用戶對(duì)按鈕b11進(jìn)行了選擇操作(按下、點(diǎn)擊、輕擊)的情況下，與主畫面g1重疊地顯示選擇方法選擇畫面。

按鈕b12是顯示對(duì)顯示于區(qū)域g11的工具信息中的、由用戶選擇出的工具信息所表示的工具進(jìn)行編輯的編輯畫面的按鈕。工具的編輯包含與工具建立對(duì)應(yīng)關(guān)系的參數(shù)的輸入、追加、刪除等。另外，在工具是預(yù)先處理的情況下，工具的編輯中除了這些以外，還包含在預(yù)先處理中執(zhí)行的濾波處理的選擇、追加、刪除等。顯示控制部33在按鈕b12被按下的情況下，在主畫面g1的區(qū)域g11顯示該編輯畫面。

按鈕b13是對(duì)成為進(jìn)行圖像處理的對(duì)象的圖像執(zhí)行顯示于區(qū)域g11的工具信息中的由用戶選擇出的工具信息所表示的工具的按鈕。圖像處理執(zhí)行部43在按鈕b13被按下的情況下，對(duì)相應(yīng)圖像執(zhí)行顯示于區(qū)域g11的工具信息中的由用戶選擇出的工具信息所表示的工具。

按鈕b14是對(duì)成為進(jìn)行圖像處理的對(duì)象的圖像，執(zhí)行顯示于區(qū)域g11的1個(gè)以上工具信息分別表示的工具的按鈕。圖像處理執(zhí)行部43在按鈕b14被按下的情況下，從上方開始依次逐個(gè)選擇顯示于區(qū)域g11的工具信息，并對(duì)成為進(jìn)行圖像處理的對(duì)象的圖像依次執(zhí)行選擇出的工具信息所表示的工具。

按鈕b15是代替處理后圖像而將處理前圖像顯示于區(qū)域g12的按鈕。在區(qū)域g12顯示有處理后圖像的狀態(tài)下按鈕b15被按下的情況下，顯示控制部33在區(qū)域g12顯示處理前圖像。

按鈕b16是代替處理前圖像而將處理后圖像顯示于區(qū)域g12的按鈕。在區(qū)域g12顯示有處理前圖像的狀態(tài)下按鈕b16被按下的情況下，顯示控制部33在區(qū)域g12顯示處理后圖像。

按鈕b17是顯示從存儲(chǔ)部22讀出使區(qū)域g12顯示的圖像的圖像選擇畫面的按鈕。顯示控制部33在按鈕b17被按下的情況下，與主畫面g1重疊地顯示該圖像選擇畫面。

按鈕b18是顯示將顯示于區(qū)域g12的圖像存儲(chǔ)(保存)于存儲(chǔ)部22的圖像存儲(chǔ)畫面的按鈕。顯示控制部33在按鈕b18被按下的情況下，與主畫面g1重疊地顯示該圖像存儲(chǔ)畫面。

在這樣的主畫面g1中由用戶選擇了事例信息，并分別執(zhí)行構(gòu)成選擇出的事例信息所表示的事例的多個(gè)工具時(shí)，控制部28例如進(jìn)行圖5所示的流程圖的各處理。圖5是表示在主畫面g1中由用戶選擇了事例，并分別執(zhí)行構(gòu)成選擇出的事例的多個(gè)工具時(shí)，控制部28所進(jìn)行的處理的流程的一個(gè)例子的流程圖。其中，圖5所示的流程圖的步驟s100的處理是圖像獲取部27從拍攝部10獲取拍攝圖像之后的處理，是顯示控制部33在顯示部25顯示出主畫面g1之后的處理。

顯示控制部33在主畫面g1上通過輸入受理部23受理由用戶按下按鈕b11的操作(步驟s100)。接下來，顯示控制部33基于在步驟s100中受理的操作，與主畫面g1重疊地顯示選擇方法選擇畫面(步驟s110)。

這里，參照?qǐng)D6，對(duì)選擇方法選擇畫面進(jìn)行說明。圖6是表示選擇方法選擇畫面的一個(gè)例子的圖。圖6所示的選擇方法選擇畫面的一個(gè)例子即選擇方法選擇畫面g2在這一個(gè)例子中，重疊地顯示在主畫面g1的區(qū)域g12上。選擇方法選擇畫面g2具有按鈕b21、按鈕b22、按鈕b23、以及按鈕b24。此外，選擇方法選擇畫面g2也可以是取代按鈕b22、按鈕b23、以及按鈕b24的一部分或者全部而具有其它信息、圖像、字符串、gui等的結(jié)構(gòu)，也可以是除了按鈕b22、按鈕b23、以及按鈕b24的全部以外，還具有其它信息、圖像、字符串、gui等的結(jié)構(gòu)。

按鈕b21是對(duì)選擇事例的事例選擇畫面進(jìn)行顯示的按鈕。顯示控制部33在按鈕b21被按下的情況下，與選擇方法選擇畫面g2重疊地顯示事例選擇畫面。

按鈕b22是顯示從按每個(gè)類型分類出的工具的列表(一覽)選擇工具的第一工具選擇畫面的按鈕。顯示控制部33在按鈕b22被按下的情況下，與選擇方法選擇畫面g2重疊地顯示第一工具選擇畫面。

按鈕b23是顯示從按每個(gè)功能分類出的工具的列表(一覽)選擇工具的第二工具選擇畫面的按鈕。顯示控制部33在按鈕b23被按下的情況下，與選擇方法選擇畫面g2重疊地顯示第二工具選擇畫面。

按鈕b24是刪除(關(guān)閉)選擇方法選擇畫面g2的按鈕(取消按鈕)。顯示控制部33在按鈕b24被按下的情況下，刪除選擇方法選擇畫面g2。

在步驟s110中顯示出選擇方法選擇畫面g2之后，顯示控制部33在選擇方法選擇畫面g2上通過輸入受理部23受理由用戶按下按鈕b21的操作(步驟s120)。接下來，顯示控制部33與選擇方法選擇畫面g2重疊地顯示事例選擇畫面(步驟s130)。

這里，參照?qǐng)D7，對(duì)事例選擇畫面進(jìn)行說明。圖7是表示事例選擇畫面的一個(gè)例子的圖。圖7所示的事例選擇畫面的一個(gè)例子即事例選擇畫面g3在這一個(gè)例子中，重疊地顯示在選擇方法選擇畫面g2上。事例選擇畫面g3具有按鈕b31、按鈕b32、按鈕b33、按鈕b34、按鈕b35、以及按鈕b36。此外，事例選擇畫面g3也可以是除了按鈕b31、按鈕b32、按鈕b33、按鈕b34、按鈕b35、以及按鈕b36的全部以外，還具有其它信息、圖像、字符串、gui等的結(jié)構(gòu)。

按鈕b31是表示多個(gè)事例中的間隙測量處理的工具信息。顯示控制部33在按鈕b31被按下的情況下，刪除(關(guān)閉)選擇方法選擇畫面g2以及事例選擇畫面g3，并將表示構(gòu)成被按下的按鈕b31所表示的事例的多個(gè)工具的工具信息顯示于主畫面g1的區(qū)域g11。

按鈕b32是表示多個(gè)事例中的物體顏色檢查處理的工具信息。顯示控制部33在按鈕b32被按下的情況下，刪除(關(guān)閉)選擇方法選擇畫面g2以及事例選擇畫面g3，并將表示構(gòu)成被按下的按鈕b32所表示的事例的多個(gè)工具的工具信息顯示于主畫面g1的區(qū)域g11。

按鈕b33是表示多個(gè)事例中的2個(gè)物體間距離計(jì)算處理的工具信息。顯示控制部33在按鈕b33被按下的情況下，刪除(關(guān)閉)選擇方法選擇畫面g2以及事例選擇畫面g3，并將表示構(gòu)成被按下的按鈕b33所表示的事例的多個(gè)工具的工具信息顯示于主畫面g1的區(qū)域g11。

按鈕b34是表示多個(gè)事例中的四邊形中心檢測處理的工具。顯示控制部33在按鈕b34被按下的情況下，刪除(關(guān)閉)選擇方法選擇畫面g2以及事例選擇畫面g3，并將表示構(gòu)成被按下的按鈕b34所表示的事例的多個(gè)工具的工具信息顯示于主畫面g1的區(qū)域g11。

按鈕b35是顯示對(duì)事例選擇畫面g3追加新的事例信息的事例信息追加畫面的按鈕。顯示控制部33在按鈕b35被按下的情況下，與事例選擇畫面g3重疊地顯示事例信息追加畫面。

按鈕b36是刪除(關(guān)閉)事例選擇畫面g3的按鈕(取消按鈕)。顯示控制部33在按鈕b36被按下的情況下，刪除事例選擇畫面g3。

在步驟s130中顯示了事例選擇畫面g3之后，顯示控制部33經(jīng)由事例選擇畫面g3通過輸入受理部23受理由用戶按下按鈕b31的操作(步驟s140)。接下來，顯示控制部33刪除(關(guān)閉)選擇方法選擇畫面g2以及事例選擇畫面g3，并將表示構(gòu)成在步驟s140中被按下的按鈕b31所表示的事例即間隙測量處理的多個(gè)工具的每一個(gè)的工具信息顯示于主畫面g1的區(qū)域g11(步驟s150)。

這里，參照?qǐng)D8，對(duì)顯示了表示構(gòu)成事例的工具的工具信息的主畫面g1進(jìn)行說明。圖8是表示顯示了表示構(gòu)成事例的工具的工具信息的主畫面的一個(gè)例子的圖。如圖8所示，顯示控制部33在事例選擇畫面g3上按鈕b31被按下的情況下，在區(qū)域g11上分別顯示：表示構(gòu)成在步驟s140中選擇出的按鈕b31所表示的事例即間隙測量處理的作為5個(gè)工具的預(yù)先處理的工具信息t11、表示幾何探索處理的工具信息t12、表示直線檢測處理的工具信息t13、表示直線檢測處理的工具信息t14、以及表示直線間距離計(jì)算處理的工具信息t15。

在顯示了圖8所示的主畫面g1之后，用戶分別輸入與顯示于區(qū)域g11的各工具信息建立對(duì)應(yīng)關(guān)系的參數(shù)，并按下按鈕b14，由此用戶能夠容易地計(jì)算所希望的2根直線之間的距離。在圖8所示的主畫面g1的狀態(tài)下按鈕b14被按下的情況下，圖像處理執(zhí)行部43對(duì)成為進(jìn)行圖像處理的對(duì)象的圖像，從上方開始依次逐個(gè)執(zhí)行顯示于區(qū)域g11的5個(gè)工具信息。具體而言，圖像處理執(zhí)行部43對(duì)成為進(jìn)行圖像處理的對(duì)象的圖像，按照工具信息t11所表示的預(yù)先處理、工具信息t12所表示的幾何探索處理、工具信息t13所表示的直線檢測處理、工具信息t14所表示的直線檢測處理、工具信息t15所表示的直線間距離計(jì)算處理的順序，執(zhí)行這些工具。

在這一個(gè)例子中，成為進(jìn)行圖像處理的對(duì)象的圖像是顯示于區(qū)域g12的圖像pp。圖像pp中拍攝有物體pp1和物體pp2。其中，在這一個(gè)例子中，在作為用戶選擇出的事例的間隙測量處理中，在工具信息t12所表示的幾何探索處理中從圖像pp所包含的物體pp1以及物體pp2中檢測出的幾何學(xué)的特征被作為分別與工具信息t13以及工具信息t14的每一個(gè)所表示的直線檢測處理建立對(duì)應(yīng)關(guān)系的參數(shù)而輸入。另外，在間隙測量處理中，通過工具信息t13以及工具信息t14的每一個(gè)所表示的直線檢測處理分別從圖像pp檢測的2根直線被作為與工具信息t15所表示的直線間距離計(jì)算處理建立對(duì)應(yīng)關(guān)系的參數(shù)而輸入。

此外，這里作為一個(gè)例子，對(duì)通過工具信息t13所表示的直線檢測處理檢測圖像pp所包含的物體pp1的直線部分即直線sl1，通過工具信息t14所表示的直線檢測處理檢測圖像pp所包含的物體pp2的直線部分即直線sl2的情況進(jìn)行說明。

在步驟s150中當(dāng)在主畫面g1的區(qū)域g11顯示了工具信息之后，圖像處理執(zhí)行部43經(jīng)由主畫面g1通過輸入受理部23受理由用戶按下按鈕b14的操作(步驟s160)。接下來，圖像處理執(zhí)行部43對(duì)成為進(jìn)行圖像處理的對(duì)象的圖像(在這一個(gè)例子中，是圖像pp)，按照工具信息t11所表示的預(yù)先處理、工具信息t12所表示的幾何探索處理、工具信息t13所表示的直線檢測處理、工具信息t14所表示的直線檢測處理、工具信息t15所表示的直線間距離計(jì)算處理的順序，執(zhí)行這些工具(步驟s170)。而且，執(zhí)行了這些工具的結(jié)果是計(jì)算出直線sl1與直線sl2之間的距離即距離ll。接下來，顯示控制部33將顯示在步驟s170中執(zhí)行了工具的結(jié)果(即、距離ll)的區(qū)域g13顯示于主畫面g1。在這一個(gè)例子中，區(qū)域g13是區(qū)域g12的下方的區(qū)域，并且是區(qū)域g11的右方的區(qū)域。然后，顯示控制部33在區(qū)域g13顯示表示該結(jié)果的信息(步驟s180)。

這樣，圖像處理裝置20基于從用戶受理到的操作來選擇事例信息，并執(zhí)行構(gòu)成選擇出的事例信息所表示的事例的多個(gè)工具。例如，如上所述，在事例信息所包含的字符串、圖像是表示過去進(jìn)行的圖像處理的信息的情況下，即使用戶沒有與圖像處理相關(guān)的專業(yè)知識(shí)，也能夠基于事例信息，容易地選擇進(jìn)行所希望的圖像處理的事例。結(jié)果，用戶能夠通過圖像處理裝置20容易地進(jìn)行所希望的圖像處理。

另外，由于在圖像處理裝置20中，能夠選擇事例信息，并執(zhí)行構(gòu)成選擇出的事例信息所表示的事例的多個(gè)工具，所以也可以不用每次進(jìn)行圖像處理時(shí)都重新選擇表示與該圖像處理相應(yīng)的工具的工具信息，能夠?qū)崿F(xiàn)與圖像處理相關(guān)的作業(yè)的效率化。

<事例以及事例信息的編輯中的控制部的處理>

以下，再次參照?qǐng)D8，對(duì)事例以及事例信息的編輯進(jìn)行說明。

能夠?qū)D8所示的主畫面g1的區(qū)域g11，取代所顯示的多個(gè)工具信息的一部分或者全部，追加表示新的工具的工具信息。例如，在圖8所示的主畫面g1的狀態(tài)下，當(dāng)由用戶按下按鈕b11，在圖6所示的選擇方法選擇畫面g2上按鈕b22被按下的情況下，顯示控制部33與主畫面g1重疊地顯示未圖示的第一工具選擇畫面。如上所述，第一工具選擇畫面具有按每個(gè)類型分類出的工具信息的列表(一覽)。

在第一工具選擇畫面上由用戶選擇了該列表所包含的工具信息的情況下，主畫面g1的區(qū)域g11被追加由用戶選擇出的該工具信息。而且，第二圖像處理信息編輯部39將新被追加了工具信息后的顯示于區(qū)域g11的工具信息的每一個(gè)所表示的工具重新與表示由被新追加工具信息之前的顯示于區(qū)域g11的工具信息的每一個(gè)所表示的工具構(gòu)成的事例的事例信息建立對(duì)應(yīng)關(guān)系。

另外，區(qū)域g11中的工具信息的順序例如能夠通過拖放工具信息來進(jìn)行更換。在更新該順序的情況下，第二圖像處理信息編輯部39將被更換順序后的顯示于區(qū)域g11的工具信息的每一個(gè)所表示的工具重新與表示由被更換順序之前顯示于區(qū)域g11的工具信息的每一個(gè)所表示的工具構(gòu)成的事例的事例信息建立對(duì)應(yīng)關(guān)系。

另外，能夠刪除顯示于主畫面g1的區(qū)域g11的多個(gè)工具信息的一部分或者全部。例如，用戶從區(qū)域g11選擇工具信息t11并顯示右點(diǎn)擊菜單，在選擇了該右點(diǎn)擊菜單的“刪除”的情況下，顯示控制部33將工具信息t11從區(qū)域g11刪除。而且，第二圖像處理信息編輯部39將刪除了工具信息t11之后的顯示于區(qū)域g11的工具信息的每一個(gè)所表示的工具重新與表示由刪除工具信息t11之前的顯示于區(qū)域g11的工具信息的每一個(gè)所表示的工具構(gòu)成的事例的事例信息建立對(duì)應(yīng)關(guān)系。

這樣，用戶能夠?qū)?gòu)成事例信息所表示的事例的工具進(jìn)行編輯。結(jié)果，用戶能夠通過圖像處理裝置20將事例信息所表示的事例容易地編輯為進(jìn)行所希望的圖像處理的事例。

另外，在圖像處理裝置20中，由于能夠容易對(duì)該事例進(jìn)行編輯，所以在進(jìn)行與過去已進(jìn)行的圖像處理的一部分處理不同的圖像處理(例如，與過去已進(jìn)行的圖像處理僅參數(shù)、一部分工具不同的圖像處理)的情況下，用戶通過對(duì)表示進(jìn)行與過去已進(jìn)行的圖像處理相同的圖像處理的事例的事例信息進(jìn)行編輯，能夠容易地進(jìn)行所希望的圖像處理。結(jié)果，圖像處理裝置20能夠提高與圖像處理相關(guān)的作業(yè)的效率。

<事例以及事例信息的生成中的控制部的處理>

以下，再次參照?qǐng)D7，對(duì)事例以及事例信息的生成進(jìn)行說明。

在圖7所示的事例選擇畫面g3的按鈕b35被按下的情況下，顯示控制部33如上所述與主畫面g1重疊地顯示未圖示的事例信息追加畫面。事例信息追加畫面具有輸入事例的名稱的欄。用戶能夠在事例信息追加畫面中輸入新生成的事例的名稱。

在事例信息追加畫面上由用戶進(jìn)行的事例的名稱的輸入結(jié)束之后，第二圖像處理信息生成部37生成表示被輸入的名稱的事例的事例信息。該生成的事例信息所表示的事例未與工具建立對(duì)應(yīng)關(guān)系。顯示控制部33將第二圖像處理信息生成部37生成的事例信息顯示于事例選擇畫面g3。例如，當(dāng)由用戶在事例信息追加畫面上輸入了“xxx”這一名稱的情況下，第二圖像處理信息生成部37生成表示名稱是“xxx”的事例的事例信息。而且，顯示控制部33將第二圖像處理信息生成部37生成的該事例信息顯示于圖7所示的事例選擇畫面g3中的未配置有按鈕的區(qū)域。未配置有按鈕的區(qū)域例如是按鈕b34的右側(cè)旁邊。

在如上所述剛剛顯示了新的事例信息之后，該事例信息所表示的事例未與工具建立對(duì)應(yīng)關(guān)系。因此，用戶能夠通過在＜事例以及事例信息的編輯時(shí)的控制部的處理＞中說明的方法，使1個(gè)以上工具與在事例選擇畫面g3中新顯示的事例信息所表示的事例建立對(duì)應(yīng)關(guān)系。由此，用戶能夠容易地生成表示進(jìn)行所希望的圖像處理的事例的事例信息。

<參數(shù)的輸入中的控制部的處理>

以下，參照?qǐng)D9以及圖10，對(duì)上述編輯畫面中的參數(shù)的輸入進(jìn)行說明。編輯畫面在用戶從顯示于圖8所示的主畫面g1的區(qū)域g11的工具信息選擇出工具信息至后，通過按下按鈕b12而被顯示于區(qū)域g11。即，顯示控制部33在用戶從顯示于圖8所示的主畫面g1的區(qū)域g11的工具信息選擇出工具信息之后按下按鈕b12的情況下，將編輯畫面顯示于區(qū)域g11。此時(shí)，顯示控制部33將對(duì)與用戶選擇出的該工具信息所表示的工具建立對(duì)應(yīng)關(guān)系的參數(shù)進(jìn)行編輯的編輯畫面顯示于區(qū)域g11。

圖9是表示顯示了編輯畫面的主畫面的一個(gè)例子的圖。圖9所示的編輯畫面的一個(gè)例子即編輯畫面g4在這一個(gè)例子中，被顯示于主畫面g1的區(qū)域g11。另外，圖9所示的編輯畫面g4是對(duì)與工具信息t12所表示的幾何探索處理建立對(duì)應(yīng)關(guān)系的參數(shù)進(jìn)行編輯的編輯畫面。

編輯畫面g4具有輸入與工具建立對(duì)應(yīng)關(guān)系的各種參數(shù)的多個(gè)欄、選擇該參數(shù)的下拉菜單、以及包含按鈕b41和按鈕b42的多個(gè)按鈕。此外，編輯畫面g4也可以是代替除了按鈕b41和按鈕b42以外的多個(gè)按鈕的一部分或者全部而具有其它信息、圖像、字符串、gui等的結(jié)構(gòu)，也可以除了該全部要素以外還具有其它信息、圖像、字符串、gui等的結(jié)構(gòu)。

按鈕b41是在編輯畫面g4上確定被輸入或者選擇出的參數(shù)，并將該參數(shù)與工具建立對(duì)應(yīng)關(guān)系的按鈕。在圖9所示的例子中，按鈕b41是將該參數(shù)與工具信息t11所表示的幾何探索處理建立對(duì)應(yīng)關(guān)系的按鈕。顯示控制部33在按鈕b41被按下的情況下，刪除(關(guān)閉)編輯畫面g4，并將主畫面g1變更為圖8所示的狀態(tài)。

按鈕b42是刪除(關(guān)閉)編輯畫面g4的按鈕(取消按鈕)。顯示控制部33在按鈕b42被按下的情況下，刪除(關(guān)閉)編輯畫面g4，并將主畫面g1變更為圖8所示的狀態(tài)。

這樣，由于對(duì)與工具中的、預(yù)先處理以外的工具建立對(duì)應(yīng)關(guān)系的參數(shù)進(jìn)行編輯的編輯畫面具有與圖9所示的編輯畫面相同的結(jié)構(gòu)，所以省略說明。與預(yù)先處理建立對(duì)應(yīng)關(guān)系的編輯畫面和其它編輯畫面不同，具有顯示對(duì)在預(yù)先處理中進(jìn)行的濾波處理加以選擇的濾波處理選擇畫面的按鈕。顯示控制部33在該按鈕被按下的情況下，與主畫面g1重疊地顯示濾波處理選擇畫面。

圖10是表示濾波處理選擇畫面的一個(gè)例子的圖。圖10所示的濾波處理選擇畫面的一個(gè)例子即濾波處理選擇畫面g5具有分別表示多個(gè)濾波處理的信息即濾波處理信息的列表(一覽)l1、按鈕b51、以及按鈕b52。此外，濾波處理選擇畫面g5也可以是代替按鈕b51和按鈕b52的任意一方或者兩方而具有其它信息、圖像、字符串、gui等的結(jié)構(gòu)，也可以是代替該兩方而具有其它信息、圖像、字符串、gui等的結(jié)構(gòu)。

列表l1中包含：表示二值化濾波處理的濾波處理信息、表示平滑化濾波處理的濾波處理信息、表示銳化濾波處理的濾波處理信息、表示中值濾波處理的濾波處理信息等多個(gè)濾波處理信息。用戶能夠從濾波處理選擇畫面g5的列表l1所包含的濾波處理信息中，選擇表示在預(yù)先處理中進(jìn)行的濾波處理的濾波處理信息。

按鈕b51是將從列表l1由用戶選擇出的濾波處理信息確定為在預(yù)先處理中進(jìn)行的濾波處理，并與預(yù)先處理建立對(duì)應(yīng)關(guān)系的按鈕。其中，能夠?qū)?個(gè)以上濾波處理與預(yù)先處理建立對(duì)應(yīng)關(guān)系。另外，該1個(gè)以上濾波處理中的一部分或者全部也可以是功能相同的濾波處理。例如，在預(yù)先處理與2個(gè)平滑化濾波處理建立了對(duì)應(yīng)關(guān)系的情況下，在預(yù)先處理中，進(jìn)行2次平滑化濾波處理。

按鈕b52是刪除(關(guān)閉)濾波處理選擇畫面g5的按鈕(取消按鈕)。顯示控制部33在按鈕b52被按下的情況下，刪除濾波處理選擇畫面g5。

此外，在上述說明中，工具也可以進(jìn)一步由多個(gè)其它圖像處理構(gòu)成。該情況下，該工具相當(dāng)于上述說明中的事例，多個(gè)該其它圖像處理相當(dāng)于上述說明中的工具。該情況下的具體例之一是上述說明的預(yù)先處理與濾波處理的關(guān)系。另外，在上述說明中，其它圖像處理也可以由多個(gè)事例構(gòu)成。該情況下，該事例相當(dāng)于上述說明中的工具，該其它圖像處理相當(dāng)于上述說明中的事例。

<實(shí)施方式的變形例>

以下，參照?qǐng)D11以及圖12，對(duì)實(shí)施方式的變形例進(jìn)行說明。其中，在實(shí)施方式的變形例中，對(duì)與實(shí)施方式相同的結(jié)構(gòu)部標(biāo)注相同的符號(hào)而省略說明。圖11是表示實(shí)施方式的變形例涉及的機(jī)器人50的一個(gè)例子的結(jié)構(gòu)圖。在實(shí)施方式的變形例中，內(nèi)置于機(jī)器人50的機(jī)器人控制裝置60具備在上述實(shí)施方式中說明的圖像處理裝置20所具備的功能部的一部分。

<機(jī)器人的結(jié)構(gòu)>

首先，對(duì)機(jī)器人50的結(jié)構(gòu)進(jìn)行說明。

機(jī)器人50是具備第一臂、第二臂、對(duì)第一臂以及第二臂進(jìn)行支承的支承臺(tái)、以及機(jī)器人控制裝置60的雙臂機(jī)器人。雙臂機(jī)器人是具備這一個(gè)例子中的第一臂和第二臂那樣的2根臂的機(jī)器人。此外，機(jī)器人50也可以取代雙臂機(jī)器人而是單臂機(jī)器人。單臂機(jī)器人是具備1根臂的機(jī)器人。例如，單臂機(jī)器人具備第一臂和第二臂的任意一方。另外，機(jī)器人50也可以取代雙臂機(jī)器人而是具備3根以上的臂的多臂機(jī)器人。

第一臂具備第一末端執(zhí)行器e1和第一機(jī)械手m1。

第一末端執(zhí)行器e1在這一個(gè)例子中，是具備能夠把持物體的爪部的末端執(zhí)行器。此外，第一末端執(zhí)行器e1也可以是取代具備該爪部的末端執(zhí)行器而具備電動(dòng)驅(qū)動(dòng)器的末端執(zhí)行器等其它末端執(zhí)行器。

第一末端執(zhí)行器e1通過線纜以能夠通信的方式與機(jī)器人控制裝置60連接。由此，第一末端執(zhí)行器e1基于從機(jī)器人控制裝置60獲取的控制信號(hào)進(jìn)行動(dòng)作。此外，經(jīng)由線纜的有線通信例如依據(jù)以太網(wǎng)(注冊(cè)商標(biāo))、usb(universalserialbus：通用串行總線)等標(biāo)準(zhǔn)來進(jìn)行。另外，第一末端執(zhí)行器e1也可以是通過依據(jù)wi-fi(注冊(cè)商標(biāo))等通信標(biāo)準(zhǔn)進(jìn)行的無線通信來與機(jī)器人控制裝置60連接的結(jié)構(gòu)。

第一機(jī)械手m1具備7個(gè)關(guān)節(jié)和第一拍攝部51。另外，7個(gè)關(guān)節(jié)分別具備未圖示的致動(dòng)器。即，具備第一機(jī)械手m1的第一臂是7軸垂直多關(guān)節(jié)型的臂。第一臂通過由支承臺(tái)、第一末端執(zhí)行器e1、第一機(jī)械手m1以及第一機(jī)械手m1所具備的7個(gè)關(guān)節(jié)各自的致動(dòng)器執(zhí)行的協(xié)作的動(dòng)作來進(jìn)行7軸的自由度的動(dòng)作。此外，第一臂可以是以6軸以下的自由度動(dòng)作的結(jié)構(gòu)，也可以是以8軸以上的自由度動(dòng)作的結(jié)構(gòu)。

在第一臂以7軸的自由度動(dòng)作的情況下，與第一臂以6軸以下的自由度動(dòng)作的情況相比較，可采取的姿勢(shì)增加。由此，第一臂例如動(dòng)作變得流暢，能夠進(jìn)一步容易地避免與存在于第一臂的周邊的物體的干擾。另外，在第一臂以7軸的自由度動(dòng)作的情況下，與第一臂以8軸以上的自由度動(dòng)作的情況相比較，第一臂的控制容易減少計(jì)算量。

第一機(jī)械手m1所具備的7個(gè)(關(guān)節(jié)所具備的)致動(dòng)器分別通過線纜以能夠通信的方式與機(jī)器人控制裝置60連接。由此，該致動(dòng)器基于從機(jī)器人控制裝置60獲取的控制信號(hào)，使第一機(jī)械手m1動(dòng)作。其中，經(jīng)由線纜的有線通信例如依據(jù)以太網(wǎng)(注冊(cè)商標(biāo))、usb等標(biāo)準(zhǔn)來進(jìn)行。另外，第一機(jī)械手m1所具備的7個(gè)致動(dòng)器中的一部分或者全部也可以是通過依據(jù)wi-fi(注冊(cè)商標(biāo))等通信標(biāo)準(zhǔn)進(jìn)行的無線通信與機(jī)器人控制裝置60連接的結(jié)構(gòu)。

第一拍攝部51例如是具備將會(huì)聚的光轉(zhuǎn)換為電信號(hào)的作為拍攝元件的ccd、cmos等的照相機(jī)。在這一個(gè)例子中，第一拍攝部51設(shè)置于第一機(jī)械手m1的一部分。因此，第一拍攝部51根據(jù)第一臂的動(dòng)作而移動(dòng)。另外，第一拍攝部51能夠拍攝的范圍根據(jù)第一臂的動(dòng)作而變化。第一拍攝部51可以是對(duì)該范圍的靜止圖像進(jìn)行拍攝的結(jié)構(gòu)，也可以是對(duì)該范圍的動(dòng)態(tài)圖像進(jìn)行拍攝的結(jié)構(gòu)。

另外，第一拍攝部51通過線纜以能夠通信的方式與機(jī)器人控制裝置60連接。經(jīng)由線纜的有線通信例如依據(jù)以太網(wǎng)(注冊(cè)商標(biāo))、usb等標(biāo)準(zhǔn)來進(jìn)行。此外，第一拍攝部51也可以是通過依據(jù)wi-fi(注冊(cè)商標(biāo))等通信標(biāo)準(zhǔn)進(jìn)行的無線通信與機(jī)器人控制裝置60連接的結(jié)構(gòu)。

第二臂具備第二末端執(zhí)行器e2和第二機(jī)械手m2。

第二末端執(zhí)行器e2在這一個(gè)例子中，是具備能夠把持物體的爪部的末端執(zhí)行器。此外，第二末端執(zhí)行器e2也可以取代具備該爪部的末端執(zhí)行器而是具備電動(dòng)驅(qū)動(dòng)器的末端執(zhí)行器等其它末端執(zhí)行器。

第二末端執(zhí)行器e2通過線纜以能夠通信的方式與機(jī)器人控制裝置60連接。由此，第二末端執(zhí)行器e2基于從機(jī)器人控制裝置60獲取的控制信號(hào)進(jìn)行動(dòng)作。其中，經(jīng)由線纜的有線通信例如依據(jù)以太網(wǎng)(注冊(cè)商標(biāo))、usb等標(biāo)準(zhǔn)來進(jìn)行。另外，第二末端執(zhí)行器e2也可以是通過依據(jù)wi-fi(注冊(cè)商標(biāo))等通信標(biāo)準(zhǔn)進(jìn)行的無線通信與機(jī)器人控制裝置60連接的結(jié)構(gòu)。

第二機(jī)械手m2具備7個(gè)關(guān)節(jié)和第二拍攝部52。另外，7個(gè)關(guān)節(jié)分別具備未圖示的致動(dòng)器。即，具備第二機(jī)械手m2的第二臂是7軸垂直多關(guān)節(jié)型的臂。第二臂通過由支承臺(tái)、第二末端執(zhí)行器e2、第二機(jī)械手m2以及第二機(jī)械手m2所具備的7個(gè)關(guān)節(jié)各自的致動(dòng)器執(zhí)行的協(xié)作的動(dòng)作來進(jìn)行7軸的自由度的動(dòng)作。此外，第二臂也可以是以6軸以下的自由度動(dòng)作的結(jié)構(gòu)，還可以是以8軸以上的自由度動(dòng)作的結(jié)構(gòu)。

在第二臂以7軸的自由度動(dòng)作的情況下，與第二臂以6軸以下的自由度動(dòng)作的情況相比較，可采取的姿勢(shì)增加。由此，第二臂例如動(dòng)作變得流暢，能夠進(jìn)一步容易地避免與存在于第二臂的周邊的物體的干擾。另外，在第二臂以7軸的自由度動(dòng)作的情況下，與第二臂以8軸以上的自由度動(dòng)作的情況相比較，第二臂的控制容易減少計(jì)算量。

第二機(jī)械手m2所具備的7個(gè)(關(guān)節(jié)所具備的)致動(dòng)器分別通過線纜以能夠通信的方式與機(jī)器人控制裝置60連接。由此，該致動(dòng)器基于從機(jī)器人控制裝置60獲取的控制信號(hào)，使第二機(jī)械手m2動(dòng)作。此外，經(jīng)由線纜的有線通信例如依據(jù)以太網(wǎng)(注冊(cè)商標(biāo))、usb等標(biāo)準(zhǔn)來進(jìn)行。另外，第二機(jī)械手m2所具備的7個(gè)致動(dòng)器中的一部分或者全部也可以是通過依據(jù)wi-fi(注冊(cè)商標(biāo))等通信標(biāo)準(zhǔn)進(jìn)行的無線通信與機(jī)器人控制裝置60連接的結(jié)構(gòu)。

第二拍攝部52例如是具備將會(huì)聚的光轉(zhuǎn)換為電信號(hào)的作為拍攝元件的ccd、cmos等的照相機(jī)。在這一個(gè)例子中，第二拍攝部52設(shè)置于第二機(jī)械手m2的一部分。因此，第二拍攝部52根據(jù)第二臂的動(dòng)作而移動(dòng)。另外，第二拍攝部52能夠拍攝的范圍根據(jù)第二臂的動(dòng)作而變化。第二拍攝部52可以是對(duì)該范圍的靜止圖像進(jìn)行拍攝的結(jié)構(gòu)，也可以是對(duì)該范圍的動(dòng)態(tài)圖像進(jìn)行拍攝的結(jié)構(gòu)。

另外，第二拍攝部52通過線纜以能夠通信的方式與機(jī)器人控制裝置60連接。經(jīng)由線纜的有線通信例如依據(jù)以太網(wǎng)(注冊(cè)商標(biāo))、usb等標(biāo)準(zhǔn)來進(jìn)行。此外，第二拍攝部52也可以是通過依據(jù)wi-fi(注冊(cè)商標(biāo))等通信標(biāo)準(zhǔn)進(jìn)行的無線通信與機(jī)器人控制裝置60連接的結(jié)構(gòu)。

另外，機(jī)器人50具備第三拍攝部53以及第四拍攝部54。

第三拍攝部53例如是具備將會(huì)聚的光轉(zhuǎn)換為電信號(hào)的作為拍攝元件的ccd、cmos等的照相機(jī)。第三拍攝部53設(shè)置于能夠與第四拍攝部54一起立體拍攝第四拍攝部54能夠拍攝的范圍的部位。第三拍攝部53通過線纜以能夠通信的方式與機(jī)器人控制裝置60連接。經(jīng)由線纜的有線通信例如依據(jù)以太網(wǎng)(注冊(cè)商標(biāo))、usb等標(biāo)準(zhǔn)來進(jìn)行。此外，第三拍攝部53也可以是通過依據(jù)wi-fi(注冊(cè)商標(biāo))等通信標(biāo)準(zhǔn)進(jìn)行的無線通信與機(jī)器人控制裝置60連接的結(jié)構(gòu)。

第四拍攝部54例如是具備將會(huì)聚的光轉(zhuǎn)換為電信號(hào)的作為拍攝元件的ccd、cmos等的照相機(jī)。第四拍攝部54設(shè)置于能夠與第三拍攝部53一起立體拍攝第三拍攝部53能夠拍攝的范圍的部位。第四拍攝部54通過線纜以能夠通信的方式與機(jī)器人控制裝置60連接。經(jīng)由線纜的有線通信例如依據(jù)以太網(wǎng)(注冊(cè)商標(biāo))、usb等標(biāo)準(zhǔn)來進(jìn)行。此外，第四拍攝部54也可以是通過依據(jù)wi-fi(注冊(cè)商標(biāo))等通信標(biāo)準(zhǔn)進(jìn)行的無線通信與機(jī)器人控制裝置60連接的結(jié)構(gòu)。

在這一個(gè)例子中，上述說明的機(jī)器人50所具備的這些各功能部從內(nèi)置于機(jī)器人50的機(jī)器人控制裝置60獲取控制信號(hào)。而且，該各功能部進(jìn)行基于獲取到的控制信號(hào)的動(dòng)作。此外，機(jī)器人50也可以是代替內(nèi)置機(jī)器人控制裝置60的結(jié)構(gòu)而被設(shè)置于外部的機(jī)器人控制裝置60控制的結(jié)構(gòu)。該情況下，機(jī)器人50和機(jī)器人控制裝置60構(gòu)成機(jī)器人系統(tǒng)。另外，機(jī)器人50也可以是不具備第一拍攝部51、第二拍攝部52、第三拍攝部53、以及第四拍攝部54中的一部分的結(jié)構(gòu)。

機(jī)器人控制裝置60通過對(duì)機(jī)器人50發(fā)送控制信號(hào)，來使機(jī)器人50動(dòng)作。由此，機(jī)器人控制裝置60使機(jī)器人50進(jìn)行規(guī)定的作業(yè)。

此外，第一拍攝部51、第二拍攝部52、第三拍攝部53以及第四拍攝部54中的一部分或者全部也可以是與機(jī)器人50獨(dú)立的拍攝部。該情況下，機(jī)器人50、與機(jī)器人50獨(dú)立的拍攝部、以及機(jī)器人控制裝置60構(gòu)成機(jī)器人系統(tǒng)。

<機(jī)器人控制裝置60的硬件結(jié)構(gòu)>

以下，對(duì)機(jī)器人控制裝置60的硬件結(jié)構(gòu)進(jìn)行說明。其中，表示機(jī)器人控制裝置60的硬件結(jié)構(gòu)的一個(gè)例子的圖與僅對(duì)表示圖2所示的圖像處理裝置20的硬件結(jié)構(gòu)的一個(gè)例子的圖的符號(hào)進(jìn)行了變更后的圖相同。機(jī)器人控制裝置60例如具備存儲(chǔ)部61、輸入受理部63、通信部、以及顯示部65。另外，機(jī)器人控制裝置60經(jīng)由通信部與機(jī)器人50進(jìn)行通信。這些結(jié)構(gòu)要素經(jīng)由總線bus以能夠相互通信的方式連接。

cpu21執(zhí)行儲(chǔ)存于存儲(chǔ)部61的各種程序。

存儲(chǔ)部61例如包含hdd、ssd、eeprom、rom、ram等。此外，存儲(chǔ)部61也可以代替被內(nèi)置于機(jī)器人控制裝置60而是通過usb等數(shù)字輸入輸出端口等連接了的外置型的存儲(chǔ)裝置。存儲(chǔ)部61儲(chǔ)存由機(jī)器人控制裝置60處理的各種信息、圖像、程序、表示未圖示的供給材料區(qū)域的位置的信息等。

輸入受理部63例如是具備鍵盤、鼠標(biāo)、觸摸板等的示教盒(teachingpendant)、或其它的輸入裝置。此外，輸入受理部63也可以作為觸摸面板與顯示部65構(gòu)成為一體。

通信部例如包含usb等數(shù)字輸入輸出端口、以太網(wǎng)(注冊(cè)商標(biāo))端口等而構(gòu)成。

顯示部65例如是液晶顯示器面板、或有機(jī)el(electroluminescence)顯示器面板。

<機(jī)器人控制裝置的功能結(jié)構(gòu)>

以下，參照?qǐng)D12，對(duì)機(jī)器人控制裝置60的功能結(jié)構(gòu)進(jìn)行說明。圖12是表示機(jī)器人控制裝置60的功能結(jié)構(gòu)的一個(gè)例子的圖。機(jī)器人控制裝置60具備存儲(chǔ)部61、輸入受理部63、顯示部65、圖像獲取部67、以及控制部68。

圖像獲取部67從第一拍攝部51獲取第一拍攝部51拍攝到的拍攝圖像。另外，圖像獲取部67從第二拍攝部52獲取第二拍攝部52拍攝到的拍攝圖像。另外，圖像獲取部67從第三拍攝部53獲取第三拍攝部53拍攝到的拍攝圖像。另外，圖像獲取部67從第四拍攝部54獲取第四拍攝部54拍攝到的拍攝圖像。

控制部68對(duì)機(jī)器人控制裝置60的整體進(jìn)行控制。控制部68具備拍攝控制部31a、顯示控制部33、第二圖像處理信息生成部37、第二圖像處理信息編輯部39、圖像處理執(zhí)行部43、以及機(jī)器人控制部45?？刂撇?8所具備的上述功能部例如通過cpu21執(zhí)行存儲(chǔ)于存儲(chǔ)部61的各種程序來實(shí)現(xiàn)。另外，這些功能部中的一部分或者全部也可以是lsi(largescaleintegration)、asic(applicationspecificintegratedcircuit)等硬件功能部。

拍攝控制部31a使第一拍攝部51、第二拍攝部52、第三拍攝部53以及第四拍攝部54的任意一個(gè)對(duì)包含對(duì)象物o的拍攝范圍進(jìn)行拍攝。以下，作為一個(gè)例子，對(duì)拍攝控制部31a使第三拍攝部53拍攝該拍攝范圍的情況進(jìn)行說明。

機(jī)器人控制部45基于圖像獲取部67從第三拍攝部53獲取到的由圖像處理執(zhí)行部43對(duì)拍攝圖像進(jìn)行的圖像處理的結(jié)果，使機(jī)器人50動(dòng)作。例如，由圖像處理執(zhí)行部43進(jìn)行的圖像處理的結(jié)果是對(duì)該拍攝圖像所包含的對(duì)象物o的重心在機(jī)器人坐標(biāo)系中的位置進(jìn)行計(jì)算的結(jié)果。該情況下，機(jī)器人控制部45基于該位置，使第一臂或者第二臂把持對(duì)象物o。

這樣，通過機(jī)器人控制裝置60具備圖像處理裝置20所具備的功能部的一部分，機(jī)器人50能夠得到與實(shí)施方式相同的效果。即，在機(jī)器人50所具備的機(jī)器人控制裝置60中，即使用戶沒有與用于使機(jī)器人50進(jìn)行規(guī)定的作業(yè)所需要的圖像處理相關(guān)的專業(yè)知識(shí)，也能夠基于事例信息，容易地選擇進(jìn)行所希望的圖像處理的事例。結(jié)果，用戶能夠通過機(jī)器人控制裝置60容易地進(jìn)行所希望的圖像處理，并能夠使機(jī)器人50容易地進(jìn)行規(guī)定的作業(yè)。

另外，在機(jī)器人50所具備的機(jī)器人控制裝置60中，由于能夠選擇事例信息，并執(zhí)行構(gòu)成選擇出的事例信息所表示的事例的多個(gè)工具，所以也可以不用每次想要進(jìn)行為了使機(jī)器人50進(jìn)行規(guī)定的作業(yè)所需要的圖像處理時(shí)，都重新選擇表示與該圖像處理相應(yīng)的工具的工具信息，能夠?qū)崿F(xiàn)與該圖像處理相關(guān)的作業(yè)的效率化。

此外，在實(shí)施方式的變形例中，對(duì)機(jī)器人控制裝置60具備圖像處理裝置20所具備的功能部的一部分的情況進(jìn)行了說明，但機(jī)器人50也可以是將機(jī)器人控制裝置60和圖像處理裝置20作為獨(dú)立個(gè)體而具備的結(jié)構(gòu)。該情況下，機(jī)器人控制裝置60和圖像處理裝置20通過有線或者無線以能夠相互通信的方式連接。另外，該情況下，機(jī)器人50、機(jī)器人控制裝置60、以及圖像處理裝置20構(gòu)成機(jī)器人系統(tǒng)。而且，機(jī)器人控制裝置60經(jīng)由圖像處理裝置20使第三拍攝部53對(duì)拍攝范圍進(jìn)行拍攝，并使圖像處理裝置20進(jìn)行基于拍攝到的拍攝圖像的圖像處理，從圖像處理裝置20獲取該圖像處理的結(jié)果。機(jī)器人控制裝置60基于獲取到的圖像處理的結(jié)果使機(jī)器人50進(jìn)行規(guī)定的作業(yè)。

另外，在實(shí)施方式的變形例中，對(duì)機(jī)器人控制裝置60具備圖像處理裝置20所具備的功能部的一部分的情況進(jìn)行了說明，但機(jī)器人50也可以是代替機(jī)器人控制裝置60而具備具有機(jī)器人控制裝置60的功能部的一部分的圖像處理裝置20的結(jié)構(gòu)。該情況下，圖像處理裝置20可以被內(nèi)置于機(jī)器人50，也可以是與機(jī)器人50獨(dú)立并與機(jī)器人50一起設(shè)置于機(jī)器人系統(tǒng)的結(jié)構(gòu)。而且，圖像處理裝置20使第三拍攝部53對(duì)拍攝范圍進(jìn)行拍攝，進(jìn)行基于拍攝到的拍攝圖像的圖像處理，并基于該圖像處理的結(jié)果使機(jī)器人50進(jìn)行規(guī)定的作業(yè)。

如以上說明那樣，實(shí)施方式中的圖像處理裝置20(或者機(jī)器人50、上述機(jī)器人系統(tǒng))受理來自用戶的操作，并基于受理到的操作，選擇表示由多個(gè)第一圖像處理(在這一個(gè)例子中是工具)構(gòu)成的第二圖像處理(在這一個(gè)例子中是事例)的信息即第二圖像處理信息(在這一個(gè)例子中，是事例信息)，進(jìn)行構(gòu)成第二圖像處理信息所表示的第二圖像處理的多個(gè)第一圖像處理的編輯。由此，在圖像處理裝置20中，能夠容易地進(jìn)行用戶所希望的圖像處理。

另外，圖像處理裝置20使顯示部(在這一個(gè)例子中，是顯示部25或者顯示部65)顯示多個(gè)第二圖像處理信息，能夠從所顯示的該多個(gè)第二圖像處理信息中選擇第二圖像處理信息。由此，圖像處理裝置20能夠基于選擇出的第二圖像處理信息，容易地進(jìn)行用戶所希望的圖像處理。

另外，圖像處理裝置20基于從用戶受理到的操作，進(jìn)行表示構(gòu)成第二圖像處理信息所表示的第二圖像處理的第一圖像處理的第一圖像處理信息(在這一個(gè)例子中，是工具信息)的追加或者刪除，作為構(gòu)成第二圖像處理信息所表示的第二圖像處理的多個(gè)第一圖像處理的編輯。由此，圖像處理裝置20能夠?qū)⒌诙D像處理變更為用戶所希望的圖像處理。

另外，圖像處理裝置20能夠由用戶輸入在基于第一圖像處理信息的第一圖像處理的執(zhí)行中所使用的參數(shù)。由此，圖像處理裝置20能夠基于輸入的參數(shù)，容易地進(jìn)行用戶所希望的圖像處理。

另外，圖像處理裝置20基于從用戶受理到的操作來選擇2個(gè)以上第一圖像處理信息，并基于選擇出的第一圖像處理信息生成第二圖像處理信息。由此，圖像處理裝置能夠基于所生成的第二圖像處理信息，容易地進(jìn)行用戶所希望的圖像處理。

(第二實(shí)施方式)

<圖像處理裝置的概要>

圖13是表示本發(fā)明的一個(gè)實(shí)施方式(第二實(shí)施方式)涉及的圖像處理裝置11的簡要的結(jié)構(gòu)例的圖。另外，圖13中還示有與圖像處理裝置11連接的拍攝裝置12。

圖像處理裝置11具備輸入部121、輸出部122、存儲(chǔ)部123、以及圖像處理控制部124。

輸入部121具備指定部141。

輸出部122具備顯示部151。

圖像處理控制部124具備指標(biāo)值計(jì)算部161、對(duì)焦顯示部162、傾斜判定部163、以及最佳指標(biāo)值顯示部164。

輸入部121輸入信息。作為一個(gè)例子，輸入部121可以具有操作部，輸入與由用戶對(duì)該操作部進(jìn)行的操作相應(yīng)的信息。作為其它例，輸入部121也可以通過接收從外部的裝置發(fā)送出的信息來進(jìn)行輸入。在本實(shí)施方式中，輸入部121輸入由拍攝裝置12拍攝到的圖像的數(shù)據(jù)。

指定部141輸入與由用戶進(jìn)行的指定相應(yīng)的信息，來指定圖像的部分(圖像的一部分)。指定部141的功能也可以包含于通過上述的操作部來輸入信息的功能。

輸出部122輸出信息。作為一個(gè)例子，輸出部122可以對(duì)用戶輸出信息。作為其它例，輸出部122也可以通過向外部的裝置發(fā)送信息來進(jìn)行輸出。

顯示部151具有畫面(顯示畫面)，在該畫面上顯示輸出信息，從而對(duì)用戶輸出該信息。

此外，輸出部122也可以具有通過聲音輸出信息的揚(yáng)聲器，利用該揚(yáng)聲器來輸出信息。

存儲(chǔ)部123存儲(chǔ)信息。

存儲(chǔ)部123存儲(chǔ)被圖像處理控制部124使用的控制程序以及參數(shù)等。

另外，存儲(chǔ)部123存儲(chǔ)多個(gè)圖像的信息(圖像數(shù)據(jù))、以及與圖像處理相關(guān)的信息。

此外，存儲(chǔ)部123也可以存儲(chǔ)其它任意的信息。

圖像處理控制部124具有cpu(centralprocessingunit)，通過利用該cpu執(zhí)行存儲(chǔ)于存儲(chǔ)部123的控制程序，來進(jìn)行各種處理。在這種情況下，該cpu也可以使用存儲(chǔ)于存儲(chǔ)部123的參數(shù)等。

指標(biāo)值計(jì)算部161對(duì)于圖像的信息，計(jì)算指標(biāo)值。

對(duì)焦顯示部162對(duì)上述的圖像的部分，基于計(jì)算出的指標(biāo)值來顯示對(duì)焦的有無的信息。

傾斜判定部163基于圖像的多個(gè)部分中的對(duì)焦的有無，來判定傾斜的有無。

最佳指標(biāo)值顯示部164在通過用戶的手動(dòng)對(duì)拍攝裝置12的聚焦環(huán)等進(jìn)行了調(diào)整的情況下，將對(duì)焦最符合的指標(biāo)值(在本實(shí)施方式中，將對(duì)焦最符合稱為最佳)顯示于顯示部151。

這里，在本實(shí)施方式中，將對(duì)圖像進(jìn)行拍攝的拍攝裝置12、和對(duì)由拍攝裝置12拍攝到的圖像的信息進(jìn)行處理的圖像處理裝置11構(gòu)成為獨(dú)立元件，但作為其它結(jié)構(gòu)例，也可以將圖像處理裝置11的功能一體地組裝于拍攝裝置12。

<指標(biāo)值>

參照?qǐng)D14～圖20，對(duì)在本實(shí)施方式中使用的指標(biāo)值進(jìn)行說明。在本實(shí)施方式中，指標(biāo)值計(jì)算部161對(duì)指標(biāo)值進(jìn)行計(jì)算。

在本實(shí)施方式中，使用能夠單獨(dú)地判定是否對(duì)焦的指標(biāo)值。這樣的指標(biāo)值并不是相對(duì)的而是絕對(duì)的指標(biāo)值。絕對(duì)的指標(biāo)值例如不依賴于每個(gè)圖像的亮度的變化，即使對(duì)不同的圖像也都有效。

在本實(shí)施方式中，作為指標(biāo)值，使用稱為模糊寬度的值。模糊寬度是在圖像的對(duì)象區(qū)域中，從對(duì)比度較高的圖像中提取一定數(shù)量的輪廓線的寬度(邊緣寬度)的平均值，是以像素(pixel)為單位的值。

這里，在本實(shí)施方式中，作為邊緣寬度，使用與對(duì)比度的20％～80％相當(dāng)?shù)膶挾?，但作為其它結(jié)構(gòu)例，也可以使用其它百分比(％)的寬度。例如，作為邊緣寬度，也可以使用與對(duì)比度的10％～90％相當(dāng)?shù)膶挾?、或者也可以使用與對(duì)比度的30％～70％相當(dāng)?shù)膶挾?、或者也可以使用其它寬度?/p>

在本實(shí)施方式中，作為一個(gè)像素的指標(biāo)值，使用該像素中的局部的模糊寬度(邊緣寬度)。

另外，在本實(shí)施方式中，作為規(guī)定區(qū)域的指標(biāo)值，使用利用該規(guī)定區(qū)域中的多個(gè)局部的模糊寬度(邊緣寬度)而以統(tǒng)計(jì)方式計(jì)算出的模糊寬度(統(tǒng)計(jì)模糊寬度)。

首先，參照?qǐng)D14～圖16，對(duì)圖像的局部的模糊寬度(本實(shí)施方式中的一個(gè)像素的指標(biāo)值)進(jìn)行說明。

指標(biāo)值計(jì)算部161對(duì)處理對(duì)象的圖像的整體進(jìn)行掃描，在檢測出亮度的梯度時(shí)，從那里沿著梯度方向檢測局部的模糊寬度(邊緣寬度)并進(jìn)行提取。其中，此時(shí)提取輪廓。

圖14是表示由拍攝裝置12拍攝到的圖像111的一個(gè)例子的圖。

另外，圖14中示有將圖像111的一部分放大后的圖像(放大圖像112)。放大圖像112中示有指標(biāo)值計(jì)算部161開始探索的位置(探索開始位置131)和亮度的梯度方向132。在本實(shí)施方式中，將從亮度較高(亮)的一方朝向較低(暗)的一方的方向設(shè)為梯度方向，但作為其它結(jié)構(gòu)例，也可以將從亮度較低(暗)的一方朝向較高(亮)的一方的方向設(shè)為梯度方向。

圖15是表示梯度方向的距離與亮度的關(guān)系的一個(gè)例子的圖。

梯度方向的距離例如以亮度的最大值或最小值等為基準(zhǔn)來決定。

在圖15所示的圖表中，橫軸表示亮度的梯度方向的距離(長度)，縱軸表示亮度。對(duì)于處理對(duì)象的圖像中的一個(gè)梯度方向(圖14中的梯度方向132的一個(gè)例子)，示有探索開始位置211(圖14中的探索開始位置131的一個(gè)例子)和亮度的特性212。

在本實(shí)施方式中，指標(biāo)值計(jì)算部161在亮度的特性212中，以亮度的最大值與最小值的對(duì)比度為基準(zhǔn)，決定對(duì)比度的20％～80％。

圖15中示有亮度為最大值的距離a1、亮度為最小值的距離a4、亮度為對(duì)比度的80％的距離a2、以及亮度為對(duì)比度的20％的距離a3。距離a1與距離a4之間的長度相當(dāng)于亮度的兩端的寬度(亮度兩端寬度)。距離a2與距離a3之間的長度相當(dāng)于本實(shí)施方式的邊緣寬度。距離a2與距離a3之間的中點(diǎn)的位置成為該邊緣寬度的中點(diǎn)的位置(邊緣中點(diǎn)位置)。

這里，在本實(shí)施方式中，指標(biāo)值計(jì)算部161將亮度是規(guī)定的閾值以上的位置作為探索開始位置211來使用。該閾值例如可以被預(yù)先設(shè)定，并存儲(chǔ)于存儲(chǔ)部123。而且，指標(biāo)值計(jì)算部161從探索開始位置211開始，對(duì)亮度的梯度的兩側(cè)進(jìn)行探索，直到亮度平坦或者梯度反轉(zhuǎn)。此外，探索開始位置211也可以稍微偏離，只要能夠沿著兩側(cè)行進(jìn)，就能夠得到同樣的探索結(jié)果。

圖16是表示邊緣圖311的一個(gè)例子的圖。

指標(biāo)值計(jì)算部161基于探索結(jié)果，生成邊緣圖311。

邊緣圖311例如是能夠?qū)μ幚韺?duì)象的圖像中的全部的像素的位置，儲(chǔ)存(存儲(chǔ))規(guī)定的信息的表。

在本實(shí)施方式中，指標(biāo)值計(jì)算部161使與邊緣寬度相關(guān)的信息和該邊緣寬度的中點(diǎn)的位置(邊緣中點(diǎn)位置331)對(duì)應(yīng)，儲(chǔ)存于邊緣圖311。在本實(shí)施方式中，作為與邊緣寬度相關(guān)的信息，將邊緣寬度(本身)的信息和其對(duì)比度的信息儲(chǔ)存至邊緣圖311。

指標(biāo)值計(jì)算部161在處理對(duì)象的圖像的整體中，對(duì)亮度的梯度的全部進(jìn)行探索，并將其信息儲(chǔ)存至邊緣圖311。由此，在邊緣圖311中，對(duì)于處理對(duì)象的圖像的整體，匯總與邊緣寬度相關(guān)的信息。在本實(shí)施方式中，在該處理中排除相同的信息的重復(fù)。

接下來，參照?qǐng)D17～圖20，對(duì)圖像中的統(tǒng)計(jì)模糊寬度(本實(shí)施方式中的規(guī)定區(qū)域的指標(biāo)值)進(jìn)行說明。

圖17是表示圖像411的尺寸的一個(gè)例子的圖。

在本實(shí)施方式中，將與圖像411的尺寸相同尺寸的圖像作為處理對(duì)象。圖像411是長方形(或者正方形)，作為其尺寸，橫向的長度(寬度)是w，縱向的長度(高度)是h，對(duì)角線的長度是l。這里，w、h、l分別用像素的個(gè)數(shù)來表示。

圖18是針對(duì)邊緣寬度示出對(duì)比度與個(gè)數(shù)的關(guān)系的一個(gè)例子的圖。

圖18所示的圖表與在處理對(duì)象的圖像的整體中探索出的邊緣寬度相關(guān)。

在圖18所示的圖表中，橫軸表示邊緣寬度的對(duì)比度，縱軸表示邊緣寬度的個(gè)數(shù)。對(duì)于邊緣寬度，示有對(duì)比度與個(gè)數(shù)的關(guān)系的特性511。在本實(shí)施方式中，亮度的值是0～255，對(duì)比度是0～255。

指標(biāo)值計(jì)算部161從已得到的邊緣寬度中，從對(duì)比度高的邊緣寬度起提取規(guī)定量的邊緣寬度的信息。在本實(shí)施方式中，作為該規(guī)定量，使用處理對(duì)象的圖像的對(duì)角線的長度(l個(gè)像素)。作為其它結(jié)構(gòu)例，作為該規(guī)定量，例如也可以使用處理對(duì)象的圖像的橫向的長度(w個(gè)像素)，或者也可以使用處理對(duì)象的圖像的縱向的長度(h個(gè)像素)，或者也可以使用它們之和((w+h)個(gè)像素)，或者也可以使用其它長度。

在圖18中，在特性511中對(duì)被提取的部分標(biāo)注斜線。

圖19是表示在邊緣圖611(與圖16所示的邊緣圖311相當(dāng))中被提取出的部分(提取部分631)的一個(gè)例子的圖。

在圖19中，對(duì)提取部分631標(biāo)注有斜線。

指標(biāo)值計(jì)算部161計(jì)算提取出的全部的邊緣寬度(儲(chǔ)存于邊緣圖611中的邊緣中點(diǎn)位置的邊緣寬度)的平均值。而且，指標(biāo)值計(jì)算部161將該計(jì)算結(jié)果(該平均值)作為模糊寬度(統(tǒng)計(jì)模糊寬度)，作為本實(shí)施方式中的對(duì)焦的指標(biāo)值(規(guī)定區(qū)域的指標(biāo)值)來使用。

圖20是表示計(jì)算模糊寬度的處理的順序的一個(gè)例子的流程圖。

此外，以上示出了指標(biāo)值計(jì)算部161對(duì)處理對(duì)象的圖像的整體的區(qū)域計(jì)算模糊寬度的情況，但也可以對(duì)處理對(duì)象的圖像中的一部分區(qū)域計(jì)算模糊寬度。它們只是區(qū)域不同，能夠通過同樣的處理來計(jì)算模糊寬度。在本實(shí)施方式中，作為處理對(duì)象的圖像中的一部分區(qū)域的一個(gè)例子，使用關(guān)心區(qū)域(roi：regionofinterest)。指定部141也可以根據(jù)用戶的指示等，來指定roi。

(步驟s1)

指標(biāo)值計(jì)算部161計(jì)算處理對(duì)象的圖像(或者，roi)的對(duì)角線的長度(對(duì)角長)。在本實(shí)施方式中，該對(duì)角長是l個(gè)像素。

(步驟s2)

指標(biāo)值計(jì)算部161基于邊緣寬度的探索結(jié)果，從對(duì)比度較高的邊緣寬度起提取l個(gè)像素量的邊緣寬度。

(步驟s3)

指標(biāo)值計(jì)算部161計(jì)算提取出的邊緣寬度的平均值。該平均值作為處理對(duì)象的圖像(或者，roi)的模糊寬度來使用，在本實(shí)施方式中，作為對(duì)焦的指標(biāo)值(規(guī)定區(qū)域的指標(biāo)值)來使用。

這里，雖然在本實(shí)施方式中，從對(duì)比度較高的邊緣寬度起提取規(guī)定量的邊緣寬度的信息，但作為其它結(jié)構(gòu)例，也可以使用從模糊寬度(這里是邊緣寬度)較小的邊緣寬度起提取規(guī)定量的邊緣寬度的信息的結(jié)構(gòu)。

另外，在本實(shí)施方式中，對(duì)于亮度的輪廓線而言，設(shè)亮度的梯度是一條直線(斜率是一個(gè))而計(jì)算了邊緣寬度，但作為其它結(jié)構(gòu)例，也可以在亮度的輪廓線中，通過連接多個(gè)微小的亮度的梯度來計(jì)算邊緣寬度，該情況下，邊緣寬度成為從邊緣的一端到該邊緣的另一端對(duì)微小的亮度的梯度的長度進(jìn)行總計(jì)而得到的值(積分值)。該值成為在亮度的梯度中，從邊緣的一端到該邊緣的另一端，沿著各個(gè)位置上的亮度梯度方向的鋸齒狀，對(duì)其長度進(jìn)行總計(jì)所得的值。在本實(shí)施方式中，邊緣的一端成為對(duì)比度是20％的位置，該邊緣的另一端成為對(duì)比度是80％的位置。

此外，對(duì)于模糊寬度，由本申請(qǐng)人得到了以下那樣的評(píng)價(jià)實(shí)驗(yàn)的結(jié)果，可認(rèn)為模糊寬度適合作為對(duì)焦的指標(biāo)值。

(評(píng)價(jià)實(shí)驗(yàn)的結(jié)果1)從焦點(diǎn)大幅偏離的位置到對(duì)焦附近為止的模糊寬度單調(diào)減少。

(評(píng)價(jià)實(shí)驗(yàn)的結(jié)果2)在對(duì)焦附近中，高頻的對(duì)比度的再現(xiàn)與模糊寬度具有一定的相關(guān)性。

(評(píng)價(jià)實(shí)驗(yàn)的結(jié)果3)模糊寬度幾乎不被噪聲影響。

(評(píng)價(jià)實(shí)驗(yàn)的結(jié)果4)在中間色調(diào)中，即使對(duì)比度不同，模糊寬度也幾乎不變。

(評(píng)價(jià)實(shí)驗(yàn)的結(jié)果5)即使對(duì)象改變，也能夠?qū)⒛：龑挾茸鳛榻^對(duì)指標(biāo)來使用。此外，雖然模糊寬度也可包含一定的誤差，但是是認(rèn)為在實(shí)際使用中沒有問題的程度。

<圖像處理裝置的詳細(xì)動(dòng)作>

參照?qǐng)D21～圖30，對(duì)圖像處理裝置11的動(dòng)作的詳細(xì)內(nèi)容進(jìn)行說明。

參照?qǐng)D21～圖23，對(duì)與對(duì)焦的有無的判定以及傾斜的有無的判定相關(guān)的處理進(jìn)行說明。

圖21是表示拍攝的配置的一個(gè)例子的圖。

圖21中示有拍攝裝置711(圖13所示的拍攝裝置12的一個(gè)例子)、與拍攝裝置711的拍攝面平行的面(平行面721)、以及對(duì)象物722。這里，平行面721是用于說明的假想的面，不是存在于實(shí)際的空間的物體。

在圖21的例子中，平面狀的對(duì)象物722成為不與平行面721平行的配置(非平行的配置)。

圖22是表示對(duì)焦的有無的顯示的一個(gè)例子的圖。

圖22中示有顯示部151的畫面所顯示的圖像811的一個(gè)例子。該圖像811是在以圖21的例子的配置拍攝到的圖像上，由對(duì)焦顯示部162顯示了對(duì)焦的有無的圖像。

該圖像811所包含的對(duì)象物的圖像812是圖21所示的對(duì)象物722的圖像，在圖22的例子中，右側(cè)進(jìn)行了對(duì)焦而左側(cè)未進(jìn)行對(duì)焦。

在圖22的例子中，對(duì)焦顯示部162對(duì)4個(gè)框的區(qū)域(框區(qū)域831～834)分別判定對(duì)焦的有無(是否進(jìn)行了對(duì)焦)，并顯示表示該判定的結(jié)果的信息。上述框區(qū)域831～834例如是想要作為進(jìn)行檢查、測量等的對(duì)象的關(guān)心區(qū)域(roi)。

在圖22的例子中，對(duì)焦顯示部162使正進(jìn)行對(duì)焦的框區(qū)域831～833的框的線型(例如，實(shí)線)與未進(jìn)行對(duì)焦的框區(qū)域834的框的線型(例如，虛線)不同來進(jìn)行顯示，從而區(qū)別地顯示對(duì)焦的有無。

此外，作為區(qū)別地顯示對(duì)焦的有無的結(jié)構(gòu)，也可以使用其它結(jié)構(gòu)。作為一個(gè)例子，對(duì)焦顯示部162也可以使進(jìn)行對(duì)焦的框區(qū)域831～833的框或者內(nèi)部的顏色(例如，綠色)與未進(jìn)行對(duì)焦的框區(qū)域834的框或者內(nèi)部的顏色(例如，紅色)不同來進(jìn)行顯示，從而區(qū)別地顯示對(duì)焦的有無。作為其它例，對(duì)焦顯示部162也可以使進(jìn)行對(duì)焦的框區(qū)域831～833的框或者內(nèi)部的花紋與未進(jìn)行對(duì)焦的框區(qū)域834的框或者內(nèi)部的花紋不同來進(jìn)行顯示，從而區(qū)別地顯示對(duì)焦的有無。作為其它例，對(duì)焦顯示部162也可以使用文字、數(shù)字、符號(hào)等來對(duì)各框區(qū)域831～834區(qū)別地顯示對(duì)焦的有無。

這里，在對(duì)各框區(qū)域831～834通過指標(biāo)值計(jì)算部161計(jì)算出的指標(biāo)值比規(guī)定的閾值良好的情況下，對(duì)焦顯示部162判定為進(jìn)行對(duì)焦(有對(duì)焦)，在該指標(biāo)值沒有比該閾值良好的情況下，對(duì)焦顯示部162判定為未進(jìn)行對(duì)焦(無對(duì)焦)。該情況下，指標(biāo)值計(jì)算部161將各框區(qū)域831～834作為roi，對(duì)各框區(qū)域831～834計(jì)算指標(biāo)值。該閾值例如也可以被預(yù)先設(shè)定，并存儲(chǔ)于存儲(chǔ)部123。

在本實(shí)施方式中，將模糊寬度作為指標(biāo)值來使用，指標(biāo)值越小則在對(duì)焦的點(diǎn)上越良好，指標(biāo)值越大則在對(duì)焦的點(diǎn)上越不良好。

在圖22的例子中，針對(duì)對(duì)象物的圖像812，在上側(cè)且左右的中央附近設(shè)定有框區(qū)域831，在右側(cè)且上下的中央附近設(shè)定有框區(qū)域832，在下側(cè)且左右的中央附近設(shè)定有框區(qū)域833，在左側(cè)且上下的中央附近設(shè)定有框區(qū)域834。各框區(qū)域831～834分別被配置于夾著對(duì)象物的圖像812的各邊而包含內(nèi)部和外部的位置。

此外，作為一個(gè)例子，各框區(qū)域831～834也可以被預(yù)先設(shè)定，并存儲(chǔ)于存儲(chǔ)部123。作為其它例，指定部141也可以根據(jù)用戶的指示等，來指定各框區(qū)域831～834。

另外，在圖22的例子中，示出了在一個(gè)圖像811上表示4個(gè)框區(qū)域831～834的情況，但在一個(gè)圖像上示有的框區(qū)域的個(gè)數(shù)可以是1個(gè)以上任意的個(gè)數(shù)。例如，指定部141也可以根據(jù)用戶的指示等，指定框區(qū)域的個(gè)數(shù)。

傾斜判定部163基于由對(duì)焦顯示部162判定對(duì)焦的有無的結(jié)果，來判定傾斜的有無。在本實(shí)施方式中，傾斜判定部163對(duì)處理對(duì)象的圖像811所包含的對(duì)象物的圖像812，判定該對(duì)象物的傾斜的有無(該對(duì)象物是否傾斜)。在本實(shí)施方式中，傾斜判定部163在對(duì)針對(duì)對(duì)象物設(shè)定的2個(gè)以上區(qū)域(在圖22的例子中，是框區(qū)域831～834)的全部進(jìn)行對(duì)焦的情況下，判定為該對(duì)象物未傾斜，另一方面，在對(duì)一個(gè)以上區(qū)域未進(jìn)行對(duì)焦的情況下，判定為該對(duì)象物傾斜。此外，在本實(shí)施方式中，是在對(duì)全部的區(qū)域未進(jìn)行對(duì)焦的情況下判定為對(duì)象物傾斜的結(jié)構(gòu)，但也可以使用其它結(jié)構(gòu)。

在圖22的例子中，針對(duì)對(duì)象物，對(duì)上側(cè)的框區(qū)域831、右側(cè)的框區(qū)域832以及下側(cè)的框區(qū)域833進(jìn)行對(duì)焦，對(duì)左側(cè)的框區(qū)域834未進(jìn)行對(duì)焦?；诖?，傾斜判定部163判定為該對(duì)象物傾斜。

傾斜判定部163將表示傾斜的有無的判定結(jié)果的信息顯示于顯示部151的畫面。

例如，傾斜判定部163可以使具有傾斜的對(duì)象物的框(輪廓)的線型(例如，實(shí)線)與沒有傾斜的對(duì)象物的框(輪廓)的線型(例如，虛線)不同來顯示，從而區(qū)別地顯示傾斜的有無。

此外，作為區(qū)分地顯示傾斜的有無的結(jié)構(gòu)，也可以使用其它結(jié)構(gòu)。作為一個(gè)例子，傾斜判定部163也可以使具有傾斜的對(duì)象物的框(輪廓)或者內(nèi)部的顏色(例如，黃色)與沒有傾斜的對(duì)象物的框(輪廓)或者內(nèi)部的顏色(例如，藍(lán)色)不同來顯示，從而區(qū)別地顯示傾斜的有無。作為其它例，傾斜判定部163也可以使具有傾斜的對(duì)象物的框(輪廓)或者內(nèi)部的花紋與沒有傾斜的對(duì)象物的框(輪廓)或者內(nèi)部的花紋不同來顯示，從而區(qū)別地顯示傾斜的有無。作為其它例，傾斜判定部163也可以在沒有傾斜的情況下顯示包含全部的區(qū)域的框(在圖22的例子中，是包圍4個(gè)框區(qū)域831～834的框，未圖示)，另一方面，在有傾斜的情況下不顯示該框，從而可以區(qū)別地顯示傾斜的有無。作為其它例，傾斜判定部163也可以使用文字、數(shù)字、符號(hào)等，區(qū)別地顯示對(duì)象物的傾斜的有無。

圖23是表示顯示對(duì)焦的有無的處理以及判定傾斜的處理的順序的一個(gè)例子的流程圖。

在圖像處理裝置11中，進(jìn)行(步驟s21)～(步驟s29)的處理。

(步驟s21)

輸入部121輸入由拍攝裝置12拍攝到的圖像的信息。

(步驟s22)

指標(biāo)值計(jì)算部161以及對(duì)焦顯示部162對(duì)被輸入的圖像的信息，提取最初成為計(jì)算指標(biāo)值的對(duì)象的區(qū)域(在圖22的例子中，是框區(qū)域831～834中的任意一個(gè))的信息并獲取。此外，該區(qū)域例如也可以被預(yù)先設(shè)定、或者也可以由指定部141指定。

(步驟s23)

指標(biāo)值計(jì)算部161對(duì)計(jì)算指標(biāo)值的對(duì)象的區(qū)域(在本例中，是在當(dāng)前時(shí)刻成為對(duì)象的一個(gè)區(qū)域)，計(jì)算指標(biāo)值。

(步驟s24)

對(duì)焦顯示部162基于由指標(biāo)值計(jì)算部161計(jì)算出的指標(biāo)值，判定對(duì)焦的有無。

(步驟s25)

對(duì)焦顯示部162針對(duì)對(duì)象的區(qū)域，將對(duì)焦的有無的判定的結(jié)果(在圖22的例子中，是與對(duì)象的框區(qū)域相關(guān)的信息)顯示于顯示部151的畫面。

(步驟s26)

這里，在本例中，圖像處理控制部124(例如，對(duì)焦顯示部162等)判定是否通過輸入部121被輸入了與由用戶進(jìn)行的操作相應(yīng)的結(jié)束的指示。

在該判定的結(jié)果是圖像處理控制部124(例如，對(duì)焦顯示部162等)判定為被輸入了結(jié)束的指示的情況下，結(jié)束本處理(步驟s26：是)。另一方面，在該判定的結(jié)果是圖像處理控制部124(例如，對(duì)焦顯示部162等)判定為未被輸入結(jié)束的指示的情況下，移至(步驟s27)的處理(步驟s26：否)。

此外，也可以將(步驟s26)的處理設(shè)置在本流程中的其它位置。

(步驟s27)

對(duì)焦顯示部162判定是否存在下一個(gè)成為計(jì)算指標(biāo)值的對(duì)象的區(qū)域。

在該判定的結(jié)果是對(duì)焦顯示部162判定為存在下一個(gè)成為計(jì)算指標(biāo)值的對(duì)象的區(qū)域的情況下，移至(步驟s28)的處理(步驟s27：是)。另一方面，在該判定的結(jié)果是對(duì)焦顯示部162判定為不存在下一個(gè)成為計(jì)算指標(biāo)值的對(duì)象的區(qū)域的情況下，移至(步驟s29)的處理(步驟s27：否)。

這里，在本實(shí)施方式中，當(dāng)設(shè)定有成為計(jì)算指標(biāo)值的對(duì)象的區(qū)域的個(gè)數(shù)(在圖22的例子中，是框區(qū)域831～834的個(gè)數(shù)即4個(gè))的情況下，對(duì)焦顯示部162在對(duì)該個(gè)數(shù)的區(qū)域計(jì)算出指標(biāo)值的時(shí)刻，判定為不存在下一個(gè)成為計(jì)算指標(biāo)值的對(duì)象的區(qū)域。該個(gè)數(shù)例如可以預(yù)先設(shè)定、或者也可以由指定部141指定。

另外，作為其它結(jié)構(gòu)例，對(duì)焦顯示部162也可以根據(jù)與由用戶進(jìn)行的操作相應(yīng)的指示(通過輸入部121輸入的用戶的指示)，來判定是否存在下一個(gè)成為計(jì)算指標(biāo)值的對(duì)象的區(qū)域。

(步驟s28)

指標(biāo)值計(jì)算部161以及對(duì)焦顯示部162對(duì)被輸入的圖像的信息，提取并獲取下一個(gè)成為計(jì)算指標(biāo)值的對(duì)象的區(qū)域的信息。而且，在圖像處理裝置11中，將該區(qū)域設(shè)為對(duì)象，并移至(步驟s23)的處理。

(步驟s29)

傾斜判定部163作為綜合判定，基于由對(duì)焦顯示部162判定對(duì)焦的有無的結(jié)果，來判定傾斜的有無。另外，傾斜判定部163將表示該判定的結(jié)果的信息顯示于顯示部151的畫面。而且，在圖像處理裝置11中，移至(步驟s21)的處理。這里，在本實(shí)施方式中，傾斜判定部163對(duì)與被輸入的圖像的信息相應(yīng)的圖像所包含的對(duì)象物，判定傾斜的有無(該對(duì)象物是否傾斜)。

在本實(shí)施方式中，在通過傾斜判定部163判定為有傾斜的情況下，進(jìn)行變更拍攝的配置(在圖21的例子中，是拍攝裝置711與對(duì)象物722的傾斜等的配置)的處理，直到判定為沒有傾斜。該變更的處理例如可以通過由圖像處理裝置11或者其它裝置執(zhí)行的預(yù)先設(shè)定的控制來進(jìn)行、或者也可以通過用戶的手動(dòng)來進(jìn)行。這里，拍攝的配置的變更例如可以變更拍攝裝置711本身或者對(duì)象物722本身的位置或者姿勢(shì)、或者也可以變更拍攝裝置711的內(nèi)部的光學(xué)系統(tǒng)元件(透鏡等)的位置或者姿勢(shì)。

在本實(shí)施方式中，在通過傾斜判定部163判定為有傾斜的情況下，視為拍攝的配置不行(ng)，在通過傾斜判定部163判定為沒有傾斜的情況下，許可(ok)拍攝的配置。

此外，例如也可以使用預(yù)先設(shè)定如被判定了對(duì)焦的有無的區(qū)域只有一個(gè)的情況等那樣，很難或者不能夠判定傾斜的情況的條件，在滿足該條件時(shí)，傾斜判定部163不進(jìn)行傾斜的判定的結(jié)構(gòu)。

在圖22的例子中，在圖像處理裝置11中反復(fù)進(jìn)行下述處理：獲取1張圖像811，進(jìn)行對(duì)該圖像811所包含的對(duì)象物的圖像812設(shè)定4個(gè)框區(qū)域831～834，對(duì)各框區(qū)域831～834判定對(duì)焦的有無并顯示，基于其結(jié)果判定該對(duì)象物的傾斜的有無并顯示的處理，之后，獲取下一個(gè)圖像并進(jìn)行同樣的處理。

參照?qǐng)D24～圖28，對(duì)對(duì)焦的有無根據(jù)拍攝的配置發(fā)生變化的情況進(jìn)行說明。

圖24是表示拍攝的配置的另一個(gè)例子的圖。

圖24中示有拍攝裝置911(圖13所示的拍攝裝置12的一個(gè)例子)、以及3個(gè)不同的對(duì)象物931～933。

在圖24的例子中，各對(duì)象物931～933相對(duì)于拍攝裝置911的拍攝面的距離(在圖24的例子中，是距離被放置了對(duì)象物931的臺(tái)的高度)各不相同。

圖25是表示由拍攝裝置911拍攝的圖像1011中的對(duì)象物的圖像1031～1033的配置的一個(gè)例子的圖。

在圖25的例子中，示有各對(duì)象物的圖像1031～1033的配置，未示出對(duì)焦的有無。對(duì)象物的圖像1031、對(duì)象物的圖像1032、對(duì)象物的圖像1033分別是與圖24所示的對(duì)象物931、對(duì)象物932、對(duì)象物933對(duì)應(yīng)的圖像。

在本例中，由于各對(duì)象物931～933相對(duì)于拍攝裝置911的拍攝面的距離不同，所以關(guān)于各對(duì)象物的圖像1031～1033，對(duì)焦的有無可能不同。

在圖26～圖28中，在第一配置、第二配置以及第三配置中，拍攝裝置911與對(duì)象物931～933的配置(拍攝的配置)各不相同。

根據(jù)拍攝的配置的變更，來切換第一配置、第二配置、第三配置以及其它配置。該變更的處理例如可以通過由圖像處理裝置11或者其它裝置執(zhí)行的預(yù)先設(shè)定的控制來進(jìn)行，或者也可以通過用戶的手動(dòng)來進(jìn)行。這里，拍攝的配置的變更例如可以變更拍攝裝置911本身或者對(duì)象物931～933本身的位置或者姿勢(shì)，或者也可以變更拍攝裝置911的內(nèi)部的光學(xué)系統(tǒng)元件(透鏡等)的位置或者姿勢(shì)。

圖26是表示每個(gè)像素的對(duì)焦的有無的顯示的一個(gè)例子的圖。

圖26中示有在第一配置中由拍攝裝置911拍攝到的圖像1111的一個(gè)例子。該圖像1111中包含與圖24所示的對(duì)象物931、對(duì)象物932、對(duì)象物933分別對(duì)應(yīng)的對(duì)象物的圖像1131、對(duì)象物的圖像1132、對(duì)象物的圖像1133。

在圖26的例子中，指標(biāo)值計(jì)算部161以及對(duì)焦顯示部162將圖像1111的整體的區(qū)域設(shè)定為成為計(jì)算指標(biāo)值的對(duì)象的區(qū)域。指標(biāo)值計(jì)算部161對(duì)每個(gè)像素計(jì)算邊緣寬度(在本例中，為一個(gè)像素的指標(biāo)值)。對(duì)焦顯示部162對(duì)每個(gè)計(jì)算出邊緣寬度的像素，判定對(duì)焦的有無，并顯示該判定的結(jié)果。作為一個(gè)例子，對(duì)焦顯示部162以規(guī)定的顏色(例如，黑色等)或閃爍等來顯示進(jìn)行了對(duì)焦的像素，從而區(qū)別地顯示進(jìn)行對(duì)焦的像素與未進(jìn)行對(duì)焦的像素。此外，在利用顏色(上述的規(guī)定的顏色)來區(qū)別進(jìn)行了對(duì)焦的像素與未進(jìn)行對(duì)焦的像素的情況下，因被拍攝的物體的顏色可能會(huì)產(chǎn)生兩者的顏色一致的情況，但只要在視覺上能夠區(qū)別，則也可以允許。

簡單來說，在圖26的例子中，對(duì)一個(gè)對(duì)象物的圖像1133進(jìn)行了對(duì)焦，對(duì)其它2個(gè)對(duì)象物的圖像1131、1132未進(jìn)行對(duì)焦。在圖26的例子中，使框的線型(例如，實(shí)線和虛線)不同來區(qū)別表示由與進(jìn)行了對(duì)焦的對(duì)象物的輪廓對(duì)應(yīng)的像素構(gòu)成的框區(qū)域1153、和由未進(jìn)行對(duì)焦的對(duì)象物的輪廓構(gòu)成的框區(qū)域1151、1152。

這里，在本實(shí)施方式中，將圖16所示的邊緣圖311中的邊緣中點(diǎn)位置331作為像素的位置來使用，將與該邊緣中點(diǎn)位置331對(duì)應(yīng)儲(chǔ)存的邊緣寬度作為該像素的邊緣寬度(一個(gè)像素的指標(biāo)值)來使用。

在本實(shí)施方式中，對(duì)焦顯示部162對(duì)在圖像1111的整體的區(qū)域中被計(jì)算出邊緣寬度的全部的像素中，對(duì)比度為上位的規(guī)定量以內(nèi)的像素，判定為進(jìn)行了對(duì)焦(有對(duì)焦)，對(duì)其它像素(為上位的規(guī)定量以外的像素)判定為未進(jìn)行對(duì)焦(無對(duì)焦)。這里，作為上位的規(guī)定量，例如可以使用參照?qǐng)D17～圖19說明的l等。

此外，作為判定各像素的對(duì)焦的有無的方法，也可以使用其它方法。作為一個(gè)例子，對(duì)焦顯示部162可以針對(duì)各像素，將由指標(biāo)值計(jì)算部161計(jì)算出的邊緣寬度作為指標(biāo)值，在該指標(biāo)值比規(guī)定的閾值良好的情況下，判定為進(jìn)行了對(duì)焦(有對(duì)焦)，在該指標(biāo)值沒有比該閾值良好的情況下，判定為未進(jìn)行對(duì)焦(無對(duì)焦)。

圖27是表示每個(gè)像素的對(duì)焦的有無的顯示的另一個(gè)例子的圖。

圖27中示有在第二配置中由拍攝裝置911拍攝到的圖像1211的一個(gè)例子。該圖像1211中包含與圖24所示的對(duì)象物931、對(duì)象物932、對(duì)象物933分別對(duì)應(yīng)的對(duì)象物的圖像1231、對(duì)象物的圖像1232、對(duì)象物的圖像1233。

簡單來說，在圖27的例子中，對(duì)一個(gè)對(duì)象物的圖像1231進(jìn)行了對(duì)焦，對(duì)其它2個(gè)對(duì)象物的圖像1232、1233未進(jìn)行對(duì)焦。

關(guān)于各對(duì)象物的框區(qū)域1251～1253，與圖26的例子的情況相同。

圖28是表示每個(gè)像素的對(duì)焦的有無的顯示的另一個(gè)例子的圖。

圖28中示有在第三配置中由拍攝裝置911拍攝到的圖像1311的一個(gè)例子。該圖像1311中包含與圖24所示的對(duì)象物931、對(duì)象物932、對(duì)象物933分別對(duì)應(yīng)的對(duì)象物的圖像1331、對(duì)象物的圖像1332、對(duì)象物的圖像1333。

簡單來說，在圖28的例子中，對(duì)一個(gè)對(duì)象物的圖像1332進(jìn)行了對(duì)焦，對(duì)其它2個(gè)對(duì)象物的圖像1331、1333未進(jìn)行對(duì)焦。

關(guān)于各對(duì)象物的框區(qū)域1351～1353，與圖26的例子的情況相同。

此外，在圖25～圖28中，將由拍攝裝置911拍攝到的圖像1011、1111、1211、1311的整體作為處理對(duì)象的圖像來使用，但作為其它結(jié)構(gòu)例，也可以將由拍攝裝置911拍攝到的圖像的一部分作為處理對(duì)象的圖像來使用。該一部分例如也可以由指定部141來指定。

圖29是表示包含最佳對(duì)焦最符合的指標(biāo)值的顯示的畫面顯示的一個(gè)例子的圖。

圖29中示有顯示部151的畫面1411的顯示的一個(gè)例子。

在畫面1411中，在上段設(shè)置有顯示圖像的區(qū)域(圖像顯示部1471)，在中段設(shè)置有顯示框區(qū)域的信息的區(qū)域(框區(qū)域信息顯示部1481)，在下段設(shè)置有顯示對(duì)焦最符合的指標(biāo)值(在本實(shí)施方式中，稱為最佳的指標(biāo)值)的區(qū)域(最佳指標(biāo)值顯示部1491)。此外，這些多個(gè)顯示部的配置也可以是其它配置。

在圖像顯示部1471中，重疊地顯示由拍攝裝置(例如，圖24所示的拍攝裝置911)拍攝到的圖像、和對(duì)該圖像設(shè)定的框區(qū)域1451。在圖29的例子中，該圖像中包含有3個(gè)不同的對(duì)象物(例如，圖24所示的對(duì)象物931～933)的圖像1431～1433。這里，框區(qū)域1451能夠根據(jù)用戶的指示等，在該圖像中使位置變化(移動(dòng))。

在框區(qū)域信息顯示部1481中例如顯示作為進(jìn)行檢查、測量等的對(duì)象的框區(qū)域1451的信息。在圖29的例子中，作為框區(qū)域1451而使用roi。在圖29的例子中，作為框區(qū)域1451的信息，使用了該框區(qū)域1451的中心的位置(中心位置)的信息、該框區(qū)域1451的橫向的長度(寬度)的信息、以及該框區(qū)域1451的縱向的長度(高度)的信息。中心位置由(橫向的位置、縱向的位置)的坐標(biāo)值來表示。各長度是以像素為單位的長度。

此外，作為框區(qū)域1451，也可以使用圖像的整體的區(qū)域。

在最佳指標(biāo)值顯示部1491中，作為對(duì)焦的指標(biāo)值，顯示當(dāng)前的指標(biāo)值、和從過去的規(guī)定的開始時(shí)刻到當(dāng)前為止所得到的指標(biāo)值中最佳的指標(biāo)值。在圖29的例子中，各個(gè)指標(biāo)值用數(shù)值來表示。在圖29的例子中，用(當(dāng)前的指標(biāo)值/最佳的指標(biāo)值)這一形式來顯示。在本實(shí)施方式中，指標(biāo)值越良好，則該指標(biāo)值越變小。在圖29的例子中，由于當(dāng)前的指標(biāo)值是1.5，最佳的指標(biāo)值是1.2，所以示出與當(dāng)前的拍攝的配置相比，具有更加良好的拍攝的配置。

在本實(shí)施方式中，最佳指標(biāo)值顯示部164在從規(guī)定的開始時(shí)刻到規(guī)定的結(jié)束時(shí)刻為止的期間由指標(biāo)值計(jì)算部161計(jì)算出的指標(biāo)值中，判定最佳的指標(biāo)值。而且，最佳指標(biāo)值顯示部164將當(dāng)前的指標(biāo)值和最佳的指標(biāo)值顯示于顯示部151的畫面(在圖29的例子中，是畫面1411的最佳指標(biāo)值顯示部1491)。該情況下，指標(biāo)值計(jì)算部161或最佳指標(biāo)值顯示部164將由指標(biāo)值計(jì)算部161計(jì)算出的指標(biāo)值存儲(chǔ)至存儲(chǔ)部123。

例如，用戶通過手動(dòng)連續(xù)地變更拍攝的配置，從而顯示多個(gè)拍攝的配置中的指標(biāo)值來作為參考，而且，用戶以當(dāng)前的指標(biāo)值成為良好的指標(biāo)值的方式，對(duì)拍攝的配置進(jìn)行調(diào)整。作為一個(gè)例子，用戶旋轉(zhuǎn)拍攝裝置911所具備的聚焦環(huán)，從而將當(dāng)前的指標(biāo)值從較大的值(未進(jìn)行對(duì)焦的值)逐漸變小，之后，在超過最小值(進(jìn)行了對(duì)焦的值)而逐漸增大之后，以當(dāng)前的指標(biāo)值成為該最小值的方式，進(jìn)行調(diào)整。這里，拍攝的配置的變更例如可以變更拍攝裝置911本身或者對(duì)象物931～933本身的位置或者姿勢(shì)，或者也可以變更拍攝裝置911的內(nèi)部的光學(xué)系統(tǒng)元件(透鏡等)的位置或者姿勢(shì)。

這里，判定最佳的指標(biāo)值的期間是從規(guī)定的開始時(shí)刻到規(guī)定的結(jié)束時(shí)刻為止的期間。

規(guī)定的開始時(shí)刻以及規(guī)定的結(jié)束時(shí)刻分別可以通過例如由圖像處理裝置11或者其它裝置執(zhí)行的預(yù)先設(shè)定的控制來設(shè)定，或者也可以根據(jù)用戶的指示來設(shè)定。作為一個(gè)例子，可以將新設(shè)定了框區(qū)域1451的時(shí)刻設(shè)定為規(guī)定的開始時(shí)刻，另外，也可以將使框區(qū)域1451變更為其它框區(qū)域的時(shí)刻設(shè)定為規(guī)定的結(jié)束時(shí)刻。作為其它例，也可以將由用戶指定的時(shí)刻設(shè)定為規(guī)定的開始時(shí)刻或規(guī)定的結(jié)束時(shí)刻。作為其它例，在通過上述的任意一種來設(shè)定規(guī)定的開始時(shí)刻的情況下，可以預(yù)先設(shè)定規(guī)定的開始時(shí)刻與規(guī)定的結(jié)束時(shí)刻之間的期間的長度、或者也可以根據(jù)用戶的指示來設(shè)定。

圖30示有在通過用戶的手動(dòng)對(duì)拍攝的配置進(jìn)行調(diào)整的情況下由圖像處理裝置11進(jìn)行的處理的順序的一個(gè)例子的圖。

這里，本流程的處理例如在從規(guī)定的開始時(shí)刻到規(guī)定的結(jié)束時(shí)刻為止的期間進(jìn)行。

在該期間，在任意的時(shí)機(jī)，在拍攝裝置12中受理用戶的操作。由此，變更拍攝的配置。在本實(shí)施方式中，作為用戶的操作，采用拍攝裝置12所具備的聚焦環(huán)的操作。

(步驟s41)

在圖像處理裝置11中，輸入部121輸入由拍攝裝置12拍攝到的圖像的信息。

(步驟s42)

在圖像處理裝置11，指標(biāo)值計(jì)算部161計(jì)算框區(qū)域1451的指標(biāo)值。另外，指標(biāo)值計(jì)算部161等將該指標(biāo)值存儲(chǔ)至存儲(chǔ)部123。另外，對(duì)焦顯示部162針對(duì)框區(qū)域1451判定對(duì)焦的有無并進(jìn)行顯示。

(步驟s43)

在圖像處理裝置11中，最佳指標(biāo)值顯示部164顯示當(dāng)前的指標(biāo)值，并且判定最佳的指標(biāo)值并顯示。此外，最佳指標(biāo)值顯示部164也可以將該最佳的指標(biāo)值存儲(chǔ)于存儲(chǔ)部123。

(步驟s44)

在圖像處理裝置11中，圖像處理控制部124判定是否結(jié)束本流程的處理。

在該判定的結(jié)果是圖像處理控制部124判定更為結(jié)束本流程的處理的情況下，結(jié)束本流程的處理(步驟s44：是)。

另一方面，在該判定的結(jié)果是圖像處理控制部124判定為不結(jié)束本流程的處理的情況下，移至步驟s41的處理(步驟s44：否)。

這里，圖像處理控制部124例如在成為了規(guī)定的結(jié)束時(shí)刻的情況下、或者根據(jù)用戶等的指示而中斷本流程的處理的情況下等，判定為結(jié)束本流程的處理。

如上所述，在本實(shí)施方式涉及的圖像處理裝置11中，將基于難以給拍攝到的對(duì)象物或者拍攝到的圖像的內(nèi)容帶來影響的邊緣寬度的值作為對(duì)焦的指標(biāo)值來使用。由此，在本實(shí)施方式涉及的圖像處理裝置11中，能夠最大限度地運(yùn)用光學(xué)系統(tǒng)所具有能力，來進(jìn)行對(duì)焦的調(diào)整。

另外，在本實(shí)施方式涉及的圖像處理裝置11中，在拍攝到的圖像上，對(duì)一個(gè)以上框區(qū)域判定并顯示對(duì)焦的有無。由此，在本實(shí)施方式的圖像處理裝置11中，能夠以框區(qū)域?yàn)閱挝?，向用戶提示?duì)焦的有無。因此，用戶能夠高精度地進(jìn)行對(duì)焦的調(diào)整。

作為具體例，在本實(shí)施方式涉及的圖像處理裝置11中，能夠在想要對(duì)焦的位置設(shè)定框區(qū)域。例如，在僅使圖像處理的對(duì)象物體的關(guān)心區(qū)域?qū)沟那闆r下(使拍攝到的圖像的一部分對(duì)焦的情況下)，能夠提高對(duì)焦的精度。

另外，在本實(shí)施方式涉及的圖像處理裝置11中，對(duì)多個(gè)框區(qū)域判定對(duì)焦的有無并顯示。由此，在本實(shí)施方式涉及的圖像處理裝置11中，能夠判定對(duì)象物的傾斜的有無。

例如，以往在具有進(jìn)深的對(duì)象物相對(duì)于拍攝面傾斜的情況下，存在很難針對(duì)該對(duì)象物，通過用戶的手動(dòng)來調(diào)整光圈環(huán)和聚焦環(huán)以使具有階梯差的不同的2個(gè)位置的部分(例如，近前和里側(cè)2個(gè)位置)的焦點(diǎn)同時(shí)對(duì)準(zhǔn)的情況。與此相對(duì)，在本實(shí)施方式涉及的圖像處理裝置11中，對(duì)具有進(jìn)深(具有凹凸)的對(duì)象物，能夠向用戶提示是否對(duì)需要的部分的全部進(jìn)行對(duì)焦。

另外，在本實(shí)施方式涉及的圖像處理裝置11中，在拍攝到的圖像上，對(duì)一個(gè)以上像素判定對(duì)焦的有無并顯示。由此，在本實(shí)施方式涉及的圖像處理裝置11中，能夠以像素為單位，向用戶提示對(duì)焦的有無。因此，用戶能夠高精度地進(jìn)行對(duì)焦的調(diào)整。

另外，在本實(shí)施方式涉及的圖像處理裝置11中，在進(jìn)行對(duì)焦的調(diào)整時(shí)，顯示當(dāng)前的指標(biāo)值和過去的最佳的指標(biāo)值雙方來指導(dǎo)用戶。由此，在本實(shí)施方式涉及的圖像處理裝置11中，用戶能夠一邊觀看當(dāng)前的指標(biāo)值和最佳的指標(biāo)值雙方，一邊進(jìn)行對(duì)焦的調(diào)整。

作為一個(gè)例子，用戶通過手動(dòng)旋轉(zhuǎn)拍攝裝置12的聚焦環(huán)，并且使圖像處理裝置11計(jì)算指標(biāo)值并顯示，使圖像處理裝置11存儲(chǔ)良好的指標(biāo)值(例如，最良好的指標(biāo)值)。而且，用戶通過手動(dòng)旋轉(zhuǎn)拍攝裝置12的聚焦環(huán)，并且以成為該良好的指標(biāo)值的方式旋轉(zhuǎn)聚焦環(huán)。

另外，在本實(shí)施方式涉及的圖像處理裝置11中，例如即使在因線路中的作業(yè)環(huán)境等而產(chǎn)生了亮度差的情況下，也能夠根據(jù)指標(biāo)值，對(duì)對(duì)象物的全部或者一部分高精度地進(jìn)行對(duì)焦的調(diào)整。由此，在本實(shí)施方式涉及的圖像處理裝置11中，能夠進(jìn)行穩(wěn)定的高精度的對(duì)焦的調(diào)整。

另外，在本實(shí)施方式涉及的圖像處理裝置11中，例如在進(jìn)行對(duì)象物的檢查或測量等時(shí)，能夠使成為處理的對(duì)象的圖像中的所希望的部分(一部分)對(duì)焦，由此，能夠?qū)z查或測量等的對(duì)象進(jìn)行對(duì)焦，能夠提高檢查或測量等的精度。

作為具體例，在本實(shí)施方式涉及的圖像處理裝置11中，在僅對(duì)對(duì)象物的規(guī)定的區(qū)域(roi)進(jìn)行檢查或測量等的情況下，能夠使該區(qū)域?qū)?，例如即使在?duì)象物具有凹凸的情況下，也能夠提高對(duì)焦的精度。由此，能夠使焦點(diǎn)對(duì)準(zhǔn)對(duì)象物的部分的區(qū)域(roi)，而能夠提高檢查或測量等的精度。此外，也可以根據(jù)需要，對(duì)拍攝對(duì)象物時(shí)的傾斜(斜率)進(jìn)行修正。

如上所述，根據(jù)本實(shí)施方式涉及的圖像處理裝置11，能夠提高圖像的對(duì)焦的精度。

(第三實(shí)施方式)

在本實(shí)施方式中，示出將第二實(shí)施方式涉及的圖像處理裝置11的功能應(yīng)用于雙臂的機(jī)器人的情況。

<機(jī)器人>

圖31是表示本發(fā)明的一個(gè)實(shí)施方式(第三實(shí)施方式)涉及的機(jī)器人2001的簡要的結(jié)構(gòu)例的圖。

機(jī)器人2001具備處于上部的頭部、處于中央部的軀干部、處于下部的臺(tái)部(臺(tái)的部分)、以及設(shè)置于軀干部的臂部。

機(jī)器人2001是作為臂部具有2根臂(臂)的雙臂機(jī)器人。

機(jī)器人2001具備第一機(jī)械手mnp1、第一力傳感器2031-1、以及第一末端執(zhí)行器end1作為一個(gè)臂側(cè)的結(jié)構(gòu)。它們被一體化，在本實(shí)施方式中，在第一機(jī)械手mnp1與第一末端執(zhí)行器end1之間具備第一力傳感器2031-1。

機(jī)器人2001具備第二機(jī)械手mnp2、第二力傳感器2031-2、以及第二末端執(zhí)行器end2作為另一個(gè)臂側(cè)的結(jié)構(gòu)。它們被一體化，在本實(shí)施方式中，在第二機(jī)械手mnp2與第二末端執(zhí)行器end2之間具備第二力傳感器2031-2。

在本實(shí)施方式中，能夠通過一個(gè)臂側(cè)的結(jié)構(gòu)(安裝了末端執(zhí)行器end1的機(jī)械手mnp1)進(jìn)行7軸的自由度的動(dòng)作，并能夠通過另一個(gè)臂側(cè)的結(jié)構(gòu)(安裝了末端執(zhí)行器end2的機(jī)械手mnp2)進(jìn)行7軸的自由度的動(dòng)作，但作為其它結(jié)構(gòu)例，也可以采用進(jìn)行6軸以下或者8軸以上的自由度的動(dòng)作的結(jié)構(gòu)。

這里，由于在臂以7軸的自由度動(dòng)作的情況下，與以6軸以下的自由度動(dòng)作的情況相比較，可采取的姿勢(shì)增加，所以例如動(dòng)作變得流暢，并能夠容易地避免與存在于該臂的周邊的物體的干擾。另外，在臂以7軸的自由度動(dòng)作的情況下，與臂以8軸以上的自由度動(dòng)作的情況相比較，該臂的控制容易減少計(jì)算量。由于這樣的理由，在本實(shí)施方式中，作為優(yōu)選的一個(gè)例子，采用了以7軸的自由度動(dòng)作的臂。

另外，在本實(shí)施方式中，軀干部是能夠在腰的部分以1軸的自由度旋轉(zhuǎn)的結(jié)構(gòu)。

另外，機(jī)器人2001具備分別設(shè)置于頭部的左右的2個(gè)拍攝部(第一拍攝部2011-1、第二拍攝部2011-2)、設(shè)置于第一機(jī)械手mnp1的規(guī)定部位的拍攝部(第三拍攝部2021-1)、以及設(shè)置于第二機(jī)械手mnp2的規(guī)定部位的拍攝部(第四拍攝部2021-2)。

各個(gè)拍攝部(第一拍攝部2011-1、第二拍攝部2011-2、第三拍攝部2021-1、第四拍攝部2021-2)例如是使用了ccd(chargecoupleddevice)或者cmos(complementarymetaloxidesemiconductor)等的照相機(jī)。

第一拍攝部2011-1以及第二拍攝部2011-2分別根據(jù)頭部的動(dòng)作而活動(dòng)。

第三拍攝部2021-1以及第四拍攝部2021-2分別根據(jù)第一機(jī)械手mnp1以及第二機(jī)械手mnp2的動(dòng)作而活動(dòng)。

另外，機(jī)器人2001具備控制裝置2051。在本實(shí)施方式中，機(jī)器人2001在臺(tái)部的內(nèi)部具備控制裝置2051。

控制裝置2051對(duì)機(jī)器人2001的動(dòng)作進(jìn)行控制?？刂蒲b置2051例如對(duì)第一機(jī)械手mnp1以及第二機(jī)械手mnp2的動(dòng)作進(jìn)行控制。并且，在機(jī)器人2001的腰等部分能夠動(dòng)作的結(jié)構(gòu)中，控制裝置2051對(duì)該腰等部分的動(dòng)作進(jìn)行控制。

在本實(shí)施方式中，第一拍攝部2011-1、第二拍攝部2011-2、第三拍攝部2021-1以及第四拍攝部2021-2分別拍攝圖像，并將拍攝到的圖像的信息發(fā)送(輸出)至控制裝置2051。另外，第一力傳感器2031-1以及第二力傳感器2031-2分別對(duì)作用于第一末端執(zhí)行器end1以及第二末端執(zhí)行器end2的每一個(gè)末端執(zhí)行器的力以及力矩進(jìn)行檢測，并將檢測結(jié)果的信息發(fā)送(輸出)至控制裝置2051?？刂蒲b置2051能夠接收(輸入)這些信息，并在對(duì)機(jī)器人2001的動(dòng)作進(jìn)行控制時(shí)，使用接收到的信息。

這里，第一拍攝部2011-1、第二拍攝部2011-2、第三拍攝部2021-1、第四拍攝部2021-2、第一力傳感器2031-1以及第二力傳感器2031-2分別與控制裝置2051經(jīng)由線路連接，能夠經(jīng)由該線路來通信信息。

在本實(shí)施方式中，對(duì)第一機(jī)械手mnp1的位置以及姿勢(shì)、第二機(jī)械手mnp2的位置以及姿勢(shì)、以及由各拍攝部(第一拍攝部2011-1、第二拍攝部2011-2、第三拍攝部2021-1、第四拍攝部2021-2)拍攝的圖像，進(jìn)行了坐標(biāo)系的校準(zhǔn)。

在本實(shí)施方式中，控制裝置2051根據(jù)預(yù)先設(shè)定的動(dòng)作控制程序，對(duì)機(jī)器人2001的動(dòng)作進(jìn)行控制?？刂蒲b置2051對(duì)機(jī)器人2001(主體)教示為了實(shí)現(xiàn)機(jī)器人2001的動(dòng)作而需要的各種信息。

作為具體例，控制裝置2051對(duì)各機(jī)械手(第一機(jī)械手mnp1以及第二機(jī)械手mnp2)的動(dòng)作進(jìn)行控制，從而能夠進(jìn)行由各末端執(zhí)行器(第一末端執(zhí)行器end1以及第二末端執(zhí)行器end2)把持物體、使被各末端執(zhí)行器把持的物體移動(dòng)、將被各末端執(zhí)行器把持的物體載置于規(guī)定位置并放開(解除把持)、以及對(duì)被各末端執(zhí)行器把持的物體進(jìn)行加工(例如，開孔等)等。

此外，作為機(jī)器人，也可以代替具備2根臂(臂)的雙臂機(jī)器人，而是具備1根臂(臂)的單臂機(jī)器人，還可以是并行鏈接機(jī)器人，也可以是正交軸機(jī)器人，也可以是單軸機(jī)器人，也可以是平面關(guān)節(jié)型(scara)機(jī)器人。

<控制裝置>

圖32是表示本發(fā)明的一個(gè)實(shí)施方式(第三實(shí)施方式)涉及的控制裝置2051的簡要的結(jié)構(gòu)例的圖。

控制裝置2051具備輸入部2111、輸出部2112、存儲(chǔ)部2113、以及控制部2114。輸入部2111具備指定部2131。輸出部2112具備顯示部2141?？刂撇?114具備機(jī)器人控制部2151、和圖像處理控制部2152。

輸入部2111從外部輸入信息。例如，輸入部2111也可以具有被用戶操作的操作部，來輸入與操作部的操作相應(yīng)的信息，另外，也可以輸入從外部的裝置輸出的信息。指定部2131具有受理指定的功能。

輸出部2112向外部輸出信息。例如，輸出部2112也可以具有畫面(顯示畫面)，向該畫面輸出信息，另外，也可以向外部的裝置輸出信息。顯示部2141具有在該畫面顯示信息的功能。

存儲(chǔ)部2113對(duì)信息進(jìn)行存儲(chǔ)。例如，存儲(chǔ)部2113存儲(chǔ)動(dòng)作控制程序、以及各種參數(shù)等。

控制部2114進(jìn)行與機(jī)器人2001相關(guān)的各種控制。例如，控制部2114具備cpu等處理器，通過執(zhí)行存儲(chǔ)于存儲(chǔ)部2113的動(dòng)作控制程序，來進(jìn)行各種控制。

機(jī)器人控制部2151進(jìn)行與機(jī)器人2001的機(jī)械手mnp1、mnp2或者末端執(zhí)行器end1、end2等相關(guān)的控制。

圖像處理控制部2152進(jìn)行與圖像處理相關(guān)的控制。

這里，在本實(shí)施方式中，輸入部2111以及指定部2131、輸出部2112以及顯示部2141、存儲(chǔ)部2113、圖像處理控制部2152分別關(guān)于圖像處理，例如具有與第二實(shí)施方式涉及的圖13所示的輸入部121以及指定部141、輸出部122以及顯示部151、存儲(chǔ)部123、圖像處理控制部124相同的功能。另外，在本實(shí)施方式中，4個(gè)拍攝部2011-1、2011-2、2021-1、2021-2中的一個(gè)(或者也可以是2個(gè)以上)與第二實(shí)施方式涉及的圖13所示的拍攝裝置12對(duì)應(yīng)。此外，在本實(shí)施方式中，也可以將拍攝部(拍攝部2011-1、2011-2、2021-1、2021-2中的一個(gè)以上)的聚焦環(huán)的功能設(shè)置于輸入部121等。

機(jī)器人控制部2151也可以基于通過圖像處理控制部2152得到的圖像處理的結(jié)果，進(jìn)行與機(jī)器人2001相關(guān)的控制。

如上所述，在本實(shí)施方式涉及的機(jī)器人2001中，具備包含圖像處理控制部2152的圖像處理裝置的功能，能夠得到與第二實(shí)施方式的情況相同的效果。

(第四實(shí)施方式)

圖33是表示本發(fā)明的一個(gè)實(shí)施方式(第四實(shí)施方式)涉及的機(jī)器人系統(tǒng)2201的簡要的結(jié)構(gòu)例的圖。

機(jī)器人系統(tǒng)2201具備機(jī)器人2211、控制裝置2212、以及拍攝裝置2213?？刂蒲b置2212具備圖像處理裝置2231。

機(jī)器人2211與控制裝置2212以能夠通信的方式連接。控制裝置2212與拍攝裝置2213以能夠通信的方式連接。

這里，在本實(shí)施方式中，圖像處理裝置2231例如具有與第二實(shí)施方式涉及的圖13所示的圖像處理裝置11相同的功能。另外，在本實(shí)施方式中，拍攝裝置2213與第二實(shí)施方式涉及的圖13所示的拍攝裝置12對(duì)應(yīng)。

另外，控制裝置2212具有進(jìn)行與機(jī)器人2211相關(guān)的控制的功能。控制裝置2212也可以基于通過圖像處理裝置2231得到的圖像處理的結(jié)果，進(jìn)行與機(jī)器人2211相關(guān)的控制。

此外，在本實(shí)施方式中，獨(dú)立地具備機(jī)器人2211和拍攝裝置2213。

另外，作為機(jī)器人2211，也可以使用各種機(jī)器人。

如上所述，在本實(shí)施方式涉及的機(jī)器人系統(tǒng)2201中，具備圖像處理裝置2231，能夠得到與第二實(shí)施方式的情況以及第三實(shí)施方式的情況相同的效果。

(以上的實(shí)施方式的總結(jié))

作為一個(gè)結(jié)構(gòu)例，是在使拍攝裝置(在圖13的例子中，是拍攝裝置12)所具有的透鏡的位置變化之后，顯示用于判定是否對(duì)拍攝裝置拍攝到的圖像的一部分或者全部進(jìn)行了對(duì)焦的第一信息(在圖29的例子中，是最佳的指標(biāo)值的信息)、和透鏡的位置處的對(duì)焦的第二信息(在圖29的例中，是當(dāng)前的指標(biāo)值的信息)的圖像處理裝置(在圖13的例子中，是圖像處理裝置11)。

作為一個(gè)結(jié)構(gòu)例，在圖像處理裝置中，具備指定圖像的一部分的指定部(在圖13的例子中，是指定部141)。

作為一個(gè)結(jié)構(gòu)例，在圖像處理裝置中，圖像的一部分以關(guān)心區(qū)域(roi)為單位(例如，圖22的例子)、或者以像素為單位(例如，圖26～圖28的例子)。

作為一個(gè)結(jié)構(gòu)例，在圖像處理裝置中，第一信息以及第二信息是指標(biāo)值。

作為一個(gè)結(jié)構(gòu)例，在圖像處理裝置中，第一信息是焦點(diǎn)最符合的指標(biāo)值(圖29的例子)。

作為一個(gè)結(jié)構(gòu)例，在圖像處理裝置中，具備針對(duì)圖像的一部分基于指標(biāo)值顯示對(duì)焦的有無的一方或者兩方的對(duì)焦顯示部(在圖13的例子中，是對(duì)焦顯示部162)。

作為一個(gè)結(jié)構(gòu)例，在圖像處理裝置中，具備在具有多個(gè)圖像的一部分，并對(duì)多個(gè)圖像的一部分的全部進(jìn)行了對(duì)焦的情況下，對(duì)由該多個(gè)圖像的一部分確定的對(duì)象物判定為沒有傾斜，另一方面，在對(duì)該多個(gè)圖像的一部分的1個(gè)以上未進(jìn)行對(duì)焦的情況下，對(duì)該對(duì)象物判定為有傾斜的傾斜判定部(在圖13的例中，是傾斜判定部163)(圖22的例子)。

作為一個(gè)結(jié)構(gòu)例，在圖像處理裝置中，具備使用圖像來提取物體的輪廓，并計(jì)算指標(biāo)值的指標(biāo)值計(jì)算部(在圖13的例子中，是指標(biāo)值計(jì)算部161)(圖14～圖20的例子)。

作為一個(gè)結(jié)構(gòu)例，在圖像處理裝置中，指標(biāo)值是基于輪廓的亮度的梯度方向的長度的值(圖14～圖20的例子)。

作為一個(gè)結(jié)構(gòu)例，在圖像處理裝置中，指標(biāo)值是基于輪廓的亮度的邊緣的寬度的值(圖14～圖20的例子)。

作為一個(gè)結(jié)構(gòu)例，在圖像處理裝置中，指標(biāo)值是基于將輪廓的多個(gè)微小的亮度梯度連接了的邊緣寬度的值(與圖14～圖20相關(guān)的其它例)。

作為一個(gè)結(jié)構(gòu)例，是一種機(jī)器人(在圖31～圖32的例中，是機(jī)器人2001)，該機(jī)器人具有上述那樣的圖像處理裝置(在圖31～圖32的例子中，是圖像處理控制部2152的功能部分的裝置)。

作為一個(gè)結(jié)構(gòu)例，是一種機(jī)器人系統(tǒng)(在圖33的例子中，是機(jī)器人系統(tǒng)2201)，該機(jī)器人系統(tǒng)具備上述那樣的圖像處理裝置(在圖33的例子中，是圖像處理裝置2231)、拍攝圖像的拍攝裝置(在圖33的例子中，是拍攝裝置2213)、以及機(jī)器人(在圖33的例子中，是機(jī)器人2211)。

以上，針對(duì)本發(fā)明的實(shí)施方式，參照附圖進(jìn)行了詳細(xì)敘述，但具體的結(jié)構(gòu)并不限于該實(shí)施方式，只要不脫離本發(fā)明的主旨，也可以進(jìn)行變更、置換、刪除等。另外，也包含不脫離本發(fā)明的主旨的范圍的設(shè)計(jì)等。

另外，也可以將用于實(shí)現(xiàn)以上說明的裝置(例如，圖像處理裝置20、機(jī)器人50的機(jī)器人控制裝置60、圖像處理裝置11、2231、控制裝置2051、2212等)中的任意的結(jié)構(gòu)部的功能的程序記錄于計(jì)算機(jī)可讀取的記錄介質(zhì)，使計(jì)算機(jī)系統(tǒng)讀入該程序并執(zhí)行。

其中，這里所說的“計(jì)算機(jī)系統(tǒng)”也包含os(operatingsystem：操作系統(tǒng))、周邊設(shè)備等硬件。另外，“計(jì)算機(jī)可讀取的記錄介質(zhì)”是指軟盤、光磁盤、rom(readonlymemory)、cd(compactdisk：光盤)-rom等便攜式介質(zhì)、內(nèi)置于計(jì)算機(jī)系統(tǒng)的硬盤等存儲(chǔ)裝置。并且，“計(jì)算機(jī)可讀取的記錄介質(zhì)”還包括像經(jīng)由因特網(wǎng)等網(wǎng)絡(luò)、電話線路等通信線路發(fā)送程序的情況下的成為服務(wù)器、客戶端的計(jì)算機(jī)系統(tǒng)內(nèi)部的易失性存儲(chǔ)器(ram：randomaccessmemory)那樣，將程序保持一定時(shí)間的部件。

另外，上述程序也可以從將該程序儲(chǔ)存于存儲(chǔ)裝置等的計(jì)算機(jī)系統(tǒng)，經(jīng)由傳輸介質(zhì)、或者通過傳輸介質(zhì)中的載波傳輸至其它計(jì)算機(jī)系統(tǒng)。這里，傳輸程序的“傳輸介質(zhì)”是指像因特網(wǎng)等網(wǎng)絡(luò)(通信網(wǎng))、或者電話線路等通信線路(通信線)那樣具有傳輸信息的功能的介質(zhì)。

另外，上述程序也可以是用于實(shí)現(xiàn)上述的功能的一部分的程序。并且，上述程序也可以是能夠通過與已經(jīng)被記錄于計(jì)算機(jī)系統(tǒng)的程序的組合來實(shí)現(xiàn)上述的功能的、所謂的差分文件(差分程序)。

附圖標(biāo)記的說明

1…圖像處理系統(tǒng)，10…拍攝部，20…圖像處理裝置，21、61…cpu，22、62…存儲(chǔ)部，23、63…輸入受理部，24、64…通信部，25、65…顯示部，27、67…圖像獲取部，28、68…控制部，31、31a…拍攝控制部，33…顯示控制部，37…第二圖像處理信息生成部，39…第二圖像處理信息編輯部，43…圖像處理執(zhí)行部，45…機(jī)器人控制部，50…機(jī)器人，51…第一拍攝部，52…第二拍攝部，53…第三拍攝部，54…第四拍攝部，60…機(jī)器人控制裝置。