專利名稱：一種基于物體表面顏色的快速跟蹤方法與裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于機(jī)器人領(lǐng)域中的視覺(jué)跟蹤技術(shù)領(lǐng)域，具體地說(shuō)是用于獲得運(yùn)動(dòng)物體的表面圖像，根據(jù)圖像的顏色特征，選取出特定物體并實(shí)現(xiàn)快速跟蹤的方法和裝置。
背景技術(shù)：
目前，在基于視覺(jué)的快速運(yùn)動(dòng)物體跟蹤研究中，需要被跟蹤的物體具有明顯的顏色特征，所以，都采用在物體表面粘貼單一顏色色標(biāo)的方法(其典型結(jié)構(gòu)見(jiàn)“胡英、趙姝穎、徐心和，色標(biāo)設(shè)計(jì)與辨識(shí)算法研究，中國(guó)圖像圖形學(xué)報(bào)，第7卷(A版)，12期，2002年12月，1291~1295頁(yè)”)。粘貼色標(biāo)的方法有一定局限性，不能適用于智能監(jiān)控、流水線零件跟蹤等場(chǎng)合。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于物體表面顏色的快速跟蹤方法，可適用于視覺(jué)跟蹤的簡(jiǎn)單、快速、有效的圖像處理方法。
本發(fā)明的另一個(gè)目的是提供一種實(shí)現(xiàn)基于物體表面顏色的快速跟蹤方法的裝置。
為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是提供一種基于物體表面顏色的快速跟蹤方法，其在物體運(yùn)動(dòng)過(guò)程中，按照如下步驟進(jìn)行圖像識(shí)別第一步首先將需要進(jìn)行識(shí)別和跟蹤的物體從背景中分離出來(lái)，然后實(shí)時(shí)采集圖像，對(duì)每一幅圖像，經(jīng)過(guò)與計(jì)算出的HSV的閾值比較，將符合顏色范圍的象素區(qū)域保留下來(lái)，其余部分作為背景剔除，將物體圖像分割出來(lái)F(x，y)＝1(t1＜＝F(x，y)＜＝t2)
F(x，y)＝0(其它)；第二步將已經(jīng)分割的物體二值化，生成二值化的黑白圖像，并對(duì)該二值圖像濾波處理，得到平滑的黑白圖像；第三步用Canny算子銳化邊緣，并用膨脹算法以達(dá)到去除小孔的效果；第四步使用邊緣提取算法，得到物體的輪廓；第五步基于形狀特征的圖像識(shí)別，根據(jù)被跟蹤物體的幾何模型，剔除不符合幾何模型的像素區(qū)域，找到被跟蹤物體圖像的質(zhì)心；第六步確定物體圖像的質(zhì)心后，將物體圖像質(zhì)心的位置與給定圖像點(diǎn)位置的差作為反饋控制量，控制機(jī)器人帶動(dòng)攝像機(jī)運(yùn)動(dòng)，將物體的圖像始終保持在攝像機(jī)的視野內(nèi)，跟蹤該運(yùn)動(dòng)物體。
所述的快速跟蹤方法，其所述第五步基于形狀特征的圖像識(shí)別，是使用形狀參數(shù)，形狀參數(shù)F在一定程度上描述了區(qū)域的緊湊性，它是根據(jù)區(qū)域的周長(zhǎng)B和區(qū)域的面積A計(jì)算出來(lái)的F＝B*B/(4*PI*A)其中，形狀參數(shù)對(duì)圓形區(qū)域取到最小值1，而當(dāng)區(qū)域?yàn)槠渌螤顣r(shí)F總大于1。
所述的快速跟蹤方法，其還包括在運(yùn)動(dòng)跟蹤之前，進(jìn)行學(xué)習(xí)，其采用在線學(xué)習(xí)的方法a)在進(jìn)行跟蹤任務(wù)之前，經(jīng)過(guò)圖象采集卡，得到一幅數(shù)字化的RGB彩色圖像；b)用戶使用鼠標(biāo)選擇需要跟蹤的物體的矩形區(qū)域；c)操作系統(tǒng)將選取的局部圖像以BMP文件形式存儲(chǔ)在計(jì)算機(jī)上，作為后面識(shí)別所需要的閾值和對(duì)實(shí)時(shí)采集的圖像進(jìn)行分割的依據(jù)；d)將該局部彩色圖像轉(zhuǎn)化為HSV模型，對(duì)其H、S兩個(gè)分量分別做直方圖，得到選定區(qū)域的H、S閾值。
所述的快速跟蹤方法，其所述H、S閾值，在隨后的實(shí)時(shí)圖像識(shí)別中，該閾值作為物體分割的標(biāo)準(zhǔn)不會(huì)變化，直到用戶重新進(jìn)行學(xué)習(xí)。
所述的快速跟蹤方法，其在不對(duì)攝像機(jī)進(jìn)行標(biāo)定的情況下，利用圖像中的給定點(diǎn)與物體質(zhì)心的誤差為控制反饋量，實(shí)現(xiàn)快速、準(zhǔn)確的視覺(jué)跟蹤。
所述的快速跟蹤方法，其以物體表面顏色信息為依據(jù)，識(shí)別物體，進(jìn)行視覺(jué)跟蹤。
一種實(shí)現(xiàn)基于物體表面顏色的快速跟蹤方法的裝置，包括機(jī)器人、機(jī)器人控制系統(tǒng)，視覺(jué)處理系統(tǒng)組成，其機(jī)器人控制系統(tǒng)由主控計(jì)算機(jī)和機(jī)器人控制器組成，視覺(jué)處理系統(tǒng)由攝像機(jī)、圖像采集卡及圖像處理計(jì)算機(jī)組成，其中，攝像機(jī)安裝在機(jī)器人末端，攝像機(jī)輸出端接圖像采集卡，圖像采集卡置于圖像處理計(jì)算機(jī)內(nèi)，機(jī)器人與機(jī)器人控制器電連接，機(jī)器人控制器與圖像處理計(jì)算機(jī)分別和主計(jì)算機(jī)電連接。
所述的裝置，其所述機(jī)器人為五自由度機(jī)器人，是由一個(gè)三自由度的直角坐標(biāo)機(jī)器人和一個(gè)兩自由度的旋轉(zhuǎn)手腕組成，旋轉(zhuǎn)手腕安裝在直角坐標(biāo)機(jī)器人垂直軸的末端，該旋轉(zhuǎn)手腕上固接有攝像機(jī)；機(jī)器人由一臺(tái)主控計(jì)算機(jī)和機(jī)器人控制器控制。
所述的裝置，其所述圖像采集卡及圖像處理計(jì)算機(jī)，是選用PCI總線圖象采集卡，將圖像卡安裝在主頻為≥2.8G的通用PC機(jī)中，構(gòu)成圖像處理系統(tǒng)。
本發(fā)明的突出特點(diǎn)是攝像機(jī)不需要標(biāo)定，不需要粘貼色標(biāo)，能夠?qū)Ρ砻娓采w多種顏色的物體進(jìn)行快速跟蹤。
本發(fā)明圖像處理方法簡(jiǎn)潔，速度快，效果好，獨(dú)立成為一個(gè)單元，適應(yīng)性強(qiáng)，移植性強(qiáng)。圖像處理中采用了基于顏色信息的學(xué)習(xí)方法，對(duì)物體變化、環(huán)境光線的改變有很好的適應(yīng)性。在不對(duì)攝像機(jī)進(jìn)行標(biāo)定的情況下，使用攝像機(jī)和圖像采集卡，得到運(yùn)動(dòng)物體的圖像，采用特別的圖像處理算法，對(duì)物體表面的顏色特征和顏色塊的面積進(jìn)行學(xué)習(xí)，學(xué)習(xí)的結(jié)果作為運(yùn)動(dòng)物體跟蹤過(guò)程中，識(shí)別物體和界定物體的標(biāo)準(zhǔn)。得到被跟蹤物體的圖像后，計(jì)算出圖像質(zhì)心位置c(uc，vc)，以物體圖像質(zhì)心位置c(uc，vc)與圖像中給定點(diǎn)s(us，vs)之間的像素差e，作為視覺(jué)反饋量，控制機(jī)器人帶動(dòng)攝像機(jī)運(yùn)動(dòng)，利用機(jī)器人的旋轉(zhuǎn)關(guān)節(jié)跟蹤運(yùn)動(dòng)物體，反映迅速，跟蹤速度快，能夠始終保持物體的圖像在攝像機(jī)的視野內(nèi)。本發(fā)明闡述的視覺(jué)處理方法，對(duì)環(huán)境光線的變化不敏感，而且適用于表面多種顏色覆蓋的運(yùn)動(dòng)物體跟蹤。
本發(fā)明適合于智能監(jiān)控、工業(yè)產(chǎn)品自動(dòng)檢測(cè)、流水線視覺(jué)控制等領(lǐng)域。


圖1為本發(fā)明實(shí)現(xiàn)基于物體表面顏色的快速跟蹤方法的裝置的原理圖；圖2為本發(fā)明基于物體表面顏色的快速跟蹤方法對(duì)運(yùn)動(dòng)圖像處理過(guò)程示意圖。
具體實(shí)施例方式
一種實(shí)現(xiàn)基于物體表面顏色的快速跟蹤方法的裝置，包括機(jī)器人、機(jī)器人控制系統(tǒng)，視覺(jué)處理系統(tǒng)組成，整體裝置的原理如圖1所示。機(jī)器人控制系統(tǒng)裝置由主控計(jì)算機(jī)和機(jī)器人控制器組成，視覺(jué)處理系統(tǒng)由攝像機(jī)、圖像采集卡，以及圖像處理計(jì)算機(jī)組成。其中，本發(fā)明將攝像機(jī)安裝在機(jī)器人末端，攝像機(jī)輸出端接圖像采集卡，圖像采集卡置于圖像處理計(jì)算機(jī)內(nèi)，機(jī)器人與機(jī)器人控制器電連接，機(jī)器人控制器與圖像處理計(jì)算機(jī)分別和主計(jì)算機(jī)電連接。
在圖像處理算法中，采用在線學(xué)習(xí)的方法，在進(jìn)行跟蹤任務(wù)之前，經(jīng)過(guò)圖象采集卡，得到一幅數(shù)字化的RGB彩色圖像。用戶使用鼠標(biāo)選擇需要跟蹤的物體的矩形區(qū)域。系統(tǒng)將選取的局部圖像以BMP文件形式存儲(chǔ)在計(jì)算機(jī)上，作為后面識(shí)別需要的閾值和對(duì)實(shí)時(shí)采集的圖像進(jìn)行分割的依據(jù)。將該局部彩色圖像轉(zhuǎn)化為HSV模型，對(duì)其H、S兩個(gè)分量分別做直方圖，得到選定區(qū)域的H、S閾值。在隨后的實(shí)時(shí)圖像識(shí)別中，該閾值作為物體分割的標(biāo)準(zhǔn)不會(huì)變化，直到用戶重新進(jìn)行學(xué)習(xí)。
這種學(xué)習(xí)過(guò)程的好處是在跟蹤物體變化的情況下，無(wú)需對(duì)程序內(nèi)部進(jìn)行任何改動(dòng)，每次當(dāng)條件變化，比如光線發(fā)生明顯變化，被跟蹤物體變化的情況下，只要在跟蹤前，拍攝一幅當(dāng)前圖片，用鼠標(biāo)選中被跟蹤物體就完成了學(xué)習(xí)的過(guò)程。
跟蹤開(kāi)始時(shí)，程序首先讀取物體的區(qū)部圖片BMP文件，對(duì)該BMP文件生成跟蹤物體的HSV直方圖以及閾值，圖像卡以并行工作的方式實(shí)時(shí)采集圖像，每幅圖像都與該閾值進(jìn)行比較，剔除背景，分割物體，找到物體的圖像邊緣和中心點(diǎn)。在被跟蹤物體沒(méi)有發(fā)生變化，光線也沒(méi)有強(qiáng)烈變化的情況下，都不需要進(jìn)行重新學(xué)習(xí)，直至跟蹤過(guò)程完成。完整的處理過(guò)程如圖2所示。
在運(yùn)動(dòng)物體跟蹤時(shí)，機(jī)器人帶動(dòng)攝像機(jī)運(yùn)動(dòng)，使運(yùn)動(dòng)物體始終處于攝像機(jī)的視野范圍內(nèi)，這個(gè)過(guò)程中，物體圖象識(shí)別的步驟如下第一步首先將需要進(jìn)行識(shí)別和跟蹤的物體從背景中分離出來(lái)。背景即圖像上靜止不動(dòng)的象素的集合，它不屬于任何在攝像機(jī)前運(yùn)動(dòng)的物體。然后實(shí)時(shí)采集圖像，對(duì)每一幅圖像，經(jīng)過(guò)與剛才計(jì)算出的HSV的閾值比較，將符合顏色范圍內(nèi)的象素區(qū)域保留下來(lái)，其余部分作為背景剔除，將物體得圖像分割出來(lái)。
F(x，y)＝1(t1＜＝F(x，y)＜＝t2)F(x，y)＝0(其它)第二步將已經(jīng)分割的物體二值化，生成二值化的黑白圖像。對(duì)該二值圖像濾波處理得到平滑的黑白圖像。
第三步用Canny算子銳化邊緣，并用膨脹算法以達(dá)到去除小孔的效果。
第四步使用邊緣提取算法，得到物體的輪廓。
第五步基于形狀特征的圖像識(shí)別，根據(jù)物體的幾何模型，找到物體的中心點(diǎn)。使用形狀參數(shù)，形狀參數(shù)F在一定程度上描述了區(qū)域的緊湊性，它是根據(jù)區(qū)域的周長(zhǎng)B和區(qū)域的面積A計(jì)算出來(lái)的F＝B*B/(4*PI*A)其中，形狀參數(shù)對(duì)圓形區(qū)域取到最小值1，而當(dāng)區(qū)域?yàn)槠渌螤顣r(shí)，F(xiàn)總大于1。例如在識(shí)別球狀物體的時(shí)候，首先通過(guò)面積閾值將面積過(guò)小的噪音慮除。然后考慮F最接近1的區(qū)域，可以將圖片中規(guī)則的圓與其它形狀區(qū)別出來(lái)。如果需要識(shí)別的其它規(guī)則形狀，比如正方形，可以通過(guò)正方形的特征得到正方形的F值接近于4/PI(＝1.3)。
第六步確定物體的中心點(diǎn)后，控制機(jī)器人帶動(dòng)攝像機(jī)運(yùn)動(dòng)，將物體的圖像始終保持在攝像機(jī)的視野內(nèi)，跟蹤該運(yùn)動(dòng)物體。
下面給出本發(fā)明的一個(gè)實(shí)例。實(shí)例中，將攝像機(jī)安裝在一臺(tái)五自由度的機(jī)器人末端，機(jī)器人是由一個(gè)三自由度的直角坐標(biāo)機(jī)器人和一個(gè)兩自由度的旋轉(zhuǎn)手腕組成，旋轉(zhuǎn)手腕安裝在直角坐標(biāo)機(jī)器人垂直軸的末端，機(jī)器人由一臺(tái)主控制計(jì)算機(jī)和控制器控制。將一臺(tái)工業(yè)用標(biāo)準(zhǔn)彩色攝像機(jī)固定在旋轉(zhuǎn)手腕上，選用OK系列PCI總線圖象采集卡，將圖像卡安裝在主頻為2.8G的通用PC機(jī)中，構(gòu)成圖像處理系統(tǒng)。整個(gè)裝置的工作原理如圖1所示。
應(yīng)用實(shí)例系統(tǒng)，在自然采光照射下，對(duì)一臺(tái)遙控小汽車(chē)進(jìn)行跟蹤。遙控車(chē)表面為黃綠相間的顏色，前后車(chē)窗為黑色，使用本發(fā)明中描述的學(xué)習(xí)方法，在運(yùn)動(dòng)跟蹤之前，進(jìn)行學(xué)習(xí)，得到遙控車(chē)表面顏色的H、S閾值。使用遙控器控制小車(chē)運(yùn)動(dòng)，按照?qǐng)D2所示的流程，采用第一步到第六步的圖像識(shí)別方法，實(shí)現(xiàn)了遙控小車(chē)的運(yùn)動(dòng)跟蹤。
可見(jiàn)，本發(fā)明中的方法和裝置，能夠在攝像機(jī)無(wú)標(biāo)定情況下，不需要粘貼色標(biāo)，對(duì)表面顏色復(fù)雜的物體，實(shí)現(xiàn)快速視覺(jué)跟蹤。
權(quán)利要求
1.一種基于物體表面顏色的快速跟蹤方法，其特征在于在物體運(yùn)動(dòng)過(guò)程中，按照如下步驟進(jìn)行圖像識(shí)別第一步首先將需要進(jìn)行識(shí)別和跟蹤的物體從背景中分離出來(lái)，然后實(shí)時(shí)采集圖像，對(duì)每一幅圖像，經(jīng)過(guò)與計(jì)算出的HSV的閾值比較，將符合顏色范圍的象素區(qū)域保留下來(lái)，其余部分作為背景剔除，將物體圖像分割出來(lái)。這一步可能會(huì)分割出多個(gè)顏色相近的物體。F(x，y)＝1(t1＜＝F(x，y)＜＝t2)F(x，y)＝0(其它)；第二步將已經(jīng)分割的物體圖像二值化，生成二值化的黑白圖像，并對(duì)該二值圖像濾波處理，得到平滑的黑白圖像；第三步用Canny算子銳化邊緣，并用膨脹算法以達(dá)到去除小孔的效果；第四步使用邊緣提取算法，得到物體的輪廓；第五步基于形狀特征的圖像識(shí)別，根據(jù)被跟蹤物體的幾何模型，剔除不符合幾何模型的像素區(qū)域，找到被跟蹤物體圖像的質(zhì)心；第六步確定物體圖像的質(zhì)心后，將物體圖像質(zhì)心的位置與給定圖像點(diǎn)位置的差作為反饋控制量，控制機(jī)器人帶動(dòng)攝像機(jī)運(yùn)動(dòng)，將物體的圖像始終保持在攝像機(jī)的視野內(nèi)，跟蹤該運(yùn)動(dòng)物體。
2.如權(quán)利要求1所述的快速跟蹤方法，其特征在于所述第五步基于形狀特征的圖像識(shí)別，是使用形狀參數(shù)，形狀參數(shù)F在一定程度上描述了區(qū)域的緊湊性，它是根據(jù)區(qū)域的周長(zhǎng)B和區(qū)域的面積A計(jì)算出來(lái)的F＝B*B/(4*PI*A)其中，形狀參數(shù)對(duì)圓形區(qū)域取到最小值1，而當(dāng)區(qū)域?yàn)槠渌螤顣r(shí)F總大于1。
3.如權(quán)利要求1所述的快速跟蹤方法，其特征在于還包括在運(yùn)動(dòng)跟蹤之前，進(jìn)行學(xué)習(xí)，其采用在線學(xué)習(xí)的方法a)在進(jìn)行跟蹤任務(wù)之前，經(jīng)過(guò)圖象采集卡，得到一幅數(shù)字化的RGB彩色圖像；b)用戶使用鼠標(biāo)選擇需要跟蹤的物體的矩形區(qū)域；c)操作系統(tǒng)將選取的局部圖像以BMP文件形式存儲(chǔ)在計(jì)算機(jī)上，作為后面識(shí)別所需要的閾值和對(duì)實(shí)時(shí)采集的圖像進(jìn)行分割的依據(jù)；d)將該局部彩色圖像轉(zhuǎn)化為HSV模型，對(duì)其H、S兩個(gè)分量分別做直方圖，得到選定區(qū)域的H、S閾值。
4.如權(quán)利要求3所述的快速跟蹤方法，其特征在于所述H、S閾值，在隨后的實(shí)時(shí)圖像識(shí)別中，該閾值作為物體分割的標(biāo)準(zhǔn)不會(huì)變化，直到用戶重新進(jìn)行學(xué)習(xí)。
5.如權(quán)利要求1所述的快速跟蹤方法，其特征在于在不對(duì)攝像機(jī)進(jìn)行標(biāo)定的情況下，利用圖像中的給定點(diǎn)與物體質(zhì)心的誤差為控制反饋量，實(shí)現(xiàn)快速、準(zhǔn)確的視覺(jué)跟蹤。
6.如權(quán)利要求1所述的快速跟蹤方法，其特征在于以物體表面顏色信息為依據(jù)，識(shí)別物體，進(jìn)行視覺(jué)跟蹤。
7.一種實(shí)現(xiàn)基于物體表面顏色的快速跟蹤方法的裝置，包括機(jī)器人、機(jī)器人控制系統(tǒng)，視覺(jué)處理系統(tǒng)組成，其特征在于機(jī)器人控制系統(tǒng)由主控計(jì)算機(jī)和機(jī)器人控制器組成，視覺(jué)處理系統(tǒng)由攝像機(jī)、圖像采集卡及圖像處理計(jì)算機(jī)組成，其中，攝像機(jī)安裝在機(jī)器人末端，攝像機(jī)輸出端接圖像采集卡，圖像采集卡置于圖像處理計(jì)算機(jī)內(nèi)，機(jī)器人與機(jī)器人控制器電連接，機(jī)器人控制器與圖像處理計(jì)算機(jī)分別和主計(jì)算機(jī)電連接。
8.如權(quán)利要求7所述的裝置，其特征在于所述機(jī)器人為五自由度機(jī)器人，是由一個(gè)三自由度的直角坐標(biāo)機(jī)器人和一個(gè)兩自由度的旋轉(zhuǎn)手腕組成，旋轉(zhuǎn)手腕安裝在直角坐標(biāo)機(jī)器人垂直軸的末端，該旋轉(zhuǎn)手腕上固接有攝像機(jī)；機(jī)器人由一臺(tái)主控計(jì)算機(jī)和機(jī)器人控制器控制。
9.如權(quán)利要求7所述的裝置，其特征在于所述圖像采集卡及圖像處理計(jì)算機(jī)，是選用PCI總線圖象采集卡，將圖像卡安裝在主頻為≥2.8G的通用PC機(jī)中，構(gòu)成圖像處理系統(tǒng)。
全文摘要
一種基于物體表面顏色的快速跟蹤方法與裝置，在計(jì)算機(jī)中安裝圖像采集卡，通過(guò)攝像機(jī)和圖像采集卡，將運(yùn)動(dòng)物體的圖像采集到計(jì)算機(jī)中。然后采用特定的圖像處理算法，根據(jù)物體表面顏色塊的特性，選取出需要的物體，給出物體圖像的質(zhì)心位置。將物體圖像質(zhì)心的位置與給定圖像點(diǎn)位置的差作為反饋控制量，控制機(jī)器人運(yùn)動(dòng)，從而帶動(dòng)攝像機(jī)運(yùn)動(dòng)，實(shí)現(xiàn)對(duì)物體的快速跟蹤。本發(fā)明圖像處理方法簡(jiǎn)潔，速度快，獨(dú)立成為一個(gè)單元，適應(yīng)性強(qiáng)，移植性強(qiáng)。圖像處理中采用了基于顏色信息的學(xué)習(xí)方法，對(duì)物體變化、環(huán)境光線的改變有很好的適應(yīng)性。能夠始終保持物體在攝像機(jī)的視野內(nèi)。本發(fā)明適合于智能監(jiān)控、工業(yè)產(chǎn)品自動(dòng)檢測(cè)、流水線視覺(jué)控制等領(lǐng)域。
文檔編號(hào)B25J19/02GK1721144SQ20041006887
公開(kāi)日2006年1月18日 申請(qǐng)日期2004年7月13日 優(yōu)先權(quán)日2004年7月13日
發(fā)明者趙曉光, 譚民, 杜欣, 汪建華, 徐德, 李原, 梁自澤, 景奉水 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所