本發(fā)明涉及檢測(cè)技術(shù)領(lǐng)域，具體地說(shuō)是一種基于視覺(jué)圖像的運(yùn)糧車谷物裝載狀態(tài)檢測(cè)方法及裝置。

背景技術(shù)：

為了提高我國(guó)聯(lián)合收割機(jī)-運(yùn)糧車主從協(xié)同作業(yè)的效率和監(jiān)控能力，需要重點(diǎn)解決運(yùn)糧車糧箱谷物裝載情況的動(dòng)態(tài)檢測(cè)問(wèn)題。在把收割機(jī)糧倉(cāng)中的谷物卸載到運(yùn)糧車上的過(guò)程中，既要避免糧食谷物散落到運(yùn)糧車糧箱之外，又要保證谷物在糧箱中均勻裝載，這就需要實(shí)時(shí)檢測(cè)糧箱谷物的裝載狀態(tài)以實(shí)現(xiàn)收割機(jī)和運(yùn)糧車的相對(duì)位置動(dòng)態(tài)調(diào)整。

在現(xiàn)有技術(shù)中，對(duì)于糧箱谷物裝載情況檢測(cè)主要包括以下四種方法：①采用機(jī)械傳感器，這種傳感器包括標(biāo)尺本體，通過(guò)標(biāo)尺測(cè)量獲得糧箱谷物的體積，然后根據(jù)谷物的密度和測(cè)得的體積值計(jì)算存儲(chǔ)量，但該方法存在計(jì)量過(guò)程復(fù)雜、測(cè)量精度差的不足；②采用超聲波傳感器，在糧箱谷物某一高度上水平選擇兩點(diǎn),一點(diǎn)用于發(fā)射超聲波,另一點(diǎn)用于接收,以判斷隨時(shí)間改變的糧食谷物是否達(dá)到已知高度，但超聲波傳感器一般價(jià)格昂貴，維護(hù)成本較高，安裝繁瑣；③采用三維激光掃描傳感器，利用三維激光雷達(dá)掃描并配以高速旋轉(zhuǎn)的棱鏡進(jìn)行糧食谷物表面三維數(shù)據(jù)測(cè)量，但三維激光掃描傳感器對(duì)工作環(huán)境要求苛刻，對(duì)操作、維護(hù)人員要求較高；④采用壓力傳感器，利用壓力傳感器輸出值計(jì)算糧倉(cāng)底面和側(cè)面的壓力值，并根據(jù)建立的模型進(jìn)行糧食谷物裝載情況的計(jì)算，但采用壓力傳感器需要針對(duì)不同的被測(cè)谷物建立特定的數(shù)學(xué)模型，不具備靈活性和通用性。

綜上所述，現(xiàn)有的機(jī)械、聲學(xué)、光學(xué)、電子式的傳感器普遍存在故障率高、穩(wěn)定性差和抗惡劣環(huán)境能力差等缺陷。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)上述問(wèn)題，本發(fā)明的目的在于提供一種基于視覺(jué)圖像的運(yùn)糧車谷物裝載狀態(tài)檢測(cè)方法及裝置，速度快，穩(wěn)定性強(qiáng)，精度較高。

本發(fā)明為實(shí)現(xiàn)上述目的所采用的技術(shù)方案是：一種基于視覺(jué)圖像的運(yùn)糧車谷物裝載狀態(tài)檢測(cè)方法，包括：

通過(guò)彩色數(shù)字相機(jī)對(duì)運(yùn)糧車進(jìn)行實(shí)時(shí)圖像采集，獲得糧箱口及谷物的平面彩色圖像；

對(duì)平面彩色圖像進(jìn)行處理，獲得糧箱口的完整邊緣輪廓；

通過(guò)顏色空間轉(zhuǎn)換及閾值分割，獲得糧箱上谷物在圖像中的區(qū)域；

利用二維凸包算法獲得代表谷物區(qū)域邊緣的凸點(diǎn)，并分別計(jì)算這些凸點(diǎn)到糧箱口四個(gè)邊緣直線的距離；

根據(jù)實(shí)時(shí)測(cè)量的這些距離，通過(guò)預(yù)先設(shè)定的閾值判斷谷物在糧箱口各個(gè)分布位置的裝載狀態(tài)，實(shí)現(xiàn)收割機(jī)向運(yùn)糧車卸糧時(shí)谷物裝載狀態(tài)的檢測(cè)。

所述對(duì)平面彩色圖像的處理在數(shù)字信號(hào)處理器中進(jìn)行。

所述對(duì)平面彩色圖像進(jìn)行處理，獲得糧箱口的完整邊緣輪廓，包括以下步驟：

利用高斯濾波器平滑采集到的平面彩色圖像；

將平面彩色圖像轉(zhuǎn)換為灰度圖像；

利用邊緣檢測(cè)方法，計(jì)算圖像各個(gè)像素在行、列兩個(gè)方向的梯度的絕對(duì)值之和；

利用閾值分割法去除干擾區(qū)域，獲取糧箱口邊緣區(qū)域；

利用膨脹、腐蝕算法去除邊緣區(qū)域毛刺；

利用高斯直線檢測(cè)算法，獲取在糧箱口邊緣的直線段，并將共線的直線擬合為一條直線；

獲得糧箱口四條完整邊緣輪廓線。

所述通過(guò)顏色空間轉(zhuǎn)換及閾值分割，獲得糧箱上谷物在圖像中的區(qū)域，包括以下步驟：

將獲得的糧箱口邊緣圍成區(qū)域作為感興趣區(qū)域，并分別提取三通道彩色圖像，獲得三個(gè)分別代表紅色、綠色、藍(lán)色的單通道灰度圖像；

利用閾值分割法在代表紅色的灰度圖像中獲得谷物的顏色區(qū)域；

將彩色圖像從紅綠藍(lán)顏色空間轉(zhuǎn)換為色調(diào)、飽和度、亮度的顏色空間；

利用閾值分割法相繼在飽和度和色調(diào)圖像中進(jìn)行處理，獲得谷物的顏色區(qū)域；

將上述獲得的兩處谷物區(qū)域進(jìn)行求交計(jì)算，獲得最終的谷物區(qū)域。

一種基于視覺(jué)圖像的運(yùn)糧車谷物裝載狀態(tài)檢測(cè)裝置，包括：

圖像采集模塊，用于通過(guò)彩色數(shù)字相機(jī)對(duì)運(yùn)糧車進(jìn)行圖像采集，獲得糧箱口及谷物的平面彩色圖像；

邊緣識(shí)別模塊，用于通過(guò)平滑、邊緣、直線檢測(cè)方法處理平面彩色圖像，獲得糧箱口的完整邊緣輪廓；

區(qū)域識(shí)別模塊，用于通過(guò)顏色空間轉(zhuǎn)換及閾值分割方法，獲得糧箱上谷物在圖像中的區(qū)域；

谷物狀態(tài)測(cè)量模塊，用于實(shí)現(xiàn)收割機(jī)向運(yùn)糧車卸糧時(shí)谷物裝載狀態(tài)的檢測(cè)。

所述彩色數(shù)字相機(jī)為帶有低畸變的廣角鏡頭的相機(jī)，從俯視角度獲取完整糧箱口及谷物的平面彩色圖像。

所述谷物裝載狀態(tài)測(cè)量模塊包括：

距離測(cè)量子模塊，利用二維凸包算法獲得代表谷物區(qū)域邊緣的凸點(diǎn)，并分別計(jì)算這些凸點(diǎn)到糧箱口四個(gè)邊緣直線的距離，通過(guò)預(yù)先設(shè)定的閾值判斷谷物在糧箱口各個(gè)分布位置的裝載狀態(tài)。

還包括：

檢測(cè)終端顯示模塊，用于將谷物狀態(tài)及相應(yīng)操作指令實(shí)時(shí)顯示在運(yùn)糧車駕駛室內(nèi)檢測(cè)終端的顯示設(shè)備上。

所述彩色數(shù)字相機(jī)為一個(gè)或多個(gè)，如果彩色數(shù)字相機(jī)為多個(gè)，則各個(gè)彩色數(shù)字相機(jī)在同一個(gè)多輸入接口的dsp視頻處理板卡上進(jìn)行處理和檢測(cè)。

本發(fā)明的優(yōu)點(diǎn)及有益效果是：

1.本發(fā)明采用視覺(jué)圖像處理和識(shí)別技術(shù)對(duì)運(yùn)糧車谷物裝載狀態(tài)進(jìn)行檢測(cè)，相對(duì)于其他檢測(cè)方法，在實(shí)現(xiàn)速度上有較大的提高，保證實(shí)時(shí)檢測(cè)的同時(shí)，也能夠保證較高的精度。

2.本發(fā)明采用最直觀的視覺(jué)檢測(cè)方法，干擾因素較少，相對(duì)于采用超聲波或激光等傳感器方法，能夠保證糧箱谷物檢測(cè)的識(shí)別魯棒性和穩(wěn)定性，并且數(shù)字相機(jī)的傳感器的價(jià)格成本更低。

3.本發(fā)明裝置采用結(jié)構(gòu)簡(jiǎn)單的相機(jī)固定支架，并且可以實(shí)現(xiàn)相機(jī)俯仰角度和垂直位置的調(diào)節(jié)，這樣就能夠使相機(jī)能夠觀察完整的糧箱谷物裝載狀態(tài)，保證裝置的通用性，可以在不同裝載量的糧箱上安裝使用。支架在糧箱上的安裝可以根據(jù)具體的糧箱外部結(jié)構(gòu)設(shè)計(jì)不同的固定位置和方式，方便裝卸和維護(hù)。

4.本發(fā)明具有方便安裝、維護(hù)，易于實(shí)施，檢測(cè)速度快，穩(wěn)定性強(qiáng)，精度較高的優(yōu)點(diǎn)。

附圖說(shuō)明

圖1為本發(fā)明的方法流程圖；

圖2為本發(fā)明的檢測(cè)裝置的一個(gè)實(shí)施例結(jié)構(gòu)原理示意圖；

圖3為采用單個(gè)相機(jī)的運(yùn)糧車谷物裝載狀態(tài)檢測(cè)裝置的組成示意圖；

圖4為本發(fā)明中相機(jī)支架的結(jié)構(gòu)示意圖；

圖5為本發(fā)明采集圖像中糧箱邊緣和谷物區(qū)域的示意圖；

圖6為本發(fā)明的基于視覺(jué)圖像的運(yùn)糧車谷物裝載狀態(tài)檢測(cè)裝置框圖。

具體實(shí)施方式

為使本發(fā)明要解決的技術(shù)問(wèn)題、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖及具體實(shí)施例進(jìn)行詳細(xì)描述。

本發(fā)明針對(duì)現(xiàn)有基于機(jī)械、超聲波、三維激光掃描、壓力等傳感器的測(cè)量方法效率較低、穩(wěn)定性差、成本較高等不足，提供一種基于視覺(jué)圖像的運(yùn)糧車谷物裝載狀態(tài)檢測(cè)方法及裝置，利用視覺(jué)技術(shù)實(shí)現(xiàn)對(duì)糧箱內(nèi)谷物裝載狀態(tài)的實(shí)時(shí)檢測(cè)。谷物分布狀態(tài)一般包括：“未裝滿”、“即將裝滿”和“已經(jīng)裝滿”三個(gè)狀態(tài)。

如圖1所示，本發(fā)明的基于視覺(jué)圖像的運(yùn)糧車谷物裝載狀態(tài)檢測(cè)方法，包括如下步驟：

步驟11，通過(guò)彩色數(shù)字相機(jī)對(duì)運(yùn)糧車進(jìn)行圖像采集，獲得糧箱口及谷物的平面彩色圖像；

步驟12，使用平滑、邊緣、直線檢測(cè)等濾波器處理平面彩色圖像，獲得糧箱口的完整邊緣輪廓；

步驟13，使用顏色空間轉(zhuǎn)換及閾值分割等圖像處理方法，獲得糧箱上谷物在圖像中的區(qū)域；

步驟14，利用二維凸包算法獲得代表谷物區(qū)域邊緣的凸點(diǎn)，并分別計(jì)算這些凸點(diǎn)到糧箱口四個(gè)邊緣直線的距離；

步驟15，根據(jù)實(shí)時(shí)測(cè)量的這些距離，通過(guò)預(yù)先設(shè)定的閾值判斷谷物在糧箱口各個(gè)分布位置的“未裝滿”、“即將裝滿”以及“已經(jīng)裝滿”三個(gè)裝載狀態(tài)，實(shí)現(xiàn)收割機(jī)向運(yùn)糧車卸糧時(shí)谷物裝載狀態(tài)的檢測(cè)。

本發(fā)明的上述方法通過(guò)帶有低畸變廣角鏡頭的彩色數(shù)字相機(jī)對(duì)運(yùn)糧車進(jìn)行圖像采集，獲得糧箱口及谷物的平面彩色圖像；從該彩色圖像中提取糧箱口邊緣直線和谷物區(qū)域，并確定該谷物區(qū)域的凸點(diǎn)，從而測(cè)量這些凸點(diǎn)到邊緣直線的距離來(lái)判斷谷物在糧箱口各個(gè)分布位置的狀態(tài)，不需測(cè)量糧箱內(nèi)部谷物的整個(gè)外表面形貌。這樣就使計(jì)算工作極大地簡(jiǎn)化，從而能夠靈活快速地對(duì)糧箱谷物裝載狀態(tài)進(jìn)行檢測(cè)。

上述圖1所示方法在具體實(shí)現(xiàn)時(shí)，還可以首先在運(yùn)糧車對(duì)谷物裝載狀態(tài)檢測(cè)裝置進(jìn)行布置和安裝，包括彩色數(shù)字相機(jī)、廣角鏡頭、檢測(cè)終端(包括安裝軟件的dsp板卡以及顯示屏)等；

下面具體說(shuō)明本發(fā)明的基于視覺(jué)圖像的運(yùn)糧車谷物裝載狀態(tài)檢測(cè)方法的實(shí)施例。

如圖2、圖3所示：彩色數(shù)字相機(jī)31和廣角鏡頭32通過(guò)固定支架33安裝在運(yùn)糧車糧箱34的窄邊一側(cè)，并對(duì)糧箱34內(nèi)的被檢測(cè)谷物35進(jìn)行圖像采集，采集得到的圖像通過(guò)視頻數(shù)據(jù)線36傳輸?shù)綑z測(cè)終端37(包括dsp視頻采集和處理板卡以及顯示屏38)，其中，dsp視頻采集和處理板卡用于采集彩色數(shù)字相機(jī)31觀察得到的糧箱34及谷物35的彩色圖像，可以在dsp板卡的存儲(chǔ)介質(zhì)中臨時(shí)存儲(chǔ)所述彩色圖像，并利用采集到的圖像數(shù)據(jù)進(jìn)行分析處理，并進(jìn)行檢測(cè)判斷運(yùn)算，最后將檢測(cè)結(jié)果顯示在顯示屏38上；

具體地，在運(yùn)糧車的駕駛室和糧箱對(duì)檢測(cè)裝置進(jìn)行布置和安裝，彩色數(shù)字相機(jī)31(見(jiàn)圖3)可以看到被檢測(cè)糧箱34的邊緣輪廓和其內(nèi)谷物35的顏色(黃色)區(qū)域，繼而用來(lái)進(jìn)行谷物裝載狀態(tài)的檢測(cè)。低畸變的廣角鏡頭32(見(jiàn)圖3)能夠保證彩色數(shù)字相機(jī)31能夠獲取大視場(chǎng)范圍的圖像，即一幅圖像包括完整的畸變較小的糧箱邊緣輪廓。固定支架33(見(jiàn)圖3)可以實(shí)現(xiàn)相機(jī)俯仰角度和垂直位置的調(diào)節(jié)，這樣就能夠使相機(jī)能夠觀察完整的糧箱谷物裝載狀態(tài)，保證裝置的通用性，可以在不同裝載量的糧箱上安裝使用。檢測(cè)終端37(見(jiàn)圖3)安裝在運(yùn)糧車的駕駛室內(nèi)，便于造作人員通過(guò)顯示屏38(見(jiàn)圖3)實(shí)時(shí)監(jiān)控糧箱內(nèi)谷物的裝載狀態(tài)情況，并根據(jù)狀態(tài)提示進(jìn)行收割機(jī)和運(yùn)糧車的相對(duì)位置動(dòng)態(tài)調(diào)整。固定支架33的機(jī)械結(jié)構(gòu)如圖4所示，相機(jī)41首先通過(guò)其下方的螺紋孔固定在帶有u型槽口的零件42上，通過(guò)螺栓43與帶有螺紋孔的凸型底座44固定在一起，這樣螺紋孔實(shí)現(xiàn)了相機(jī)俯仰角度的運(yùn)動(dòng)調(diào)節(jié)，u型槽口實(shí)現(xiàn)了相機(jī)垂直位置的運(yùn)動(dòng)調(diào)節(jié)，最后通過(guò)支撐架45將相機(jī)及上述零件整體安裝在糧箱一側(cè)，支撐架45采用垂直支撐面后移的結(jié)構(gòu)，目的是避免相機(jī)俯視觀察糧箱產(chǎn)生遮擋。固定支架33在糧箱上的安裝可以根據(jù)具體的糧箱外部結(jié)構(gòu)設(shè)計(jì)不同的固定位置和方式，方便裝卸和維護(hù)。

在提取糧箱的邊緣輪廓線和谷物的顏色區(qū)域時(shí)，通過(guò)機(jī)器視覺(jué)方法，利用平滑、邊緣、直線檢測(cè)等濾波器處理彩色圖像，獲得糧箱口的完整邊緣輪廓，再將共線邊緣擬合為一條直線，提取得到如圖5中所示的糧箱口的邊緣輪廓線51，對(duì)所獲取的彩色圖像進(jìn)行顏色空間變換和閾值分割處理，將如圖5所示的谷物區(qū)域52從彩色圖像背景中提取出來(lái)。

利用二維凸包算法獲得代表谷物區(qū)域邊緣的凸點(diǎn)，并分別計(jì)算這些凸點(diǎn)到糧箱口四個(gè)邊緣直線的距離。根據(jù)實(shí)時(shí)測(cè)量的距離，通過(guò)預(yù)先設(shè)定的閾值判斷谷物在糧箱口各個(gè)分布位置的狀態(tài)：(1)當(dāng)距離大于預(yù)先設(shè)定的閾值時(shí)(如圖5中53情況所示)，則為在該點(diǎn)所在分布區(qū)域的谷物裝載狀態(tài)為“未裝滿”；(2)當(dāng)距離小于預(yù)先設(shè)定的閾值且大于零時(shí)(如圖5中54情況所示)，則為在該點(diǎn)所在分布區(qū)域的谷物裝載狀態(tài)為“即將裝滿”；當(dāng)距離等于零時(shí)(如圖5中55情況所示)，則為在該點(diǎn)所在分布區(qū)域的谷物裝載狀態(tài)為“已經(jīng)裝滿”。

綜上，本發(fā)明的檢測(cè)方法主要有三個(gè)關(guān)鍵內(nèi)容。首先，由于是采用低畸變的廣角鏡頭，選取合適的彩色數(shù)字相機(jī)直接決定了獲取的被檢測(cè)糧箱谷物的圖像信息的正確性和全面性。其次，獲取充分的圖像數(shù)據(jù)后根據(jù)需要分析處理，選取最優(yōu)算法進(jìn)而提高檢測(cè)的精度、速度和穩(wěn)定性。最后，采用可調(diào)節(jié)相機(jī)俯仰角度和垂直位置的固定支架，以便在不同裝載量的糧箱上使用，保證方法和裝置的通用性。

根據(jù)本發(fā)明的另一方面，如圖6所示，本發(fā)明的實(shí)施例還提供一種基于視覺(jué)圖像的運(yùn)糧車谷物裝載狀態(tài)檢測(cè)裝置6，包括：

圖像采集模塊61，用于通過(guò)數(shù)字相機(jī)對(duì)運(yùn)糧車進(jìn)行圖像采集，獲得糧箱口及谷物的平面彩色圖像；

邊緣識(shí)別模塊62，用于通過(guò)平滑、邊緣、直線檢測(cè)等濾波器處理平面彩色圖像，獲得糧箱口的完整邊緣輪廓；

區(qū)域識(shí)別模塊63，用于通過(guò)顏色空間轉(zhuǎn)換及閾值分割等圖像處理方法，獲得糧箱上谷物在圖像中的區(qū)域；

谷物狀態(tài)測(cè)量模塊64，用于實(shí)現(xiàn)收割機(jī)向運(yùn)糧車卸糧時(shí)谷物裝載狀態(tài)的檢測(cè)。

檢測(cè)終端顯示模塊65，用于將谷物狀態(tài)及相應(yīng)操作指令實(shí)時(shí)顯示在運(yùn)糧車駕駛室內(nèi)檢測(cè)終端的顯示設(shè)備上。

優(yōu)選的，上述系統(tǒng)還包括：

可微調(diào)相機(jī)俯仰角度和垂直位置的固定支架。

所述谷物裝載狀態(tài)測(cè)量模塊包括：

距離測(cè)量子模塊，利用二維凸包算法獲得代表谷物區(qū)域邊緣的凸點(diǎn)，并分別計(jì)算這些凸點(diǎn)到糧箱口四個(gè)邊緣直線的距離，通過(guò)預(yù)先設(shè)定的閾值判斷谷物在糧箱口各個(gè)分布位置的裝載狀態(tài)。

本發(fā)明提供的基于視覺(jué)圖像的運(yùn)糧車谷物裝載狀態(tài)檢測(cè)裝置，主要通過(guò)帶有低畸變廣角鏡頭的彩色數(shù)字相機(jī)對(duì)運(yùn)糧車進(jìn)行圖像采集，利用檢測(cè)終端 中的數(shù)字信號(hào)處理器(dsp)進(jìn)行圖像的實(shí)時(shí)處理，獲得糧箱口邊緣直線和谷物區(qū)域，并確定該谷物區(qū)域的凸點(diǎn)，從而測(cè)量這些凸點(diǎn)到邊緣直線的距離來(lái)判斷谷物在糧箱口各個(gè)分布位置的狀態(tài)，不需測(cè)量糧箱內(nèi)部谷物的整個(gè)外表面形貌。這樣就使計(jì)算工作極大地簡(jiǎn)化，從而能夠靈活快速地對(duì)糧箱谷物裝載狀態(tài)進(jìn)行檢測(cè)。

該裝置具有快速、高精度、穩(wěn)定、全自動(dòng)測(cè)量等幾大優(yōu)勢(shì)。利用該裝置能夠?qū)崟r(shí)檢測(cè)運(yùn)糧車的谷物裝載狀態(tài)，以實(shí)現(xiàn)收割機(jī)和運(yùn)糧車的相對(duì)位置的動(dòng)態(tài)調(diào)整，避免糧食谷物散落到運(yùn)糧車糧箱之外，保證谷物在糧箱中均勻裝載。采用視覺(jué)圖像技術(shù)的檢測(cè)方法可以替代傳統(tǒng)的機(jī)械式和壓力式檢測(cè)方法，并且在速度、穩(wěn)定性、成本上都要優(yōu)于采用超聲波和三維激光的檢測(cè)方法。

最后，需要說(shuō)明的是：上述方法中的所有實(shí)現(xiàn)方式均適用于該裝置實(shí)施例中，也能達(dá)到相同的技術(shù)效果，在此不再贅述。

以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明所述原理的前提下，還可以作出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。