一種基于多目立體視覺(jué)的智能采棉機(jī)控制系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種應(yīng)用于采棉機(jī)的控制系統(tǒng)，尤其涉及一種基于多目立體視覺(jué)的智能采棉機(jī)控制系統(tǒng)，涉及機(jī)器視覺(jué)領(lǐng)域與機(jī)電控制領(lǐng)域。
【背景技術(shù)】
[0002]我國(guó)的棉花種植面積近2800萬(wàn)畝，傳統(tǒng)的采棉方式為人工采棉，每到采棉季節(jié)，都要投入大量的人力物力成本。近幾年來(lái)，由于植棉效益不斷下降，導(dǎo)致勞動(dòng)力成本逐年上升，因此機(jī)械化采棉技術(shù)應(yīng)運(yùn)而生。目前國(guó)內(nèi)棉農(nóng)使用的采棉機(jī)絕大部分是由國(guó)外進(jìn)口，采棉機(jī)要求棉花結(jié)鈴性比較集中，果枝高度比較一致在離地18cm以上，果枝要短而上沖，株型緊湊，吐絮集中，采摘條件十分苛刻；采收時(shí)一次性采摘，破壞了棉花植株，采凈率不高，降低了棉花產(chǎn)量，而且機(jī)采棉含雜高、長(zhǎng)度偏短、短纖維含量高、加工質(zhì)量差。隨著現(xiàn)代計(jì)算機(jī)技術(shù)、現(xiàn)場(chǎng)總線(xiàn)技術(shù)與大規(guī)模集成電路技術(shù)的飛速發(fā)展，立體視覺(jué)技術(shù)日臻成熟，已經(jīng)廣泛應(yīng)用在農(nóng)業(yè)生產(chǎn)中。近年來(lái)，國(guó)內(nèi)也有關(guān)于立體視覺(jué)應(yīng)用于采棉機(jī)的研究，目前研究較多的是運(yùn)用雙目立體視覺(jué)進(jìn)行地圖導(dǎo)航、棉花定位，并且采用機(jī)械手臂采棉，采棉效率不高，定位不夠準(zhǔn)確，采凈率不高。因此，本發(fā)明提出了一種基于多目立體視覺(jué)的多傳感器信息融合的智能采棉機(jī)控制系統(tǒng)，運(yùn)用多目立體視覺(jué)進(jìn)行準(zhǔn)確定位，并且采用高速數(shù)據(jù)處理器，精準(zhǔn)、快速、實(shí)時(shí)控制采棉執(zhí)行機(jī)構(gòu)高效、優(yōu)質(zhì)采棉。

【發(fā)明內(nèi)容】

[0003]本發(fā)明提供一種基于多目立體視覺(jué)的多傳感器信息融合的采棉機(jī)控制系統(tǒng)，可以實(shí)時(shí)地獲取棉株的圖像信息，并能快速、精確地控制電動(dòng)缸采摘成熟棉花，具有實(shí)時(shí)、精確、尚效等特點(diǎn)。
[0004]本發(fā)明的技術(shù)方案為:一種基于多目立體視覺(jué)的多傳感器信息融合的智能采棉機(jī)控制系統(tǒng)，包括多目立體視覺(jué)模塊(1)、機(jī)組運(yùn)行與位姿信息獲取模塊(2)和控制模塊(3)。
[0005]多目立體視覺(jué)模塊包括3個(gè)彩色(XD相機(jī)、1個(gè)DSP數(shù)字圖像處理器、1個(gè)FPGA現(xiàn)場(chǎng)可編程門(mén)陣列和1個(gè)SR10高速串行接口，3個(gè)彩色CCD相機(jī)從三個(gè)角度獲取目標(biāo)的圖像信息，由FPGA對(duì)CCD相機(jī)的圖像數(shù)據(jù)進(jìn)行采集并對(duì)圖像進(jìn)行預(yù)處理，再通過(guò)SR10高速串行接口將FPGA處理過(guò)后的圖像數(shù)據(jù)發(fā)送給DSP數(shù)字圖像處理器，由DSP依照特定地算法高速地處理圖像數(shù)據(jù)，以完成對(duì)成熟棉桃的識(shí)別與空間定位，然后將數(shù)據(jù)發(fā)送給控制模塊。
[0006]機(jī)組運(yùn)行與位姿信息獲取模塊包括1個(gè)三軸加速度傳感器和1個(gè)三軸陀螺儀，三軸加速度傳感器獲取采棉機(jī)的運(yùn)行速度、加速度信息，三軸陀螺儀獲取電動(dòng)缸陣列相對(duì)棉花植株的角度位置信息，F(xiàn)PGA采集三軸加速度傳感器與三軸陀螺儀所獲取的信息并通過(guò)特定的算法進(jìn)行處理以消除由于地面不平整造成的電動(dòng)缸陣列與棉花植株的相對(duì)偏移。
[0007]控制模塊包括控制器和驅(qū)動(dòng)器，控制器接收DSP處理后得到的成熟棉桃空間位置數(shù)據(jù)及FPGA處理后得到的機(jī)組運(yùn)行與位姿數(shù)據(jù)，按照特定的規(guī)則進(jìn)行判斷并生成指令，再由驅(qū)動(dòng)器驅(qū)動(dòng)電動(dòng)缸陣列的運(yùn)動(dòng)以抓取成熟棉桃。
[0008]綜上所述，本發(fā)明提供的基于多目立體視覺(jué)的智能采棉機(jī)控制系統(tǒng)可以控制電動(dòng)缸快速、準(zhǔn)確的摘取成熟棉桃。采用多目立體視覺(jué)技術(shù)，不僅可以獲取棉花的空間位置信息，確定棉花植株相對(duì)于電動(dòng)缸陣列的空間相對(duì)位置，也可以利用所獲取的圖像進(jìn)行有效分割，將棉花與背景分開(kāi)，從而準(zhǔn)確的確定成熟棉桃的空間位置；采用三軸加速度傳感器與三軸陀螺儀可以有效的降低由于地面不平整所造成的電動(dòng)缸陣列相對(duì)成熟棉花空間定位的影響；DSP與FPGA結(jié)合可以高速地處理圖像數(shù)據(jù)以及各傳感器的融合數(shù)據(jù)，滿(mǎn)足控制系統(tǒng)實(shí)時(shí)性和高效性的要求。
【附圖說(shuō)明】
[0009]下面結(jié)合附圖進(jìn)一步說(shuō)明本發(fā)明。
[0010]圖1是本發(fā)明的總體結(jié)構(gòu)框圖。
[0011]圖2是本發(fā)明的3個(gè)(XD彩色相機(jī)的安裝位置示意圖。
[0012]圖3是本發(fā)明的多目立體視覺(jué)模塊結(jié)構(gòu)框圖。
[0013]圖4是本發(fā)明的控制模塊結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0014]圖1是本發(fā)明的總體結(jié)構(gòu)框圖。多目立體視覺(jué)模塊通過(guò)安裝在機(jī)組上的3個(gè)(XD相機(jī)從3個(gè)不同的角度實(shí)時(shí)的拍攝棉花植株的圖片，F(xiàn)PGA對(duì)CCD相機(jī)的圖像數(shù)據(jù)進(jìn)行采集并預(yù)處理，消除背景及噪聲等干擾信息，通過(guò)SR10高速串行接口將FPGA處理過(guò)后的圖像數(shù)據(jù)發(fā)送給DSP數(shù)字圖像處理器，由DSP依照特定地算法高速地處理圖像數(shù)據(jù)，以完成對(duì)成熟棉桃的識(shí)別與空間定位，然后將數(shù)據(jù)發(fā)送給控制模塊進(jìn)行處理；同時(shí)，由三軸加速度傳感器和三軸陀螺儀采集機(jī)組的運(yùn)動(dòng)的速度、加速度信息，以及執(zhí)行機(jī)構(gòu)相對(duì)于棉花植株的角度信息，并將數(shù)據(jù)發(fā)送給控制模塊進(jìn)行處理，再經(jīng)控制器按照一定的規(guī)則將數(shù)據(jù)融合后編寫(xiě)成特定的指令，再由驅(qū)動(dòng)器驅(qū)動(dòng)電動(dòng)缸陣列準(zhǔn)確的抓取成熟棉桃。
[0015]圖2是本發(fā)明的3個(gè)C⑶彩色相機(jī)的安裝位置示意圖。3個(gè)C⑶相機(jī)分別從棉株上方和兩側(cè)獲取圖像信息，通過(guò)3個(gè)角度采集的圖像可以較完整的得到植株及棉桃的位置
?目息。
[0016]圖3是本發(fā)明的多目立體視覺(jué)模塊結(jié)構(gòu)框圖。3個(gè)CCD相機(jī)拍攝棉花植株的圖像，由FPGA對(duì)圖像數(shù)據(jù)進(jìn)行采集并預(yù)處理，以去除背景信息及其他噪聲，然后通過(guò)SR10高速串行接口將預(yù)處理后的圖像數(shù)據(jù)傳輸給DSP處理器中，DSP數(shù)據(jù)處理器同時(shí)進(jìn)行棉花定位以及棉花與成熟棉桃的識(shí)別與分割。其中，棉花的定位需要對(duì)相機(jī)進(jìn)行參數(shù)標(biāo)定與優(yōu)化，再將3個(gè)CCD相機(jī)的數(shù)據(jù)按照特定的算法進(jìn)行計(jì)算，從而得到棉花的深度信息，以完成對(duì)棉花的定位；同時(shí)對(duì)去噪后的圖像用特定的分割方法進(jìn)行分割，以準(zhǔn)確分離出成熟棉桃與棉鈴，為成熟棉桃的準(zhǔn)確抓取提供可靠信息。
[0017]圖4是本發(fā)明的控制模塊結(jié)構(gòu)框圖。控制器接收DSP處理后得到的成熟棉桃空間位置數(shù)據(jù)及FPGA處理后得到的機(jī)組運(yùn)行與位姿數(shù)據(jù)，按照特定的規(guī)則進(jìn)行判斷并生成指令，然后將指令發(fā)送給驅(qū)動(dòng)器，再由驅(qū)動(dòng)器驅(qū)動(dòng)電動(dòng)缸陣列的運(yùn)動(dòng)以抓取成熟棉桃。
【主權(quán)項(xiàng)】
1.一種基于多目立體視覺(jué)的智能采棉機(jī)控制系統(tǒng)，其特征在于: 該系統(tǒng)包括多目立體視覺(jué)模塊(1)、機(jī)組運(yùn)行與位姿信息獲取模塊(2)和控制模塊(3);多目立體視覺(jué)模塊(1)快速準(zhǔn)確識(shí)別出成熟棉桃，并獲取其空間位置信息；機(jī)組運(yùn)行與位姿信息獲取模塊(2)為控制系統(tǒng)提供采棉機(jī)的運(yùn)動(dòng)信息及電動(dòng)缸陣列的空間位姿信息；控制模塊(3)接收由多目立體視覺(jué)模塊及機(jī)組運(yùn)行與位姿獲取模塊的信息并生成控制指令，控制電動(dòng)缸陣列快速、精確抓取成熟棉桃。2.根據(jù)權(quán)利1要求所述的基于多目立體視覺(jué)的智能采棉機(jī)控制系統(tǒng)，其特征在于，所述的多目立體視覺(jué)模塊包括3個(gè)彩色(XD相機(jī)、1個(gè)DSP數(shù)字圖像處理器、1個(gè)FPGA現(xiàn)場(chǎng)可編程門(mén)陣列和1個(gè)SR1高速串行接口，3個(gè)彩色CCD相機(jī)從三個(gè)角度獲取目標(biāo)的圖像信息，由FPGA對(duì)CCD相機(jī)的圖像數(shù)據(jù)進(jìn)行采集并對(duì)圖像進(jìn)行預(yù)處理，再通過(guò)SR1高速串行接口將FPGA處理過(guò)后的圖像數(shù)據(jù)發(fā)送給DSP數(shù)字圖像處理器，由DSP依照特定地算法高速地處理圖像數(shù)據(jù)，以完成對(duì)成熟棉桃的識(shí)別與空間定位，然后將數(shù)據(jù)發(fā)送給控制模塊。3.根據(jù)權(quán)利1要求所述的基于多目立體視覺(jué)的智能采棉機(jī)控制系統(tǒng)，其特征在于，所述的機(jī)組運(yùn)行與位姿信息獲取模塊包括1個(gè)三軸加速度傳感器和1個(gè)三軸陀螺儀，三軸加速度傳感器獲取采棉機(jī)的運(yùn)行速度、加速度信息，三軸陀螺儀獲取電動(dòng)缸陣列相對(duì)棉花植株的角度位置信息，F(xiàn)PGA采集三軸加速度傳感器與三軸陀螺儀所獲取的信息并通過(guò)特定的算法進(jìn)行處理以消除由于地面不平整造成的電動(dòng)缸陣列與棉花植株的相對(duì)偏移。4.根據(jù)權(quán)利1要求所述的基于多目立體視覺(jué)的智能采棉機(jī)控制系統(tǒng)，其特征在于，所述的控制模塊包括控制器和驅(qū)動(dòng)器，控制器接收DSP處理后得到的成熟棉桃空間位置數(shù)據(jù)及FPGA處理后得到的機(jī)組運(yùn)行與位姿數(shù)據(jù)，按照特定的規(guī)則進(jìn)行判斷并生成指令，然后將指令發(fā)送給驅(qū)動(dòng)器，再由驅(qū)動(dòng)器驅(qū)動(dòng)電動(dòng)缸陣列的運(yùn)動(dòng)以抓取成熟棉桃。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于多目立體視覺(jué)的智能采棉機(jī)控制系統(tǒng)，涉及機(jī)器視覺(jué)以及機(jī)電控制領(lǐng)域，包括多目立體視覺(jué)技術(shù)，所述的多目立體視覺(jué)技術(shù)主要完成對(duì)成熟棉桃的識(shí)別與空間定位，以獲取成熟棉桃的空間位置信息，還包括三軸加速度傳感器與三軸陀螺儀，所述的三軸加速度傳感器與三軸陀螺儀獲取機(jī)組的運(yùn)動(dòng)與陣列電動(dòng)缸的位姿信息。多目立體視覺(jué)技術(shù)所獲取的信息與三軸加速度傳感器及三軸陀螺儀所獲取信息相融合，由控制器及驅(qū)動(dòng)器控制陣列電動(dòng)缸的運(yùn)動(dòng)到達(dá)指定位置獲取成熟棉桃。本發(fā)明具有控制精確，實(shí)時(shí)高效等特點(diǎn)。
【IPC分類(lèi)】H04N7/18, G05B19/042, A01D46/12
【公開(kāi)號(hào)】CN105259832
【申請(qǐng)?zhí)枴緾N201510700294
【發(fā)明人】王見(jiàn), 趙天陽(yáng), 王作學(xué), 鄧冰峰, 周全, 朱譽(yù)品
【申請(qǐng)人】重慶大學(xué)
【公開(kāi)日】2016年1月20日
【申請(qǐng)日】2015年10月26日