本發(fā)明涉及大腦認(rèn)知過程中心理旋轉(zhuǎn)機(jī)理的建模,特別涉及基于四維空間平移及旋轉(zhuǎn)模型的實(shí)現(xiàn)及其在移動機(jī)器人導(dǎo)航中可能的應(yīng)用。
背景技術(shù):
心理旋轉(zhuǎn)(mentalrotation)是靈長類動物的一種重要的空間認(rèn)知能力,它能夠幫助我們在大腦中模擬旋轉(zhuǎn)所看物體的位置狀態(tài),以解決某一特定任務(wù),比如辨別兩個物體方向是否一致。上世紀(jì)70年代shepard等人著名的三維物體心理學(xué)旋轉(zhuǎn)實(shí)驗(yàn)得出:判斷兩個物體是否匹配的反應(yīng)時間與它們的角度差異線性正相關(guān)。該實(shí)驗(yàn)被提出之后,一些新的方法也被用來研究心理旋轉(zhuǎn)的生物神經(jīng)學(xué)基礎(chǔ),比如:功能性核磁共振成像,正電子發(fā)射型計算機(jī)斷層顯像,tms經(jīng)顱磁刺激等。這些方法揭示了在進(jìn)行心理旋轉(zhuǎn)時,大腦中的上頂葉皮層(superiorparietalcortex,spc),前額皮層(prefrontalcortex,pfc)和中央前回皮層中的運(yùn)動皮層(premotorcortex,pmc)這三個區(qū)域被持續(xù)激活。上頂葉皮層的功能包括空間構(gòu)圖、特定圖形轉(zhuǎn)換計算;前額皮層的功能包括運(yùn)動控制及模仿;中央前回皮層的功能包括運(yùn)動規(guī)劃執(zhí)行及運(yùn)動模擬。這些發(fā)現(xiàn)也促使了一些心理旋轉(zhuǎn)的神經(jīng)學(xué)框架的產(chǎn)生,這些框架一般將心理學(xué)旋轉(zhuǎn)分成四個認(rèn)知過程:1)從各個方向上創(chuàng)建一個物體的心理圖像(mentalimage);2)參照其他圖像,對目前的物體進(jìn)行心理旋轉(zhuǎn),直到可以做出比較;3)關(guān)聯(lián)比較兩個物體;4)報告比較結(jié)果。
心理旋轉(zhuǎn)是通過連續(xù)時間內(nèi)對目標(biāo)場景或物體進(jìn)行多次空間變換完成的,它需要有限的先驗(yàn)知識或動作指導(dǎo)以完成特定任務(wù)。因?yàn)樾睦硇D(zhuǎn)是模擬旋轉(zhuǎn),所以是一種運(yùn)動預(yù)測方法,其工程實(shí)現(xiàn)較為復(fù)雜,涉及場景感知與記憶、關(guān)鍵目標(biāo)提取、目標(biāo)特征提取、特征變換與比較這一系列動作,所以目前并沒有特別完善的心理旋轉(zhuǎn)的計算模型可將其應(yīng)用到實(shí)際的機(jī)器視覺領(lǐng)域。
移動機(jī)器人導(dǎo)航算法目前已經(jīng)比較成熟了,而基于視覺的導(dǎo)航是最重要的研究內(nèi)容。但傳統(tǒng)的導(dǎo)航算法也有一些難以克服的弊端,比如自適應(yīng)能力薄弱和學(xué)習(xí)能力差等。特定環(huán)境下,比如在意外頻發(fā),動作危險,環(huán)境陌生時,以意識認(rèn)知能力為基礎(chǔ)的自主控制是十分重要的。特別地,除人之外的靈長類動物和嬰幼兒使用地圖和實(shí)時構(gòu)圖的能力不強(qiáng),他們是如何執(zhí)行導(dǎo)航任務(wù)的?研究表明心理旋轉(zhuǎn)在導(dǎo)航過程中發(fā)揮了重要作用,靈長類動物能通過心理旋轉(zhuǎn)對比眼前場景與目標(biāo)場景,進(jìn)而完善地圖,并想象當(dāng)前視角旋轉(zhuǎn)一定角度后所能看到的場景是否與目標(biāo)場景一致,以此決定下一步運(yùn)動策略??梢?,將心理旋轉(zhuǎn)機(jī)制用在移動機(jī)器人導(dǎo)航任務(wù)上是有前景的。
技術(shù)實(shí)現(xiàn)要素:
有鑒于此,為了解決上述問題,本發(fā)明設(shè)計一種實(shí)用的基于四維空間平移和旋轉(zhuǎn)的心理旋轉(zhuǎn)機(jī)理模型,將復(fù)雜的心理旋轉(zhuǎn)過程簡化成一個易于實(shí)現(xiàn)的計算模型,四維包括三維空間和時間維。并進(jìn)一步探索其在移動機(jī)器人導(dǎo)航任務(wù)中可能的應(yīng)用前景,目的是降低機(jī)器人導(dǎo)航算法的訓(xùn)練代價,提高算法的遷移和適應(yīng)能力。
本發(fā)明的目的是提出一種實(shí)用的基于四維空間平移和旋轉(zhuǎn)的心理旋轉(zhuǎn)機(jī)理模型。
為實(shí)現(xiàn)以上目的,通過以下技術(shù)方案來實(shí)現(xiàn)的:
本發(fā)明提供的一種基于梯度策略的激勵學(xué)習(xí)方法,包括以下步驟:
s1:抽象表示上頂葉皮層的空間構(gòu)圖功能,輸入當(dāng)前物體的rgb圖片和3d點(diǎn)云圖,輸出3幅顏色特征圖,8幅形狀特征圖,4幅方向特征圖和1幅點(diǎn)云關(guān)鍵點(diǎn)特征圖;
s2:抽象表示前額皮層的特征和位姿匹配功能,輸入為s1得到的16幅特征圖,輸出為特征和位置匹配結(jié)果;
s3:抽象表示運(yùn)動皮層的模擬旋轉(zhuǎn)功能,輸入為s2的匹配結(jié)果和s1輸出的點(diǎn)云關(guān)鍵點(diǎn)特征圖,輸出為一系列與時間相關(guān)的四維旋轉(zhuǎn)算子;
s4:移動機(jī)器人根據(jù)s3得到的旋轉(zhuǎn)算子規(guī)劃下一步運(yùn)動策略。
進(jìn)一步,所述步驟s1中的上頂葉皮層對應(yīng)模塊主要功能是進(jìn)行空間構(gòu)圖,因?yàn)閳鼍斑^于復(fù)雜,我們將提取目標(biāo)場景中的某個關(guān)鍵物體進(jìn)行研究,依據(jù)是我們?nèi)祟愒谟洃浀貓D的時候一般會選擇性記憶當(dāng)前視角下地圖中的標(biāo)志性路標(biāo)或建筑等。上頂葉皮層將物體的顏色、形狀、方向和關(guān)鍵點(diǎn)特征量化,輸入為當(dāng)前物體的rgb圖片和3d點(diǎn)云圖,rgb圖片用在前三個特征的提取,3d點(diǎn)云圖用在關(guān)鍵點(diǎn)特征的提取。顏色采用“顏色雙競爭”算法表示;形狀采用8尺度高斯金字塔圖片進(jìn)行sobel邊緣提取表示;方向采用余弦光柵和二維高斯卷積描述;對3d點(diǎn)云圖使用sift算子提取關(guān)鍵點(diǎn),以簡化數(shù)據(jù)量。所述上頂葉皮層模塊輸出為3個顏色特征圖,8個形狀特征圖,和4個方向特征圖和1個關(guān)鍵點(diǎn)3d點(diǎn)云圖。
進(jìn)一步,所述步驟s2中的前額皮層模塊的主要功能是特征及位姿的比較匹配,其輸入為上頂葉皮層模塊得到的16幅當(dāng)前物體特征圖與16幅目標(biāo)物體特征圖,用歐式距離來描述顏色特征圖、形狀特征圖,方向特征圖,關(guān)鍵點(diǎn)3d點(diǎn)云圖的差異,進(jìn)而將這4大類特征圖線性融合成一個值,用預(yù)先設(shè)置的閾值來與該值作比較,判斷所見物體與目標(biāo)物體是否是同一物體,并且位姿一致。若一致,心理旋轉(zhuǎn)過程完成,移動機(jī)器人導(dǎo)航操作也完成,若不一致則將當(dāng)前物體3d點(diǎn)云圖反饋給前運(yùn)動皮層,進(jìn)行下一次的心理旋轉(zhuǎn)規(guī)劃。
進(jìn)一步,所述步驟s3中的前運(yùn)動皮層模塊的主要工作是模擬旋轉(zhuǎn)當(dāng)前物體,輸入是當(dāng)前物體和目標(biāo)物體的3d點(diǎn)云關(guān)鍵點(diǎn)圖。實(shí)現(xiàn)借鑒機(jī)械臂空間描述和變換的方法,首先以目標(biāo)物體點(diǎn)云圖中心為原點(diǎn)構(gòu)建三維空間坐標(biāo)系,然后將當(dāng)前物體投影到該空間中的任意位置,進(jìn)而采用平移算子將當(dāng)前物體的中心平移到坐標(biāo)原點(diǎn)上。根據(jù)兩幅點(diǎn)云關(guān)鍵點(diǎn)的角度差異均值,構(gòu)建一個與當(dāng)前狀態(tài)相關(guān)的四維旋轉(zhuǎn)算子,包括x,y,z,t(時間)的狀態(tài)。用旋轉(zhuǎn)算子模擬旋轉(zhuǎn)當(dāng)前物體,再次匹配關(guān)鍵點(diǎn),如果存在較大差異,則在模擬旋轉(zhuǎn)后的狀態(tài)上再次計算一個旋轉(zhuǎn)算子x,y,z,t+1,類似于馬爾科夫鏈,t+1時刻的狀態(tài)僅取決于t時刻的狀態(tài),直到匹配差異值在某一范圍內(nèi),輸出一系列的四維旋轉(zhuǎn)算子。
進(jìn)一步,所述步驟s4中移動機(jī)器人根據(jù)s3輸出的旋轉(zhuǎn)算子,規(guī)劃接下來的軌跡,使得攝像頭能夠轉(zhuǎn)過一定角度,然后使用kinect運(yùn)動相機(jī)采集移動過后的場景圖,并通過目標(biāo)物體的形狀模板匹配當(dāng)前場景中最相似的物體,分割該物體,將其rgb圖和3d點(diǎn)云圖反饋給上述的上頂葉皮層模塊,進(jìn)行下一次心理旋轉(zhuǎn)過程。移動機(jī)器人不斷地調(diào)整自己所在位置,最終盡可能使其視角下的場景與目標(biāo)場景一致。
本發(fā)明將靈長類動物的心理旋轉(zhuǎn)過程抽象成可量化表示的空間旋轉(zhuǎn)過程,建立了一整套的心理旋轉(zhuǎn)實(shí)現(xiàn)框架,并探索將其應(yīng)用到移動機(jī)器人導(dǎo)航任務(wù)上的可能性。本發(fā)明的意義在于為心理旋轉(zhuǎn)過程涉及復(fù)雜腦區(qū)功能進(jìn)行數(shù)學(xué)建模,并組合成一個閉環(huán)的算法流程。同時,將該認(rèn)知算法引入到移動機(jī)器人導(dǎo)航中也有有重要意義,能夠克服傳統(tǒng)導(dǎo)航算法訓(xùn)練麻煩和學(xué)習(xí)能力差的缺點(diǎn)。心理旋轉(zhuǎn)啟發(fā)的算法融合了場景記憶和運(yùn)動預(yù)測的功能,能夠在運(yùn)動之前想象移動后所能看到的場景,可以避免傳統(tǒng)算法在多次試錯學(xué)習(xí)中造成的代價。更進(jìn)一步,心理旋轉(zhuǎn)啟發(fā)的導(dǎo)航算法有更強(qiáng)的環(huán)境移植能力,能夠適應(yīng)復(fù)雜多變的場景。
本發(fā)明的其他優(yōu)點(diǎn)、目標(biāo)和特征在某種程度上將在隨后的說明書中進(jìn)行闡述,并且在某種程度上,基于對下文的考察研究對本領(lǐng)域技術(shù)人員而言將是顯而易見的,或著可以從本發(fā)明的實(shí)踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其他優(yōu)點(diǎn)可以通過下面的說明書,權(quán)利要求書,以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。
附圖說明
為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面結(jié)合附圖對本發(fā)明作進(jìn)一步的詳細(xì)敘述,其中:
圖1為靈長類動物心理旋轉(zhuǎn)完整的腦區(qū)功能流程圖;
圖2為本發(fā)明提出的心理旋轉(zhuǎn)功能框圖。
具體實(shí)施方式
以下結(jié)合附圖,對本發(fā)明所述的方法做進(jìn)一步的詳細(xì)說明;應(yīng)當(dāng)理解,優(yōu)先實(shí)施例僅為了說明本發(fā)明,而不是為了限制本發(fā)明的保護(hù)范圍。
圖1為靈長類動物心理旋轉(zhuǎn)完整的腦區(qū)功能流程圖;圖2為本發(fā)明提出的心理旋轉(zhuǎn)功能框圖,如圖所示:本發(fā)明提供的基于四維空間平移和旋轉(zhuǎn)的心理旋轉(zhuǎn)機(jī)理模型,包括以下步驟:
s1:抽象表示上頂葉皮層的空間構(gòu)圖功能,輸入當(dāng)前物體的rgb圖片和3d點(diǎn)云圖,輸出3幅顏色特征圖,8幅形狀特征圖,4幅方向特征圖和1幅點(diǎn)云關(guān)鍵點(diǎn)特征圖;
s2:抽象表示前額皮層的特征和位姿匹配功能,輸入為s1得到的16幅特征圖,輸出為特征和位置匹配結(jié)果;
s3:抽象表示運(yùn)動皮層的模擬旋轉(zhuǎn)功能,輸入為s2的匹配結(jié)果和s1輸出的點(diǎn)云關(guān)鍵點(diǎn)特征圖,輸出為一系列與時間相關(guān)的四維旋轉(zhuǎn)算子;
s4:移動機(jī)器人根據(jù)s3得到的旋轉(zhuǎn)算子規(guī)劃下一步運(yùn)動策略。
作為上述實(shí)施例的進(jìn)一步改進(jìn),所述步驟s1中的上頂葉皮層對應(yīng)模塊主要功能是進(jìn)行空間構(gòu)圖,因?yàn)閳鼍斑^于復(fù)雜,我們將提取目標(biāo)場景中的某個關(guān)鍵物體進(jìn)行研究,依據(jù)是我們?nèi)祟愒谟洃浀貓D的時候一般會選擇性記憶當(dāng)前視角下地圖中的標(biāo)志性路標(biāo)或建筑等。上頂葉皮層將物體的顏色、形狀、方向和關(guān)鍵點(diǎn)特征量化,輸入為當(dāng)前物體的rgb圖片和3d點(diǎn)云圖,rgb圖片用在前三個特征的提取,3d點(diǎn)云圖用在關(guān)鍵點(diǎn)特征的提取。顏色采用“顏色雙競爭”算法表示,即紅-綠,黃-藍(lán),黑-白色彩對;形狀采用8尺度高斯金字塔圖片進(jìn)行sobel邊緣提取表示;方向采用余弦光柵和二維高斯卷積描述,取四個方向;對3d點(diǎn)云圖使用sift算子提取關(guān)鍵點(diǎn),以簡化數(shù)據(jù)量。所述上頂葉皮層模塊輸出為3個顏色特征圖,8個形狀特征圖,和4個方向特征圖和1個關(guān)鍵點(diǎn)3d點(diǎn)云圖。
作為上述實(shí)施例的進(jìn)一步改進(jìn),所述步驟s2中的前額皮層模塊的主要功能是特征及位姿的比較匹配,其輸入為上頂葉皮層模塊得到的16幅當(dāng)前物體特征圖與16幅目標(biāo)物體特征圖,用歐式距離來描述顏色特征圖、形狀特征圖,方向特征圖,關(guān)鍵點(diǎn)3d點(diǎn)云圖的差異,進(jìn)而將這4大類特征圖線性融合成一個值,用預(yù)先設(shè)置的閾值來與該值作比較,判斷所見物體與目標(biāo)物體是否是同一物體,并且位姿一致。若一致,心理旋轉(zhuǎn)過程完成,移動機(jī)器人導(dǎo)航操作也完成,若不一致則將當(dāng)前物體3d點(diǎn)云圖反饋給前運(yùn)動皮層,進(jìn)行下一次的心理旋轉(zhuǎn)規(guī)劃。
作為上述實(shí)施例的進(jìn)一步改進(jìn),所述步驟s3中的前運(yùn)動皮層模塊的主要工作是模擬旋轉(zhuǎn)當(dāng)前物體,輸入是當(dāng)前物體和目標(biāo)物體的3d點(diǎn)云關(guān)鍵點(diǎn)圖。實(shí)現(xiàn)借鑒機(jī)械臂空間描述和變換的方法,首先以目標(biāo)物體點(diǎn)云圖中心為原點(diǎn)構(gòu)建三維空間坐標(biāo)系,然后將當(dāng)前物體投影到該空間中的任意位置,進(jìn)而采用平移算子將當(dāng)前物體的中心平移到坐標(biāo)原點(diǎn)上。因?yàn)閟ift算法具有尺度無關(guān)性,所以能克服場景深度不同而帶來的物體尺寸的差異,根據(jù)兩幅點(diǎn)云關(guān)鍵點(diǎn)的角度差異均值,構(gòu)建一個與當(dāng)前狀態(tài)相關(guān)的四維旋轉(zhuǎn)算子,包括x,y,z,t(時間)的狀態(tài)。用旋轉(zhuǎn)算子模擬旋轉(zhuǎn)當(dāng)前物體,再次匹配關(guān)鍵點(diǎn),如果存在較大差異,則在模擬旋轉(zhuǎn)后的狀態(tài)上再次計算一個旋轉(zhuǎn)算子x,y,z,t+1,類似于馬爾科夫鏈,t+1時刻的狀態(tài)僅取決于t時刻的狀態(tài),直到匹配差異值在某一范圍內(nèi),輸出一系列的四維旋轉(zhuǎn)算子。
作為上述實(shí)施例的進(jìn)一步改進(jìn),所述步驟s4中移動機(jī)器人根據(jù)s3輸出的旋轉(zhuǎn)算子,規(guī)劃接下來的軌跡,使得攝像頭能夠轉(zhuǎn)過一定角度,然后使用kinect運(yùn)動相機(jī)采集移動過后的場景圖,并通過目標(biāo)物體的形狀模板匹配當(dāng)前場景中最相似的物體,分割該物體,將其rgb圖和3d點(diǎn)云圖反饋給上述的上頂葉皮層模塊,進(jìn)行下一次心理旋轉(zhuǎn)過程。移動機(jī)器人不斷地調(diào)整自己所在位置,最終盡可能使其視角下的場景與目標(biāo)場景一致。
多次心理旋轉(zhuǎn)后,移動機(jī)器人可以規(guī)劃出一條通往目標(biāo)場景的合理路徑,整個過程與人類面對不熟悉環(huán)境時采取的導(dǎo)航方式十分相似,通過發(fā)現(xiàn)沿途的路標(biāo),不斷回憶當(dāng)初的視角,旋轉(zhuǎn)匹配決定下一時刻應(yīng)該到達(dá)的位置,而不是漫無目的地試錯,所以本發(fā)明對移動機(jī)器人的認(rèn)知導(dǎo)航方式具有啟發(fā)性的意義。
以上所述僅為本發(fā)明的優(yōu)選實(shí)施例,并不用于限制本發(fā)明,顯然,本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣,倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi),則本發(fā)明也意圖包含這些改動和變型在內(nèi)。