基于圖像識別的智能導(dǎo)盲杖的制作方法
【專利摘要】本發(fā)明公開了一種基于圖像識別的智能導(dǎo)盲杖，屬于電子信息工程【技術(shù)領(lǐng)域】。所述的智能導(dǎo)盲杖由手型杖柄、智能杖體、滾輪杖尖和藍(lán)牙耳機(jī)四部分組成，在導(dǎo)盲杖內(nèi)嵌入人機(jī)交互子系統(tǒng)、路況識別子系統(tǒng)、導(dǎo)航子系統(tǒng)和滾輪制動(dòng)系統(tǒng)。所述的藍(lán)牙耳機(jī)配合人機(jī)交互子系統(tǒng)，實(shí)現(xiàn)良好人機(jī)交互。為了配合導(dǎo)盲杖的圖像識別，本發(fā)明對現(xiàn)有盲道加以改進(jìn)。本發(fā)明采用圖像識別處理的方法，有效識別盲道與公交信息，協(xié)助盲人安全獨(dú)立的出行。導(dǎo)盲杖滾輪杖尖的設(shè)計(jì)減小盲人受力，手型杖柄的設(shè)計(jì)融入人性化的設(shè)計(jì)因素，操作方便。本發(fā)明的設(shè)計(jì)具有實(shí)用性和可實(shí)現(xiàn)性，體現(xiàn)了強(qiáng)烈的人性關(guān)懷，具有良好的市場推廣價(jià)值和意義。
【專利說明】基于圖像識別的智能導(dǎo)盲杖
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于電子信息工程【技術(shù)領(lǐng)域】，具體涉及一種基于圖像識別的智能導(dǎo)盲杖?！颈尘凹夹g(shù)】
[0002]盲和視力損傷問題是世界上嚴(yán)重的社會和公共衛(wèi)生問題之一，世界上視覺障礙者數(shù)量眾多。目前全世界有盲人近4500萬人，視力障礙患者達(dá)1.35億人，中國是全世界盲人最多的國家之一，約有盲人600-700萬，占世界盲人總數(shù)的18%，另有雙眼低視力患者1200萬。正常人通過視覺獲得的信息占總信息量的70%-80%，黑暗的世界很大程度上限制了盲人信息的獲取。
[0003]目前，輔助盲人日常出行的工具主要是導(dǎo)盲犬和導(dǎo)盲杖。導(dǎo)盲犬培訓(xùn)成本高，需要日常消耗，壽命有限，不具有廣泛推廣的可能性。導(dǎo)盲杖由撐桿和手柄組成，給予盲人行走支撐。目前導(dǎo)盲杖主要通過超聲波模塊來檢測路況，提醒盲人躲避障礙物。但存在探測精度低、反饋滯后、功能單一、難于探測較遠(yuǎn)的或者懸掛的障礙物等缺陷。
[0004]僅通過目前的導(dǎo)盲工具，盲人無法獨(dú)立到達(dá)不熟悉的地方，其出行在很大程度上依賴于親朋的幫助。隨著人機(jī)交互、計(jì)算機(jī)視覺和視頻傳感器的發(fā)展趨于成熟，新一代導(dǎo)盲杖的設(shè)計(jì)與研究存在很大的發(fā)展空間，導(dǎo)盲杖有望更加智能化，多功能化，并融入視頻采集與圖像處理的部分，協(xié)助盲人獨(dú)立抵達(dá)目的地。

【發(fā)明內(nèi)容】

[0005]本發(fā)明基于盲人獨(dú)立出行的具體需求，為盲人設(shè)計(jì)最優(yōu)出行路線方案，通過圖像處理與識別，提供實(shí)時(shí)可靠的步行導(dǎo)航、公交導(dǎo)航，旨在引導(dǎo)盲人獨(dú)立安全的到達(dá)目的地。
[0006]本發(fā)明提供的基于圖像識別的智能導(dǎo)盲杖，所述的智能導(dǎo)盲杖由手型杖柄、智能杖體、滾輪杖尖和藍(lán)牙耳機(jī)四部分組成。所述的手型杖柄位于導(dǎo)盲杖的上端，嵌入人機(jī)交互子系統(tǒng)；所述人機(jī)交互子系統(tǒng)與藍(lán)牙耳機(jī)之間通過無線方式實(shí)現(xiàn)輸入輸出信息交互；同時(shí)，所述的人機(jī)交互子系統(tǒng)與智能杖體內(nèi)的路況識別子系統(tǒng)進(jìn)行信息交互；與滾輪杖尖內(nèi)的導(dǎo)航子系統(tǒng)進(jìn)行信息交互。所述手型杖柄的功能為:在盲人持導(dǎo)盲杖時(shí)，充當(dāng)導(dǎo)盲杖的“雙手”。盲人以十指相扣的形式握柄，不易滑落，且給其如朋友相伴的溫暖感。
[0007]所述的智能杖體，位于導(dǎo)盲杖中間段，是導(dǎo)盲杖的主體部分，內(nèi)部中空，嵌入路況識別子系統(tǒng)，所述的路況識別子系統(tǒng)內(nèi)包含了微處理器。攝像頭和LED照明裝置與所述的微處理器連接。所述的路況識別子系統(tǒng)與滾輪杖尖的導(dǎo)航子系統(tǒng)相連。其功能為:充當(dāng)導(dǎo)盲杖的“眼睛”與“大腦”，識別并判決路面與公交情況，給出相應(yīng)的導(dǎo)航路線。所述的LED照明裝置設(shè)置在智能杖體外表面，用于較暗環(huán)境下警示周圍人注意盲人，同時(shí)可以為攝像頭攝像提供照明。
[0008]所述的滾輪杖尖位于導(dǎo)盲杖底部，為導(dǎo)盲杖與地面接觸的部分，滾輪杖尖固定連接在智能杖體的底端。其功能為:充當(dāng)導(dǎo)盲杖的“雙腿”，嵌入有導(dǎo)航子系統(tǒng)和滾輪制動(dòng)系統(tǒng)，根據(jù)導(dǎo)航子系統(tǒng)提供的導(dǎo)航路線，滾輪杖尖調(diào)整轉(zhuǎn)動(dòng)方向，引導(dǎo)盲人按照導(dǎo)航路線輕松前進(jìn)。滾輪杖尖滾動(dòng)前進(jìn)，減少盲人行走受力，在路況不佳的情況，及時(shí)抱死，給予盲人必要支撐。
[0009]所述的藍(lán)牙耳機(jī)，其功能為充當(dāng)導(dǎo)盲杖的“耳朵”與“嘴”，配合手型杖柄內(nèi)人機(jī)交互子系統(tǒng)，盲人與導(dǎo)盲杖間進(jìn)行“對話”，實(shí)現(xiàn)良好人機(jī)交互。此外，盲人可通過藍(lán)牙耳機(jī)收聽廣播或語音節(jié)目，豐富行程。
[0010]為了配合圖像識別，使盲道特征檢測和邊緣提取的效果更明顯，并提供更多的導(dǎo)航信息。本發(fā)明對現(xiàn)有盲道加以簡單改進(jìn)，同時(shí)加入一些簡單的路況標(biāo)識，讓導(dǎo)盲杖更好的識別盲道環(huán)境，并獲取盲道提供的信息。[0011]應(yīng)用上述提供的基于圖像識別的智能導(dǎo)盲杖，本發(fā)明采用圖像識別處理的方法，識別路面與公交情況，引領(lǐng)盲人安全到達(dá)目的地，具體步驟如下:
[0012]第一步、盲人手握手型杖柄，打開總開關(guān)按鍵，導(dǎo)盲杖開始工作，執(zhí)行對系統(tǒng)各部件的模塊初始化。
[0013]第二步、打開導(dǎo)航按鍵，人機(jī)交互子系統(tǒng)識別起始點(diǎn)與目的地，確定目的地。起始點(diǎn)A可由GPS定位確定，終點(diǎn)B由人機(jī)交互子系統(tǒng)內(nèi)的語音交互系統(tǒng)識別盲人輸入的目的地語言信息確定。
[0014]第三步、導(dǎo)航子系統(tǒng)接收人機(jī)交互子系統(tǒng)的起始點(diǎn)與目的地信息，設(shè)計(jì)導(dǎo)航路線；導(dǎo)航路線通過人機(jī)交互子系統(tǒng)和藍(lán)牙耳機(jī)反饋給盲人，盲人通過手型杖柄上的確定、取消按鍵進(jìn)行進(jìn)一步選擇，得出最終的導(dǎo)航路線，并將導(dǎo)航路線通過人機(jī)交互子系統(tǒng)輸出給滾輪杖尖內(nèi)設(shè)置的導(dǎo)航子系統(tǒng)，準(zhǔn)備實(shí)施導(dǎo)航。
[0015]第四步、導(dǎo)盲杖輔助盲人根據(jù)導(dǎo)航路線安全到達(dá)目的地。導(dǎo)航子系統(tǒng)與路況識別子系統(tǒng)共同作用，完成對盲道與公交信息的識別。導(dǎo)盲杖通過人機(jī)交互子系統(tǒng)與盲人交流，結(jié)合路況識別子系統(tǒng)和滾輪制動(dòng)系統(tǒng)，引導(dǎo)盲人沿著導(dǎo)航路線行進(jìn)，執(zhí)行步行、搭乘公交車、打車等動(dòng)作，引導(dǎo)盲人順利到達(dá)目的地。
[0016]與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)和積極效果是:
[0017]本發(fā)明采用圖像識別處理的方法，有效識別盲道與公交信息，協(xié)助盲人安全獨(dú)立的出行。導(dǎo)盲杖滾輪杖尖的設(shè)計(jì)減小盲人受力，手型杖柄的設(shè)計(jì)融入人性化的設(shè)計(jì)因素，操作方便。本發(fā)明的設(shè)計(jì)具有實(shí)用性和可實(shí)現(xiàn)性，體現(xiàn)了強(qiáng)烈的人性關(guān)懷，具有良好的市場推廣價(jià)值和意義。
【專利附圖】

【附圖說明】
[0018]圖1改進(jìn)盲道的結(jié)構(gòu)示意圖；
[0019]圖2A~圖2J為提不盲道的提不圖標(biāo)不意圖；
[0020]圖3智能導(dǎo)盲杖的結(jié)構(gòu)示意圖；
[0021]圖4智能導(dǎo)盲杖的操作流程圖；
[0022]圖5路線規(guī)劃部分的工作流程圖；
[0023]圖6語音交互系統(tǒng)的工作原理不意圖；
[0024]圖7路況識別子系統(tǒng)的工作原理示意圖；
[0025]圖8導(dǎo)航子系統(tǒng)的模式示意圖；
[0026]圖9步行導(dǎo)航的工作流程示意圖；[0027]圖10公交導(dǎo)航的工作流程示意圖。
【具體實(shí)施方式】
[0028]下面結(jié)合附圖與具體實(shí)施例對本發(fā)明作進(jìn)一步的描述:
[0029]圖1為本發(fā)明提供的改進(jìn)盲道的結(jié)構(gòu)示意圖，由行進(jìn)盲道I和提示盲道2組成。為使盲道特征檢測和邊緣提取的效果更明顯，有助于路況識別系統(tǒng)識別盲道，同時(shí)起到提醒路人的作用。本發(fā)明在盲道邊緣3涂上一層不同于盲道顏色的對比強(qiáng)烈的亮色染料，如熒光紅等，用于區(qū)分盲道區(qū)域。
[0030]參見圖2A~圖2J，提示盲道2可以提供豐富的提示信息，但不局限于示例。本發(fā)明充分利用提示盲道2的突出盲點(diǎn)，通過在提示盲道2的部分提示盲點(diǎn)涂上異于盲道的顏色，組成代表不同信息的提示圖標(biāo)，并建立提示圖標(biāo)與其對應(yīng)指示信息的數(shù)據(jù)庫。更具體地，提示圖標(biāo)既可以代表左轉(zhuǎn)右轉(zhuǎn)等簡單的行走提示，如圖2A中提示盲道中由實(shí)心點(diǎn)組成的“L”，對應(yīng)左轉(zhuǎn)(left)，代表前方是左轉(zhuǎn)路段的信息。提示圖標(biāo)也可以代表前方是地鐵站或商店等地理位置的提示，如圖21中提示盲道中由實(shí)心點(diǎn)組成的S，對應(yīng)商店(shop)，代表前方是商店的信息。提示圖標(biāo)更可以代表對應(yīng)候車點(diǎn)的到站公交具體是哪一路的信息，如圖2G中提示盲道中由實(shí)心點(diǎn)組成的“B119”，對應(yīng)公交119路(BUS119)，代表此處是公交119路的候車位置。
[0031]圖3為本發(fā)明提供的智能導(dǎo)盲杖的結(jié)構(gòu)示意圖，在本實(shí)施例中，所述智能導(dǎo)盲杖由手型杖柄4、智能杖體5、滾輪杖尖6及藍(lán)牙耳機(jī)7四部分構(gòu)成。
[0032]所述手型杖柄4的柄形為手心向上張開的手，手掌內(nèi)嵌入人機(jī)交互子系統(tǒng)相關(guān)處理設(shè)備，手背部集成常用按鍵，方便盲人使用。其功能在于與盲人進(jìn)行互動(dòng)，通過提供十指相扣的握柄方式，讓盲人感受如朋友相伴般的溫暖。
[0033]所述的常用按鍵包括總開關(guān)按鍵、確定按鍵、取消按鍵、導(dǎo)航按鍵和收音機(jī)按鍵等，比如按下導(dǎo)航按鍵，導(dǎo)盲杖將會執(zhí)行導(dǎo)航的一系列操作，按下收音機(jī)按鍵，將會打開收音機(jī)。
[0034]所述智能杖體5位于導(dǎo)盲杖中間段，內(nèi)部空心，嵌入路況識別子系統(tǒng)，所述的路況識別子系統(tǒng)內(nèi)包含微處理器，LED照明裝置和攝像頭等相關(guān)處理設(shè)備與微處理器相連，用于執(zhí)行相應(yīng)開關(guān)動(dòng)作。所述的路況識別子系統(tǒng)的功能在于識別并判決路面與公交情況，為盲人進(jìn)行實(shí)時(shí)導(dǎo)航。在所述智能杖體5的底部和頂部分別安裝一個(gè)攝像頭8，用于采集路面與公交的信息，但不局限于此，可根據(jù)需求反復(fù)試驗(yàn)得到最佳位置。一般會將兩個(gè)攝像頭8分別設(shè)置在手腕和腳踝的位置(對應(yīng)于智能杖體5的兩端位置)，并且朝向前方。光線不好時(shí)，表面的LED照明裝置輔助拍攝。
[0035]所述滾輪杖尖6，內(nèi)部設(shè)置導(dǎo)航子系統(tǒng)和滾輪制動(dòng)系統(tǒng)等相關(guān)處理設(shè)備，其功能在于提供導(dǎo)航路線，并引領(lǐng)盲人沿導(dǎo)航路線輕松前進(jìn)。導(dǎo)盲杖傾斜于地面行進(jìn)時(shí)，滾輪有效滑動(dòng)，導(dǎo)盲杖接近垂直路面時(shí)，滾輪抱死，給予盲人支撐。同時(shí)，在滾輪制動(dòng)系統(tǒng)控制下，滾輪杖尖6可根據(jù)導(dǎo)航路線調(diào)整轉(zhuǎn)動(dòng)角度，盲人根據(jù)感受到的滾輪轉(zhuǎn)動(dòng)調(diào)整身體適應(yīng)轉(zhuǎn)動(dòng)方向，進(jìn)而引導(dǎo)盲人有效前進(jìn)。 [0036]所述藍(lán)牙耳機(jī)7，與導(dǎo)盲杖綁定，直接佩戴在盲人耳朵上，其功能在于配合手型杖柄4內(nèi)人機(jī)交互子系統(tǒng)，實(shí)現(xiàn)盲人與導(dǎo)盲杖間的良好交互，并可同時(shí)收聽各類廣播或語音節(jié)目，豐富盲人行程。[0037]圖4為本發(fā)明提供的智能導(dǎo)盲杖的導(dǎo)盲方法流程圖，在本實(shí)施例中，包括如下步驟:
[0038]第一步、盲人手握手型杖柄4，打開總開關(guān)按鍵，導(dǎo)盲杖開始工作，執(zhí)行對系統(tǒng)各部件的模塊初始化。所述的初始化模塊包括人機(jī)交互子系統(tǒng)、路況識別子系統(tǒng)、導(dǎo)航子系統(tǒng)和滾輪制動(dòng)系統(tǒng)。
[0039]第二步、打開導(dǎo)航按鍵，人機(jī)交互子系統(tǒng)識別起始點(diǎn)與目的地，確定目的地。起始點(diǎn)A可由GPS定位確定，終點(diǎn)B由人機(jī)交互子系統(tǒng)內(nèi)的語音交互系統(tǒng)識別盲人輸入的目的地語言信息確定。
[0040]圖6為語音交互系統(tǒng)的工作原理示意圖。在本實(shí)施例中，手型杖柄4采用語音與按鍵結(jié)合的語音交互系統(tǒng)。盲人在出行過程中可按下手型杖柄4上的導(dǎo)航按鍵，通過藍(lán)牙耳機(jī)語音輸入目的地信息，語音交互系統(tǒng)接收并識別目的地，包括以下步驟，但不局限于以下處理方法:
[0041]1、語音識別系統(tǒng)對盲人輸入語音進(jìn)行采集，然后對輸入語音進(jìn)行預(yù)處理，所述的預(yù)處理包括語音信號采樣、反混疊帶通濾波，去除個(gè)體發(fā)音差異，去除設(shè)備、環(huán)境等引起的
噪聲影響。
[0042]2、對預(yù)處理后語音進(jìn)行特征提取，提取輸入語音中反映本質(zhì)特征的聲學(xué)參數(shù)。
[0043]3、模式匹配，是整個(gè)語音識別系統(tǒng)的核心，計(jì)算輸入語音特征與儲存有各種地點(diǎn)名詞的聲音模式庫之間的相似度，判斷盲人輸入的目的地。為提高匹配的效率和質(zhì)量，保證語音導(dǎo)航的可靠性，聲音模式庫事先采集地點(diǎn)名詞語音，進(jìn)行多次訓(xùn)練，按照一定規(guī)則對數(shù)據(jù)加以聚類，形成地點(diǎn)名詞聲音模式庫。模式匹配時(shí)根據(jù)盲人所在城市進(jìn)行小范圍地點(diǎn)名詞匹配，提高匹配速度與精度。
[0044]4、語音識別系統(tǒng)將識別的目的地通過藍(lán)牙耳機(jī)告知盲人，盲人通過按下手型杖柄4上的確定或者取消按鍵進(jìn)一步確認(rèn)導(dǎo)盲杖識別的輸出地點(diǎn)，最后確定目的地。
[0045]第三步、導(dǎo)航子系統(tǒng)接收人機(jī)交互子系統(tǒng)的起始點(diǎn)與目的地信息，設(shè)計(jì)導(dǎo)航路線。導(dǎo)航路線通過人機(jī)交互子系統(tǒng)和藍(lán)牙耳機(jī)反饋給盲人，盲人通過手型杖柄上的確定、取消按鍵進(jìn)行進(jìn)一步選擇，得出最終的導(dǎo)航路線，并將導(dǎo)航路線通過人機(jī)交互子系統(tǒng)輸出給滾輪杖尖內(nèi)設(shè)置的導(dǎo)航子系統(tǒng)，準(zhǔn)備實(shí)施導(dǎo)航。
[0046]所述的導(dǎo)航子系統(tǒng)包含的導(dǎo)航模式有步行導(dǎo)航、公交導(dǎo)航和智能打車路線以及三者組合路線。
[0047]第四步、導(dǎo)盲杖輔助盲人根據(jù)導(dǎo)航路線安全到達(dá)目的地。導(dǎo)航子系統(tǒng)與路況識別子系統(tǒng)共同作用，完成對盲道與公交信息的識別。導(dǎo)盲杖通過人機(jī)交互子系統(tǒng)與盲人交流，結(jié)合路況識別子系統(tǒng)和滾輪制動(dòng)系統(tǒng)，引導(dǎo)盲人沿著導(dǎo)航路線行進(jìn)，執(zhí)行步行、搭乘公交車、打車等動(dòng)作，引導(dǎo)盲人順利到達(dá)目的地。
[0048]圖5為路線規(guī)劃模塊的工作流程圖，實(shí)現(xiàn)盲人所在地(起點(diǎn))與目的地(終點(diǎn))之間最佳路線查詢，在本實(shí)施例中，導(dǎo)航子系統(tǒng)內(nèi)包含有路線規(guī)劃模塊，路線規(guī)劃模塊建立數(shù)學(xué)模型，將影響盲人出行的各種因素綜合為安全性、便利性、時(shí)間三個(gè)路線評價(jià)指標(biāo)，遍歷從起點(diǎn)到終點(diǎn)的各種路線，得到最適合盲人行走的路線。更具體地，路線規(guī)劃模塊通過如下步驟實(shí)現(xiàn)路線規(guī)劃:[0049]1、量化安全性、便利性和時(shí)間三個(gè)指標(biāo)。安全性指標(biāo)主要與盲道建設(shè)、城市交通、行人數(shù)量等有關(guān)，本發(fā)明可以調(diào)用城市建設(shè)局與交通局的有關(guān)數(shù)據(jù)將安全性指標(biāo)量化，得到綜合評價(jià)指標(biāo)。便利性指標(biāo)主要與盲人采取的行走方式有關(guān)，本發(fā)明中將盲人出行分解為各種簡單動(dòng)作的集合，如直線行走、左轉(zhuǎn)、右轉(zhuǎn)、過馬路、上臺階和下臺階等。根據(jù)盲人執(zhí)行各動(dòng)作的難易程度，折合成便利性指標(biāo)的不同系數(shù)，難度越大，折合系數(shù)越大，得到便利性評價(jià)的多元線性效應(yīng)函數(shù)。時(shí)間指標(biāo)為步行時(shí)間和坐車時(shí)間的總和。步行時(shí)間中考慮盲人執(zhí)行各動(dòng)作的時(shí)間，估計(jì)步行速度，得出盲人步行時(shí)間，坐車時(shí)間中結(jié)合交通情況，得出公交車或者出租車行駛時(shí)間。
[0050]2、建立適當(dāng)?shù)暮瘮?shù)關(guān)系求解起始點(diǎn)A與終點(diǎn)B間的路線最優(yōu)化問題。比如可采用簡單的線性函數(shù)，但不局限于此。分配給量化的安全性、便利性和時(shí)間三個(gè)指標(biāo)恰當(dāng)?shù)恼酆舷禂?shù)，并進(jìn)行線性相加，得到關(guān)于三個(gè)指標(biāo)的多元一次線性優(yōu)化函數(shù)。
[0051]3、不同導(dǎo)航路線方案將得到不同的優(yōu)化函數(shù)值，按照優(yōu)化函數(shù)值的大小排序，將排序后的導(dǎo)航路線(一般會有兩個(gè)以上的導(dǎo)航路線供選擇)與其優(yōu)化函數(shù)值輸出給人機(jī)交互子系統(tǒng)，盲人根據(jù)人機(jī)交互子系統(tǒng)提供的導(dǎo)航路線，執(zhí)行確認(rèn)按鍵以及取消按鍵，找到適合自己出行的某一個(gè)導(dǎo)航路線，確定出具體的出行方案。
[0052]圖7為路況識別子系統(tǒng)的工作原理示意圖。在本實(shí)施例中，智能杖體5的底部和頂部裝有攝像頭8，采集路面與公交圖像數(shù)據(jù)，實(shí)時(shí)傳遞給路況識別子系統(tǒng)中的微處理器，實(shí)現(xiàn)對盲道的識別、判決。當(dāng)環(huán)境比較暗時(shí)，微處理器發(fā)出指令打開LED照明裝置，以便于攝像頭8采集到明亮的圖像。為避免對圖像的大量重復(fù)采集或遺漏采集，減小圖像存儲與處理量，攝像頭的圖像采集頻率自動(dòng)適應(yīng)盲人走路速度，再從接收的視頻流中截取視頻圖像，傳遞給微處理器。更具體地，以盲道圖像處理為例，包括以下步驟，但不局限于以下處理方法:
[0053]1、對采集的盲道圖像進(jìn)行預(yù)處理，通過圖像灰度修正、去噪、銳化、邊緣增強(qiáng)等，去除干擾、噪聲及差異，提高圖像中盲道部分的亮度值。
[0054]2、結(jié)合盲道先驗(yàn)知識，識別盲道形狀、顏色與邊緣，從周圍環(huán)境中提取盲道的邊緣輪廓。比如采用康力(canny)邊緣提取方法獲取盲道邊緣輪廓，但不局限于此方法。
[0055]3、在邊緣提取的基礎(chǔ)上，對提取出的盲道區(qū)域進(jìn)行圖像分割，探測提示盲道內(nèi)提示圖標(biāo)。
[0056]4、結(jié)合微處理器中存儲的盲道先驗(yàn)知識，對圖像分割后的盲道進(jìn)行分類判決:判斷盲道上有無障礙，識別盲道提示圖標(biāo)并輸出其對應(yīng)提示信息。盲道提示圖標(biāo)的識別是路況識別子系統(tǒng)工作的關(guān)鍵。本發(fā)明通過識別盲道提示圖標(biāo)，遍歷微處理器中存儲的提示圖標(biāo)數(shù)據(jù)庫，即可獲得相應(yīng)的提示信息，給予盲人相應(yīng)的導(dǎo)航提示。當(dāng)城市進(jìn)行建設(shè)改造或公交路線調(diào)整后，只需要在提示圖標(biāo)數(shù)據(jù)庫改變相應(yīng)提示圖標(biāo)對應(yīng)的提示信息，或者增加一些提示圖標(biāo)并對此類圖標(biāo)進(jìn)行多次訓(xùn)練即可滿足需求。
[0057]圖8為導(dǎo)航子系統(tǒng)的模式示意圖，包括步行導(dǎo)航、公交導(dǎo)航、打車導(dǎo)航或者三者模式的組合。步行導(dǎo)航，導(dǎo)盲杖引導(dǎo)盲人直走、拐彎、避障、過馬路，上臺階等，安全到達(dá)目的地。公交導(dǎo)航，導(dǎo)盲杖引導(dǎo)盲人走到候車區(qū)域，順利搭乘目標(biāo)公交車，在指定站下車，換乘，安全到達(dá)目的地。打車導(dǎo)航，導(dǎo)盲杖自動(dòng)查詢打車費(fèi)用，開啟智能打車功能，幫助盲人順利到達(dá)目的地。更具體地，步行導(dǎo)航與公交導(dǎo)航的工作方式如下，但不局限于示例。[0058]圖9為步行導(dǎo)航的工作流程示意圖，在本實(shí)施實(shí)例中，路況識別子系統(tǒng)采集盲道信息，進(jìn)行相應(yīng)判決，確定步行場景。滾輪制動(dòng)系統(tǒng)(動(dòng)作系統(tǒng))根據(jù)特定步行場景執(zhí)行相應(yīng)操作，完成自適應(yīng)導(dǎo)航，導(dǎo)盲杖引導(dǎo)盲人直走、拐彎、避障、過馬路，上臺階等，安全到達(dá)目的地。為提高導(dǎo)盲速度，事先收集步行場景組成場景集，訓(xùn)練出與之對應(yīng)的反饋模板。更具體地，本發(fā)明中例舉直走，拐彎，過馬路幾個(gè)場景的導(dǎo)航部分作為示例說明，但不局限于此。
[0059](1)直走，路況識別子系統(tǒng)檢測前行盲道上有無障礙物:若無，引導(dǎo)盲人繼續(xù)前進(jìn)；若有，提示盲人暫停行走。再次檢測，若障礙物與靜止盲人有相對運(yùn)動(dòng)，為暫時(shí)性堵塞，發(fā)出提示音，提醒路人注意到盲人；若前方為靜止障礙物，則引導(dǎo)盲人繞彎行走。
[0060](2)轉(zhuǎn)彎，路況識別子系統(tǒng)根據(jù)導(dǎo)航路線和提示圖標(biāo)，確定轉(zhuǎn)彎模式。滾輪杖尖部分在滾輪制動(dòng)系統(tǒng)控制下緩慢改變方向，帶動(dòng)盲人身體轉(zhuǎn)動(dòng)到最舒適的持杖方向，即完成拐彎。同時(shí)檢測盲道上有無障礙物，引導(dǎo)盲人繼續(xù)前進(jìn)。
[0061](3)過馬路，路況識別子系統(tǒng)根據(jù)導(dǎo)航路線和提示圖標(biāo)，確定過馬路模式。杖體閃光并發(fā)出鳴叫聲，引起路人與司機(jī)的注意，引導(dǎo)盲人安全穿過馬路。
[0062]圖10為公交導(dǎo)航的工作流程示意圖。在本實(shí)施實(shí)例中，導(dǎo)盲杖引導(dǎo)盲人走到候車區(qū)域，順利搭乘目標(biāo)公交車，在指定站下車，換乘，安全到達(dá)目的地。本發(fā)明不是通過直接讀取公交數(shù)字顯示器上的數(shù)字來識別公交路數(shù)，而是采用一種新的思路，利用路況識別子系統(tǒng)采集盲道圖像，讀取候車處提示盲道的提示信息，獲取候車處到站公交路數(shù)。目標(biāo)公交到站后，再執(zhí)行相應(yīng)導(dǎo)航，引導(dǎo)盲人順利乘坐公交車。更具體地，公交導(dǎo)航包括以下步驟，但不局限于以下處理方法。
[0063]1、識別目標(biāo)公交車。路況識別子系統(tǒng)不斷執(zhí)行對盲道圖像的采集與判斷，匹配微處理器中存儲的盲道圖標(biāo)先驗(yàn)知識，確定不同候車位置對應(yīng)的到站公交路數(shù)，并基于對圖像的理解，判斷公交路數(shù)是否為盲人要乘坐的目標(biāo)公交車，引領(lǐng)盲人到達(dá)正確的候車位置。
[0064]2、協(xié)助上車。路況識別子系統(tǒng)攝像頭在盲人候車時(shí)，采集過往車輛信息，進(jìn)行公交輪廓判斷，確定目標(biāo)公交車到站后，導(dǎo)盲杖發(fā)出“您好，我是盲人，我要乘坐**路公交”的提示音，讓乘務(wù)員注意到盲人，協(xié)助其上車。
[0065]3、協(xié)助下車。導(dǎo)盲杖識別報(bào)站聲，提示盲人下車時(shí)間。到達(dá)目標(biāo)站后，導(dǎo)盲杖發(fā)出“您好，我是盲人，我要下車”的提示音，在乘務(wù)員協(xié)助下安全下車。
[0066]在不脫離本發(fā)明的精神和本質(zhì)屬性下，可以在其他具體形式中實(shí)現(xiàn)本發(fā)明，因此，除了上述說明書之外，還可以參考所附的權(quán)利要求，作為本發(fā)明的范圍的指示。
【權(quán)利要求】
1.基于圖像識別的智能導(dǎo)盲杖，其特征在于:所述的智能導(dǎo)盲杖由手型杖柄、智能杖體、滾輪杖尖和藍(lán)牙耳機(jī)四部分組成；所述的手型杖柄位于導(dǎo)盲杖的上端，嵌入人機(jī)交互子系統(tǒng)；所述人機(jī)交互子系統(tǒng)與藍(lán)牙耳機(jī)之間通過無線方式實(shí)現(xiàn)輸入輸出信息交互；同時(shí)，所述的人機(jī)交互子系統(tǒng)與智能杖體內(nèi)的路況識別子系統(tǒng)進(jìn)行信息交互；與滾輪杖尖內(nèi)的導(dǎo)航子系統(tǒng)進(jìn)行信息交互；所述的智能杖體，位于導(dǎo)盲杖中間段，內(nèi)部中空，嵌入路況識別子系統(tǒng)，所述的路況識別子系統(tǒng)內(nèi)包含了微處理器；攝像頭和LED照明裝置與所述的微處理器連接；所述的路況識別子系統(tǒng)與滾輪杖尖的導(dǎo)航子系統(tǒng)相連；所述的滾輪杖尖位于導(dǎo)盲杖底部，為導(dǎo)盲杖與地面接觸的部分，滾輪杖尖固定連接在智能杖體的底端；所述的藍(lán)牙耳機(jī)配合手型杖柄內(nèi)人機(jī)交互子系統(tǒng)，盲人與導(dǎo)盲杖間進(jìn)行“對話”，實(shí)現(xiàn)人機(jī)交互。
2.根據(jù)權(quán)利要求1所述的基于圖像識別的智能導(dǎo)盲杖，其特征在于:所述手型杖柄的柄形為手心向上張開的手，手背部集成常用按鍵；所述的常用按鍵包括總開關(guān)按鍵、確定按鍵、取消按鍵、導(dǎo)航按鍵和收音機(jī)按鍵。
3.根據(jù)權(quán)利要求1所述的基于圖像識別的智能導(dǎo)盲杖，其特征在于:所述的攝像頭有兩個(gè)，分別設(shè)置在所述智能杖體的底部和頂部，并且朝向前方；所述的LED照明裝置設(shè)置在智能杖體的外表面。
4.根據(jù)權(quán)利要求1所述的基于圖像識別的智能導(dǎo)盲杖的導(dǎo)盲方法，其特征在于，具體步驟如下: 第一步、盲人手握手型杖柄，打開總開關(guān)按鍵，導(dǎo)盲杖開始工作，執(zhí)行對系統(tǒng)各部件的模塊初始化； 第二步、打開導(dǎo)航按鍵，人機(jī)交互子系統(tǒng)識別起始點(diǎn)與目的地，確定目的地； 第三步、導(dǎo)航子系統(tǒng)接收人機(jī)交互子系統(tǒng)的起始點(diǎn)與目的地，設(shè)計(jì)導(dǎo)航路線；導(dǎo)航路線通過人機(jī)交互子系統(tǒng)和藍(lán)牙耳機(jī)反饋給盲人，盲人通過手型杖柄上的確定、取消按鍵進(jìn)行進(jìn)一步選擇，得出最終的導(dǎo)航路線，并將導(dǎo)航路線通過人機(jī)交互子系統(tǒng)輸出給滾輪杖尖內(nèi)設(shè)置的導(dǎo)航子系統(tǒng)，準(zhǔn)備實(shí)施導(dǎo)航； 第四步、導(dǎo)盲杖輔助盲人根據(jù)導(dǎo)航路線安全到達(dá)目的地；導(dǎo)航子系統(tǒng)與路況識別子系統(tǒng)共同作用，完成對盲道與公交信息的識別；導(dǎo)盲杖通過人機(jī)交互子系統(tǒng)與盲人交流，結(jié)合路況識別子系統(tǒng)和滾輪制動(dòng)系統(tǒng)，引導(dǎo)盲人沿著導(dǎo)航路線行進(jìn)，執(zhí)行步行、搭乘公交車、打車動(dòng)作，引導(dǎo)盲人順利到達(dá)目的地。
5.根據(jù)權(quán)利要求4所述的基于圖像識別的智能導(dǎo)盲杖的導(dǎo)盲方法，其特征在于:所述的起始點(diǎn)由GPS定位確定，目的地由人機(jī)交互子系統(tǒng)內(nèi)的語音交互系統(tǒng)識別盲人輸入的目的地語言信息確定。
6.根據(jù)權(quán)利要求5所述的基于圖像識別的智能導(dǎo)盲杖的導(dǎo)盲方法，其特征在于:所述的語音交互系統(tǒng)的工作方法: a、語音識別系統(tǒng)對盲人輸入語音進(jìn)行采集，然后對輸入語音進(jìn)行預(yù)處理，所述的預(yù)處理包括語音信號采樣、反混疊帶通濾波，去除個(gè)體發(fā)音差異，去除設(shè)備、環(huán)境引起的噪聲影響； b、對預(yù)處理后語音進(jìn)行特征提取，提取輸入語音中反映本質(zhì)特征的聲學(xué)參數(shù)； C、模式匹配，計(jì)算輸入語音特征與儲存有各種地點(diǎn)名詞的聲音模式庫之間的相似度，判斷盲人輸入的目的地；d、語音識別系統(tǒng)將識別的目的地通過藍(lán)牙耳機(jī)告知盲人，盲人通過按下手型杖柄上的確定按鍵或者取消按鍵進(jìn)一步確認(rèn)導(dǎo)盲杖識別的輸出地點(diǎn)，最后確定目的地。
7.根據(jù)權(quán)利要求4所述的基于圖像識別的智能導(dǎo)盲杖的導(dǎo)盲方法，其特征在于:所述的導(dǎo)航子系統(tǒng)內(nèi)包含有路線規(guī)劃模塊，路線規(guī)劃模塊通過如下步驟實(shí)現(xiàn)路線規(guī)劃: 1、量化安全性、便利性和時(shí)間三個(gè)指標(biāo)； i1、建立所述的量化指標(biāo)之間的函數(shù)關(guān)系，求解起始點(diǎn)A與終點(diǎn)B間的路線最優(yōu)化問題； ii1、不同導(dǎo)航路線方案將得到不同的優(yōu)化函數(shù)值，按照優(yōu)化函數(shù)值的大小排序，將排序后的導(dǎo)航路線與其優(yōu)化函數(shù)值輸出給人機(jī)交互子系統(tǒng)，盲人根據(jù)人機(jī)交互子系統(tǒng)提供的導(dǎo)航路線，執(zhí)行確認(rèn)按鍵以及取消按鍵，找到適合自己出行的某一個(gè)導(dǎo)航路線，確定出具體的出行方案。
8.根據(jù)權(quán)利要求4所述的基于圖像識別的智能導(dǎo)盲杖的導(dǎo)盲方法，其特征在于:所述的路況識別子系統(tǒng)中包含微處理器，實(shí)現(xiàn)對盲道的識別、判決，具體處理方法如下: 1、對采集的盲道圖像進(jìn)行預(yù)處理，通過圖像灰度修正、去噪、銳化和邊緣增強(qiáng)，去除干擾、噪聲及差異，提高圖像中盲道部分的亮度值； I1、結(jié)合盲道先驗(yàn)知識，識別盲道形狀、顏色與邊緣，從周圍環(huán)境中提取盲道的邊緣輪 廓； II1、對提取出的盲道區(qū)域進(jìn)行圖像分割，探測提示盲道內(nèi)提示圖標(biāo)； IV、結(jié)合微處理器中存儲的盲道先驗(yàn)知識，對圖像分割后的盲道進(jìn)行分類判決:判斷盲道上有無障礙，識別盲道提示圖標(biāo)并輸出其對應(yīng)提示信息。
9.根據(jù)權(quán)利要求4所述的基于圖像識別的智能導(dǎo)盲杖的導(dǎo)盲方法，其特征在于:所述的導(dǎo)航子系統(tǒng)的模式包括步行導(dǎo)航、公交導(dǎo)航、打車導(dǎo)航或者三者模式的組合；步行導(dǎo)航，導(dǎo)盲杖引導(dǎo)盲人直走、拐彎、避障、過馬路和上臺階，安全到達(dá)目的地；公交導(dǎo)航，導(dǎo)盲杖引導(dǎo)盲人走到候車區(qū)域，順利搭乘目標(biāo)公交車，在指定站下車，換乘，安全到達(dá)目的地；打車導(dǎo)航，導(dǎo)盲杖自動(dòng)查詢打車費(fèi)用，開啟智能打車功能，幫助盲人順利到達(dá)目的地。
10.應(yīng)用于權(quán)利要求1所述的導(dǎo)盲杖的盲道，其特征在于:所述盲道由行進(jìn)盲道和提示盲道組成；在盲道邊緣涂上一層不同于盲道顏色的對比強(qiáng)烈的染料，用于區(qū)分盲道區(qū)域；將提示盲道的部分提示盲點(diǎn)涂上異于盲道的顏色，組成代表不同信息的提示圖標(biāo)，并建立提示圖標(biāo)與其對應(yīng)指示信息的數(shù)據(jù)庫。
【文檔編號】A61H3/06GK103637900SQ201310711816
【公開日】2014年3月19日 申請日期:2013年12月20日 優(yōu)先權(quán)日:2013年12月20日
【發(fā)明者】陳維, 徐邁, 王祖林 申請人:北京航空航天大學(xué)