交通場(chǎng)景深度解析方法、裝置及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于數(shù)據(jù)分析技術(shù)領(lǐng)域，尤其設(shè)及一種交通場(chǎng)景深度解析方法、裝置及系 統(tǒng)。
【背景技術(shù)】
[0002] 交通場(chǎng)景對(duì)汽車駕駛來說極其復(fù)雜，采用攝像頭采樣進(jìn)行分析的方法能高效快速 地評(píng)估當(dāng)前場(chǎng)景，應(yīng)用到自動(dòng)駕駛系統(tǒng)和輔助駕駛系統(tǒng)中，最重要的功能之一就是要準(zhǔn)確 地分析該場(chǎng)景圖像中道路區(qū)域信息。
[0003] 現(xiàn)有技術(shù)中，有的是使用四線激光雷達(dá)探測(cè)道路，但運(yùn)種探測(cè)方法對(duì)道路邊緣要 求極高，在無明顯邊界的道路中，道路探測(cè)效果不好并且在變化萬千的交通場(chǎng)景中道路數(shù) 據(jù)的采樣性不具有通用型。有的采用了統(tǒng)計(jì)學(xué)習(xí)方法來擬合相鄰像素的特征，只要增加不 同類型道路的訓(xùn)練樣本，也可W解決道路多樣性問題，但是使用最大流/最小割算法獲得道 路區(qū)域，由于權(quán)值估計(jì)會(huì)因?yàn)閷?shí)際道路樣本的扭曲和不清晰等原因，無法很好地通過權(quán)值 估計(jì)器獲得正確的參數(shù)，在一些光照等原因?qū)е绿貏e敏感的場(chǎng)景，該方法也失去了去識(shí)別 道路的能力。在W上現(xiàn)有技術(shù)中，由于實(shí)際上交通場(chǎng)景非常多樣化，它們針對(duì)不同的路況不 具有自適應(yīng)的能力，對(duì)交通場(chǎng)景道路情況的識(shí)別精確性不高。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明提供交通場(chǎng)景深度解析方法及裝置，可通過將多尺度的圖像輸入卷積神經(jīng) 網(wǎng)絡(luò)與反卷神經(jīng)網(wǎng)絡(luò)構(gòu)成的神經(jīng)網(wǎng)絡(luò)，可有效地學(xué)習(xí)目標(biāo)道路特征，并且通過回歸擬合來 提高深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征的準(zhǔn)確性，提高交通場(chǎng)景解析的準(zhǔn)確度。
[0005] 本發(fā)明提供的交通場(chǎng)景深度解析方法，包括：
[0006] 使用多個(gè)交通場(chǎng)景數(shù)據(jù)庫中的原始圖像數(shù)據(jù)集和原始圖像對(duì)應(yīng)的道路區(qū)域標(biāo)定 作為訓(xùn)練樣本;通過拉普拉斯金字塔變換方式，將所述訓(xùn)練樣本中的各原始圖像縮放為多 個(gè)不同尺度;將縮放后的圖像輸入與不同尺度分別對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)，W通過所述神經(jīng)網(wǎng)絡(luò) 提取道路特征，所述神經(jīng)網(wǎng)絡(luò)由卷積神經(jīng)網(wǎng)絡(luò)部分與反卷積神經(jīng)網(wǎng)絡(luò)部分聯(lián)合組成;利用 訓(xùn)練縮放后的圖像和所述縮放后的圖像對(duì)應(yīng)的道路區(qū)域標(biāo)定，對(duì)卷積神經(jīng)網(wǎng)絡(luò)與反卷積神 經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行訓(xùn)練;通過與所述神經(jīng)網(wǎng)絡(luò)鏈接的全鏈接層輸出與原始圖像像素相同的 一維數(shù)組，并將所述一維數(shù)組還原為與所述原始圖像相同大小的結(jié)果圖像，所述結(jié)果圖像 中標(biāo)出不同類型的道路;使用預(yù)置標(biāo)準(zhǔn)對(duì)所述結(jié)果圖像進(jìn)行處理，W還原出道路的分割結(jié) 果;將待檢測(cè)圖像輸入訓(xùn)練成功的所述神經(jīng)網(wǎng)絡(luò)中，得到完成道路分割與該待檢測(cè)圖像對(duì) 應(yīng)的結(jié)果圖像。
[0007] 本發(fā)明提供的交通場(chǎng)景深度解析裝置，包括：
[000引樣本確定模塊，用于使用多個(gè)交通場(chǎng)景數(shù)據(jù)庫中的原始圖像數(shù)據(jù)集和原始圖像對(duì) 應(yīng)的道路區(qū)域標(biāo)定作為訓(xùn)練樣本;變換模塊，用于通過拉普拉斯金字塔變換方式，將所述訓(xùn) 練樣本中的各原始圖像縮放為多個(gè)不同尺度;提取模塊，用于將縮放后的圖像輸入與不同 尺度分別對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)，w通過所述神經(jīng)網(wǎng)絡(luò)提取道路特征，所述神經(jīng)網(wǎng)絡(luò)由卷積神經(jīng) 網(wǎng)絡(luò)部分與反卷積神經(jīng)網(wǎng)絡(luò)部分聯(lián)合組成；訓(xùn)練模塊，用于利用訓(xùn)練縮放后的圖像和所述 縮放后的圖像對(duì)應(yīng)的道路區(qū)域標(biāo)定，對(duì)卷積神經(jīng)網(wǎng)絡(luò)與反卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行訓(xùn)練； 輸出模塊，用于通過與所述神經(jīng)網(wǎng)絡(luò)鏈接的全鏈接層輸出與原始圖像像素相同的一維數(shù) 組;還原模塊，用于將所述一維數(shù)組還原為與所述原始圖像相同大小的結(jié)果圖像，所述結(jié)果 圖像中標(biāo)出不同類型的道路;所述還原模塊，還用于使用預(yù)置標(biāo)準(zhǔn)對(duì)所述結(jié)果圖像進(jìn)行處 理，W還原出道路的分割結(jié)果;檢測(cè)模塊，用于將待檢測(cè)圖像輸入訓(xùn)練成功的所述神經(jīng)網(wǎng)絡(luò) 中，得到完成道路分割與該待檢測(cè)圖像對(duì)應(yīng)的結(jié)果圖像。
[0009] 從上述本發(fā)明實(shí)施例可知，本發(fā)明通過將多尺度的圖像輸入神經(jīng)網(wǎng)絡(luò)，能有效地 提取局部道路特征，且卷積神經(jīng)網(wǎng)絡(luò)與反卷神經(jīng)網(wǎng)絡(luò)構(gòu)成的神經(jīng)網(wǎng)絡(luò)能有效地學(xué)習(xí)目標(biāo)道 路特征，并且通過回歸擬合來提高深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征的準(zhǔn)確性，不僅在道路識(shí)別精 度上有非常高的性能，而且非常有效地提高了在不同交通場(chǎng)景下的適應(yīng)能力，通過pixel-wise 方法針對(duì)圖像每一個(gè)像素進(jìn)行預(yù)測(cè) ，極大地提高 了區(qū)域 內(nèi)分割 的進(jìn)度 ，另外 ，為無人駕 駛和輔助駕駛使用了攝像頭相關(guān)的傳感器也極大地降低了成本。
【附圖說明】
[0010] 為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可 W根據(jù)運(yùn)些附圖獲得其他的附圖。
[0011] 圖1是本發(fā)明第一實(shí)施例提供的交通場(chǎng)景深度解析方法的實(shí)現(xiàn)流程示意圖；
[0012] 圖2是本發(fā)明第一實(shí)施例中交通場(chǎng)景深度解析方法的數(shù)據(jù)處理流程示意圖；
[0013] 圖3是本發(fā)明第二實(shí)施例提供的交通場(chǎng)景深度解析裝置的結(jié)構(gòu)示意圖；
[0014] 圖4是本發(fā)明第Ξ實(shí)施例提供的交通場(chǎng)景深度解析裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[001引為使得本發(fā)明的發(fā)明目的、特征、優(yōu)點(diǎn)能夠更加的明顯和易懂，下面將結(jié)合本發(fā)明 實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí) 施例僅僅是本發(fā)明一部分實(shí)施例，而非全部實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技 術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范 圍。
[0016] 本發(fā)明各實(shí)施例的方案主要針對(duì)交通場(chǎng)景中的道路與道路線進(jìn)行分割。通過訓(xùn)練 樣本訓(xùn)練出一個(gè)像素級(jí)的分類器，可對(duì)采集到的交通圖像中每一個(gè)像素進(jìn)行分類，來判斷 交通圖像中不同區(qū)域所屬類別，W還原交通圖像對(duì)應(yīng)的實(shí)際交通場(chǎng)景的道路狀況。
[0017] 請(qǐng)參閱圖1，圖1為本發(fā)明第一實(shí)施例提供的交通場(chǎng)景深度解析方法的實(shí)現(xiàn)流程示 意圖，主要包括W下步驟S101至步驟S107:
[0018] S101、使用多個(gè)交通場(chǎng)景數(shù)據(jù)庫中的原始圖像數(shù)據(jù)集和原始圖像對(duì)應(yīng)的道路區(qū)域 標(biāo)定作為訓(xùn)練樣本。
[0019] 例如使用KITTI-R0AD與LabelMe的圖像數(shù)據(jù)集和運(yùn)些圖像對(duì)應(yīng)的道路區(qū)域標(biāo)定作 為訓(xùn)練樣本，中間加入少量扭曲與旋轉(zhuǎn)的圖像，增加訓(xùn)練出的分類器的準(zhǔn)確度。
[0020] 為便于后續(xù)圖像的處理，可將多個(gè)交通場(chǎng)景數(shù)據(jù)庫中的原始圖像數(shù)據(jù)集中的各原 始圖像進(jìn)行歸一化處理后，和歸一化處理后的圖像對(duì)應(yīng)的道路區(qū)域標(biāo)定作為訓(xùn)練樣本。具 體地，對(duì)原始圖像數(shù)據(jù)集中的各個(gè)圖像進(jìn)行標(biāo)注和歸一化處理，標(biāo)注的方法與KITTI-R0AD 的標(biāo)注方法相同，將所有已標(biāo)注的圖像歸一到同一尺度，例如圖像大小為375*375。
[0021] S102、通過拉普拉斯金字塔變換方式，將該訓(xùn)練樣本中的各原始圖像縮放為多個(gè) 不同尺度。
[0022] 將訓(xùn)練樣本中的各圖像進(jìn)行拉普拉斯金字塔變換進(jìn)行尺度縮放，若進(jìn)行了歸一化 處理，則是歸一化處理后的各原始圖像按照拉普拉斯金字塔變換方式進(jìn)行尺度的縮放，即 按照設(shè)置的比例縮放到多個(gè)不同的尺度。數(shù)量默認(rèn)為4個(gè)尺度，可根據(jù)道路的復(fù)雜情況進(jìn)行 不同尺度數(shù)量的增加，例如存在多條不相連的道路時(shí)，認(rèn)為是復(fù)雜情況，可適量增加不同尺 度的數(shù)量。
[0023] S103、將縮放后的圖像輸入與不同尺度分別對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)，W通過該神經(jīng)網(wǎng)絡(luò) 提取道路特征，該神經(jīng)網(wǎng)絡(luò)由卷積神經(jīng)網(wǎng)絡(luò)部分與反卷積神經(jīng)網(wǎng)絡(luò)部分聯(lián)合組成；
[0024] 其中卷積神經(jīng)網(wǎng)絡(luò)部分使用的是VGG16層的卷積網(wǎng)絡(luò)結(jié)構(gòu)，而反卷積神經(jīng)網(wǎng)絡(luò)則 像卷積網(wǎng)絡(luò)的倒