本技術(shù)涉及計(jì)算機(jī)視覺(jué)和圖像處理,特別是涉及大規(guī)模點(diǎn)云數(shù)據(jù)的高效標(biāo)注方法、裝置、系統(tǒng)、介質(zhì)及程序產(chǎn)品。
背景技術(shù):
1、在當(dāng)前的點(diǎn)云數(shù)據(jù)處理中,點(diǎn)云標(biāo)注技術(shù)是實(shí)現(xiàn)高精度三維場(chǎng)景理解的關(guān)鍵環(huán)節(jié)。然而,現(xiàn)有技術(shù)在實(shí)際應(yīng)用中面臨諸多挑戰(zhàn),主要體現(xiàn)在以下幾個(gè)方面:
2、(1)大規(guī)模點(diǎn)云實(shí)例分割的挑戰(zhàn):現(xiàn)有的大規(guī)模點(diǎn)云實(shí)例分割技術(shù)高度依賴于高性能顯卡和大顯存,這不僅限制了其應(yīng)用范圍,也影響了分割的精度和效率。當(dāng)顯存不足時(shí),分割結(jié)果往往不盡人意,難以滿足實(shí)際應(yīng)用的需求。
3、(2)標(biāo)注可視化性能瓶頸:傳統(tǒng)的點(diǎn)云標(biāo)注工具在處理大規(guī)模數(shù)據(jù)時(shí),常常因?yàn)榧虞d和渲染大量點(diǎn)云數(shù)據(jù)而遇到性能瓶頸。這不僅導(dǎo)致標(biāo)注過(guò)程出現(xiàn)卡頓和延誤,甚至可能引發(fā)程序崩潰,嚴(yán)重影響標(biāo)注工作的連續(xù)性和準(zhǔn)確性。
4、(3)硬件資源的高需求:大多數(shù)現(xiàn)有的點(diǎn)云標(biāo)注平臺(tái)對(duì)硬件資源有著較高的要求,尤其是對(duì)高性能顯卡和大容量ram的需求,這使得普通用戶難以負(fù)擔(dān),限制了點(diǎn)云標(biāo)注技術(shù)的普及和應(yīng)用。
5、(4)復(fù)雜的標(biāo)注流程:現(xiàn)有的點(diǎn)云標(biāo)注工具在使用過(guò)程中操作復(fù)雜,效率低下,尤其是對(duì)新手用戶不夠友好。復(fù)雜的操作流程不僅增加了用戶的學(xué)習(xí)成本,也降低了標(biāo)注的效率和準(zhǔn)確性。
6、(5)部署要求過(guò)高:現(xiàn)有的標(biāo)注工具在部署時(shí)需要滿足繁雜的條件,且擴(kuò)展性較差。這不僅增加了部署的難度和成本,也限制了標(biāo)注工具的靈活性和適用范圍。
7、有鑒于此,本領(lǐng)域亟需通過(guò)創(chuàng)新的技術(shù)手段,優(yōu)化點(diǎn)云標(biāo)注過(guò)程,提升標(biāo)注效率和精度,降低硬件資源的需求,簡(jiǎn)化操作流程,并提高部署的靈活性和擴(kuò)展性,從而推動(dòng)點(diǎn)云標(biāo)注技術(shù)在更廣泛領(lǐng)域的應(yīng)用。
技術(shù)實(shí)現(xiàn)思路
1、鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn),本技術(shù)的目的在于提供大規(guī)模點(diǎn)云數(shù)據(jù)的高效標(biāo)注方法、裝置、系統(tǒng)、介質(zhì)及程序產(chǎn)品,用于解決如何優(yōu)化點(diǎn)云標(biāo)注過(guò)程,提升標(biāo)注效率和精度,降低硬件資源的需求,簡(jiǎn)化操作流程,并提高部署的靈活性和擴(kuò)展性的技術(shù)問(wèn)題。
2、為實(shí)現(xiàn)上述目的及其他相關(guān)目的,本技術(shù)的第一方面提供一種大規(guī)模點(diǎn)云數(shù)據(jù)的高效標(biāo)注系統(tǒng),包括:可視化模塊、深度學(xué)習(xí)模型迭代預(yù)分割模塊、點(diǎn)云處理模塊和數(shù)據(jù)存儲(chǔ)模塊;所述數(shù)據(jù)存儲(chǔ)模塊接收并存儲(chǔ)一或多個(gè)用戶終端上傳的原始點(diǎn)云數(shù)據(jù),并將所述原始點(diǎn)云數(shù)據(jù)發(fā)送至深度學(xué)習(xí)模型迭代預(yù)分割模塊;所述深度學(xué)習(xí)模型迭代預(yù)分割模塊響應(yīng)于可視化模塊發(fā)送的預(yù)分割指令,使用八叉樹(shù)分割技術(shù)或滑塊分割技術(shù)將原始點(diǎn)云數(shù)據(jù)分割成多個(gè)子區(qū)域,并將分割后的各個(gè)子區(qū)域輸入至深度學(xué)習(xí)模型中進(jìn)行推理,并融合各個(gè)子區(qū)域的推理結(jié)果;經(jīng)過(guò)深度學(xué)習(xí)模型迭代預(yù)分割模塊處理后的點(diǎn)云數(shù)據(jù)發(fā)送至所述可視化模塊進(jìn)行可視化,可視化模塊響應(yīng)于用戶標(biāo)注操作,通過(guò)基于視角的標(biāo)注操作技術(shù)實(shí)時(shí)更改點(diǎn)云標(biāo)簽的渲染效果;可視化模塊響應(yīng)于用戶操作生成標(biāo)注指令日志,并將所述標(biāo)注指令日志發(fā)送至點(diǎn)云處理模塊;點(diǎn)云處理模塊根據(jù)標(biāo)注指令日志對(duì)原始點(diǎn)云數(shù)據(jù)進(jìn)行標(biāo)簽更新處理,并將處理后的點(diǎn)云數(shù)據(jù)發(fā)送至數(shù)據(jù)存儲(chǔ)模塊中進(jìn)行存儲(chǔ)。
3、于本技術(shù)的第一方面的一些實(shí)施例中,所述可視化模塊進(jìn)行可視化的過(guò)程包括:基于多分辨率層次細(xì)節(jié)技術(shù)對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理;對(duì)預(yù)處理后的點(diǎn)云數(shù)據(jù)進(jìn)行標(biāo)注信息傳遞與渲染;保存標(biāo)注數(shù)據(jù)。
4、于本技術(shù)的第一方面的一些實(shí)施例中,所述基于多分辨率層次細(xì)節(jié)技術(shù)對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理的過(guò)程包括:將點(diǎn)云數(shù)據(jù)分割成多個(gè)層次和塊以形成對(duì)應(yīng)的層次結(jié)構(gòu);在分塊的基礎(chǔ)上,為每個(gè)塊生成不同分辨率的點(diǎn)云數(shù)據(jù),形成多層次的細(xì)節(jié)表示;根據(jù)用戶視點(diǎn)和視距,動(dòng)態(tài)選擇對(duì)應(yīng)的分辨率層次進(jìn)行渲染,其包括在較遠(yuǎn)處使用較低分辨率數(shù)據(jù)且在較近處使用較高分辨率數(shù)據(jù);使用空間劃分?jǐn)?shù)據(jù)結(jié)構(gòu)來(lái)組織和存儲(chǔ)點(diǎn)云數(shù)據(jù);根據(jù)空間劃分?jǐn)?shù)據(jù)結(jié)構(gòu),為每個(gè)塊生成相應(yīng)的可視化數(shù)據(jù)表示并保存至可視化文件中,以供在渲染窗口中加載點(diǎn)云所對(duì)應(yīng)的可視化文件進(jìn)行渲染。
5、于本技術(shù)的第一方面的一些實(shí)施例中,所述深度學(xué)習(xí)模型迭代預(yù)分割模塊使用八叉樹(shù)分割技術(shù)或滑塊分割技術(shù)將原始點(diǎn)云數(shù)據(jù)分割成多個(gè)子區(qū)域,其過(guò)程包括:確定整個(gè)點(diǎn)云數(shù)據(jù)的邊界并計(jì)算中點(diǎn)以供分割使用;判斷整個(gè)點(diǎn)云中的點(diǎn)數(shù)是否超過(guò)設(shè)定的閾值,若不超過(guò)則直接將整個(gè)點(diǎn)云送入模型,若超過(guò)則進(jìn)行八叉樹(shù)分割或滑塊分割;將通過(guò)八叉樹(shù)分割或滑塊分割得到的子區(qū)域的元組或字典以列表形式予以保存。
6、于本技術(shù)的第一方面的一些實(shí)施例中,所述深度學(xué)習(xí)模型迭代預(yù)分割模塊將分割后的各個(gè)子區(qū)域輸入至深度學(xué)習(xí)模型中進(jìn)行推理,其包括:遍歷通過(guò)八叉樹(shù)分割或滑塊分割得到的子區(qū)域列表,并將各子區(qū)域依次輸入深度學(xué)習(xí)模型中進(jìn)行推理;使用深度學(xué)習(xí)模型對(duì)每個(gè)子區(qū)域進(jìn)行推理后生成對(duì)應(yīng)的推理結(jié)果,將各所述推理結(jié)果與子區(qū)域的原始位置編碼結(jié)合形成一個(gè)新的元組或字典;將所有子區(qū)域的推理結(jié)果和位置編碼組合起來(lái)形成最終列表;所述最終列表中的每個(gè)元素都是一個(gè)包含子區(qū)域推理結(jié)果和位置信息的元組或字典。
7、于本技術(shù)的第一方面的一些實(shí)施例中,所述深度學(xué)習(xí)模型迭代預(yù)分割模塊將將各子區(qū)域的模型推理結(jié)果進(jìn)行交叉融合,其包括:對(duì)八叉樹(shù)分割的交叉融合方式包括:從最低層級(jí)的子區(qū)域開(kāi)始逐層進(jìn)行交叉融合,并通過(guò)層級(jí)以及位置編碼確定每個(gè)子區(qū)域的位置關(guān)系,依次進(jìn)行數(shù)據(jù)合并;對(duì)滑塊分割的交叉融合方式包括:沿坐標(biāo)軸遞增交叉融合,依次進(jìn)行數(shù)據(jù)合并。
8、于本技術(shù)的第一方面的一些實(shí)施例中,所述數(shù)據(jù)合并的方式包括:提取待合并的各個(gè)子區(qū)域的推理結(jié)果,推理結(jié)果包括各個(gè)點(diǎn)的分類(lèi)信息和實(shí)例標(biāo)簽;從所述待合并的各個(gè)子區(qū)域中選擇其中一個(gè)子區(qū)域,將所選的子區(qū)域的所有實(shí)例標(biāo)簽進(jìn)行調(diào)整,以使所述待合并的各個(gè)子區(qū)域所構(gòu)成的場(chǎng)景中的所有實(shí)例標(biāo)簽具備唯一性;基于相鄰子區(qū)域的公共區(qū)域?qū)ξ挥谶吔缣幍膶?shí)例標(biāo)簽進(jìn)行合并,合并方式包括:若公共區(qū)域中的兩個(gè)實(shí)例標(biāo)簽位置相同且類(lèi)別相同,則將其中一個(gè)子區(qū)域中該實(shí)例所有點(diǎn)的實(shí)例標(biāo)簽改為另一個(gè)區(qū)域中該實(shí)例的標(biāo)簽值;在各子區(qū)域的堆疊區(qū)域的點(diǎn)云數(shù)據(jù)出現(xiàn)重復(fù)的點(diǎn)時(shí),刪除一個(gè)子區(qū)域中位于公共區(qū)域的點(diǎn);將各子區(qū)域的點(diǎn)云數(shù)據(jù)進(jìn)行堆疊,以形成一個(gè)新的點(diǎn)云數(shù)據(jù)集;重新排序?qū)嵗龢?biāo)簽,使各實(shí)例標(biāo)簽的標(biāo)簽值從0開(kāi)始且是連續(xù)的;重復(fù)上述步驟,直至列表中的所有子區(qū)域都被合并完成,以形成一個(gè)統(tǒng)一且沒(méi)有重復(fù)實(shí)例標(biāo)簽的點(diǎn)云數(shù)據(jù)集。
9、于本技術(shù)的第一方面的一些實(shí)施例中,所述點(diǎn)云處理模塊對(duì)原始點(diǎn)云數(shù)據(jù)進(jìn)行標(biāo)簽更新處理的過(guò)程包括:從所述可視化模塊接收標(biāo)注指令日志文件并提取標(biāo)注信息,解析日志文件中的多項(xiàng)配置參數(shù);讀取數(shù)據(jù)存儲(chǔ)模塊中的原始點(diǎn)云數(shù)據(jù)文件,并創(chuàng)建新的點(diǎn)云數(shù)據(jù)文件以供存儲(chǔ)處理后的數(shù)據(jù);將讀取到的原始點(diǎn)云數(shù)據(jù)進(jìn)行坐標(biāo)轉(zhuǎn)換,并根據(jù)標(biāo)注信息更新點(diǎn)云中各個(gè)點(diǎn)的標(biāo)簽;重復(fù)上述步驟直至遍歷完所有標(biāo)注信息,并將所有處理后的數(shù)據(jù)存儲(chǔ)至新創(chuàng)建的點(diǎn)云數(shù)據(jù)文件中。
10、為實(shí)現(xiàn)上述目的及其他相關(guān)目的,本技術(shù)的第二方面提供一種大規(guī)模點(diǎn)云數(shù)據(jù)的高效標(biāo)注方法,包括:接收并存儲(chǔ)一或多個(gè)用戶終端上傳的原始點(diǎn)云數(shù)據(jù);響應(yīng)于預(yù)分割指令,使用八叉樹(shù)分割技術(shù)或滑塊分割技術(shù)將原始點(diǎn)云數(shù)據(jù)分割成多個(gè)子區(qū)域,并將分割后的各個(gè)子區(qū)域輸入至深度學(xué)習(xí)模型中進(jìn)行推理,并融合各個(gè)子區(qū)域的推理結(jié)果;將預(yù)處理后的點(diǎn)云數(shù)據(jù)進(jìn)行可視化,響應(yīng)于用戶標(biāo)注操作,通過(guò)基于視角的標(biāo)注操作技術(shù)實(shí)時(shí)更改點(diǎn)云標(biāo)簽的渲染效果;響應(yīng)于用戶操作生成標(biāo)注指令日志,并根據(jù)所述標(biāo)注指令日志對(duì)原始點(diǎn)云數(shù)據(jù)進(jìn)行標(biāo)簽更新處理,并將處理后的點(diǎn)云數(shù)據(jù)進(jìn)行存儲(chǔ)。
11、為實(shí)現(xiàn)上述目的及其他相關(guān)目的,本技術(shù)的第三方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述大規(guī)模點(diǎn)云數(shù)據(jù)的高效標(biāo)注方法。
12、為實(shí)現(xiàn)上述目的及其他相關(guān)目的,本技術(shù)的第四方面提供一種計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序產(chǎn)品中包括計(jì)算機(jī)程序代碼,當(dāng)所述計(jì)算機(jī)程序代碼在計(jì)算機(jī)上運(yùn)行時(shí),使得所述計(jì)算機(jī)實(shí)現(xiàn)所述大規(guī)模點(diǎn)云數(shù)據(jù)的高效標(biāo)注方法。
13、為實(shí)現(xiàn)上述目的及其他相關(guān)目的,本技術(shù)的第五方面提供一種計(jì)算機(jī)裝置,包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上的計(jì)算機(jī)程序;所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)所述大規(guī)模點(diǎn)云數(shù)據(jù)的高效標(biāo)注方法。
14、如上所述,本技術(shù)的大規(guī)模點(diǎn)云數(shù)據(jù)的高效標(biāo)注方法、裝置、系統(tǒng)、介質(zhì)及程序產(chǎn)品,具有以下有益效果:
15、(1)高效的點(diǎn)云處理:通過(guò)八叉樹(shù)分割和智能分割技術(shù),平臺(tái)能夠高效處理大規(guī)模點(diǎn)云數(shù)據(jù),顯著降低內(nèi)存消耗。
16、(2)低硬件需求:利用高效的可視化模塊,減少客戶端的計(jì)算和存儲(chǔ)需求,用戶無(wú)需高性能硬件即可進(jìn)行點(diǎn)云標(biāo)注。
17、(3)增強(qiáng)的標(biāo)注效率:集成多種智能標(biāo)注工具,使標(biāo)注過(guò)程更加用戶友好高效和精確
18、因此,本發(fā)明不僅克服了現(xiàn)有技術(shù)中的多個(gè)缺陷,還提供了一種高效、智能、資源友好的點(diǎn)云標(biāo)注解決方案,為大規(guī)模點(diǎn)云數(shù)據(jù)處理和標(biāo)注提供了新的解決方案。