本申請涉及圖像處理，尤其涉及一種場景實例分割方法、裝置、設(shè)備、存儲介質(zhì)及計算機程序產(chǎn)品。

背景技術(shù)：

1、近年來，隨著網(wǎng)絡(luò)業(yè)務(wù)呈現(xiàn)了指數(shù)形式的增長，對于專業(yè)網(wǎng)絡(luò)設(shè)施的監(jiān)督和管理也成了網(wǎng)絡(luò)應(yīng)用背后的必須考慮的問題。傳統(tǒng)的專網(wǎng)園區(qū)管理主要依靠人工，對于成本、效率和問題定位準(zhǔn)確率形成考驗。為了及時地監(jiān)督以及定位問題專網(wǎng)園區(qū)的異常，園區(qū)維割，以完成后續(xù)的場景理解任務(wù)。

2、場景實例分割任務(wù)是通過學(xué)習(xí)一個場景的信息，并根據(jù)學(xué)習(xí)的信息對場景分割得到各個實例。傳統(tǒng)的場景分割方式主要是通過將人工智能技術(shù)融合以優(yōu)化這些問題。針對園區(qū)場景進(jìn)行快速的實例分割是基于點云表征，通過對場景點云按不同視角渲染得到二維圖像，并通過二維分割指導(dǎo)三維，或是通過大型深度學(xué)習(xí)網(wǎng)絡(luò)來直接學(xué)習(xí)點云的場景信息，然而由于點云需要在場景下進(jìn)行掃描且掃描成本較高，也容易出現(xiàn)掃描得到殘缺點云的問題，導(dǎo)致分割實例得到的表面不夠平滑，大大影響了后續(xù)任務(wù)的精度。

3、因此，如何提升生成的分割實例的平滑度，是目前亟需解決的一個問題。

4、上述內(nèi)容僅用于輔助理解本申請的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

技術(shù)實現(xiàn)思路

1、本申請的主要目的在于提供一種場景實例分割方法、裝置、設(shè)備、存儲介質(zhì)及計算機程序產(chǎn)品，旨在解決相關(guān)技術(shù)中，通過點云表征的方法來在場景下進(jìn)行掃描且掃描成本較高，也容易出現(xiàn)掃描得到殘缺點云的問題，導(dǎo)致分割實例得到的表面不夠平滑，大大影響了后續(xù)任務(wù)的精度的技術(shù)問題。

2、為實現(xiàn)上述目的，本申請?zhí)岢鲆环N場景實例分割方法，所述場景實例分割方法包括：

3、獲取目標(biāo)場景下的圖像數(shù)據(jù)；

4、基于所述預(yù)設(shè)分割模型，對所述圖像數(shù)據(jù)進(jìn)行處理，輸出分割掩碼；

5、通過三維高斯表征技術(shù)對所述分割掩碼進(jìn)行處理，生成初始分割結(jié)果，并對所述初始分割結(jié)果中的邊界高斯分布進(jìn)行補全或去除，得到最終分割結(jié)果。

6、在一實施例中，所述基于所述預(yù)設(shè)分割模型，對所述圖像數(shù)據(jù)進(jìn)行處理，輸出分割掩碼的步驟之前，還包括：

7、提取預(yù)設(shè)場景下的歷史圖像數(shù)據(jù)；

8、將所述歷史圖像數(shù)據(jù)輸入至預(yù)訓(xùn)練分割模型，基于所述預(yù)訓(xùn)練分割模型，對所述歷史圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到第一圖像特征和多個實例的第一分割掩碼；

9、基于所述第一分割掩碼和所述第一圖像特征，計算得到第一掩碼損失；

10、通過所述第一掩碼損失對所述預(yù)訓(xùn)練分割模型進(jìn)行迭代優(yōu)化，得到訓(xùn)練完成的分割模型。

11、在一實施例中，所述基于所述第一分割掩碼和所述第一圖像特征，計算得到第一掩碼損失的步驟，包括：

12、基于所述第一分割掩碼和第一圖像特征，生成各實例對應(yīng)的第一查詢掩碼，并通過三維高斯表征技術(shù)對圖像特征所對應(yīng)的特征場景進(jìn)行渲染處理，得到渲染特征；

13、基于所述第一查詢掩碼和所述渲染特征，生成特征掩碼；

14、基于所述第一分割掩碼和所述特征掩碼，計算得到第一掩碼損失，其中，所述第一掩碼損失包括掩碼損失和像素?fù)p失，所述掩碼損失用于優(yōu)化場景高斯的特征屬性和特征學(xué)習(xí)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，所述像素?fù)p失用于比對逐像素的掩碼使得同一實例的特征緊密化。

15、在一實施例中，所述通過三維高斯表征技術(shù)對所述分割掩碼進(jìn)行處理，生成初始分割結(jié)果的步驟，包括：

16、提取所述分割掩碼的第二圖像特征，基于所述第二圖像特征和所述分割掩碼，得到待分割實例的第二查詢掩碼；

17、通過三維高斯表征技術(shù)對所述第二查詢掩碼進(jìn)行特征屬性計算，生成初始分割結(jié)果。

18、在一實施例中，所述通過三維高斯表征技術(shù)對所述第二查詢掩碼進(jìn)行特征屬性計算，生成初始分割結(jié)果的步驟，包括：

19、通過三維高斯表征技術(shù)對所述第二查詢掩碼進(jìn)行特征屬性計算，得到多個場景高斯分布；

20、提取所述場景高斯分布中大于預(yù)設(shè)閾值的第一場景高斯分布，將所述第一場景高斯分布作為初始分割結(jié)果。

21、在一實施例中，所述對所述初始分割結(jié)果中的邊界高斯分布進(jìn)行補全或去除，得到最終分割結(jié)果的步驟，包括：

22、提取所述初始分割結(jié)果中的邊界高斯分布中的實例缺失點；

23、通過鄰域高斯聚合方法對所述實例缺失點進(jìn)行邊界補全處理，并通過邊界高斯解耦方法對邊界高斯分布進(jìn)行解耦處理，得到最終分割結(jié)果。

24、此外，為實現(xiàn)上述目的，本申請還提出一種場景實例分割裝置，所述場景實例分割裝置包括：

25、獲取模塊，用于獲取目標(biāo)場景下的圖像數(shù)據(jù)；

26、第一處理模塊，用于基于所述預(yù)設(shè)分割模型，對所述圖像數(shù)據(jù)進(jìn)行處理，輸出分割掩碼；

27、第二處理模塊，用于通過三維高斯表征技術(shù)對所述分割掩碼進(jìn)行處理，生成初始分割結(jié)果，并對所述初始分割結(jié)果中的邊界高斯分布進(jìn)行補全或去除，得到最終分割結(jié)果。

28、此外，為實現(xiàn)上述目的，本申請還提出一種場景實例分割設(shè)備，所述設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現(xiàn)如上文所述的場景實例分割方法的步驟。

29、此外，為實現(xiàn)上述目的，本申請還提出一種存儲介質(zhì)，所述存儲介質(zhì)為計算機可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上文所述的場景實例分割方法的步驟。

30、此外，為實現(xiàn)上述目的，本申請還提供一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上文所述的場景實例分割方法的步驟。

31、本申請?zhí)岢隽艘环N場景實例分割方法、裝置、設(shè)備、存儲介質(zhì)及計算機程序產(chǎn)品，本申請通過獲取目標(biāo)場景下的圖像數(shù)據(jù)，通過預(yù)設(shè)分割模型對圖像數(shù)據(jù)進(jìn)行實例分割，得到對圖像數(shù)據(jù)進(jìn)行分割后的實例掩碼，再通過三維高斯表征技術(shù)來對分割掩碼進(jìn)行表征或計算，生成初始分割結(jié)果，此時的初始分割結(jié)果并不能準(zhǔn)確體現(xiàn)出場景中實例分布，再通過對初始分割結(jié)果中的邊界上的高斯分布進(jìn)行補全，或者去除邊界外多余的部分，從而提高分割實例的表面平滑度，提高了分割質(zhì)量，進(jìn)而，避免對后續(xù)任務(wù)的精度產(chǎn)生影響。

技術(shù)特征：

1.一種場景實例分割方法，其特征在于，所述方法包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述基于所述預(yù)設(shè)分割模型，對所述圖像數(shù)據(jù)進(jìn)行處理，輸出分割掩碼的步驟之前，還包括：

3.如權(quán)利要求2所述的方法，其特征在于，所述基于所述第一分割掩碼和所述第一圖像特征，計算得到第一掩碼損失的步驟，包括：

4.如權(quán)利要求1至3中任一項所述的方法，其特征在于，所述通過三維高斯表征技術(shù)對所述分割掩碼進(jìn)行處理，生成初始分割結(jié)果的步驟，包括：

5.如權(quán)利要求4所述的方法，其特征在于，所述通過三維高斯表征技術(shù)對所述第二查詢掩碼進(jìn)行特征屬性計算，生成初始分割結(jié)果的步驟，包括：

6.如權(quán)利要求1所述的方法，其特征在于，所述對所述初始分割結(jié)果中的邊界高斯分布進(jìn)行補全或去除，得到最終分割結(jié)果的步驟，包括：

7.一種場景實例分割裝置，其特征在于，所述裝置包括：

8.一種場景實例分割設(shè)備，其特征在于，所述設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現(xiàn)如權(quán)利要求1至6中任一項所述的場景實例分割方法的步驟。

9.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)為計算機可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至6中任一項所述的場景實例分割方法的步驟。

10.一種計算機程序產(chǎn)品，其特征在于，所述計算機程序產(chǎn)品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至6中任一項所述的場景實例分割方法的步驟。

技術(shù)總結(jié)
本申請公開了一種場景實例分割方法、裝置、設(shè)備、存儲介質(zhì)及產(chǎn)品，涉及圖像處理技術(shù)領(lǐng)域，所述場景實例分割方法包括：獲取目標(biāo)場景下的圖像數(shù)據(jù)；基于所述預(yù)設(shè)分割模型，對所述圖像數(shù)據(jù)進(jìn)行處理，輸出分割掩碼；通過三維高斯表征技術(shù)對所述分割掩碼進(jìn)行處理，生成初始分割結(jié)果，并對所述初始分割結(jié)果中的邊界高斯分布進(jìn)行補全或去除，得到最終分割結(jié)果。本申請實現(xiàn)了提高分割實例的平滑度。

技術(shù)研發(fā)人員：朱偉,路通,徐瀟秋,陳致遠(yuǎn),葉鵬
受保護的技術(shù)使用者：中國移動紫金（江蘇）創(chuàng)新研究院有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30