本申請(qǐng)屬于圖像處理，具體涉及一種圖像中目標(biāo)對(duì)象的提取方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、隨著科技水平的迅速發(fā)展，人們對(duì)圖像的處理技術(shù)也在不斷提升，摳圖，是目前較為常用的技術(shù)之一。

2、在一些場(chǎng)景中，需要將圖像中的目標(biāo)人物、目標(biāo)物品等摳取出來(lái)，這就需要使用到摳圖技術(shù)。常用的手段包括手工摳圖以及圖像自動(dòng)識(shí)別摳圖等。但是手工摳圖存在摳圖效率低，且精準(zhǔn)度不高的問(wèn)題，圖像自動(dòng)識(shí)別摳圖需要能夠?qū)D像進(jìn)行準(zhǔn)確的識(shí)別，這就需要摳圖的目標(biāo)的前景色和背景色之間差別較大，才能夠進(jìn)行準(zhǔn)確的摳取。而且，在目前對(duì)于圖像需求越來(lái)越高的情況下，往往需要將人物的手臂、物體的邊角等部分區(qū)域作為摳圖對(duì)象，這就使得圖像自動(dòng)識(shí)別摳圖的方式完全沒(méi)有了區(qū)分部分區(qū)域作為摳圖對(duì)象的依據(jù)。因此，如何能夠更好的適應(yīng)于各種摳圖需求，對(duì)圖像中的目標(biāo)對(duì)象進(jìn)行精準(zhǔn)的提取，是本領(lǐng)域亟待解決的技術(shù)難題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例的目的是提供一種圖像中目標(biāo)對(duì)象的提取方法、裝置、設(shè)備及介質(zhì)，目的在于可以根據(jù)用戶(hù)的實(shí)際需求從圖像中提取目標(biāo)對(duì)象，實(shí)現(xiàn)高效并且準(zhǔn)確的摳圖處理，提高了摳圖速度和質(zhì)量，并且還無(wú)需依賴(lài)于圖像中色彩的區(qū)分，具有更好的魯棒性。

2、第一方面，本申請(qǐng)實(shí)施例提供了一種圖像中目標(biāo)對(duì)象的提取方法，所述方法包括：

3、獲取待識(shí)別圖像；

4、接收用戶(hù)針對(duì)目標(biāo)對(duì)象輸入的描述語(yǔ)句，通過(guò)翻譯節(jié)點(diǎn)將所述描述語(yǔ)句翻譯成指令信息；

5、將所述待識(shí)別圖像和所述指令信息輸入至圖像識(shí)別模型，供所述圖像識(shí)別模型根據(jù)所述指令信息從所述待識(shí)別圖像中識(shí)別目標(biāo)對(duì)象；

6、獲取所述目標(biāo)對(duì)象的輪廓信息；

7、根據(jù)所述輪廓信息生成所述目標(biāo)對(duì)象的遮罩圖像；

8、采用所述遮罩圖像與所述待識(shí)別圖像進(jìn)行疊加處理，以從所述待識(shí)別圖像中提取所述目標(biāo)對(duì)象的圖像數(shù)據(jù)。

9、進(jìn)一步的，在通過(guò)翻譯節(jié)點(diǎn)將所述描述語(yǔ)句翻譯成指令信息之前，所述方法還包括：

10、獲取所述圖像識(shí)別模型支持的指令語(yǔ)句類(lèi)型；

11、相應(yīng)的，通過(guò)翻譯節(jié)點(diǎn)將所述描述語(yǔ)句翻譯成指令信息，包括：

12、根據(jù)所述指令語(yǔ)句類(lèi)型，將所述描述語(yǔ)句翻譯成與所述指令語(yǔ)句類(lèi)型相匹配的指令信息。

13、進(jìn)一步的，獲取所述目標(biāo)對(duì)象的輪廓信息，包括：

14、生成輪廓提取指令，通過(guò)所述圖像識(shí)別模型繪制所述目標(biāo)對(duì)象的輪廓信息。

15、進(jìn)一步的，根據(jù)所述輪廓信息生成所述目標(biāo)對(duì)象的遮罩圖像，包括：

16、將所述輪廓信息提供至comfyui，供所述comfyui基于所述輪廓信息生成具有黑色像素點(diǎn)和白色像素點(diǎn)的遮罩圖像；其中，黑色像素點(diǎn)對(duì)應(yīng)于不關(guān)注部分，白色像素點(diǎn)對(duì)應(yīng)于目標(biāo)對(duì)象。

17、進(jìn)一步的，所述圖像識(shí)別模型為yolo模型；

18、相應(yīng)的，將所述待識(shí)別圖像和所述指令信息輸入至圖像識(shí)別模型，供所述圖像識(shí)別模型根據(jù)所述指令信息從所述待識(shí)別圖像中識(shí)別目標(biāo)對(duì)象，包括：

19、將所述待識(shí)別圖像和所述指令信息輸入至所述yolo模型，供所述yolo模型在所述指令信息的引導(dǎo)下，對(duì)所述待識(shí)別圖像進(jìn)行目標(biāo)對(duì)象檢測(cè)，以得到待識(shí)別圖像中的目標(biāo)對(duì)象。

20、進(jìn)一步的，所述圖像識(shí)別模型為sam大模型；

21、將所述待識(shí)別圖像和所述指令信息輸入至圖像識(shí)別模型，供所述圖像識(shí)別模型根據(jù)所述指令信息從所述待識(shí)別圖像中識(shí)別目標(biāo)對(duì)象，包括：

22、將所述待識(shí)別圖像和所述指令信息輸入至所述sam大模型，供所述sam大模型在所述指令信息的引導(dǎo)下，對(duì)所述待識(shí)別圖像進(jìn)行目標(biāo)對(duì)象識(shí)別，以得到待識(shí)別圖像中的目標(biāo)對(duì)象。

23、進(jìn)一步的，所述目標(biāo)對(duì)象為一個(gè)完整主體的指定部位；

24、所述翻譯節(jié)點(diǎn)為comfyui的翻譯節(jié)點(diǎn)。

25、第二方面，本申請(qǐng)實(shí)施例提供了一種圖像中目標(biāo)對(duì)象的提取裝置，所述裝置包括：

26、圖像獲取模塊，用于獲取待識(shí)別圖像；

27、指令信息生成模塊，用于接收用戶(hù)針對(duì)目標(biāo)對(duì)象輸入的描述語(yǔ)句，通過(guò)翻譯節(jié)點(diǎn)將所述描述語(yǔ)句翻譯成指令信息；

28、目標(biāo)對(duì)象識(shí)別模塊，用于將所述待識(shí)別圖像和所述指令信息輸入至圖像識(shí)別模型，供所述圖像識(shí)別模型根據(jù)所述指令信息從所述待識(shí)別圖像中識(shí)別目標(biāo)對(duì)象；

29、輪廓信息獲取模塊，用于獲取所述目標(biāo)對(duì)象的輪廓信息；

30、遮罩圖像生成模塊，用于根據(jù)所述輪廓信息生成所述目標(biāo)對(duì)象的遮罩圖像；

31、提取模塊，用于采用所述遮罩圖像與所述待識(shí)別圖像進(jìn)行疊加處理，以從所述待識(shí)別圖像中提取所述目標(biāo)對(duì)象的圖像數(shù)據(jù)。

32、第三方面，本申請(qǐng)實(shí)施例提供了一種電子設(shè)備，該電子設(shè)備包括處理器、存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序或指令，所述程序或指令被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的方法的步驟。

33、第四方面，本申請(qǐng)實(shí)施例提供了一種可讀存儲(chǔ)介質(zhì)，所述可讀存儲(chǔ)介質(zhì)上存儲(chǔ)程序或指令，所述程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的方法的步驟。

34、第五方面，本申請(qǐng)實(shí)施例提供了一種芯片，所述芯片包括處理器和通信接口，所述通信接口和所述處理器耦合，所述處理器用于運(yùn)行程序或指令，實(shí)現(xiàn)如第一方面所述的方法。

35、在本申請(qǐng)實(shí)施例中，獲取待識(shí)別圖像；接收用戶(hù)針對(duì)目標(biāo)對(duì)象輸入的描述語(yǔ)句，通過(guò)翻譯節(jié)點(diǎn)將所述描述語(yǔ)句翻譯成指令信息；所述待識(shí)別圖像和所述指令信息輸入至圖像識(shí)別模型，供所述圖像識(shí)別模型根據(jù)所述指令信息從所述待識(shí)別圖像中識(shí)別目標(biāo)對(duì)象；獲取所述目標(biāo)對(duì)象的輪廓信息；根據(jù)所述輪廓信息生成所述目標(biāo)對(duì)象的遮罩圖像；采用所述遮罩圖像與所述待識(shí)別圖像進(jìn)行疊加處理，以從所述待識(shí)別圖像中提取所述目標(biāo)對(duì)象的圖像數(shù)據(jù)。本申請(qǐng)所提供的技術(shù)方案，可以實(shí)現(xiàn)高效并且準(zhǔn)確的摳圖處理，提高了摳圖速度和質(zhì)量，并且還無(wú)需依賴(lài)于圖像中色彩的區(qū)分，具有更好的魯棒性。

技術(shù)特征：

1.一種圖像中目標(biāo)對(duì)象的提取方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的圖像中目標(biāo)對(duì)象的提取方法，其特征在于，在通過(guò)翻譯節(jié)點(diǎn)將所述描述語(yǔ)句翻譯成指令信息之前，所述方法還包括：

3.根據(jù)權(quán)利要求1所述的圖像中目標(biāo)對(duì)象的提取方法，其特征在于，獲取所述目標(biāo)對(duì)象的輪廓信息，包括：

4.根據(jù)權(quán)利要求1所述的圖像中目標(biāo)對(duì)象的提取方法，其特征在于，根據(jù)所述輪廓信息生成所述目標(biāo)對(duì)象的遮罩圖像，包括：

5.根據(jù)權(quán)利要求1所述的圖像中目標(biāo)對(duì)象的提取方法，其特征在于，所述圖像識(shí)別模型為yolo模型；

6.根據(jù)權(quán)利要求1所述的圖像中目標(biāo)對(duì)象的提取方法，其特征在于，所述圖像識(shí)別模型為sam大模型；

7.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的圖像中目標(biāo)對(duì)象的提取方法，其特征在于，所述目標(biāo)對(duì)象為一個(gè)完整主體的指定部位；

8.一種圖像中目標(biāo)對(duì)象的提取裝置，其特征在于，所述裝置包括：

9.一種電子設(shè)備，其特征在于，包括處理器，存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序或指令，所述程序或指令被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的圖像中目標(biāo)對(duì)象的提取方法的步驟。

10.一種可讀存儲(chǔ)介質(zhì)，其特征在于，所述可讀存儲(chǔ)介質(zhì)上存儲(chǔ)程序或指令，所述程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的圖像中目標(biāo)對(duì)象的提取方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種圖像中目標(biāo)對(duì)象的提取方法、裝置、設(shè)備及介質(zhì)，本申請(qǐng)屬于圖像處理技術(shù)領(lǐng)域。該方法包括：獲取待識(shí)別圖像；接收用戶(hù)針對(duì)目標(biāo)對(duì)象輸入的描述語(yǔ)句，通過(guò)翻譯節(jié)點(diǎn)將所述描述語(yǔ)句翻譯成指令信息；將所述待識(shí)別圖像和所述指令信息輸入至圖像識(shí)別模型，供所述圖像識(shí)別模型根據(jù)所述指令信息從所述待識(shí)別圖像中識(shí)別目標(biāo)對(duì)象；獲取所述目標(biāo)對(duì)象的輪廓信息；根據(jù)所述輪廓信息生成所述目標(biāo)對(duì)象的遮罩圖像；采用所述遮罩圖像與所述待識(shí)別圖像進(jìn)行疊加處理，以從所述待識(shí)別圖像中提取所述目標(biāo)對(duì)象的圖像數(shù)據(jù)。本技術(shù)方案，可以實(shí)現(xiàn)高效并且準(zhǔn)確的摳圖處理，提高了摳圖速度和質(zhì)量，并且還無(wú)需依賴(lài)于圖像中色彩的區(qū)分，具有更好的魯棒性。

技術(shù)研發(fā)人員：周涵源
受保護(hù)的技術(shù)使用者：廣州三七極耀網(wǎng)絡(luò)科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2