本技術(shù)涉及圖像識別領(lǐng)域,具體而言,涉及一種圖像識別方法、裝置、存儲介質(zhì)及電子設(shè)備。
背景技術(shù):
1、現(xiàn)有的圖像識別技術(shù)大多采用單一模態(tài)對圖像進行一次性端到端的識別,例如,僅依賴于輸入圖像中的視覺信息直接輸出識別結(jié)果。然而,在實際應(yīng)用中發(fā)現(xiàn),這種采用單模型方式對圖像進行一次性識別的方法在面對復(fù)雜多變的場景時,難以全面、準確地判斷圖像內(nèi)容。例如,在建筑施工等環(huán)境中,光照條件、遮擋、視角變化等因素都可能導(dǎo)致識別結(jié)果不準確。
技術(shù)實現(xiàn)思路
1、為了克服現(xiàn)有技術(shù)中的至少一個不足,本技術(shù)提供一種圖像識別方法、裝置、存儲介質(zhì)及電子設(shè)備,具體包括:
2、第一方面,本技術(shù)提供一種圖像識別方法,所述方法包括:
3、接收待識別圖像以及所述待識別圖像的識別指令;
4、確定對當前的待識別圖像完成所述識別指令所需的輔助操作指令;
5、將當前的待識別圖像執(zhí)行與所述輔助操作指令對應(yīng)的編輯操作,得到更新后的待識別圖像;
6、判斷當前的待識別圖像的識別結(jié)果是否滿足識別精度;
7、若否,則返回到所述確定對當前的待識別圖像完成所述識別指令所需的輔助操作指令的步驟,直至得到滿足所述識別精度的識別結(jié)果。
8、結(jié)合第一方面的可選實施方式,所述確定對當前的待識別圖像完成所述識別指令所需的輔助操作指令,包括:
9、獲取調(diào)用圖像識別策略模型產(chǎn)生的上下文信息;
10、調(diào)用所述圖像識別策略模型對所述上下文信息與當前的待識別圖像進行處理,得到所述圖像識別策略模型生成的輔助操作指令。
11、結(jié)合第一方面的可選實施方式,所述將當前的待識別圖像執(zhí)行與所述輔助操作指令對應(yīng)的編輯操作,得到更新后的待識別圖像,包括:
12、獲取多個圖像識別工具的描述信息;
13、調(diào)用圖像編輯模型對所述描述信息與所述輔助操作指令進行處理,生成圖像編輯代碼,其中,所述圖像編輯代碼用于提供與所述輔助操作指令對應(yīng)的編輯操作;
14、調(diào)用所述圖像編輯代碼對當前的待識別圖像進行處理,得到更新后的待識別圖像。
15、結(jié)合第一方面的可選實施方式,所述上下文信息包括:
16、所述圖像識別策略模型生成的至少一條歷史輔助操作指令、與每條所述歷史輔助操作指令對應(yīng)的歷史編輯操作以及每條所述歷史編輯操作執(zhí)行后的歷史待識別圖像的描述信息。
17、結(jié)合第一方面的可選實施方式,所述判斷當前的待識別圖像的識別結(jié)果是否滿足識別精度,包括:
18、調(diào)用多個圖像識別模型對所述識別指令與當前的待識別圖像進行處理,得到多個識別結(jié)果;
19、根據(jù)所述多個識別結(jié)果判斷所述多個圖像識別模型的識別結(jié)果是否達成一致;
20、若是,則得到滿足所述識別精度的識別結(jié)果。
21、結(jié)合第一方面的可選實施方式,所述根據(jù)所述多個識別結(jié)果判斷所述多個圖像識別模型的識別結(jié)果是否達成一致,包括:
22、根據(jù)所述多個識別結(jié)果,得到所述多個圖像識別模型的分歧指標;
23、若所述分歧指標小于分歧閾值,則所述多個圖像識別模型的識別結(jié)果是否達成一致。
24、結(jié)合第一方面的可選實施方式,所述多個識別結(jié)果包括第一識別結(jié)果和/或第二識別結(jié)果,所述第一識別結(jié)果與所述第二識別結(jié)果互斥,所述多個識別結(jié)果與所述分歧指標之間的關(guān)系為:
25、
26、式中,表示所述分歧指標,表示所述多個圖像識別模型的數(shù)量,表示當前的待識別圖像,表示所述識別指令,表示第個圖像識別模型對當前的待識別圖像的識別結(jié)果為所述第一識別結(jié)果,表示第個圖像識別模型對當前的待識別圖像的識別結(jié)果為所述第二識別結(jié)果。
27、第二方面,本技術(shù)提供一種圖像識別裝置,所述裝置包括:
28、圖像獲取模塊,用于接收待識別圖像以及所述待識別圖像的識別指令;
29、輔助編輯模塊,用于確定對當前的待識別圖像完成所述識別指令所需的輔助操作指令;
30、所述輔助編輯模塊,還用于將當前的待識別圖像執(zhí)行與所述輔助操作指令對應(yīng)的編輯操作,得到更新后的待識別圖像;
31、圖像識別模塊,用于判斷當前的待識別圖像的識別結(jié)果是否滿足識別精度;
32、若否,則返回到所述確定對當前的待識別圖像完成所述識別指令所需的輔助操作指令的步驟,直至得到滿足所述識別精度的識別結(jié)果。
33、結(jié)合第二方面的可選實施方式,所述輔助編輯模塊還具體用于:
34、獲取調(diào)用圖像識別策略模型產(chǎn)生的上下文信息;
35、調(diào)用所述圖像識別策略模型對所述上下文信息與當前的待識別圖像進行處理,得到所述圖像識別策略模型生成的輔助操作指令。
36、結(jié)合第二方面的可選實施方式,所述輔助編輯模塊還具體用于:
37、獲取多個圖像識別工具的描述信息;
38、調(diào)用圖像編輯模型對所述描述信息與所述輔助操作指令進行處理,生成圖像編輯代碼,其中,所述圖像編輯代碼用于提供與所述輔助操作指令對應(yīng)的編輯操作;
39、調(diào)用所述圖像編輯代碼對當前的待識別圖像進行處理,得到更新后的待識別圖像。
40、結(jié)合第二方面的可選實施方式,所述上下文信息包括:
41、所述圖像識別策略模型生成的至少一條歷史輔助操作指令、與每條所述歷史輔助操作指令對應(yīng)的歷史編輯操作以及每條所述歷史編輯操作執(zhí)行后的歷史待識別圖像的描述信息。
42、結(jié)合第二方面的可選實施方式,所述圖像識別模塊還具體用于:
43、調(diào)用多個圖像識別模型對所述識別指令與當前的待識別圖像進行處理,得到多個識別結(jié)果;
44、根據(jù)所述多個識別結(jié)果判斷所述多個圖像識別模型的識別結(jié)果是否達成一致;
45、若是,則得到滿足所述識別精度的識別結(jié)果。
46、結(jié)合第二方面的可選實施方式,所述圖像識別模塊還具體用于:
47、根據(jù)所述多個識別結(jié)果,得到所述多個圖像識別模型的分歧指標;
48、若所述分歧指標小于分歧閾值,則所述多個圖像識別模型的識別結(jié)果是否達成一致。
49、結(jié)合第二方面的可選實施方式,所述多個識別結(jié)果包括第一識別結(jié)果和/或第二識別結(jié)果,所述第一識別結(jié)果與所述第二識別結(jié)果互斥,所述多個識別結(jié)果與所述分歧指標之間的關(guān)系為:
50、
51、式中,表示所述分歧指標,表示所述多個圖像識別模型的數(shù)量,表示當前的待識別圖像,表示所述識別指令,表示第個圖像識別模型對當前的待識別圖像的識別結(jié)果為所述第一識別結(jié)果,表示第個圖像識別模型對當前的待識別圖像的識別結(jié)果為所述第二識別結(jié)果。
52、第三方面,本技術(shù)還提供一種存儲介質(zhì),所述存儲介質(zhì)存儲有計算機程序,所述計算機程序被處理器執(zhí)行時,實現(xiàn)所述的圖像識別方法。
53、第四方面,本技術(shù)還提供一種電子設(shè)備,所述電子設(shè)備包括處理器以及存儲器,所述存儲器存儲有計算機程序,所述計算機程序被處理器執(zhí)行時,實現(xiàn)所述的圖像識別方法。
54、相對于現(xiàn)有技術(shù)而言,本技術(shù)具有以下有益效果:
55、本技術(shù)提供一種圖像識別方法、裝置、存儲介質(zhì)及電子設(shè)備。其中,電子設(shè)備接收待識別圖像以及待識別圖像的識別指令;確定對當前的待識別圖像完成識別指令所需的輔助操作指令;將當前的待識別圖像執(zhí)行與輔助操作指令對應(yīng)的編輯操作,得到更新后的待識別圖像;判斷當前的待識別圖像的識別結(jié)果是否滿足識別精度;若否,則返回到確定對當前的待識別圖像完成識別指令所需的輔助操作指令的步驟,直至得到滿足識別精度的識別結(jié)果。如此,通過一系列多模態(tài)數(shù)據(jù)融合和編輯操作添加識別輔助信息,克服了單模態(tài)對圖像進行一次性識別的缺陷,顯著提高了圖像識別的準確性和魯棒性。