本技術(shù)涉及計算機,尤其涉及一種圖像美學(xué)質(zhì)量評估方法、裝置、電子設(shè)備及存儲介質(zhì)。
背景技術(shù):
1、美學(xué)質(zhì)量是對視覺感知美的一種度量,衡量了圖像在人類眼中的視覺吸引力。計算美學(xué)的研究探索如何利用可計算技術(shù)來預(yù)測人類對視覺刺激產(chǎn)生的情緒反應(yīng),以便計算機模擬人類的審美過程,從而通過可計算方法自動預(yù)測圖像的美學(xué)質(zhì)量。
2、傳統(tǒng)的美學(xué)評估方法通常采用基于專業(yè)知識或通用特征設(shè)計的方法,通過提取固定特征集并按照一定規(guī)律評估圖像。在深度學(xué)習(xí)領(lǐng)域,圖像美學(xué)評估的基本方法是輸入單幅圖像,經(jīng)過深度學(xué)習(xí)網(wǎng)絡(luò)的一系列處理后,輸出圖像的美學(xué)評估分數(shù)。通過引導(dǎo)訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò),使其具備強大的圖像美學(xué)特征感知和提取能力,從而在圖像編解碼過程中感知美學(xué)質(zhì)量,實現(xiàn)圖像美學(xué)評估。
3、然而,現(xiàn)有圖像美學(xué)質(zhì)量評估方法存在評估效果不好的問題。
技術(shù)實現(xiàn)思路
1、本技術(shù)提供一種圖像美學(xué)質(zhì)量評估方法、裝置、電子設(shè)備及存儲介質(zhì),用以解決評估關(guān)鍵詞生成圖像的美學(xué)質(zhì)量時效果不好的問題。
2、第一方面,本技術(shù)提供一種圖像美學(xué)質(zhì)量評估方法,包括:
3、獲取文本特征信息和圖像特征信息,文本特征信息為根據(jù)預(yù)設(shè)的評價關(guān)鍵詞,對提示詞文本進行特征提取后得到的文本特征,評價關(guān)鍵詞表征提示詞文本與待評估圖像之間的匹配程度,圖像特征信息包括待評估圖像的全局圖像特征、以及待評估圖像中目標局部圖像的局部圖像特征;
4、根據(jù)文本特征信息中的目標文本特征和圖像特征信息,確定全局圖像特征與目標文本特征的全局相似度、以及局部圖像特征與目標文本特征的局部相似度;
5、根據(jù)全局相似度和局部相似度,確定目標文本特征和圖像特征信息的平均相似度;
6、根據(jù)目標文本特征和圖像特征信息的平均相似度,確定目標文本特征在文本特征信息中的匹配程度權(quán)重、以及匹配程度權(quán)重的權(quán)值,其中,匹配程度權(quán)重的權(quán)值根據(jù)預(yù)設(shè)的權(quán)值賦值規(guī)則和目標文本特征在文本特征信息中匹配程度權(quán)重的大小確定;
7、根據(jù)目標文本特征在文本特征信息中的匹配程度權(quán)重、以及匹配程度權(quán)重的權(quán)值,得到待評估圖像的美學(xué)質(zhì)量評估結(jié)果。
8、在本技術(shù)實施例中,獲取文本特征信息和圖像特征信息,包括:
9、獲取提示詞文本和圖像特征信息;
10、根據(jù)提示詞文本和預(yù)設(shè)的評價關(guān)鍵詞,得到提示詞評價文本,其中,評價關(guān)鍵詞的數(shù)量不少于2個;
11、將提示詞評價文本輸入視覺語言模型的文本編碼器中,得到文本特征信息。
12、在本技術(shù)實施例中,獲取文本特征信息和圖像特征信息,包括:
13、獲取文本特征信息和待評估圖像;
14、根據(jù)預(yù)設(shè)的尺寸要求,對待評估圖像進行縮放處理,得到待評估圖像的全局圖像;
15、根據(jù)預(yù)設(shè)的尺寸要求,對待評估圖像進行截取處理,得到目標局部圖像;
16、分別將待評估圖像的全局圖像和目標局部圖像輸入視覺語言模型的圖像編碼器中,得到全局圖像特征和局部圖像特征;
17、根據(jù)全局圖像特征和局部圖像特征,得到圖像特征信息。
18、在本技術(shù)實施例中,根據(jù)全局相似度和局部相似度,確定目標文本特征和圖像特征信息的平均相似度,包括:
19、對局部相似度進行加權(quán)求平均處理,得到初始平均相似度;
20、根據(jù)初始平均相似度和全局相似度,得到目標文本特征和圖像特征信息的平均相似度。
21、在本技術(shù)實施例中,根據(jù)目標文本特征和圖像特征信息的平均相似度,確定目標文本特征在文本特征信息中的匹配程度權(quán)重、以及匹配程度權(quán)重的權(quán)值,包括:
22、對目標文本特征和圖像特征信息的平均相似度進行加權(quán)求和處理,得到全局平均相似度;
23、根據(jù)全局平均相似度和平均相似度,確定目標文本特征在文本特征信息中的匹配程度權(quán)重;
24、根據(jù)目標文本特征在文本特征信息中的匹配程度權(quán)重和預(yù)設(shè)的權(quán)值賦值規(guī)則,得到匹配程度權(quán)重的權(quán)值。
25、在本技術(shù)實施例中,根據(jù)目標文本特征在文本特征信息中的匹配程度權(quán)重和預(yù)設(shè)的權(quán)值賦值規(guī)則,得到匹配程度權(quán)重的權(quán)值,包括:
26、對目標文本特征在文本特征信息中的匹配程度權(quán)重進行排序處理,得到匹配程度權(quán)重序列;
27、根據(jù)權(quán)值賦值規(guī)則,對匹配程度權(quán)重序列中的匹配程度權(quán)重進行賦值處理,得到匹配程度權(quán)重的權(quán)值,其中,匹配程度權(quán)重在匹配程度權(quán)重序列中的位置越靠前,匹配程度權(quán)重的權(quán)值越大。
28、在本技術(shù)實施例中,根據(jù)目標文本特征在文本特征信息中的匹配程度權(quán)重、以及匹配程度權(quán)重的權(quán)值,得到待評估圖像的美學(xué)質(zhì)量評估結(jié)果,包括:
29、根據(jù)匹配程度權(quán)重、以及匹配程度權(quán)重的權(quán)值,得到匹配程度權(quán)重值;
30、對匹配程度權(quán)重值進行加權(quán)求和處理,得到匹配程度權(quán)值;
31、根據(jù)預(yù)設(shè)的權(quán)值分布范圍,對匹配程度權(quán)值進行調(diào)整,得到待評估圖像的美學(xué)質(zhì)量評估結(jié)果。
32、第二方面,本技術(shù)提供一種圖像美學(xué)質(zhì)量評估裝置,包括:
33、獲取模塊,用于獲取文本特征信息和圖像特征信息,文本特征信息為根據(jù)預(yù)設(shè)的評價關(guān)鍵詞,對提示詞文本進行特征提取后得到的文本特征,評價關(guān)鍵詞表征提示詞文本與待評估圖像之間的匹配程度,圖像特征信息包括待評估圖像的全局圖像特征、以及待評估圖像中目標局部圖像的局部圖像特征;
34、第一確定模塊,用于根據(jù)文本特征信息中的目標文本特征和圖像特征信息,確定全局圖像特征與目標文本特征的全局相似度、以及局部圖像特征與目標文本特征的局部相似度;
35、第二確定模塊,用于根據(jù)全局相似度和局部相似度,確定目標文本特征和圖像特征信息的平均相似度;
36、第三確定模塊,用于根據(jù)目標文本特征和圖像特征信息的平均相似度,確定目標文本特征在文本特征信息中的匹配程度權(quán)重、以及匹配程度權(quán)重的權(quán)值,其中,匹配程度權(quán)重的權(quán)值根據(jù)預(yù)設(shè)的權(quán)值賦值規(guī)則和目標文本特征在文本特征信息中匹配程度權(quán)重的大小確定;
37、得到模塊,用于根據(jù)目標文本特征在文本特征信息中的匹配程度權(quán)重、以及匹配程度權(quán)重的權(quán)值,得到待評估圖像的美學(xué)質(zhì)量評估結(jié)果。
38、第三方面,本技術(shù)提供一種電子設(shè)備,包括:處理器,以及與處理器通信連接的存儲器;
39、存儲器存儲計算機執(zhí)行指令;
40、處理器執(zhí)行存儲器存儲的計算機執(zhí)行指令,以實現(xiàn)本技術(shù)實施例的圖像美學(xué)質(zhì)量評估方法。
41、第四方面,一種計算機可讀存儲介質(zhì),計算機可讀存儲介質(zhì)中存儲有計算機執(zhí)行指令,計算機執(zhí)行指令被處理器執(zhí)行時用于實現(xiàn)本技術(shù)實施例的圖像美學(xué)質(zhì)量評估方法。
42、本技術(shù)提供的圖像美學(xué)質(zhì)量評估方法、裝置、電子設(shè)備及存儲介質(zhì),通過提示詞文本生成待評估圖像,再根據(jù)待評估圖像生成全局圖像和局部圖像,得到全局圖像特征和局部圖像特征,分別將全局圖像特征和局部圖像特征與根據(jù)提示詞文本和評價關(guān)鍵詞得到的目標文本特征進行相似度計算,對得到的相似度進行平均處理,得到目標文本特征的平均相似度,根據(jù)目標文本特征和圖像特征信息的平均相似度,確定目標文本特征在文本特征信息中的匹配程度權(quán)重,再根據(jù)預(yù)設(shè)的權(quán)值賦值規(guī)則和目標文本特征在文本特征信息中匹配程度權(quán)重的大小確定待評估圖像的美學(xué)質(zhì)量評估結(jié)果的手段,提高對根據(jù)關(guān)鍵詞生成的圖像的美學(xué)質(zhì)量評估的效果。