本公開涉及圖像處理,特別是涉及一種圖像處理方法、系統(tǒng)、目標(biāo)模型的獲取方法、設(shè)備及介質(zhì)。
背景技術(shù):
1、隨著高動態(tài)范圍(high?dynamic?range,hdr)拍攝和視頻顯示技術(shù)的成熟,hdr視頻也逐漸發(fā)展起來。相較于傳統(tǒng)的標(biāo)準(zhǔn)動態(tài)范圍(standard?dynamic?range,sdr)視頻,hdr視頻具有更大的動態(tài)范圍、更寬廣的色域,能夠展現(xiàn)出更高的對比度和更加豐富的色彩。因此,在許多消費(fèi)級超高清(ultra-high?definition,uhd)電視上設(shè)置了播放hdr視頻的功能用于hdr視頻的播放。
2、隨著hdr視頻的發(fā)展,需要將不同格式的圖像轉(zhuǎn)換為hdr視頻,相關(guān)技術(shù)中,一般是將不同格式的圖像送入到編解碼器進(jìn)行轉(zhuǎn)換后再編碼為hdr視頻,此種方式下,不同格式的圖像的轉(zhuǎn)換質(zhì)量參差不齊,轉(zhuǎn)換質(zhì)量較低。
技術(shù)實現(xiàn)思路
1、基于背景技術(shù)的內(nèi)容,本公開提出了一種圖像處理方法、系統(tǒng)、目標(biāo)模型的獲取方法、裝置、設(shè)備及介質(zhì),以提高不同格式的圖像轉(zhuǎn)換為的hdr視頻的質(zhì)量。
2、本公開第一方面,提供一種圖像處理方法,所述方法包括:
3、獲取待處理的多個第一圖像,所述第一圖像采用第一顏色編碼格式;
4、調(diào)用與所述第一顏色編碼格式匹配的目標(biāo)模型,對多個所述第一圖像進(jìn)行處理,得到符合所述第一顏色編碼格式的多個待轉(zhuǎn)碼圖像;其中,所述待轉(zhuǎn)碼圖像的動態(tài)范圍高于所述第一圖像的動態(tài)范圍;
5、基于第二顏色編碼格式和所述第一顏色編碼格式,將所述待轉(zhuǎn)碼圖像處理為第二圖像,所述第二圖像符合所述第二顏色編碼格式;
6、將多個所述第二圖像輸入編解碼器,以使所述編解碼器將多個所述第二圖像編碼為高動態(tài)范圍視頻。
7、本公開第二方面,提供一種目標(biāo)模型的獲取方法,所述方法包括:
8、獲取視頻樣本和屬于第一顏色編碼格式的多個第一圖像樣本;
9、將多個所述第一圖像樣本輸入到待訓(xùn)練模型,得到所述待訓(xùn)練模型輸出的待轉(zhuǎn)碼圖像樣本;所述待轉(zhuǎn)碼圖像樣本的動態(tài)范圍高于所述第一圖像樣本的動態(tài)范圍;
10、基于所述第一顏色編碼格式和第二顏色編碼格式,將所述待轉(zhuǎn)碼圖像樣本處理為符合所述第二顏色編碼格式的轉(zhuǎn)換后圖像樣本;其中,所述轉(zhuǎn)換后圖像樣本用于輸入編解碼器得到高動態(tài)范圍視頻;
11、基于目標(biāo)圖像樣本,從所述視頻樣本中解碼出多個第二圖像樣本,并基于所述目標(biāo)圖像樣本和所述第二圖像樣本,對所述待訓(xùn)練模型的參數(shù)進(jìn)行更新;其中,所述目標(biāo)圖像樣本為所述待轉(zhuǎn)碼圖像樣本、中間圖像樣本和所述轉(zhuǎn)換后圖像樣本中的任一者,所述中間圖像樣本為將所述待轉(zhuǎn)碼圖像轉(zhuǎn)換為所述轉(zhuǎn)換后圖像樣本過程中所得的圖像;
12、將多次更新后的待訓(xùn)練模型,確定為與所述第一顏色編碼格式對應(yīng)的目標(biāo)模型。
13、本公開第三方面,提供一種圖像處理系統(tǒng),所述系統(tǒng)包括:多種目標(biāo)模型,不同的目標(biāo)模型對應(yīng)不同的第一顏色編碼格式;
14、獲取模塊,用于獲取待處理的多個第一圖像,所述第一圖像處于第一顏色編碼格式;
15、調(diào)度模塊,用于調(diào)用與所述第一顏色編碼格式匹配的目標(biāo)模型,對多個所述第一圖像進(jìn)行處理,得到符合所述第一顏色編碼格式的多個待轉(zhuǎn)碼圖像;其中,所述待轉(zhuǎn)碼圖像的動態(tài)范圍高于所述第一圖像的動態(tài)范圍;
16、后處理模塊,用于基于第二顏色編碼格式和所述第一顏色編碼格式,將所述待轉(zhuǎn)碼圖像處理為第二圖像,所述第二圖像的顏色編碼格式符合所述第二顏色編碼格式;
17、編解碼模塊,用于將所述第二圖像輸入編解碼器,以使所述編解碼器將多個所述第二圖像編碼為高動態(tài)范圍視頻。
18、本公開第一方面的實施例,可以獲取待處理的多個第一圖像,接著,可以調(diào)用與第一顏色編碼格式對應(yīng)的目標(biāo)模型對多個第一圖像進(jìn)行處理,得到處于第一顏色編碼格式的多個待轉(zhuǎn)碼圖像;之后,基于第二顏色編碼格式和第一顏色編碼格式,將待轉(zhuǎn)碼圖像處理為第二圖像,將多個第二圖像輸入編解碼器,以使編解碼器將多個第二圖像編碼為高動態(tài)范圍視頻。由于待轉(zhuǎn)碼圖像的動態(tài)范圍高于第一圖像的動態(tài)范圍,則基于待轉(zhuǎn)碼圖像得到的第二圖像也是高動態(tài)范圍的圖像,從而可以編輯得到高動態(tài)范圍視頻。
19、本公開中不同的第一顏色編碼格式的圖像在轉(zhuǎn)換為hdr視頻的過程中,經(jīng)歷了兩種處理階段,前處理階段用匹配第一顏色編碼格式的目標(biāo)模型提高第一圖像的動態(tài)范圍,后處理階段中,將待轉(zhuǎn)碼圖像處理為符合第二顏色編碼格式的圖像,之后再送入編解碼器編碼為hdr視頻,至少可以達(dá)到以下效果:
20、在前處理階段中,目標(biāo)模型的處理與第一圖像的顏色編碼格式是相匹配的,由于二者匹配,進(jìn)而提高了目標(biāo)模型對第一圖像的動態(tài)范圍的轉(zhuǎn)換質(zhì)量,由此不同顏色編碼格式的第一圖像均可以被轉(zhuǎn)換為高質(zhì)量的待轉(zhuǎn)碼圖像;
21、在后處理階段中,將目標(biāo)模型輸出的待轉(zhuǎn)碼圖像,處理為符合第二顏色編碼格式的第二圖像后,再輸入到編解碼器編碼為hdr視頻,由此,使得編解碼器直接將第二圖像直接編碼為hdr視頻,無需再對不符合第二顏色編碼格式的圖像進(jìn)行內(nèi)部轉(zhuǎn)換。一方面,減少了編解碼器的工作量,提高了圖像轉(zhuǎn)換效率;另一方面,由于編解碼器無需進(jìn)行顏色編碼格式的轉(zhuǎn)換,因此可以避免編解碼器不具備對其中一些第一顏色編碼格式的轉(zhuǎn)換的能力時,導(dǎo)致的編碼后的hdr視頻質(zhì)量較低的問題,從而可以避免對不同格式的圖像的轉(zhuǎn)換質(zhì)量參差不齊的問題,使得不同顏色編碼格式的第一圖像均可以被轉(zhuǎn)換為高質(zhì)量的hdr視頻。
22、本公開第二方面的實施例,可以獲取視頻樣本和對應(yīng)不同的第一顏色編碼格式的第一圖像集,并基于第三顏色編碼格式對視頻樣本進(jìn)行解碼處理,得到多個第二圖像樣本,接著以多個第一圖像樣本為輸入,以多個第二圖像樣本為監(jiān)督,對待訓(xùn)練模型進(jìn)行訓(xùn)練,得到與不同的第一顏色編碼格式匹配的目標(biāo)模型;其中,目標(biāo)圖像樣本為待訓(xùn)練模型在訓(xùn)練過程中輸出的待轉(zhuǎn)碼圖像樣本、中間圖像樣本和屬于第二顏色編碼格式的轉(zhuǎn)碼后圖像樣本中的任一者,中間圖像樣本為將待轉(zhuǎn)碼圖像轉(zhuǎn)換為轉(zhuǎn)碼后圖像樣本過程中所得的圖像,轉(zhuǎn)碼后圖像樣本用于輸入編解碼器得到高動態(tài)范圍視頻,待轉(zhuǎn)碼圖像樣本屬于第一顏色編碼格式,且待轉(zhuǎn)碼圖像樣本的動態(tài)范圍高于第一圖像樣本的動態(tài)范圍。
23、采用第二方面的實施例,由于利用不同的第一顏色編碼格式的第一圖像樣本,訓(xùn)練得到了與第一顏色編碼格式匹配的目標(biāo)模型,這樣,目標(biāo)模型與其所處理的第一圖像樣本是匹配的,使得不同顏色編碼格式的圖像均可以通過目標(biāo)模型被轉(zhuǎn)換為高質(zhì)量的待轉(zhuǎn)碼圖像;又由于用于目標(biāo)模型監(jiān)督的第二圖像樣本是根據(jù)待訓(xùn)練模型輸出的待轉(zhuǎn)碼圖像樣本、中間圖像樣本和轉(zhuǎn)碼后圖像樣本中的任一種,使得在訓(xùn)練目標(biāo)模型過程中,可以基于目標(biāo)模型輸出的圖像(第一顏色編碼格式)進(jìn)行損失計算、也可以基于目標(biāo)模型輸出的圖像轉(zhuǎn)換為第二顏色編碼格式的圖像的過程中,所得的任一顏色編碼格式的圖像進(jìn)行損失計算,也可以基于輸入到編解碼器的圖像(轉(zhuǎn)碼后圖像樣本)進(jìn)行損失計算。這樣,使得目標(biāo)模型對輸入的圖像的處理能力可以適于輸入到編解碼器的圖像(處于第二顏色編碼格式),由此,可以從提高輸入到編解碼器的圖像的質(zhì)量,這樣,在輸入編解碼器的圖像的質(zhì)量被提高后,不同的第一顏色編碼格式的圖像轉(zhuǎn)換為的hdr視頻的質(zhì)量也得到提高,解決了不同格式的圖像的轉(zhuǎn)換質(zhì)量參差不齊的問題。
24、本公開實施例,還公開了一種電子設(shè)備,包括:包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序,所述處理器執(zhí)行時實現(xiàn)如第一方面所述的圖像處理方法或第二方面所述的目標(biāo)模型的獲取方法。
25、本公開實施例,還公開了一種計算機(jī)可讀存儲介質(zhì),其存儲的計算機(jī)程序使得處理器執(zhí)行如本公開第一方面所述的圖像處理方法或第二方面所述的目標(biāo)模型的獲取方法。