本技術(shù)涉及人工智能領(lǐng)域，尤其涉及一種運動估計模型訓(xùn)練方法、運動估計方法及相關(guān)設(shè)備。

背景技術(shù)：

1、隨著移動端應(yīng)用程序(例如游戲應(yīng)用程序)不斷更新迭代，移動端的應(yīng)用程序，特別是需要顯示視頻的應(yīng)用程序，需要的渲染流程越發(fā)復(fù)雜多樣。例如，渲染流程中包括插幀(用于提升幀率)、超分(用于提升分辨率)、抗鋸齒(用于消除圖像邊緣鋸齒狀)等處理，以提升用戶使用應(yīng)用程序時(例如玩游戲時)的視覺體驗。

2、通過運動估計，可以獲得相鄰的兩幀圖像之間的運動信息。而在渲染流程中，運動信息可作為時域上的先驗信息，用于插幀、超分、抗鋸齒等處理流程中，以獲得更好的渲染效果。

3、目前的運動估計技術(shù)中，非人工智能(artificial?intelligence,ai)的方式，計算開銷大、不魯棒，且適用場景有限；ai的方式，模型結(jié)構(gòu)復(fù)雜，在移動端難以滿足游戲場景實時、低功耗的要求。

4、因此，如何在移動端對游戲場景進行運動估計成為一個重點問題。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供了一種運動估計模型訓(xùn)練方法、運動估計方法及相關(guān)設(shè)備，可以在移動端游戲場景實現(xiàn)高效和實時地進行運動估計，提升渲染效果，從而提升用戶體驗。

2、第一方面，提供一種運動估計模型訓(xùn)練方法，包括：獲取訓(xùn)練數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集包括m個相鄰幀圖像組以及m個樣本運動信息，每個相鄰幀圖像組包括相鄰的兩幀第一樣本圖像，m個樣本運動信息分別為m個相鄰幀圖像組的運動信息，m為正整數(shù)，訓(xùn)練數(shù)據(jù)集是從移動端的第一應(yīng)用程序獲取的，第一樣本圖像是組成第一應(yīng)用程序的待顯示畫面的圖像；分別對m個相鄰幀圖像組中的第m個相鄰幀圖像組包括的兩幀第一樣本圖像進行下采樣處理，得到對應(yīng)的第二樣本圖像和第三樣本圖像，1≤m≤m且m為整數(shù)，第m個相鄰幀圖像組的運動信息為m個樣本運動信息中的第m個樣本運動信息；將第二樣本圖像、第三樣本圖像輸入運動估計模型，得到運動信息；根據(jù)運動信息和第m個樣本運動信息的差異得到損失函數(shù)值；根據(jù)損失函數(shù)值調(diào)整運動估計模型中需要訓(xùn)練的參數(shù)。

3、可理解，下采樣處理能夠降低圖像尺寸。使用下采樣處理后的圖像訓(xùn)練運動估計模型，相應(yīng)地，后續(xù)運動估計模型推理時也采用下采樣后的圖像進行推理，能夠加快模型的推理速度，降低功耗，以便模型能夠部署在移動端，并且能夠滿足移動端應(yīng)用程序場景(例如游戲場景)的幀率和功耗要求，實現(xiàn)高效和實時地進行運動估計，提升渲染效果。

4、還可以理解，訓(xùn)練得到的運動估計模型，根據(jù)輸入的相鄰幀圖像，可以得到運動信息。相比于基于三維(3d)運動場的運動估計方法要獲取3d信息和旋轉(zhuǎn)矩陣的方式，一方面由于不需要獲取3d信息即可得到運動信息，因此能夠適用于透明物體、陰影等獲取不到3d信息的場景；另一方面，由于獲取的資源更少，因此計算開銷更小。相比于基于光流法進行運動估計的方式，由于不依賴于搜索區(qū)域和匹配進行運動估計，因此運動估計的效果不受搜索區(qū)域的大小以及匹配的計算復(fù)雜度影響。

5、在一種可能的實施例中，第一應(yīng)用程序為游戲應(yīng)用程序，訓(xùn)練數(shù)據(jù)集是游戲場景下從游戲應(yīng)用程序獲取的；或者，第一應(yīng)用程序為視頻應(yīng)用程序，訓(xùn)練數(shù)據(jù)集是視頻播放場景下從視頻應(yīng)用程序獲取的；或者，第一應(yīng)用程序為直播應(yīng)用程序，訓(xùn)練數(shù)據(jù)集是直播場景下從直播應(yīng)用程序獲取的。

6、在一種可能的實施例中，根據(jù)運動信息和第m個樣本運動信息的差異得到損失函數(shù)值，包括：根據(jù)運動信息和第m個樣本運動信息的差異，以及關(guān)注度權(quán)重得到損失函數(shù)值，關(guān)注度權(quán)重是第二樣本圖像和第三樣本圖像中對應(yīng)位置的像素的權(quán)重，關(guān)注度權(quán)重用于指示用戶對對應(yīng)位置的像素的關(guān)注度。

7、也就是說，使用根據(jù)關(guān)注度權(quán)重確定的損失函數(shù)調(diào)整運動估計模型的參數(shù)。

8、可理解，通過設(shè)置關(guān)注度權(quán)重，能夠使得訓(xùn)練后的運動估計模型對于輸入圖像中不同的像素的有著不同的訓(xùn)練精度。且，通過調(diào)整關(guān)注度權(quán)重，能夠調(diào)整運動估計模型針對不同像素的訓(xùn)練精度。從而能夠在模型推理時有針對性地分配算力，使得在使用相同算力的情況下，最終送顯的圖像用戶體驗更好。

9、在一種可能的實施例中，將對應(yīng)位置的像素中，位于目標關(guān)注區(qū)域內(nèi)的像素確定為目標像素，目標像素的關(guān)注度權(quán)重大于其他像素的關(guān)注度權(quán)重，其中，目標關(guān)注區(qū)域包括第二樣本圖像和第三樣本圖像的中心區(qū)域。

10、可選地，目標關(guān)注區(qū)域內(nèi)還可以進一步細分關(guān)注度的梯度。也就是說，目標關(guān)注區(qū)域中根據(jù)關(guān)注度的高低，進一步細分不同的區(qū)域，分別對應(yīng)不同的關(guān)注度權(quán)重。

11、可選地，目標關(guān)注區(qū)域可以根據(jù)訓(xùn)練數(shù)據(jù)集的來源——游戲應(yīng)用程序的類型，確定目標關(guān)注區(qū)域。

12、在一種可能的實施例中，獲取訓(xùn)練數(shù)據(jù)集，包括：從第一應(yīng)用程序獲取m個相鄰幀圖像組以及圖像相關(guān)數(shù)據(jù)；根據(jù)圖像相關(guān)數(shù)據(jù)的類型確定獲取運動信息的目標方式；根據(jù)圖像相關(guān)數(shù)據(jù)，通過目標方式，確定m個樣本運動信息；其中，在圖像相關(guān)數(shù)據(jù)的類型包括第一樣本圖像的三維信息的情況下，目標方式包括三維重投影；或者，在圖像相關(guān)數(shù)據(jù)的類型不包括第一樣本圖像的三維信息的情況下，目標方式包括基于光流法或個人電腦(personal?computer，pc)端的神經(jīng)網(wǎng)絡(luò)進行運動估計的方法。

13、上述方案，通過構(gòu)建針對移動端游戲場景的運動估計數(shù)據(jù)集，能夠獲得更加貼近真實使用場景(也就是游戲場景)的運動信息作為數(shù)據(jù)集，從而提高運動估計的效果。該分類方式能夠盡可能準確地獲取更多的游戲場景的運動信息。為了獲得精度更高的運動信息，盡可能獲取更多的資源，提供更大的計算開銷，從而使得訓(xùn)練數(shù)據(jù)集更加的完善，也會使得運動估計模型的訓(xùn)練效果更好，訓(xùn)練效率更高。

14、在一種可能的實施例中，在圖像相關(guān)數(shù)據(jù)的類型包括第一樣本圖像的三維信息，目標方式包括三維重投影的情況下，第一樣本圖像的三維信息包括場景深度值和坐標變換矩陣；根據(jù)圖像相關(guān)數(shù)據(jù)，通過目標方式，確定m個樣本運動信息，包括：根據(jù)每個相鄰幀圖像組中的兩幀第一樣本圖像的場景深度值和坐標變換矩陣，基于三維重投影，得到每個相鄰幀圖像組對應(yīng)的樣本運動信息。

15、在一種可能的實施例中，在圖像相關(guān)數(shù)據(jù)的類型包括第一樣本圖像的三維信息，目標方式包括三維重投影的情況下，第一樣本圖像的三維信息包括場景深度值和坐標變換矩陣；根據(jù)圖像相關(guān)數(shù)據(jù)，通過目標方式，確定m個運動信息，包括：根據(jù)每個相鄰幀圖像組中的兩幀第一樣本圖像的場景深度值和坐標變換矩陣，基于三維重投影，得到每個相鄰幀圖像組對應(yīng)的運動信息。

16、在一種可能的實施例中，將第二樣本圖像、第三樣本圖像輸入運動估計模型，得到運動信息，包括：基于第一輸入層對第二樣本圖像進行處理，得到第一樣本圖像數(shù)據(jù)，以及基于第二輸入層對第三樣本圖像進行處理，得到第二樣本圖像數(shù)據(jù)；基于第一隱藏層對第一樣本圖像數(shù)據(jù)進行特征提取，得到第一特征圖，以及基于第二隱藏層對第二樣本圖像數(shù)據(jù)進行特征提取，得到第二特征圖；基于關(guān)聯(lián)模塊對第一特征圖和第二特征圖進行處理，得到運動信息，其中，關(guān)聯(lián)模塊用于計算第一特征圖和第二特征圖的關(guān)聯(lián)度。

17、在一種可能的實施例中，基于關(guān)聯(lián)模塊對第一特征圖和第二特征圖進行處理，得到運動信息，包括：基于關(guān)聯(lián)模塊對第一特征圖進行采樣，得到第一采樣特征；基于關(guān)聯(lián)模塊對第二特征圖進行采樣，得到第二采樣特征；基于關(guān)聯(lián)模塊，根據(jù)第一采樣特征和第二采樣特征進行關(guān)聯(lián)度計算，得到第一特征圖和第二特征圖的關(guān)聯(lián)度特征圖；對關(guān)聯(lián)度特征圖進行解碼處理，得到運動信息。

18、在一種可能的實施例中，基于關(guān)聯(lián)模塊對第一特征圖進行采樣，得到第一采樣特征，包括：基于關(guān)聯(lián)模塊確定第一目標特征；以第一目標特征為中心塊，采樣范圍為k×k個塊進行采樣，得到第一采樣特征；基于關(guān)聯(lián)模塊對第二特征圖進行采樣，得到第二采樣特征，包括：基于關(guān)聯(lián)模塊確定第二目標特征；以第二目標特征為中心塊，采樣范圍為k×k個塊進行采樣，得到第二采樣特征；其中，k＜7且k為正整數(shù)，第一目標特征在第一特征圖中的位置，與第二目標特征在第二特征圖中的位置對應(yīng)。

19、上述方案，通過實驗證明在移動端采用較窄的采樣范圍進行采樣，對運動估計模型的精度幾乎沒有影響，但是極大地降低了運動估計模型的復(fù)雜度。

20、可理解，更寬的采樣區(qū)域能夠獲得更加充足的信息，以便于關(guān)聯(lián)模塊能夠獲取充足的信息，根據(jù)特征之間的關(guān)聯(lián)抽象出運動表征，從而得到運動信息。然而，同時也會導(dǎo)致網(wǎng)絡(luò)模型更加復(fù)雜，計算量增加，給要求實時的移動端游戲場景帶來不小的壓力，以至于在移動端很難實現(xiàn)實時推理且功耗過大。

21、在一種可能的實施例中，第一隱藏層和第二隱藏層的層數(shù)均為l，且l層第一隱藏層和l層第二隱藏層一一對應(yīng)，關(guān)聯(lián)模塊的數(shù)量為p；基于關(guān)聯(lián)模塊對第一特征圖和第二特征圖進行處理，得到運動信息，包括：基于p個關(guān)聯(lián)模塊，分別對l層第一隱藏層中的部分或全部第一隱藏層輸出的p個第一子特征圖，以及對應(yīng)的第二隱藏層輸出的p個第二子特征圖進行處理，得到運動信息，其中，p個第一子特征圖包含于第一特征圖，p個第二子特征圖包含于第二特征圖，2≤p≤l且p和l均為整數(shù)。

22、在一種可能的實施例中，p個關(guān)聯(lián)模塊中的第1個關(guān)聯(lián)模塊，包括第1個關(guān)聯(lián)度層和第1個解碼器，p個關(guān)聯(lián)模塊中的第i個關(guān)聯(lián)模塊，包括第i個關(guān)聯(lián)度層和第i個解碼器，第p個關(guān)聯(lián)模塊包括第p個關(guān)聯(lián)度層和第p個解碼器，基于p個關(guān)聯(lián)模塊，分別對l層第一隱藏層中的部分或全部第一隱藏層輸出的p個第一子特征圖，以及對應(yīng)的第二隱藏層輸出的p個第二子特征圖進行計算，得到運動信息，包括：第1個關(guān)聯(lián)度層對p個第一子特征圖中的第1個第一子特征圖以及p個第二子特征圖中的第1個第二子特征圖的關(guān)聯(lián)度進行計算，得到第1個關(guān)聯(lián)度特征圖，并將第1個關(guān)聯(lián)度特征圖輸入第1個解碼器；第1個解碼器對第1個關(guān)聯(lián)度特征圖進行解碼處理，得到第1個中間特征，并將第1個中間特征輸入第2個解碼器；第i個關(guān)聯(lián)度層對第i個第一子特征圖以及第i個第二子特征圖的關(guān)聯(lián)度進行計算，得到第i個關(guān)聯(lián)度特征圖，并將第i個關(guān)聯(lián)度特征圖輸入第i個解碼器；第i個解碼器對第i個關(guān)聯(lián)度特征圖進行解碼處理，得到第i個中間特征，并將第i個中間特征輸入第i+1個解碼器，2≤i≤p-1且i為整數(shù)；第p個關(guān)聯(lián)度層對第p個第一子特征圖和第p個第二子特征圖的關(guān)聯(lián)度進行計算，得到第p個關(guān)聯(lián)度特征圖，并將第p個關(guān)聯(lián)度特征圖輸入第p個解碼器；第p個解碼器對第p個關(guān)聯(lián)度特征圖，以及第p-1個中間特征進行解碼處理，得到運動信息。

23、在一種可能的實施例中，p＝3的情況下，基于p個關(guān)聯(lián)模塊，分別對l層第一隱藏層中的部分或全部第一隱藏層輸出的p個第一子特征圖，以及對應(yīng)的第二隱藏層輸出的p個第二子特征圖進行處理，得到運動信息，包括：將第c層第一隱藏層輸出的第c個第一子特征圖和第c層第二隱藏層輸出的第c個第二子特征圖，輸入第1個關(guān)聯(lián)模塊，得到第1個中間特征；將第b層第一隱藏層輸出的第b個第一子特征圖和第b層第二隱藏層輸出的第b個第二子特征圖，以及第1個中間特征輸入第2個關(guān)聯(lián)模塊，得到第2個中間特征；將第a層第一隱藏層輸出的第a個第一子特征圖和第a層第二隱藏層輸出的第a個第二子特征圖，以及第2個中間特征輸入第3個關(guān)聯(lián)模塊，得到運動信息，1≤a＜b≤l-1，c＝l，且a和b和c均為整數(shù)。

24、上述方案，實驗證明，根據(jù)較淺處、中間處以及最深處的隱藏層輸出的特征圖，進行關(guān)聯(lián)度計算，運動估計模型的精度和功耗的能夠達到更好的折中。

25、在一種可能的實施例中，l＜10，l層第一隱藏層包括l-1層第一卷積層和1層第一池化層，l層第二隱藏層包括l-1層第二卷積層和1層第二池化層；其中，在l＝6，6層第一隱藏層包括5層第一卷積層和1層第一池化層以及6層第二隱藏層包括5層第二卷積層和1層第二池化層的情況下，第a層第一隱藏層為第2層第一卷積層，第b層第一隱藏層為第5層第一卷積層，第c層第一隱藏層為第一池化層，第a層第二隱藏層為第2層第二卷積層，第b層第二隱藏層為第5層第二卷積層，第c層第二隱藏層為第二池化層。

26、本技術(shù)中，運動估計模型的網(wǎng)絡(luò)結(jié)構(gòu)相較于pc端神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)更淺，以便于能夠部署在移動端并正常運行。通過實驗證明，在移動端，減少隱藏層的數(shù)量，網(wǎng)絡(luò)結(jié)構(gòu)變淺，能夠在保證運動估計模型的精度的同時減少計算開銷。

27、可理解，目前pc端的神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)中的隱藏層一般大于10層。通過采用較深的網(wǎng)絡(luò)結(jié)構(gòu)，以便能夠提取到有效的高維特征，從而能夠獲取充足的信息計算兩張圖的關(guān)聯(lián)，提升運動估計模型的精度。

28、第二方面，提供一種基于運動估計模型的運動估計方法，應(yīng)用于電子設(shè)備，電子設(shè)備部署有第一應(yīng)用程序，運動估計模型部署于電子設(shè)備上，運動估計模型是通過如第一方面及其困難的實施例中任一項的運動估計模型訓(xùn)練方法訓(xùn)練得到的，方法包括：從第一應(yīng)用程序獲取相鄰的兩幀圖像，并分別對相鄰的兩幀圖像進行下采樣處理得到第一圖像和第二圖像，相鄰的兩幀圖像是組成第一應(yīng)用程序的待顯示畫面的圖像；將第一圖像和第二圖像輸入運動估計模型，得到相鄰的兩幀圖像的目標運動信息，包括：基于第一輸入層對第一圖像進行處理，得到第一圖像數(shù)據(jù)，以及基于第二輸入層對第二圖像進行處理，得到第二圖像數(shù)據(jù)；基于第一隱藏層對第一圖像數(shù)據(jù)進行特征提取，得到第一特征圖，以及基于第二隱藏層對第二圖像數(shù)據(jù)進行特征提取，得到第二特征圖；基于關(guān)聯(lián)模塊對第一特征圖和第二特征圖進行處理，得到目標運動信息，其中，關(guān)聯(lián)模塊用于計算第一特征圖和第二特征圖的關(guān)聯(lián)度。

29、上述方案，先對從游戲應(yīng)用程序獲取的圖像進行下采樣再輸入運動估計模型，能夠加快推理速度，降低功耗，以便模型能夠部署在移動端，并且能夠滿足移動端游戲場景的幀率和功耗要求，實現(xiàn)高效和實時地進行運動估計，提升渲染效果。

30、并且，由于在訓(xùn)練過程中，通過設(shè)置關(guān)注度權(quán)重，能夠使得訓(xùn)練后的運動估計模型對于輸入圖像中不同的像素的有著不同的訓(xùn)練精度。且，通過調(diào)整關(guān)注度權(quán)重，能夠調(diào)整運動估計模型針對不同像素的訓(xùn)練精度。從而能夠在模型推理時有針對性地分配算力，使得在使用相同算力的情況下，最終送顯的圖像用戶體驗更好。

31、在一種可能的實施例中，第一應(yīng)用程序為游戲應(yīng)用程序，訓(xùn)練數(shù)據(jù)集是游戲場景下從游戲應(yīng)用程序獲取的；或者，第一應(yīng)用程序為視頻應(yīng)用程序，訓(xùn)練數(shù)據(jù)集是視頻播放場景下從視頻應(yīng)用程序獲取的；或者，第一應(yīng)用程序為直播應(yīng)用程序，訓(xùn)練數(shù)據(jù)集是直播場景下從直播應(yīng)用程序獲取的。

32、在一種可能的實施例中，基于關(guān)聯(lián)模塊對第一特征圖和第二特征圖進行處理，得到目標運動信息，包括：基于關(guān)聯(lián)模塊對第一特征圖進行采樣，得到第一采樣特征；基于關(guān)聯(lián)模塊對第二特征圖進行采樣，得到第二采樣特征；對第一采樣特征和第二采樣特征進行計算，得到第一特征圖和第二特征圖的關(guān)聯(lián)度特征圖；對關(guān)聯(lián)度特征圖進行解碼處理，得到目標運動信息。

33、在一種可能的實施例中，基于關(guān)聯(lián)模塊對第一特征圖進行采樣，得到第一采樣特征，包括：確定第一目標特征；以第一目標特征為中心塊，采樣范圍為k×k個塊進行采樣，得到第一采樣特征；基于關(guān)聯(lián)模塊對第二特征圖進行采樣，得到第二采樣特征，包括：確定第二目標特征；以第二目標特征為中心塊，采樣范圍為k×k個塊進行采樣，得到第二采樣特征；其中，k＜7且k為正整數(shù)，第一目標特征在第一特征圖中的位置，與第二目標特征在第二特征圖中的位置對應(yīng)。

34、上述方案，通過實驗證明在移動端采用較窄的采樣范圍進行采樣，對運動估計模型的精度幾乎沒有影響，但是極大地降低了運動估計模型的復(fù)雜度。

35、可理解，更寬的采樣區(qū)域能夠獲得更加充足的信息，以便于關(guān)聯(lián)模塊能夠獲取充足的信息，根據(jù)特征之間的關(guān)聯(lián)抽象出運動表征，從而得到運動信息。然而，同時也會導(dǎo)致網(wǎng)絡(luò)模型更加復(fù)雜，計算量增加，給要求實時的移動端游戲場景帶來不小的壓力，以至于在移動端很難實現(xiàn)實時推理且功耗過大。

36、在一種可能的實施例中，第一隱藏層和第二隱藏層的層數(shù)均為l，且l層第一隱藏層和l層第二隱藏層一一對應(yīng)，關(guān)聯(lián)模塊的數(shù)量為p，基于關(guān)聯(lián)模塊對第一特征圖和第二特征圖進行處理，得到目標運動信息，包括：基于p個關(guān)聯(lián)模塊，分別對l層第一隱藏層中的部分或全部第一隱藏層輸出的p個第一子特征圖，以及對應(yīng)的第二隱藏層輸出的p個第二子特征圖進行處理，得到目標運動信息，其中，p個第一子特征圖包含于第一特征圖，p個第二子特征圖包含于第二特征圖，2≤p≤l且p和l均為整數(shù)。

37、在一種可能的實施例中，p個關(guān)聯(lián)模塊中的第1個關(guān)聯(lián)模塊，包括第1個關(guān)聯(lián)度層和第1個解碼器，p個關(guān)聯(lián)模塊中的第i個關(guān)聯(lián)模塊，包括第i個關(guān)聯(lián)度層和第i個解碼器，第p個關(guān)聯(lián)模塊包括第p個關(guān)聯(lián)度層和第p個解碼器，基于p個關(guān)聯(lián)模塊，分別對l層第一隱藏層中的部分或全部第一隱藏層輸出的p個第一子特征圖，以及對應(yīng)的第二隱藏層輸出的p個第二子特征圖進行計算，得到目標運動信息，包括：第1個關(guān)聯(lián)度層對p個第一子特征圖中的第1個第一子特征圖以及p個第二子特征圖中的第1個第二子特征圖的關(guān)聯(lián)度進行計算，得到第1個關(guān)聯(lián)度特征圖，并將第1個關(guān)聯(lián)度特征圖輸入第1個解碼器；第1個解碼器對第1個關(guān)聯(lián)度特征圖進行解碼處理，得到第1個中間特征，并將第1個中間特征輸入第2個解碼器；第i個關(guān)聯(lián)度層對第i個第一子特征圖以及第i個第二子特征圖的關(guān)聯(lián)度進行計算，得到第i個關(guān)聯(lián)度特征圖，并將第i個關(guān)聯(lián)度特征圖輸入第i個解碼器；第i個解碼器對第i個關(guān)聯(lián)度特征圖進行解碼處理，得到第i個中間特征，并將第i個中間特征輸入第i+1個解碼器，2≤i≤p-1且i為整數(shù)；第p個關(guān)聯(lián)度層對第p個第一子特征圖和第p個第二子特征圖的關(guān)聯(lián)度進行計算，得到第p個關(guān)聯(lián)度特征圖，并將第p個關(guān)聯(lián)度特征圖輸入第p個解碼器；第p個解碼器對第p個關(guān)聯(lián)度特征圖，以及第p-1個中間特征進行解碼處理，得到目標運動信息。

38、在一種可能的實施例中，p＝3的情況下，基于p個關(guān)聯(lián)模塊，分別對l層第一隱藏層中的部分或全部第一隱藏層輸出的p個第一子特征圖，以及對應(yīng)的第二隱藏層輸出的p個第二子特征圖進行處理，得到目標運動信息，包括：將第c層第一隱藏層輸出的第c個第一子特征圖和第c層第二隱藏層輸出的第c個第二子特征圖，輸入第1個關(guān)聯(lián)模塊，得到第1個中間特征；將第b層第一隱藏層輸出的第b個第一子特征圖和第b層第二隱藏層輸出的第b個第二子特征圖，以及第1個中間特征輸入第2個關(guān)聯(lián)模塊，得到第2個中間特征；將第a層第一隱藏層輸出的第a個第一子特征圖和第a層第二隱藏層輸出的第a個第二子特征圖，以及第2個中間特征輸入第3個關(guān)聯(lián)模塊，得到目標運動信息，1≤a＜b≤l-1，c＝l，且a和b和c均為整數(shù)。

39、上述方案，實驗證明，根據(jù)較淺處、中間處以及最深處的隱藏層輸出的特征圖，進行關(guān)聯(lián)度計算，運動估計模型的精度和功耗的能夠達到更好的折中。

40、在一種可能的實施例中，l＜10，l層第一隱藏層包括l-1層第一卷積層和1層第一池化層，l層第二隱藏層包括l-1層第二卷積層和1層第二池化層；其中，在l＝6，6層第一隱藏層包括5層第一卷積層和1層第一池化層以及6層第二隱藏層包括5層第二卷積層和1層第二池化層的情況下，第a層第一隱藏層為第2層第一卷積層，第b層第一隱藏層為第5層第一卷積層，第c層第一隱藏層為第一池化層，第a層第二隱藏層為第2層第二卷積層，第b層第二隱藏層為第5層第二卷積層，第c層第二隱藏層為第二池化層。

41、可理解，目前pc端的神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)中的隱藏層一般大于10層。通過采用較深的網(wǎng)絡(luò)結(jié)構(gòu)，以便能夠提取到有效的高維特征，從而能夠獲取充足的信息計算兩張圖的關(guān)聯(lián)，提升運動估計模型的精度。

42、本技術(shù)中，運動估計模型的網(wǎng)絡(luò)結(jié)構(gòu)相較于pc端神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)更淺，以便于能夠部署在移動端并正常運行。通過實驗證明，在移動端，減少隱藏層的數(shù)量，網(wǎng)絡(luò)結(jié)構(gòu)變淺，能夠在保證運動估計模型的精度的同時減少計算開銷。

43、在一種可能的實施例中，第一圖像為已顯示的非預(yù)測圖像，第二圖像為未顯示的非預(yù)測圖像，第一圖像是第二圖像在顯示時序上的前一個非預(yù)測圖像，方法還包括：根據(jù)目標運動信息對第二圖像和第一圖像進行像素移動和填充，得到一個或多個預(yù)測圖像；在顯示一個或多個預(yù)測圖像后，顯示第二圖像。

44、上述方案，將運動估計模型運用在插幀場景中，通過提升獲取目標運動信息的精度，減少獲取目標運動信息的計算開銷，提升插幀流程的精度，降低插幀流程的計算開銷。

45、第三方面，本技術(shù)提供了一種電子設(shè)備，該電子設(shè)備包括一個或多個處理器和一個或多個存儲器；其中，一個或多個存儲器與一個或多個處理器耦合，一個或多個存儲器用于存儲計算機程序代碼，計算機程序代碼包括計算機指令，當一個或多個處理器執(zhí)行計算機指令時，使得電子設(shè)備執(zhí)行如第一方面以及第一方面中任一可能的實現(xiàn)方式描述的方法。

46、第四方面，本技術(shù)實施例提供了一種芯片系統(tǒng)，該芯片系統(tǒng)應(yīng)用于電子設(shè)備，該芯片系統(tǒng)包括一個或多個處理器，該處理器用于調(diào)用計算機指令以使得該電子設(shè)備執(zhí)行如第一方面以及第一方面中任一可能的實現(xiàn)方式描述的方法。

47、第五方面，本技術(shù)提供一種計算機可讀存儲介質(zhì)，包括指令，當上述指令在電子設(shè)備上運行時，使得上述電子設(shè)備執(zhí)行如第一方面以及第一方面中任一可能的實現(xiàn)方式描述的方法。

48、第六方面，本技術(shù)提供一種包含指令的計算機程序產(chǎn)品，當上述計算機程序產(chǎn)品在電子設(shè)備上運行時，使得上述電子設(shè)備執(zhí)行如第一方面以及第一方面中任一可能的實現(xiàn)方式描述的方法。

49、可以理解地，上述第三方面提供的電子設(shè)備、第四方面提供的芯片系統(tǒng)、第五方面提供的計算機存儲介質(zhì)、第六方面提供的計算機程序產(chǎn)品均用于執(zhí)行本技術(shù)所提供的方法。因此，其所能達到的有益效果可參考對應(yīng)方法中的有益效果，此處不再贅述。