本申請涉及圖像處理。例如，本申請的各方面涉及用于圖像處理以修改描繪人的環(huán)境的圖像以使用對應(yīng)于人的配置文件的合成的面部來代替圖像中的人的真實面部的系統(tǒng)和技術(shù)。

背景技術(shù)：

1、基于網(wǎng)絡(luò)的交互式系統(tǒng)允許用戶通過網(wǎng)絡(luò)彼此交互，在一些情況下甚至當那些用戶在地理上相互之間遠離時。基于網(wǎng)絡(luò)的交互式系統(tǒng)可以包括視頻會議技術(shù)。在視頻會議中，每個用戶通過捕獲用戶的視頻和/或音頻并將視頻和/或音頻傳送到視頻會議中的其他用戶的用戶設(shè)備進行連接，使得視頻會議中的用戶中的每個用戶可以彼此看到并聽到。基于網(wǎng)絡(luò)的交互式系統(tǒng)可以包括基于網(wǎng)絡(luò)的多玩家游戲，諸如大型多玩家在線(mmo)游戲?；诰W(wǎng)絡(luò)的交互式系統(tǒng)可以包括擴展現(xiàn)實(xr)技術(shù)，諸如虛擬現(xiàn)實(vr)或增強現(xiàn)實(ar)。向xr設(shè)備的用戶顯示的xr環(huán)境的至少一部分可以是虛擬的，在一些示例中包括用戶可以在xr環(huán)境中與之交互的其他用戶的表示。

2、在一些示例中，基于網(wǎng)絡(luò)的交互式系統(tǒng)可以使用相機來獲得用戶和/或用戶所處的真實世界環(huán)境的部分的圖像數(shù)據(jù)。在一些示例中，基于網(wǎng)絡(luò)的交互式系統(tǒng)將圖像數(shù)據(jù)傳送到其他用戶。然而，可包括環(huán)境中的用戶和/或其他人的表示的圖像數(shù)據(jù)的傳送增加了隱私問題，因為那些人中的一些人可能不想捕獲并且/或者共享他們的圖像。

技術(shù)實現(xiàn)思路

1、在一些示例中，描述了用于圖像處理的系統(tǒng)和技術(shù)。成像系統(tǒng)接收環(huán)境的圖像，并檢測圖像中的人的面部。成像系統(tǒng)例如基于面部識別和/或來自人的設(shè)備的通信來識別與人相關(guān)聯(lián)的配置文件。成像系統(tǒng)從人的配置文件中檢索對應(yīng)于人并且不同于人的面部的合成的面部。在一些示例中，成像系統(tǒng)使用受過訓(xùn)練的機器學習模型來生成合成的面部，并且在該檢索之前將合成的面部存儲在配置文件中。成像系統(tǒng)至少部分地通過修改圖像以使用針對人的合成的面部代替人的面部來生成修改后的圖像，并且輸出修改后的圖像。在一些示例中，成像系統(tǒng)使用受過訓(xùn)練的機器學習模型來生成修改后的圖像，例如以確保合成的面部在如圖像中所描繪的人的身體的其余部分上看起來逼真并且融合到該其余部分中。

2、在一個示例中，提供了一種用于處理一個或多個圖像的裝置。裝置包括至少一個存儲器和耦合到該至少一個存儲器的至少一個處理器(例如，在電路中實現(xiàn))。該至少一個處理器被配置為：接收環(huán)境的圖像；在圖像中檢測人的面部；標識與所述人相關(guān)聯(lián)的配置文件數(shù)據(jù)；基于所述配置文件數(shù)據(jù)來檢索合成的面部；至少部分地通過修改圖像以使用針對人的合成的面部代替人的面部來生成環(huán)境的修改后的圖像；以及輸出環(huán)境的修改后的圖像。

3、在另一個示例中，提供了一種處理一個或多個圖像的方法。方法包括：接收環(huán)境的圖像；在圖像中檢測人的面部；標識與所述人相關(guān)聯(lián)的配置文件數(shù)據(jù)；基于所述配置文件數(shù)據(jù)來檢索合成的面部；至少部分地通過修改圖像以使用針對人的合成的面部代替人的面部來生成環(huán)境的修改后的圖像；以及輸出環(huán)境的修改后的圖像。

4、在另一個示例中，提供了一種其上存儲有指令的非暫態(tài)計算機可讀介質(zhì)，指令在由一個或多個處理器執(zhí)行時使一個或多個處理器：接收環(huán)境的圖像；在圖像中檢測人的面部；標識與所述人相關(guān)聯(lián)的配置文件數(shù)據(jù)；基于所述配置文件數(shù)據(jù)來檢索合成的面部；至少部分地通過修改圖像以使用針對人的合成的面部代替人的面部來生成環(huán)境的修改后的圖像；以及輸出環(huán)境的修改后的圖像。

5、在另一個示例中，提供了一種用于圖像處理的裝置。裝置包括：用于接收環(huán)境的圖像的構(gòu)件；用于在圖像中檢測人的面部的構(gòu)件；用于標識與人相關(guān)聯(lián)的配置文件數(shù)據(jù)的構(gòu)件；用于基于配置文件數(shù)據(jù)來檢索合成的面部的構(gòu)件；用于至少部分地通過修改圖像以使用針對人的合成的面部代替人的面部來生成環(huán)境的修改后的圖像的構(gòu)件；和用于輸出環(huán)境的修改后的圖像的構(gòu)件。

6、在一些方面，裝置是以下各項的一部分和/或包括以下各項：可穿戴設(shè)備、擴展現(xiàn)實設(shè)備(例如，虛擬現(xiàn)實(vr)設(shè)備、增強現(xiàn)實(ar)設(shè)備或混合現(xiàn)實(mr)設(shè)備)、頭戴式顯示器(hmd)設(shè)備、無線通信設(shè)備、移動設(shè)備(例如，移動電話和/或移動手機和/或所謂的“智能電話”或其他移動設(shè)備)、相機、個人計算機、膝上型計算機、服務(wù)器計算機、交通工具或計算設(shè)備或交通工具的組件、另一設(shè)備或它們的組合。在一些方面，裝置包括用于捕獲一個或多個圖像的一個相機或多個相機。在一些方面，裝置還包括用于顯示一個或多個圖像、通知和/或其他可顯示數(shù)據(jù)的顯示器。在一些方面，以上描述的裝置可以包括一個或多個傳感器(例如，一個或多個慣性測量單元(imu)，諸如一個或多個陀螺儀、一個或多個陀螺測試儀、一個或多個加速度計、它們的任何組合和/或其他傳感器)。

7、該
技術(shù)實現(xiàn)要素：
不旨在標識所要求保護的主題的關(guān)鍵或必要特征，其也不旨在孤立地用于確定所要求保護的主題的范圍。本主題應(yīng)當參照本專利的整個說明書的合適部分、任何或所有附圖、以及每項權(quán)利要求來理解。

8、前述內(nèi)容以及其他特征和方面將在參照以下說明書、權(quán)利要求書和所附附圖時變得更明顯。

技術(shù)特征：

1.一種用于處理一個或多個圖像的裝置，所述裝置包括：

2.根據(jù)權(quán)利要求1所述的裝置，其中為了生成所述修改后的圖像，所述一個或多個處理器被配置為使用所述合成的面部和所述圖像的至少一部分作為到受過訓(xùn)練的機器學習模型的輸入，所述受過訓(xùn)練的機器學習模型修改所述圖像以使用針對所述人的所述合成的面部來代替所述人的所述面部。

3.根據(jù)權(quán)利要求1所述的裝置，其中所述配置文件數(shù)據(jù)與所述至少一個存儲器中的人的所存儲的配置文件不匹配。

4.根據(jù)權(quán)利要求1所述的裝置，其中所述配置文件數(shù)據(jù)指示針對所述人的一個或多個隱私設(shè)置。

5.根據(jù)權(quán)利要求1所述的裝置，其中為了標識與所述人相關(guān)聯(lián)的所述配置文件數(shù)據(jù)，所述一個或多個處理器被配置為使用面部識別來確定所述圖像中的所述人的所述面部的身份。

6.根據(jù)權(quán)利要求1所述的裝置，其中為了標識與所述人相關(guān)聯(lián)的所述配置文件數(shù)據(jù)，所述一個或多個處理器被配置為基于來自與所述人相關(guān)聯(lián)的用戶設(shè)備的一個或多個通信來標識與所述人相關(guān)聯(lián)的所述配置文件數(shù)據(jù)。

7.根據(jù)權(quán)利要求1所述的裝置，其中所述一個或多個處理器被配置為：

8.根據(jù)權(quán)利要求7所述的裝置，其中所述第二配置文件數(shù)據(jù)與所述至少一個存儲器中的人的所存儲的配置文件不匹配。

9.根據(jù)權(quán)利要求7所述的裝置，其中所述第二配置文件數(shù)據(jù)指示針對所述第二人的一個或多個隱私設(shè)置。

10.根據(jù)權(quán)利要求1所述的裝置，其中所述一個或多個處理器被配置為：

11.根據(jù)權(quán)利要求1所述的裝置，其中所述一個或多個處理器被配置為：

12.根據(jù)權(quán)利要求1所述的裝置，其中所述一個或多個處理器被配置為重新生成所述合成的面部，其中所述合成的面部在被重新生成時外觀改變。

13.根據(jù)權(quán)利要求1所述的裝置，其中生成所述合成的面部以具有與所述人的膚色相匹配的膚色。

14.根據(jù)權(quán)利要求1所述的裝置，其中為了生成所述修改后的圖像，所述一個或多個處理器被配置為修改所述圖像中的所述人的一部分的第一膚色以對應(yīng)于針對所述人的所述合成的面部的第二膚色。

15.根據(jù)權(quán)利要求1所述的裝置，其中所述一個或多個處理器被配置為：

16.根據(jù)權(quán)利要求1所述的裝置，其中所述一個或多個處理器被配置為：

17.根據(jù)權(quán)利要求1所述的裝置，其中所述一個或多個處理器被配置為：

18.根據(jù)權(quán)利要求1所述的裝置，所述裝置還包括：

19.根據(jù)權(quán)利要求1所述的裝置，所述裝置還包括：

20.根據(jù)權(quán)利要求1所述的裝置，其中所述一個或多個處理器被配置為從所述裝置的圖像傳感器接收所述圖像，其中所述一個或多個處理器被配置為使用所述裝置的輸出設(shè)備來輸出所述修改后的圖像，并且其中所述裝置包括頭戴式顯示器(hmd)、移動手機或無線通信設(shè)備中的至少一者。

21.根據(jù)權(quán)利要求1所述的裝置，其中所述一個或多個處理器被配置為通過網(wǎng)絡(luò)從用戶設(shè)備接收圖像，其中所述一個或多個處理器被配置為通過所述網(wǎng)絡(luò)向所述用戶設(shè)備傳送所述修改后的圖像，并且其中所述裝置包括通過所述網(wǎng)絡(luò)通信地耦合到所述用戶設(shè)備的一個或多個服務(wù)器。

22.一種處理一個或多個圖像的方法，所述方法包括：

23.根據(jù)權(quán)利要求22所述的方法，其中生成所述修改后的圖像包括使用所述合成的面部和所述圖像的至少一部分作為到受過訓(xùn)練的機器學習模型的輸入，所述受過訓(xùn)練的機器學習模型修改所述圖像以使用針對所述人的所述合成的面部來代替所述人的所述面部。

24.根據(jù)權(quán)利要求22所述的方法，其中所述配置文件數(shù)據(jù)與至少一個存儲器中的人的所存儲的配置文件不匹配。

25.根據(jù)權(quán)利要求22所述的方法，其中所述配置文件數(shù)據(jù)指示針對所述人的一個或多個隱私設(shè)置。

26.根據(jù)權(quán)利要求22所述的方法，其中標識與所述人相關(guān)聯(lián)的所述配置文件數(shù)據(jù)包括使用面部識別來確定所述圖像中的所述人的所述面部的身份。

27.根據(jù)權(quán)利要求22所述的方法，其中標識與所述人相關(guān)聯(lián)的所述配置文件數(shù)據(jù)包括基于來自與所述人相關(guān)聯(lián)的用戶設(shè)備的一個或多個通信來標識與所述人相關(guān)聯(lián)的所述配置文件數(shù)據(jù)。

28.根據(jù)權(quán)利要求22所述的方法，所述方法還包括：

29.根據(jù)權(quán)利要求22所述的方法，所述方法還包括：

30.根據(jù)權(quán)利要求22所述的方法，所述方法還包括：

技術(shù)總結(jié)
描述了用于處理一個或多個圖像的系統(tǒng)和技術(shù)。例如，成像系統(tǒng)可接收環(huán)境的圖像并檢測圖像中的人的面部。成像系統(tǒng)可以標識與人相關(guān)聯(lián)的配置文件數(shù)據(jù)，并且基于配置文件數(shù)據(jù)來檢索合成的面部。成像系統(tǒng)可以至少部分地通過修改圖像以使用針對人的合成的面部代替人的面部來生成環(huán)境的修改后的圖像。成像系統(tǒng)還可以輸出環(huán)境的修改后的圖像。在一些示例中，成像系統(tǒng)使用受過訓(xùn)練的機器學習模型來生成修改后的圖像。

技術(shù)研發(fā)人員：B·F·約瑟夫,B·C·古馬迪
受保護的技術(shù)使用者：高通股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2