本技術(shù)涉及電子設備,尤其涉及一種折疊屏設備的音視頻處理方法和相關(guān)裝置。
背景技術(shù):
1、隨著電子設備技術(shù)的不斷發(fā)展,具有折疊屏的電子設備(例如折疊屏手機)在人們?nèi)粘I詈凸ぷ髦械膽靡苍絹碓綇V泛。
2、具有折疊屏的電子設備通常具備完全折疊形態(tài)、半折疊形態(tài)和完全展開形態(tài),且折疊屏處于完全折疊形態(tài)和半折疊形態(tài)時,折疊屏可折疊成至少兩個屏。目前,當折疊屏處于展開態(tài)時,由于屏幕尺寸較大等因素,折疊屏可以給與用戶很好的內(nèi)容觀看體驗。而當折疊屏處于完全折疊形態(tài)和半折疊形態(tài)時,折疊屏通常只能在折疊所形成的至少兩個屏中的一個屏幕顯示內(nèi)容,無法給予用戶更好的交互體驗。
技術(shù)實現(xiàn)思路
1、本技術(shù)實施例提供了一種折疊屏設備的音視頻處理方法和相關(guān)裝置,可以解決現(xiàn)有折疊屏在音視頻場景下用戶交互體驗較差的問題。
2、第一方面,本技術(shù)實施例提供了一種折疊屏設備的音視頻處理方法,應用于包括折疊屏的電子設備,折疊屏可折疊成至少兩個屏,至少兩個屏包括第一屏和第二屏。在該折疊屏設備的音視頻處理方法中,當折疊屏處于半折疊形態(tài)下,電子設備在第一屏顯示第一內(nèi)容,并通過第一音頻輸出設備輸出第一內(nèi)容的音頻,以及在第二屏顯示第二內(nèi)容,并通過第二音頻輸出設備輸出第二內(nèi)容的音頻。
3、其中,第一音頻輸出設備為第一定向發(fā)聲單元或第一耳機,第二音頻輸出設備為第二定向發(fā)聲單元或第二耳機;第一定向發(fā)聲單元用于向第一方向定向發(fā)聲,第二定向發(fā)聲單元用于向第二方向定向發(fā)聲,第一方向為第一屏的出光面所朝向的方向,第二方向為第二屏的出光面所朝向的方向。
4、由上可見,本技術(shù)實施例當折疊屏處于半折疊形態(tài)時,在第一屏和第二屏分別顯示內(nèi)容,即在折疊形成的至少兩個屏同時顯示內(nèi)容,這樣可以使得第一用戶觀看第一屏顯示的內(nèi)容的同時,第二用戶也可以觀看第二屏顯示的視頻內(nèi)容,滿足了多個用戶同時觀看內(nèi)容的需求,提高了用戶交互體驗;此外,通過第一音頻輸出設備輸出第一屏的音頻,第二音頻輸出設備輸出第二屏的音頻,可以使得第一屏和第二屏的音頻互不影響,進而使得第一用戶和第二用戶在互不打擾的情況下同時觀看內(nèi)容等,在滿足多人觀看內(nèi)容的同時,提高了用戶音頻交互體驗。
5、具體來說,當?shù)谝灰纛l輸出設備和第二音頻輸出設備均為定向發(fā)聲單元時,由于第一方向為第一屏的出光面所朝向的方向,第二方向為第二屏的出光面所朝向的方向,兩個發(fā)聲方向不相同,故第一內(nèi)容和第二內(nèi)容的音頻互不干擾;當?shù)谝灰纛l輸出設備和第二音頻輸出設備均為耳機時,由于耳機分別佩戴在第一用戶和第二用戶上,故在通過耳機輸出音頻時,第一內(nèi)容和第二內(nèi)容的音頻互不干擾。第一用戶可以是指第一屏的用戶,第二用戶可以是指第二屏的用戶;當?shù)谝灰纛l輸出設備和第二音頻輸出設備中的一個是耳機,一個是定向發(fā)聲單元時,由于定向發(fā)聲單元的發(fā)聲方向是屏幕的出光面所朝向的方向,故定向發(fā)聲不會對另一個佩戴耳機的用戶造成音頻干擾,即第一內(nèi)容和第二內(nèi)容的音頻互不干擾。也即,使得第一用戶和第二用戶可以在音頻互不干擾的情況下觀看內(nèi)容。
6、示例性地,在用戶帶小孩外出游玩場景下,用戶可以在第一屏進行視頻會議通話,在第二屏播放動畫片、電影或電視劇等。并且,第一屏采用定向發(fā)聲的音頻播放方式,第二屏采用耳機的音頻播放方式。這樣,用戶和小孩可以在互不干擾的情況下同時進行視頻會議和視頻觀影,進而提高了折疊屏在音視頻場景下的用戶交互體驗。
7、在第一方面的一種可能的實現(xiàn)方式中,電子設備除了可以分別通過第一音頻輸出設備和第二音頻輸出設備輸出音頻,還可以通過第一拾音設備拾取第一用戶的聲音和/或通過第二拾音設備拾取第二用戶的聲音;第一拾音設備為第一定向拾音單元或第一耳機,第二拾音設備為第二定向拾音單元或第二耳機。這樣,不僅可以實現(xiàn)互不干擾地輸出第一內(nèi)容和第二內(nèi)容的音頻,還在聲音拾取時,通過定向拾音或耳機拾音等方式,盡量減少其他用戶對于拾音的干擾,也即,在多人觀看內(nèi)容場景下進一步減少其他用戶的干擾,進而進一步提高折疊屏在多人觀看內(nèi)容場景下的用戶交互體驗。
8、在第一方面的一種可能的實現(xiàn)方式中,第一內(nèi)容為第一視頻內(nèi)容和/或第二內(nèi)容為第二視頻內(nèi)容。
9、在第一方面的一種可能的實現(xiàn)方式中,電子設備處于半折疊形態(tài)下是指電子設備處于帳篷模式下。
10、在第一方面的一種可能的實現(xiàn)方式中,第一音頻輸出設備為第一定向發(fā)聲單元或第一耳機,第二音頻輸出設備為第二定向發(fā)聲單元或第二耳機;第一拾音設備為第一定向拾音單元或第一耳機,第二拾音設備為第二定向拾音單元或第二耳機。
11、示例性地,第一屏的發(fā)聲方式和拾音方式分別為定向發(fā)聲和定向拾音,而第二屏的發(fā)聲方式和拾音方式則為耳機播放和耳機采集。耳機可以是有線或無線耳機,無線耳機可以例如為藍牙耳機,定向發(fā)聲單元可以例如為定向揚聲器或屏幕,定向拾音單元例如為定向拾音麥克風。
12、在第一方面的一種可能的實現(xiàn)方式中,電子設備在輸出音頻時,可以根據(jù)第一屏的音頻設置信息,通過第一音頻輸出設備輸出第一內(nèi)容的音頻,根據(jù)第二屏的音頻設置信息,通過第二音頻輸出設備輸出第二內(nèi)容的音頻。也即,可以預先設置第一屏和第二屏的音頻輸出設置,并根據(jù)音頻輸出設置進行音頻輸出。
13、在第一方面的一種可能的實現(xiàn)方式中,通過第一音頻輸出設備輸出第一內(nèi)容的音頻,通過第一拾音設備拾取第一用戶的聲音,通過第二音頻輸出設備輸出第二內(nèi)容的音頻,通過第二拾音設備拾取第二用戶的聲音,包括:
14、若根據(jù)第一屏的音頻設置信息確定第一屏的發(fā)聲方式為定向發(fā)聲和第一屏的拾音方式為定向拾音,則確定發(fā)聲方向,控制第一定向發(fā)聲單元向發(fā)聲方向輸出第一內(nèi)容的音頻,并確定第一用戶的聲音的聲源方向,并控制第一定向拾音單元采集待處理聲音數(shù)據(jù),增強待處理聲音數(shù)據(jù)中聲源方向的目標聲音信號,去除或抑制非聲源方向的聲音信號;若根據(jù)第二屏的音頻設置信息確定第二屏的發(fā)聲方式和拾音方式為耳機,則通過第二耳機輸出第二內(nèi)容的音頻和拾取第二用戶的聲音;其中,第一音頻輸出設備為第一定向發(fā)聲單元,第一拾音設備為第一定向拾音單元,第二音頻輸出設備和第二拾音設備為第二耳機。
15、在第一方面的一種可能的實現(xiàn)方式中,電子設備還可以顯示設置界面,設置界面包括第一屏的音頻設置選項和第二屏的音頻設置選項;響應于設置操作,設置第一屏的音頻輸出方式和/或拾音方式,并設置第二屏的音頻輸出方式和/或拾音方式,并獲得第一屏的音頻設置信息和第二屏的音頻設置信息,設置操作為針對第一屏的音頻設置選項和第二屏的音頻設置選項的操作。這樣,用戶可以根據(jù)需要設置各個屏的發(fā)聲方式和/或拾音方式,提高了用戶體驗。
16、其中,設置界面為電子設備處于展開形態(tài)時顯示的界面,或者電子設備處于半折疊形態(tài)或完全折疊形態(tài)時第一屏和第二屏中的至少一個屏顯示的界面,也即,電子設備顯示設置界面時,折疊屏可以處于展開形態(tài)下,此時可以全屏顯示設置界面,折疊屏也可以處于半折疊形態(tài)或完全折疊形態(tài),此時,可以在一個屏顯示設置界面。
17、在第一方面的一種可能的實現(xiàn)方式中,在第一屏顯示第一內(nèi)容,在第二屏顯示第二內(nèi)容之后,電子設備還可以響應于第一操作,在第一屏顯示目標屏的音頻設置選項,并響應于針對目標屏的音頻設置選項的操作,調(diào)整目標屏的音頻輸出方式和/或拾音方式,第一操作為用于調(diào)出目標屏的音頻設置選項的操作,目標屏為第一屏和第二屏中的至少一個。
18、和/或,響應于第二操作,在第二屏顯示目標屏的音頻設置選項,并響應于針對目標屏的音頻設置選項的操作,調(diào)整目標屏的音頻輸出方式和/或拾音方式,第二操作為用于調(diào)出目標屏的音頻設置選項的操作。也即,用戶可以通過第一屏和第二屏分別顯示的音頻設置選項,調(diào)整本屏的音頻輸出方式和/或拾音方式;可以通過一個屏顯示的音頻設置選項,調(diào)整另一個屏的音頻輸出方式和/或拾音方式;也可以通過一個屏顯示的音頻設置選項,同時調(diào)整兩個屏的音頻輸出方式和/或拾音方式。
19、這樣,用戶可以方便快捷地調(diào)整第一屏和第二屏的音頻設置選項。
20、在第一方面的一種可能的實現(xiàn)方式中,在第一屏顯示第一內(nèi)容,在第二屏顯示第二內(nèi)容之前,電子設備還可以在折疊屏處于展開形態(tài)下,響應于分屏操作,在折疊屏的第一屏幕區(qū)域顯示第一界面,在折疊屏的第二屏幕區(qū)域顯示第二界面,第一界面和第二界面為不同應用的界面或相同應用的不同界面。
21、在分屏操作之后,電子設備還可以響應于播放操作,分別在第一界面顯示第一內(nèi)容,在第二界面顯示第二內(nèi)容。若折疊屏從展開形態(tài)轉(zhuǎn)換至半折疊形態(tài),則進入以下步驟:在第一屏顯示第一內(nèi)容,并通過第一音頻輸出設備輸出第一內(nèi)容的音頻,以及在第二屏顯示第二內(nèi)容,并通過第二音頻輸出設備輸出第二內(nèi)容的音頻。
22、在該實現(xiàn)方式中,在轉(zhuǎn)換至半折疊狀態(tài)時,才按照第一屏和第二屏的音頻設置信息,互不干擾地輸出兩個視頻的音頻和拾取兩個用戶的聲音,進而實現(xiàn)了將半折疊形態(tài)與多人音視頻場景的結(jié)合,提高了多人音視頻場景的用戶體驗。
23、在第一方面的一種可能的實現(xiàn)方式中,還可以通過折疊屏進行裸眼3d顯示提示。具體地,若折疊屏處于裸眼3d顯示模式,電子設備獲取第一屏和第二屏之間的角度。若檢測到角度未落入預設角度范圍,則進行第一提示操作,第一提示操作用于提示用戶調(diào)整角度;在用戶根據(jù)第一提示操作調(diào)整角度的過程中,若檢測到角度落入預設角度范圍,則進行第二提示操作,第二提示操作用于提示角度已落入預設角度范圍;其中,預設角度范圍為裸眼3d圖像的可視角度范圍。
24、在該實現(xiàn)方式中,通過提示操作不斷地提示用戶調(diào)整折疊屏的折疊角度,可以方便快捷地幫助用戶尋找到裸眼3d圖像的可視角度范圍,提高了音視頻場景下的用戶交互體驗。
25、在第一方面的一種可能的實現(xiàn)方式中,若檢測到角度未落入預設角度范圍,則進行第一提示操作,包括:
26、若檢測到角度未落入預設角度范圍,則播放第一提示音,并在第一屏或第二屏顯示可視圖案的當前角度對應的形態(tài),第一提示音用于提示用戶調(diào)整角度以使可視圖案顯示為目標形態(tài),此時,第一提示操作包括播放第一提示音和顯示可視圖案的對應形態(tài)。
27、在用戶根據(jù)第一提示操作調(diào)整角度的過程中,且進行第二提示操作之前,折疊屏還可以根據(jù)實時的角度,在第一屏或第二屏上顯示可視圖案的對應形態(tài),其中,角度不同,可視圖案的對應形態(tài)不同。這樣,在用戶調(diào)整折疊角度的過程,顯示視覺圖案的不同形態(tài),進一步提高了音視頻場景下的用戶交互體驗。
28、若檢測到角度落入預設角度范圍,則進行第二提示操作,包括:
29、若檢測到角度落入預設角度范圍,則進行以下至少一項提示操作:播放第二提示音、震動和在第一屏或第二屏顯示可視圖案的目標形態(tài),其中,第二提示音用于提示角度已落入預設角度范圍,目標形態(tài)用于表征角度已落入預設角度范圍。此時,第二提示操作可以包括以下至少一項:播放第二提示音、震動和在第一屏或第二屏顯示可視圖案的目標形態(tài)。
30、在該實現(xiàn)方式中,可以通過聲音、震動以及視覺等多種提示方式結(jié)合,以更好地提示用戶調(diào)整折疊角度至裸眼3d圖像的可視角度范圍。
31、在第一方面的一種可能的實現(xiàn)方式中,電子設備還可以確定用戶與折疊屏之間的相對方位和相對距離;若相對方位和/或相對距離未落入預設范圍,則進行第三提示操作,第三提示操作用于提示用戶調(diào)整與折疊屏之間的相對方位和相對距離,預設范圍用于表征裸眼3d圖像的可視范圍。這樣,可以通過提示操作提示用戶調(diào)整用戶和折疊屏之間的相對距離和相對方位,使得相對距離和相對方位落在可以實現(xiàn)裸眼3d圖像的可視范圍,進而實現(xiàn)裸眼3d效果。
32、第二方面,本技術(shù)實施例提供一種電子設備,包括折疊屏、處理器和存儲器,折疊屏可折疊成至少兩個屏,至少兩個屏包括第一屏和第二屏,存儲器用于存儲可在處理器上運行的計算機程序;
33、處理器執(zhí)行計算機程序時實現(xiàn)以下步驟:
34、在折疊屏處于半折疊形態(tài)時,在第一屏顯示第一內(nèi)容,并通過第一音頻輸出設備輸出第一內(nèi)容的音頻,以及在第二屏顯示第二內(nèi)容,并通過第二音頻輸出設備輸出第二內(nèi)容的音頻;
35、其中,第一音頻輸出設備為第一定向發(fā)聲單元或第一耳機,第二音頻輸出設備為第二定向發(fā)聲單元或第二耳機;
36、第一定向發(fā)聲單元用于向第一方向定向發(fā)聲,第二定向發(fā)聲單元用于向第二方向定向發(fā)聲,第一方向為第一屏的出光面所朝向的方向,第二方向為第二屏的出光面所朝向的方向。
37、在第二方面的一種可能的實現(xiàn)方式中,處理器執(zhí)行計算機程序時具體實現(xiàn)以下步驟:通過第一拾音設備拾取第一用戶的聲音和/或通過第二拾音設備拾取第二用戶的聲音;第一拾音設備為第一定向拾音單元或第一耳機,第二拾音設備為第二定向拾音單元或第二耳機。
38、在第二方面的一種可能的實現(xiàn)方式中,第一音頻輸出設備為第一定向發(fā)聲單元或第一耳機,第二音頻輸出設備為第二定向發(fā)聲單元或第二耳機;第一拾音設備為第一定向拾音單元或第一耳機,第二拾音設備為第二定向拾音單元或第二耳機。
39、在第二方面的一種可能的實現(xiàn)方式中,第一內(nèi)容為第一視頻內(nèi)容和/或第二內(nèi)容為第二視頻內(nèi)容。
40、在第二方面的一種可能的實現(xiàn)方式中,處理器執(zhí)行計算機程序時具體實現(xiàn)以下步驟:根據(jù)第一屏的音頻設置信息,通過第一音頻輸出設備輸出第一內(nèi)容的音頻;根據(jù)第二屏的音頻設置信息,通過第二音頻輸出設備輸出第二內(nèi)容的音頻。
41、在第二方面的一種可能的實現(xiàn)方式中,處理器執(zhí)行計算機程序時具體實現(xiàn)以下步驟:
42、若根據(jù)第一屏的音頻設置信息確定第一屏的發(fā)聲方式為定向發(fā)聲和第一屏的拾音方式為定向拾音,則確定發(fā)聲方向,控制第一定向發(fā)聲單元向發(fā)聲方向輸出第一內(nèi)容的音頻,并確定第一用戶的聲音的聲源方向,并控制第一定向拾音單元采集待處理聲音數(shù)據(jù),增強待處理聲音數(shù)據(jù)中聲源方向的目標聲音信號,去除或抑制非聲源方向的聲音信號;若根據(jù)第二屏的音頻設置信息確定第二屏的發(fā)聲方式和拾音方式為耳機,則通過第二耳機輸出第二內(nèi)容的音頻和拾取第二用戶的聲音。
43、其中,第一音頻輸出設備為第一定向發(fā)聲單元,第一拾音設備為第一定向拾音單元,第二音頻輸出設備和第二拾音設備為第二耳機。
44、在第二方面的一種可能的實現(xiàn)方式中,處理器執(zhí)行計算機程序時還實現(xiàn)以下步驟:
45、顯示設置界面,設置界面包括第一屏的音頻設置選項和第二屏的音頻設置選項;
46、響應于設置操作,設置第一屏的音頻輸出方式和/或拾音方式,并設置第二屏的音頻輸出方式和/或拾音方式,并獲得第一屏的音頻設置信息和第二屏的音頻設置信息,設置操作為針對第一屏的音頻設置選項和第二屏的音頻設置選項的操作。
47、在第二方面的一種可能的實現(xiàn)方式中,處理器執(zhí)行計算機程序時還實現(xiàn)以下步驟:響應于第一操作,在第一屏顯示目標屏的音頻設置選項,并響應于針對目標屏的音頻設置選項的操作,調(diào)整目標屏的音頻輸出方式和/或拾音方式,第一操作為用于調(diào)出目標屏的音頻設置選項的操作,目標屏為第一屏和第二屏中的至少一個;和/或,響應于第二操作,在第二屏顯示目標屏的音頻設置選項,并響應于針對目標屏的音頻設置選項的操作,調(diào)整目標屏的音頻輸出方式和/或拾音方式,第二操作為用于調(diào)出目標屏的音頻設置選項的操作。
48、在第二方面的一種可能的實現(xiàn)方式中,處理器執(zhí)行計算機程序時還實現(xiàn)以下步驟:
49、在折疊屏處于展開形態(tài)下,響應于分屏操作,在折疊屏的第一屏幕區(qū)域顯示第一界面,在折疊屏的第二屏幕區(qū)域顯示第二界面,第一界面和第二界面為不同應用的界面或相同應用的不同界面;
50、響應于播放操作,分別在第一界面顯示第一內(nèi)容,在第二界面顯示第二內(nèi)容;
51、若折疊屏從展開形態(tài)轉(zhuǎn)換至半折疊形態(tài),則進入以下步驟:在第一屏顯示第一內(nèi)容,并通過第一音頻輸出設備輸出第一內(nèi)容的音頻,以及在第二屏顯示第二內(nèi)容,并通過第二音頻輸出設備輸出第二內(nèi)容的音頻。
52、在第二方面的一種可能的實現(xiàn)方式中,處理器執(zhí)行計算機程序時還實現(xiàn)以下步驟:
53、若折疊屏處于裸眼3d顯示模式,獲取第一屏和第二屏之間的角度;
54、若檢測到角度未落入預設角度范圍,則進行第一提示操作,第一提示操作用于提示用戶調(diào)整角度;
55、在用戶根據(jù)第一提示操作調(diào)整角度的過程中,若檢測到角度落入預設角度范圍,則進行第二提示操作,第二提示操作用于提示角度已落入預設角度范圍;
56、其中,預設角度范圍為裸眼3d圖像的可視角度范圍。
57、在第二方面的一種可能的實現(xiàn)方式中,處理器執(zhí)行計算機程序時具體實現(xiàn)以下步驟:
58、若檢測到角度未落入預設角度范圍,則播放第一提示音,并在第一屏或第二屏顯示可視圖案的當前角度對應的形態(tài),第一提示音用于提示用戶調(diào)整角度以使可視圖案顯示為目標形態(tài);此時,第一提示操作包括播放第一提示音和顯示可視圖案的對應形態(tài)。
59、在用戶根據(jù)第一提示操作調(diào)整角度的過程中,且進行所述第二提示操作之前,根據(jù)實時的角度,在第一屏或第二屏上顯示可視圖案的對應形態(tài),其中,角度不同,可視圖案的對應形態(tài)不同。
60、若檢測到角度落入預設角度范圍,則進行以下至少一項提示操作:播放第二提示音、震動和在第一屏或第二屏顯示可視圖案的目標形態(tài),其中,第二提示音用于提示角度已落入預設角度范圍,目標形態(tài)用于表征角度已落入預設角度范圍。此時,第二提示操作包括以下至少一項:播放第二提示音、震動和在第一屏或第二屏顯示可視圖案的目標形態(tài)。
61、在第二方面的一種可能的實現(xiàn)方式中,處理器執(zhí)行計算機程序時具體實現(xiàn)以下步驟:確定用戶與折疊屏之間的相對方位和相對距離;若相對方位和/或相對距離未落入預設范圍,則進行第三提示操作,第三提示操作用于提示用戶調(diào)整與折疊屏之間的相對方位和相對距離,預設范圍用于表征裸眼3d圖像的可視范圍。
62、第三方面,本技術(shù)實施例提供一種計算機可讀存儲介質(zhì),計算機可讀存儲介質(zhì)存儲有計算機程序,計算機程序被處理器執(zhí)行時實現(xiàn)如上述第一方面任一項的方法。
63、第四方面,本技術(shù)實施例提供一種芯片系統(tǒng),該芯片系統(tǒng)包括處理器,處理器與存儲器耦合,處理器執(zhí)行存儲器中存儲的計算機程序,以實現(xiàn)如上述第一方面任一項所述的方法。該芯片系統(tǒng)可以為單個芯片,或者多個芯片組成的芯片模組。
64、第五方面,本技術(shù)實施例提供一種計算機程序產(chǎn)品,當計算機程序產(chǎn)品在電子設備上運行時,使得電子設備執(zhí)行上述第一方面所述的方法。
65、可以理解的是,上述第二方面至第五方面的有益效果可以參見上述第一方面中的相關(guān)描述,在此不再贅述。