用于使用設(shè)備來(lái)處理畫(huà)面的方法和裝置的制造方法
【專(zhuān)利說(shuō)明】用于使用設(shè)備來(lái)處理畫(huà)面的方法和裝置
[0001]對(duì)相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求于2014年10月15日向韓國(guó)知識(shí)產(chǎn)權(quán)局提交的被分配序列號(hào)10-2014-0139071的韓國(guó)專(zhuān)利申請(qǐng)的優(yōu)先權(quán)，其全部公開(kāi)通過(guò)引用合并于此。
技術(shù)領(lǐng)域
[0003]本公開(kāi)涉及用于處理聯(lián)接在設(shè)備之間的畫(huà)面的方法和裝置。
【背景技術(shù)】
[0004]通常，移動(dòng)設(shè)備是尺寸足夠小到適合在口袋中并包括具有觸摸輸入功能的顯示屏幕或小尺寸鍵盤(pán)的計(jì)算設(shè)備。然而，這樣的移動(dòng)設(shè)備的屏幕通常小于向其提供的內(nèi)容的尺寸，因此應(yīng)附加顯示窗口或應(yīng)執(zhí)行屏幕滾動(dòng)。頭戴式顯示(HMD)設(shè)備應(yīng)被理解為被設(shè)計(jì)用于用戶(hù)在將HMD設(shè)備像眼鏡那樣佩戴在其頭部上時(shí)觀(guān)看虛擬圖像的各種圖像顯示設(shè)備。HMD設(shè)備不僅能夠向用戶(hù)提供簡(jiǎn)單的顯示功能，而且能夠向用戶(hù)提供具有作為顯示功能與增強(qiáng)現(xiàn)實(shí)技術(shù)、N畫(huà)面技術(shù)等的組合的各種便利功能。然而，HMD設(shè)備的用戶(hù)可能間接地嘗試控制在HMD設(shè)備的眼鏡上顯示的虛擬圖像，例如通過(guò)朝向虛擬圖像做手勢(shì)、做出語(yǔ)音輸入、或觸摸眼鏡的臂，而不物理地觸摸虛擬圖像。因此，難以準(zhǔn)確地控制虛擬圖像。
[0005]將上述信息僅呈現(xiàn)為背景信息，以幫助理解本公開(kāi)。尚未確定并且尚未斷定是否可以將上述內(nèi)容應(yīng)用為關(guān)于本公開(kāi)的現(xiàn)有技術(shù)。

【發(fā)明內(nèi)容】

[0006]本公開(kāi)的方面用于解決至少上述問(wèn)題和/或確定以及提供至少下述優(yōu)點(diǎn)。因此，本公開(kāi)的一個(gè)方面是提供一種用于通過(guò)使用設(shè)備來(lái)處理聯(lián)接到實(shí)際畫(huà)面的附加畫(huà)面的方法和裝置。
[0007]依據(jù)本公開(kāi)的一個(gè)方面，提供了一種由第二設(shè)備執(zhí)行的處理第一設(shè)備上的畫(huà)面的方法。該方法包括:根據(jù)關(guān)于第一設(shè)備的畫(huà)面顯示請(qǐng)求在第二設(shè)備處獲得在第一設(shè)備上顯示的顯示畫(huà)面和與顯示畫(huà)面相關(guān)的信息；在第二設(shè)備處基于第一設(shè)備上的顯示畫(huà)面和與顯示畫(huà)面相關(guān)的信息來(lái)確定附加畫(huà)面；以及在所述第一設(shè)備上的顯示畫(huà)面附近顯示附加畫(huà)面。
[0008]與顯示畫(huà)面相關(guān)的信息可以包括以下中的至少一個(gè):第一設(shè)備的形狀信息、要在第一設(shè)備上的顯示畫(huà)面附近顯示的附加畫(huà)面的位置、附加畫(huà)面的大小、與附加畫(huà)面相關(guān)的內(nèi)容信息和使用相機(jī)捕捉的第一設(shè)備的狀態(tài)信息。
[0009]第一設(shè)備的狀態(tài)信息可以包括第一設(shè)備的畫(huà)面的位置和角度。
[0010]第一設(shè)備的狀態(tài)信息可以使用相機(jī)來(lái)定期更新。
[0011]顯示附加畫(huà)面可以包括:捕捉第一設(shè)備的圖像；基于所捕捉的第一設(shè)備的圖像來(lái)確定第一設(shè)備的畫(huà)面的位置和方向；以及基于第一設(shè)備的畫(huà)面的位置和方向在第一設(shè)備的畫(huà)面的預(yù)定位置顯示附加畫(huà)面。
[0012]確定第一設(shè)備的畫(huà)面的位置和方向可以包括:從第一設(shè)備接收第一設(shè)備的形狀信息；從第一設(shè)備的形狀信息中提取特征點(diǎn)；以及將第一設(shè)備的圖像的特征點(diǎn)與第一設(shè)備的形狀信息的特征點(diǎn)進(jìn)行比較，以確定第一設(shè)備的畫(huà)面的位置和方向。
[0013]該方法可以進(jìn)一步包括:根據(jù)在第一和第二設(shè)備上執(zhí)行的用戶(hù)輸入來(lái)控制第一設(shè)備上的顯示畫(huà)面和附加畫(huà)面被相互聯(lián)接。
[0014]控制第一設(shè)備上的顯示畫(huà)面和附加畫(huà)面被相互聯(lián)接可以包括:根據(jù)在相應(yīng)第一和第二設(shè)備上執(zhí)行的用戶(hù)輸入來(lái)控制第一設(shè)備上的顯示畫(huà)面和第二設(shè)備上的附加畫(huà)面被相互聯(lián)接。
[0015]控制第一設(shè)備上的顯示畫(huà)面和附加畫(huà)面被相互聯(lián)接可以包括:根據(jù)從第一設(shè)備接收的用戶(hù)輸入來(lái)識(shí)別用于結(jié)束附加畫(huà)面的命令；以及通過(guò)將用于結(jié)束附加畫(huà)面的命令傳送到第二設(shè)備來(lái)結(jié)束附加畫(huà)面。
[0016]控制第一設(shè)備上的顯示畫(huà)面和附加畫(huà)面被相互聯(lián)接可以包括:通過(guò)使用相機(jī)來(lái)識(shí)別在第二設(shè)備上的附加畫(huà)面上的用戶(hù)輸入；以及當(dāng)識(shí)別出用戶(hù)輸入時(shí)，結(jié)束附加畫(huà)面并且將指示附加畫(huà)面的結(jié)束的信息傳送到第一設(shè)備。
[0017]依據(jù)本公開(kāi)的另一方面，提供了一種由第二設(shè)備執(zhí)行的通過(guò)使用包括對(duì)象的第一設(shè)備來(lái)處理畫(huà)面的方法。該方法包括:在第二設(shè)備處通過(guò)從第一設(shè)備接收與對(duì)象相關(guān)的信息來(lái)識(shí)別對(duì)象，并將指示識(shí)別對(duì)象的結(jié)果的信息傳送到第一設(shè)備；在第二設(shè)備處根據(jù)關(guān)于第一設(shè)備的附加畫(huà)面顯示請(qǐng)求來(lái)獲得關(guān)于與所識(shí)別的對(duì)象相關(guān)的顯示畫(huà)面的信息；在第二設(shè)備處基于關(guān)于與對(duì)象相關(guān)的顯示畫(huà)面的信息來(lái)確定要在對(duì)象上的預(yù)定位置顯示的附加畫(huà)面；以及在對(duì)象上的預(yù)定位置上顯示附加畫(huà)面。
[0018]該方法可以進(jìn)一步包括:從第一設(shè)備獲得關(guān)于在對(duì)象的預(yù)定位置上設(shè)置的顯示區(qū)域的信息。
[0019]關(guān)于與對(duì)象相關(guān)的顯示畫(huà)面的信息可以包括:對(duì)象的形狀信息、要在對(duì)象上顯示的附加畫(huà)面的位置和方向、附加畫(huà)面的大小、與附加畫(huà)面相關(guān)的內(nèi)容信息以及使用相機(jī)捕捉的對(duì)象的狀態(tài)信息。
[0020]對(duì)象的狀態(tài)信息可以包括對(duì)象的位置和角度。
[0021 ] 對(duì)象的狀態(tài)信息可以使用相機(jī)來(lái)定期更新。
[0022]顯示附加畫(huà)面可以包括:提供使用相機(jī)來(lái)捕捉對(duì)象的圖像；從所捕捉的對(duì)象的圖像來(lái)提取對(duì)象的位置和角度；以及基于對(duì)象的位置和角度來(lái)確定要顯示附加畫(huà)面的位置和方向。
[0023]提取關(guān)于對(duì)象的位置和角度可以包括:從第一設(shè)備接收對(duì)象的形狀信息；從對(duì)象的形狀信息提取特征點(diǎn)；以及將對(duì)象的形狀信息的特征點(diǎn)與所捕捉的對(duì)象的圖像的特征點(diǎn)進(jìn)行比較，以提取關(guān)于對(duì)象的位置和角度的信息。
[0024]根據(jù)本公開(kāi)的又一方面，提供了一種由第二設(shè)備執(zhí)行的通過(guò)使用第一設(shè)備來(lái)處理附加畫(huà)面的方法。該方法包括:在第二設(shè)備處根據(jù)關(guān)于第一設(shè)備的畫(huà)面顯示請(qǐng)求來(lái)獲得關(guān)于附加畫(huà)面的信息和第一設(shè)備的狀態(tài)信息；在第二設(shè)備處基于關(guān)于附加畫(huà)面的信息和第一設(shè)備的狀態(tài)信息來(lái)確定要顯示附加畫(huà)面的位置；在所確定的位置顯示附加畫(huà)面；以及根據(jù)與附加畫(huà)面相關(guān)的用戶(hù)輸入來(lái)控制第一和第二設(shè)備被相互聯(lián)接。
[0025]根據(jù)本公開(kāi)的又一方面，提供了一種由第一設(shè)備執(zhí)行的處理第二設(shè)備上的畫(huà)面的方法。該方法包括:在第一設(shè)備處根據(jù)畫(huà)面顯示請(qǐng)求來(lái)將顯示畫(huà)面和與顯示畫(huà)面相關(guān)的信息傳送到第二設(shè)備；在第一設(shè)備處從第二設(shè)備接收關(guān)于在第二設(shè)備上顯示的附加信息的控制信息；以及在第一設(shè)備處根據(jù)控制信息來(lái)更新與顯示畫(huà)面相關(guān)的信息。
[0026]與顯示畫(huà)面相關(guān)的信息可以包括要在設(shè)備的顯示畫(huà)面附近顯示的附加畫(huà)面的位置、附加畫(huà)面的大小和與附加畫(huà)面相關(guān)的內(nèi)容信息。
[0027]依據(jù)本公開(kāi)的又一方面，提供了一種用于通過(guò)使用設(shè)備來(lái)處理畫(huà)面的裝置。該裝置包括:顯示單元，被配置為顯示圖像；通信單元，被配置為根據(jù)關(guān)于設(shè)備的畫(huà)面顯示請(qǐng)求來(lái)接收設(shè)備上的顯示畫(huà)面和與顯示畫(huà)面相關(guān)的信息；以及控制單元，被配置為基于與由通信單元獲得的顯示畫(huà)面相關(guān)的信息來(lái)獲得附加畫(huà)面，在顯示單元上顯示附加畫(huà)面，使得在設(shè)備的顯示畫(huà)面附近顯示附加畫(huà)面，并且根據(jù)用戶(hù)輸入來(lái)控制設(shè)備的顯示畫(huà)面和附加畫(huà)面被相互聯(lián)接。
[0028]控制單元可以通過(guò)使用相機(jī)來(lái)對(duì)設(shè)備的形狀進(jìn)行拍照，基于設(shè)備的形狀來(lái)從狀態(tài)信息中提取設(shè)備的畫(huà)面的位置和角度，以及基于設(shè)備的畫(huà)面的位置和角度來(lái)確定要顯示附加畫(huà)面的區(qū)域。
[0029]控制單元可以根據(jù)在設(shè)備上執(zhí)行的用戶(hù)輸入和與附加畫(huà)面相關(guān)的用戶(hù)輸入來(lái)控制設(shè)備上的顯示畫(huà)面和附加畫(huà)面被相互聯(lián)接。
[0030]控制單元可以通過(guò)相機(jī)來(lái)識(shí)別附加畫(huà)面上的用戶(hù)輸入，在用戶(hù)輸入指令結(jié)束附加畫(huà)面時(shí)結(jié)束附加畫(huà)面，以及將通知附加畫(huà)面的結(jié)束的信息傳送給設(shè)備。
[0031]依據(jù)本公開(kāi)的又一方面，提供了一種非瞬時(shí)計(jì)算機(jī)可讀記錄介質(zhì)。該記錄介質(zhì)上記錄有包括用于執(zhí)行由第二設(shè)備執(zhí)行的處理第一設(shè)備上的畫(huà)面的方法的指令的至少一個(gè)程序。該方法包括:根據(jù)關(guān)于第一設(shè)備的畫(huà)面顯示請(qǐng)求在第二設(shè)備處獲得在第一設(shè)備上顯示的顯示畫(huà)面和與顯示畫(huà)面相關(guān)的信息；在第二設(shè)備處基于與顯示畫(huà)面相關(guān)的信息來(lái)確定附加畫(huà)面；以及在所述第一設(shè)備上的顯示畫(huà)面附近顯示附加畫(huà)面。
[0032]從以下結(jié)合附圖的公開(kāi)本公開(kāi)的各個(gè)實(shí)施例的詳細(xì)描述，本公開(kāi)的其他方面、優(yōu)點(diǎn)和突出特征對(duì)于本領(lǐng)域技術(shù)人員將變得顯而易見(jiàn)。
【附圖說(shuō)明】
[0033]從下面結(jié)合附圖進(jìn)行的詳細(xì)描述，本公開(kāi)的某些實(shí)施例的上述和其他方面、特征和優(yōu)點(diǎn)將變得更明顯，其中:
[0034]圖1是根據(jù)本公開(kāi)的實(shí)施例的被配置為在第一設(shè)備和第二設(shè)備之間處理畫(huà)面的系統(tǒng)的框圖；
[0035]圖2是根據(jù)本公開(kāi)的實(shí)施例的被配置為在第一設(shè)備和第二設(shè)備之間處理畫(huà)面的系統(tǒng)的框圖；
[0036]圖3是根據(jù)本公開(kāi)的實(shí)施例的被配置為在第一設(shè)備和第二設(shè)備之間處理畫(huà)面的系統(tǒng)的框圖；
[0037]圖4是根據(jù)本公開(kāi)的實(shí)施例的被配置為在第一設(shè)備和第二設(shè)備之間處理畫(huà)面的系統(tǒng)的框圖；
[0038]圖5是圖示根據(jù)本公開(kāi)的實(shí)施例的其中第二設(shè)備處理要聯(lián)接到第一設(shè)備的畫(huà)面的附加畫(huà)面的情況的圖；
[0039]圖6是圖示根據(jù)本公開(kāi)的實(shí)施例的其中第二設(shè)備在對(duì)象周?chē)@示虛擬圖像類(lèi)型的附加畫(huà)面的情況的圖；
[0040]圖7是圖示根據(jù)本公開(kāi)的實(shí)施例的其中第二設(shè)備顯示要聯(lián)接到對(duì)象的附加畫(huà)面的情況的圖；
[0041]圖8是根據(jù)本公開(kāi)的實(shí)施例的由第二設(shè)備執(zhí)行的處理聯(lián)接到在第一設(shè)備上顯示的畫(huà)面的畫(huà)面的方法的流程圖；
[0042]圖9是根據(jù)本公開(kāi)的實(shí)施例的由第二設(shè)備執(zhí)行的處理聯(lián)接到在第一設(shè)備上顯示的畫(huà)面的畫(huà)面的方法的流程圖；
[0043]圖10是根據(jù)本公開(kāi)的實(shí)施例的由第一設(shè)備執(zhí)行的處理在第二設(shè)備上顯示的畫(huà)面的方法的流程圖；
[0044]圖11是根據(jù)本公開(kāi)的實(shí)施例的由第二設(shè)備執(zhí)行的通過(guò)使用在其上沒(méi)有顯示畫(huà)面的第一設(shè)備來(lái)處理畫(huà)面的方法的流程圖；
[0045]圖12是根據(jù)本公開(kāi)的實(shí)施例的由第二設(shè)備執(zhí)行的通過(guò)使用附加地包括對(duì)象的第一設(shè)備來(lái)處理畫(huà)面的方法的流程圖；
[0046]圖13是根據(jù)本公開(kāi)的實(shí)施例的由第二設(shè)備執(zhí)行的顯示要聯(lián)接到在第一設(shè)備上顯示的畫(huà)面的附加畫(huà)面的方法的流程圖；
[0047]圖14是根據(jù)本公開(kāi)的實(shí)施例的由第二設(shè)備執(zhí)行的顯示要聯(lián)接到在包括對(duì)象的第一設(shè)備上顯示的畫(huà)面的畫(huà)面的方法的流程圖；
[0048]圖15是根據(jù)本公開(kāi)的實(shí)施例的由第二設(shè)備執(zhí)行的控制附加畫(huà)面的方法的流程圖；
[0049]圖16是根據(jù)本公開(kāi)的實(shí)施例的由第一設(shè)備執(zhí)行的控制結(jié)束附加畫(huà)面的方法的流程圖；
[0050]圖17是根據(jù)本公開(kāi)的實(shí)施例的由第二設(shè)備執(zhí)行的控制要在第一設(shè)備上顯示的附加畫(huà)面的方法的流程圖；
[0051]圖18A和圖18B是圖示根據(jù)本公開(kāi)的實(shí)施例的由第二設(shè)備執(zhí)行的在第一設(shè)備上的顯示畫(huà)面附近顯示虛擬圖像類(lèi)型的附加畫(huà)面以及控制附加畫(huà)面的方法的圖；
[0052]圖19A和圖19B是圖示根據(jù)本公開(kāi)的實(shí)施例的由第二設(shè)備執(zhí)行的在第一設(shè)備上的顯示畫(huà)面附近顯示虛擬圖像類(lèi)型的附加畫(huà)面以及控制附加畫(huà)面的方法的圖；
[0053]圖20是圖示根據(jù)本公開(kāi)的實(shí)施例的由第二設(shè)備執(zhí)行的在第一設(shè)備上的顯示畫(huà)面周?chē)@示三維(3D)圖像類(lèi)型的附加畫(huà)面以及控制附加畫(huà)面的方法的圖；
[0054]圖21是根據(jù)本公開(kāi)的實(shí)施例的第一設(shè)備的框圖；
[0055]圖22是根據(jù)本公開(kāi)的實(shí)施例的第二設(shè)備的外部；以及
[0056]圖23和圖24是根據(jù)本公開(kāi)的各種實(shí)施例的第二設(shè)備的框圖。
[0057]在整個(gè)附圖中，相同的參考數(shù)字將被理解為指代相同的部分、組件和結(jié)構(gòu)。
【具體實(shí)施方式】
[0058]提供下面參考附圖的描述，以幫助完全理解由權(quán)利要求及其等同物限定的本公開(kāi)的各個(gè)實(shí)施例。其包括各種特定細(xì)節(jié)，以幫助理解，但這些應(yīng)被認(rèn)為僅是示范性的。因此，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到在不背離本公開(kāi)的范圍和精神的情況下可以對(duì)在此描述的各個(gè)實(shí)施例進(jìn)行變化和修改。此外，為了清楚和簡(jiǎn)潔，可能省略已知功能和結(jié)構(gòu)的描述。
[0059]下面的描述和權(quán)利要求中使用的詞語(yǔ)和詞不限于書(shū)面含義，而是僅由發(fā)明人用來(lái)使得能夠清楚并一致地理解本公開(kāi)。因此，對(duì)于本領(lǐng)域技術(shù)人員顯而易見(jiàn)的是，提供本公開(kāi)的各個(gè)實(shí)施例的下面描述僅用于說(shuō)明的目的，并且不用于限制由所附的權(quán)利要求及其結(jié)構(gòu)等同物限定的本公開(kāi)的目的。
[0060]應(yīng)理解，單數(shù)形式“一”、“一個(gè)”和“該”包括單數(shù)指代，除非上下文明確另外指示并非如此。因此，例如，對(duì)“一個(gè)組件表面”的指代包括對(duì)這樣的表面中的一個(gè)或多個(gè)的指代。
[0061]應(yīng)理解，盡管在此可能使用術(shù)語(yǔ)“第一”、“第二”、“第三”等來(lái)描述各種元件、組件、區(qū)域、層和/或部分，但是這些元件、組件、區(qū)域、層和/或部分不應(yīng)被這些術(shù)語(yǔ)限制。這些術(shù)語(yǔ)僅用于將一個(gè)元件、組件、區(qū)域、層或部分與另一個(gè)區(qū)域、層或部分進(jìn)行區(qū)分。
[0062]在本公開(kāi)中使用的特定術(shù)語(yǔ)不旨在限制本公開(kāi)的范圍，并且僅用于更好地理解(便于理解)本公開(kāi)的各個(gè)實(shí)施例。在本公開(kāi)中，如果可能