控制外部對(duì)象的電子設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明總體上涉及電子設(shè)備，更具體地涉及一種用于控制外部對(duì)象的電子設(shè)備和 方法。
【背景技術(shù)】
[0002] 短距離通信方法已經(jīng)開發(fā)和投資用于控制數(shù)字設(shè)備或數(shù)字設(shè)備的共享信息。一種 這樣的短距離通信方法已經(jīng)開發(fā)用于控制多個(gè)設(shè)備中的第一設(shè)備（從設(shè)備），所述多個(gè)設(shè) 備能夠使用多個(gè)設(shè)備中的第二設(shè)備（主設(shè)備）彼此無(wú)線地通信。
[0003] 為了使用主設(shè)備來(lái)控制從設(shè)備，要求用戶在主設(shè)備中登記從設(shè)備。即使已經(jīng)在主 設(shè)備中登記了從設(shè)備，用戶也必須搜索在主設(shè)備中登記的從設(shè)備以從登記的從設(shè)備中選擇 所需的從設(shè)備。

【發(fā)明內(nèi)容】

[0004] 已經(jīng)實(shí)現(xiàn)了本發(fā)明以至少解決以上問(wèn)題和/缺點(diǎn)，并且至少提供下述優(yōu)點(diǎn)。因此， 本發(fā)明的一個(gè)方面提出了一種使用用戶的視線（或凝視方向、或觀看方向）來(lái)控制外部對(duì) 象的電子設(shè)備和方法，從而消除了用戶手動(dòng)選擇從設(shè)備的必要。
[0005] 根據(jù)本發(fā)明的一個(gè)方面，提出了一種由電子設(shè)備控制外部對(duì)象的方法。所述方法 包括：由所述電子設(shè)備使用所述電子設(shè)備的圖像傳感器來(lái)確定用戶的視線；由所述電子設(shè) 備基于所述用戶的視線來(lái)確定位于所述電子設(shè)備外部的對(duì)象；由所述電子設(shè)備確定與所述 對(duì)象有關(guān)的對(duì)象信息；在所述電子設(shè)備處接收來(lái)自所述用戶的相對(duì)于所述對(duì)象的用戶輸 入；以及由所述電子設(shè)備基于所述用戶輸入和所述對(duì)象信息來(lái)控制所述對(duì)象或與所述對(duì)象 相關(guān)聯(lián)的其他電子設(shè)備。
[0006] 根據(jù)本發(fā)明的另一個(gè)方面，提出了一種用于控制外部對(duì)象的電子設(shè)備。所述電子 設(shè)備包括：控制器，配置為使用所述電子設(shè)備的圖像傳感器來(lái)確定用戶的視線，基于所述用 戶的視線來(lái)確定位于所述電子設(shè)備外部的對(duì)象，確定與所述對(duì)象有關(guān)的對(duì)象信息；以及在 接收到來(lái)自所述用戶的用戶輸入時(shí)，基于相對(duì)于所述對(duì)象的用戶輸入和所述對(duì)象信息來(lái)產(chǎn) 生用于控制所述對(duì)象或與所述對(duì)象相關(guān)聯(lián)的其他電子設(shè)備的控制信號(hào)；以及通信接口，配 置為向所述對(duì)象或者與所述對(duì)象相關(guān)聯(lián)的其他電子設(shè)備發(fā)送所述控制信號(hào)。
[0007] 根據(jù)本發(fā)明的另一個(gè)方面，提出了一種計(jì)算機(jī)可讀記錄介質(zhì)，具有記錄于其上的 程序，所述程序用于執(zhí)行以下操作：使用圖像傳感器來(lái)確定用戶的視線；基于所述用戶的 視線來(lái)確定位于包括所述計(jì)算機(jī)可讀記錄機(jī)制在內(nèi)的電子設(shè)備外部的對(duì)象；確定與所述對(duì) 象有關(guān)的對(duì)象信息；接收來(lái)自所述用戶的相對(duì)于對(duì)象的用戶輸入時(shí)；以及基于所述用戶輸 入和所述對(duì)象信息來(lái)控制所述對(duì)象或與所述對(duì)象相關(guān)聯(lián)的另一個(gè)電子設(shè)備。
[0008] 根據(jù)本發(fā)明的另一個(gè)方面，提出了一種由電子設(shè)備控制外部對(duì)象的方法。所述 方法包括：由所述電子設(shè)備捕獲所述電子設(shè)備的用戶的眼睛的圖像；由所述電子設(shè)備基于 所述用戶的眼睛的圖像來(lái)確定用戶的視線；由電子設(shè)備沿用戶觀看的方向捕獲觀看圖像 (view image);由電子設(shè)備基于所述用戶的視線從所述觀看圖像中選擇對(duì)象；在電子設(shè)備 處接收來(lái)自所述用戶的相對(duì)于對(duì)象的用戶輸入；以及由電子設(shè)備基于所述用戶輸入控制所 述對(duì)象或與所述對(duì)象相關(guān)聯(lián)的其他電子設(shè)備。
[0009] 根據(jù)本發(fā)明的另一個(gè)方面，提出了一種用于控制外部對(duì)象的電子設(shè)備。所述電子 設(shè)備包括攝像模塊，配置為捕獲電子設(shè)備的用戶的眼睛的圖像，以及沿著用戶觀看的方向 捕獲觀看圖像；控制器，配置為基于所述用戶的眼睛的圖像來(lái)確定用戶的視線，基于所述 用戶的視線從所述觀看圖像中選擇對(duì)象，在接收到來(lái)自所述用戶的相對(duì)于對(duì)象的用戶輸入 時(shí)，基于所述用戶輸入產(chǎn)生用于控制所述對(duì)象或與所述對(duì)象相關(guān)聯(lián)的其他電子設(shè)備的控制 信號(hào)；以及通信接口，配置為向所述對(duì)象或者與所述對(duì)象相關(guān)聯(lián)的其他電子設(shè)備發(fā)送所述 控制信號(hào)。
[0010] 根據(jù)本發(fā)明的另一個(gè)方面，提出了一種由電子設(shè)備控制外部對(duì)象的方法。所述方 法包括：由所述電子設(shè)備捕獲所述電子設(shè)備的用戶的眼睛的圖像；由所述電子設(shè)備基于所 述用戶的眼睛的圖像確定視點(diǎn)（viewing point);由所述電子設(shè)備確定與所述視點(diǎn)的坐標(biāo) 相對(duì)應(yīng)的對(duì)象；在所述電子設(shè)備處接收來(lái)自所述用戶的相對(duì)于對(duì)象的用戶輸入；以及由所 述電子設(shè)備基于所述用戶輸入控制所述對(duì)象或與所述對(duì)象相關(guān)聯(lián)的其他電子設(shè)備。
[0011] 根據(jù)本發(fā)明的另一個(gè)方面，提出了一種用于控制外部對(duì)象的電子設(shè)備。所述電子 設(shè)備包括：攝像模塊，配置為捕獲所述電子設(shè)備的用戶的眼睛的圖像；控制器，配置為基于 所述用戶的眼睛的圖像來(lái)確定視點(diǎn)，在接收到來(lái)自所述用戶的相對(duì)于對(duì)象的用戶輸入時(shí)， 基于所述用戶輸入來(lái)產(chǎn)生用于控制所述對(duì)象或與所述對(duì)象相關(guān)聯(lián)的其他電子設(shè)備的控制 信號(hào)；以及通信接口，配置為向所述對(duì)象或者與所述對(duì)象相關(guān)聯(lián)的其他電子設(shè)備發(fā)送所述 控制信號(hào)。
【附圖說(shuō)明】
[0012] 根據(jù)結(jié)合附圖的以下詳細(xì)描述，本發(fā)明的以上和其他方面、特征和優(yōu)勢(shì)將變得更 加清楚明白，其中：
[0013] 圖1是示出了根據(jù)本發(fā)明實(shí)施例的包括能夠控制外部對(duì)象的電子設(shè)備在內(nèi)的控 制系統(tǒng)的圖；
[0014] 圖2是示出了根據(jù)本發(fā)明實(shí)施例的用于控制外部對(duì)象的第一電子設(shè)備的方框圖；
[0015] 圖3是示出了根據(jù)本發(fā)明實(shí)施例的由第一電子設(shè)備控制目標(biāo)對(duì)象的方法的流程 圖；
[0016] 圖4是示出了根據(jù)本發(fā)明實(shí)施例的由第一電子設(shè)備確定目標(biāo)對(duì)象的方法的流程 圖；
[0017] 圖5是根據(jù)本發(fā)明實(shí)施例的由第一電子設(shè)備建立與目標(biāo)對(duì)象的連接的方法的流 程圖；
[0018] 圖6A是示出了根據(jù)本發(fā)明實(shí)施例的由第一電子設(shè)備控制目標(biāo)對(duì)象的方法的流程 圖；
[0019] 圖6B是示出了根據(jù)本發(fā)明實(shí)施例的通過(guò)由第一電子設(shè)備控制相關(guān)設(shè)備來(lái)改變目 標(biāo)對(duì)象的狀態(tài)的方法的流程圖；
[0020] 圖7A是示出了根據(jù)本發(fā)明實(shí)施例的由與目標(biāo)對(duì)象配對(duì)的第一電子設(shè)備控制目標(biāo) 對(duì)象的方法的流程圖；
[0021] 圖7B是示出了根據(jù)本發(fā)明實(shí)施例的由與目標(biāo)對(duì)象配對(duì)的第一電子設(shè)備來(lái)控制與 目標(biāo)對(duì)象相關(guān)聯(lián)的相關(guān)設(shè)備的方法的流程圖；
[0022] 圖8是示出了根據(jù)本發(fā)明實(shí)施例的包括第一電子設(shè)備在內(nèi)的網(wǎng)絡(luò)環(huán)境的圖；
[0023] 圖9是示出了根據(jù)本發(fā)明實(shí)施例的電子設(shè)備的方框圖；以及
[0024] 圖10是示出了根據(jù)本發(fā)明實(shí)施例的程序模塊的方框圖。
【具體實(shí)施方式】
[0025] 參考附圖詳細(xì)地描述本發(fā)明的實(shí)施例。盡管在不同的附圖中示出了相同或類似的 部件，所述相同或類似的部件可以用相同或類似的參考數(shù)字來(lái)表示。可以省略本領(lǐng)域已知 的結(jié)構(gòu)工藝的詳細(xì)描述以避免混淆本發(fā)明的主題。
[0026] 如這里所使用的，術(shù)語(yǔ)"包括"和"包含"及其衍生詞意思是包括而非限制。替代 地，術(shù)語(yǔ)"或"是包含性的，意思是和/或。短語(yǔ)"相關(guān)聯(lián)"或"與其相關(guān)聯(lián)"及其衍生詞可以 意思是包括、在其中包括、相互連接、包含、其中包含、連接至或與其相連、耦合至或與其耦 合、與其通信、與其協(xié)作、交織、并置、接近、接壤至或與其接壤、具有、具有性質(zhì)等。術(shù)語(yǔ)"控 制器"意思是任意設(shè)備、系統(tǒng)或者控制至少一種操作的一部分。這種設(shè)備可以實(shí)現(xiàn)為硬件、 固件、軟件或者以上至少兩種的組合。應(yīng)該注意的是與任意具體的控制器相關(guān)聯(lián)的功能可 以是集中或者分布式的，本地地或者遠(yuǎn)程地。貫穿該專利文件提供了對(duì)于特定詞語(yǔ)或短語(yǔ) 的定義，并且本領(lǐng)域普通技術(shù)人員應(yīng)該理解的是在許多情況下（如果不是大多數(shù)情況），這 種定義可以應(yīng)用于這樣定義的詞語(yǔ)和短語(yǔ)在過(guò)去和將來(lái)的使用。
[0027] 在本公開的各種實(shí)施例中使用的術(shù)語(yǔ)"具有"、"可以具有"、"包括"或"可以包括" 表示存在所公開的相應(yīng)功能、操作、元件等，但是并不排除附加的一個(gè)或多個(gè)功能、操作、元 件等。
[0028] 這里，諸如術(shù)語(yǔ)"A或B"、"A和/或B中的至少一個(gè)"或"A和/或B中的一個(gè)或多 個(gè)"可以包括隨此列舉的詞語(yǔ)的全部組合。例如，"A或B"、"A和B中的至少一個(gè)"或者"A 或B中的至少一個(gè)"描述了 ：（1)至少包括A ; (2)至少包括B;或者（3)至少包括A和B兩 者。
[0029] 盡管諸如"第一"、"第二"等之類的序數(shù)可以用于描述各種元件，但是這些術(shù)語(yǔ)并 不限制相應(yīng)的元件。例如，這些術(shù)語(yǔ)并不限制元件的順序和/或重要性。這些術(shù)語(yǔ)可以用 于將元件彼此區(qū)分。例如，第一用戶設(shè)備和第二用戶設(shè)備均表示用戶設(shè)備，并可以表示不同 的用戶設(shè)備。例如，在不背離本公開各種實(shí)施例的權(quán)利范圍的情況下，可以將第一元件稱作 第二元件，類似地，可以將第二元件稱作第一元件。同樣在不脫離本發(fā)明的教導(dǎo)的情況下， 第一元件可以稱作第二元件等，并且第二元件也可以稱作第一元件。
[0030] 當(dāng)將一元件（例如，第一元件）稱作與另一元件（例如，第二元件）"連接"或"耦 接"時(shí)，該元件可以與另一元件直接連接，或者在元件之間可以存在中間元件（例如，第三元 件）。另一方面，當(dāng)將一元件稱作與另一元件"直接連接"或"直接耦接"時(shí)，在元件之間不 存在元件。
[0031] 如這里所使用的，在沒(méi)有限制的情況下，措辭"配置為"根據(jù)情況可以用諸如"適用 于"、"具有…的能力"、"設(shè)計(jì)為"、"適于"、"實(shí)現(xiàn)為"或者"能夠"之類的其他術(shù)語(yǔ)來(lái)互換地使 用。在一些示例中，術(shù)語(yǔ)"配置為"不一定表示在硬件層面上"專門設(shè)計(jì)為"。相反，措辭"配 置為…"可以表示在在其他設(shè)備或部件的幫助下"能夠…"。例如，短語(yǔ)"處理器，配置為執(zhí) 行A、B和C"可以是用于執(zhí)行相應(yīng)操作的專用處理器（例如嵌入式處理器），或者能夠通過(guò) 執(zhí)行存儲(chǔ)設(shè)備中存儲(chǔ)的一個(gè)或多個(gè)軟件程序而執(zhí)行相應(yīng)操作的通用處理器（例如，中央處 理單元（CPU)或者應(yīng)用處理器（AP))。
[0032] 這里使用的術(shù)語(yǔ)僅用于描述一些實(shí)施例，而不是要限制本公開。如這里所使用的， 單數(shù)形式意欲包括復(fù)數(shù)形式，除非上下文明確地說(shuō)明。除非另有限定，這里使用的所有術(shù)語(yǔ) (包括技術(shù)和科學(xué)術(shù)語(yǔ)）應(yīng)解釋為具有本發(fā)明實(shí)施例所屬領(lǐng)域的技術(shù)人員通常所理解的含 義。還應(yīng)該理解的是諸如在常用字典中定義的術(shù)語(yǔ)應(yīng)該解釋為具有如本發(fā)明公開時(shí)的普通 技術(shù)人員所理解的在相關(guān)技術(shù)的場(chǎng)景規(guī)范中的意思，而不應(yīng)該解釋為具有理想或過(guò)度刻板 的含義，除非在本公開的各種實(shí)施例中明確限定。
[0033] 根據(jù)本發(fā)明實(shí)施例的電子設(shè)備可以是一種具有短距離通信功能的設(shè)備。例如， 電子設(shè)備可以實(shí)現(xiàn)為以下的一個(gè)或多個(gè)的組合：智能電話、平板個(gè)人計(jì)算機(jī)（PC)、移動(dòng)電 話、視頻電話、電子書（e-book)閱讀器、桌上PC、膝上型PC、筆記本計(jì)算機(jī)、個(gè)人數(shù)字助手 (PDA)、便攜式多媒體播放器（PMP)、MP3播放器、移動(dòng)醫(yī)療設(shè)備、電子手環(huán)、電子項(xiàng)鏈、電子 配飾、攝像機(jī)、或可穿戴設(shè)備（例如，諸如電子眼鏡之類的頭戴式設(shè)備（HMD))、電子服裝、電 子手環(huán)、電子項(xiàng)鏈、電子配飾、電子紋身、智能手表等。
[0034] 根據(jù)本發(fā)明的實(shí)施例，電子設(shè)備可以是具有短距離通信功能的智能家電。例如，這 種智能家電可以包括電視（TV)、數(shù)字通用盤（DVD)播放器、音頻部件、冰箱、空調(diào)、真空吸塵 器、烤箱、微波爐、洗衣機(jī)、空氣凈化器、機(jī)頂盒、TV盒、游戲控制臺(tái)、電子詞典、電子鑰匙、攝 錄像機(jī)、電子相框。
[0035] 根據(jù)本發(fā)明的實(shí)施例，電子設(shè)備可以包括以下中的至少一個(gè)：各種醫(yī)療裝備（例 如，磁共振造影（MRA)機(jī)、磁共振成像（MRI)機(jī)、計(jì)算機(jī)斷層（CT)掃描儀、成像設(shè)備或超聲 設(shè)備）、導(dǎo)航系統(tǒng)、全球定位系統(tǒng)（GPS)接收機(jī)、事件數(shù)據(jù)記錄器（EDR)、飛行數(shù)據(jù)記錄器 (FDR)、車載娛樂(lè)設(shè)備、船用電子裝備（例如，船用導(dǎo)航裝備和/或陀螺儀）、航空裝備、安全 裝備、車輛音響主機(jī)、工業(yè)或家用機(jī)器人、金融機(jī)構(gòu)的自動(dòng)取款機(jī)（ATM)、零售店的收款機(jī) (P0S)設(shè)備或者物聯(lián)網(wǎng)設(shè)備（例如，燈泡、各種傳感器、電子儀表、燃?xì)獗怼⑺O(shè)備、火警報(bào) 警器、自動(dòng)調(diào)溫器、街燈、烤面包機(jī)、運(yùn)動(dòng)裝備、熱水壺、加熱器、鍋爐等）。
[0036] 根據(jù)本發(fā)明的實(shí)施例，電子設(shè)備可以包括具有通信功能的家具或建筑物/結(jié)構(gòu)的 一部分、電子板、電子簽名接收設(shè)備、投影儀和各種測(cè)量?jī)x器（例如，水表、電表、燃?xì)獗?、測(cè) 波計(jì)等）。根據(jù)本發(fā)明實(shí)施例的電子設(shè)備也可以是上述設(shè)備中的一種或多種設(shè)備的組合。 根據(jù)本發(fā)明實(shí)施例的電子設(shè)備可以是柔性設(shè)備。本領(lǐng)域普通技術(shù)人員應(yīng)該理解的是電子設(shè) 備不局限于上述列舉的設(shè)備，并且可以包括基于技術(shù)發(fā)展的新電子設(shè)備。
[0037] 下文中，將參考附圖描述根據(jù)本發(fā)明實(shí)施例的電子設(shè)備。這里，術(shù)語(yǔ)"用戶"可以 表示使用電子設(shè)備的人或者使用電子設(shè)備的設(shè)備（例如，人工智能電子設(shè)備）。
[0038] 圖1是示出了根據(jù)本發(fā)明實(shí)施例的包括能夠控制另一個(gè)外部對(duì)象的電子設(shè)備在 內(nèi)的控制系統(tǒng)的圖。
[0039] 參考圖1，控制系統(tǒng)1包括第一電子設(shè)備100和可以由第一電子設(shè)備100控制的至 少一個(gè)目標(biāo)對(duì)象，例如第二電子設(shè)備200-1、…、200_N(統(tǒng)稱為第二電子設(shè)備200)。圖1不 出了將第一電子設(shè)備100實(shí)現(xiàn)為眼鏡形式的實(shí)施例。根據(jù)本發(fā)明的其他實(shí)施例，第一電子 設(shè)備100可以是能夠與另一個(gè)電子設(shè)備通信的電子設(shè)備，例如移動(dòng)終端、個(gè)人計(jì)算機(jī)（PC)、 電視（TV)、洗衣機(jī)等。第二電子設(shè)備200也可以是能夠與另一個(gè)電子設(shè)備通信的電子設(shè)備， 例如移動(dòng)終端、PC、TV、洗衣機(jī)等。
[0040] 第一電子設(shè)備100控制由用戶10使用第一電子設(shè)備從位于第一電子設(shè)備100外 部的對(duì)象中（例如，從第二電子設(shè)備200中）選擇的目標(biāo)對(duì)象。目標(biāo)對(duì)象表示用戶想要選 擇的對(duì)象。用戶可以佩戴實(shí)現(xiàn)為眼鏡形式的第一電子設(shè)備100的同時(shí)通過(guò)觀看一個(gè)或多個(gè) 對(duì)象來(lái)選擇目標(biāo)對(duì)象。
[0041] 如圖1所示，實(shí)現(xiàn)為眼鏡形式的第一電子設(shè)備100感測(cè)佩戴第一電子設(shè)備100的 用戶10的視線，并且分析感測(cè)結(jié)果以確定目標(biāo)對(duì)象。參考圖1，第一電子設(shè)備100通過(guò)分析 用戶10的視線來(lái)確定第二電子設(shè)備200-1是目標(biāo)對(duì)象。
[0042] 如果用戶10確定了目標(biāo)對(duì)象，例如第二電子設(shè)備200-1，第一電子設(shè)備100在第一 電子設(shè)備100和第二電子設(shè)備200-1之間建立連接，以便將第一電子設(shè)備100與第二電子 設(shè)備200-1配對(duì)。根據(jù)本發(fā)明的實(shí)施例，第一電子設(shè)備100在第一電子設(shè)備100和第二電 子設(shè)備200-1之間建立連接，使得第一電子設(shè)備100作為主設(shè)備操作，而第二電子設(shè)備200 作為從設(shè)備操作。第一電子設(shè)備100產(chǎn)生用于控制第二電子設(shè)備200-1的設(shè)備控制信號(hào)。 第一電子設(shè)備100基于與第二電子設(shè)備200-1相對(duì)應(yīng)的控制信息來(lái)產(chǎn)生設(shè)備控制信號(hào)。根 據(jù)本發(fā)明的實(shí)施例，第一電子設(shè)備1〇〇基于來(lái)自用戶10的用戶輸入來(lái)產(chǎn)生用于控制第二電 子設(shè)備200-1的設(shè)備控制信號(hào)。一旦產(chǎn)生了設(shè)備控制信號(hào)，第一電子設(shè)備100例如通過(guò)使 用無(wú)線通信，將設(shè)備控制信號(hào)發(fā)送至第二電子設(shè)備200-1。第二電子設(shè)備200-1執(zhí)行與從第 一電子設(shè)備100接收的設(shè)備控制信號(hào)相對(duì)應(yīng)的操作，從而在第一電子設(shè)備100的控制下操 作。
[0043] 圖2是示出了根據(jù)本發(fā)明實(shí)施例的控制外部對(duì)象的第一電子設(shè)備的方框圖。
[0044] 參考圖2,第一電子設(shè)備100包括控制器110、通信接口 120、攝像模塊150、存儲(chǔ)單 元170和I/O模塊160的至少一個(gè)。
[0045] 控制器110控制第一電子設(shè)備100的整體操作?？刂破?10通過(guò)分析用戶10的 視線來(lái)確定用戶10當(dāng)前觀看的目標(biāo)對(duì)象?？刂破?10確定與用戶10當(dāng)前觀看的目標(biāo)對(duì)象 相關(guān)聯(lián)的另一個(gè)電子設(shè)備。例如，控制器10可以確定第二電子設(shè)備200是由用戶10選擇 的目標(biāo)對(duì)象或者與目標(biāo)對(duì)象相關(guān)聯(lián)的電子設(shè)備。
[0046] 當(dāng)將第二電子設(shè)備200確定為目標(biāo)對(duì)象時(shí)，控制器110在存儲(chǔ)單元175中的設(shè)備 DB22中搜索與第二電子設(shè)備200相對(duì)應(yīng)的各種信息（下文中稱