專(zhuān)利名稱(chēng)：交互式不規(guī)則顯示器上的圖形對(duì)象投影的制作方法
交互式不規(guī)則顯示器上的圖形對(duì)象投影背景觸摸屏技術(shù)近年來(lái)已經(jīng)進(jìn)步，使得觸摸屏技術(shù)可在許多消費(fèi)級(jí)設(shè)備和應(yīng)用中見(jiàn) 到。例如，銀行事務(wù)機(jī)器通常包括允許用戶選擇用于取款或存款的功能和金額的觸敏圖形 用戶界面。在另一示例中，個(gè)人數(shù)據(jù)助理使用觸摸屏技術(shù)來(lái)允許用戶使用指示筆來(lái)選擇交 互式界面上的圖形圖標(biāo)。在又一示例中，一些膝上型計(jì)算機(jī)配備了允許用戶使用指示筆來(lái) 生成簽名、選擇應(yīng)用、以及執(zhí)行其他任務(wù)的觸摸屏技術(shù)。觸摸屏技術(shù)的流行性因易于使用而得到增加，尤其是對(duì)于新手計(jì)算機(jī)用戶而言。 例如，新手計(jì)算機(jī)用戶可能發(fā)現(xiàn)用手選擇圖形圖標(biāo)比通過(guò)使用各種菜單及諸如鼠標(biāo)等定點(diǎn) 和點(diǎn)擊機(jī)制來(lái)選擇圖標(biāo)更加直觀。在當(dāng)前可用系統(tǒng)中，用戶可以通過(guò)選擇顯示屏上可見(jiàn)的 對(duì)象(例如，使用指示筆或他們的手指)來(lái)選擇、移動(dòng)、修改這些對(duì)象或?qū)@些對(duì)象執(zhí)行其 他任務(wù)。盡管觸摸屏技術(shù)已經(jīng)極大地進(jìn)步，但依然存在限制，尤其是關(guān)于被設(shè)計(jì)成在諸如 球形顯示器表面等不規(guī)則顯示器表面上使用的觸摸屏應(yīng)用的限制。例如，常規(guī)上，應(yīng)用程序 開(kāi)發(fā)者在設(shè)計(jì)應(yīng)用程序時(shí)必須考慮圖形、文本等將如何出現(xiàn)在不規(guī)則顯示器表面上。因此， 為便于用戶與顯示在不規(guī)則顯示器表面上的對(duì)象進(jìn)行交互，這些開(kāi)發(fā)者生成圖形對(duì)象在該 不規(guī)則顯示器表面上的所有可能位置的代碼來(lái)確保這些對(duì)象以在審美上令人滿意的方式 來(lái)顯示。這需要相當(dāng)大量的開(kāi)發(fā)時(shí)間并且在將圖像投影到顯示器上時(shí)還需要相當(dāng)大的計(jì)算 花費(fèi)。一種替換方案是使用“固定(canned)”圖像數(shù)據(jù)來(lái)開(kāi)發(fā)非常受限的應(yīng)用程序，使得觸 摸屏裝置具有有限的交互式功能。概述以下是在本文詳細(xì)描述的主題的簡(jiǎn)要概述。本概述不旨在是關(guān)于權(quán)利要求的范圍 的限制。本文詳細(xì)描述了涉及交互式觸摸屏裝置的各種技術(shù)。例如，本文描述了涉及在不 規(guī)則顯示器表面上顯示圖形對(duì)象的技術(shù)，其中交互式多觸摸功能與該不規(guī)則顯示器表面相 關(guān)聯(lián)。在一示例中，交互式多觸摸功能與多個(gè)構(gòu)件(例如，多個(gè)用戶的手指)同不規(guī)則顯示 器表面上的顯示對(duì)象進(jìn)行交互的能力有關(guān)。例如，不規(guī)則顯示器表面可能彎曲，如基本上是 球形的顯示器。根據(jù)本文描述的一方面，將一個(gè)或多個(gè)圖形對(duì)象合意地顯示在支持交互式多觸摸 功能的裝置的不規(guī)則顯示器表面上。這些圖形對(duì)象可以在運(yùn)行時(shí)預(yù)先變形，使得這些圖形 對(duì)象對(duì)該裝置的用戶在審美上顯得是令人滿意的。例如，圖形對(duì)象可以在運(yùn)行時(shí)變形，使得 該圖形對(duì)象在不規(guī)則顯示器表面上的外觀對(duì)用戶基本上相似，而不論該圖形對(duì)象在彎曲顯 示器表面上的位置。在一詳細(xì)示例中，圖形對(duì)象可包括被合意地顯示成直線的至少一條線。 然而，在彎曲顯示器表面上，如球形顯示器表面，不存在直線。因此，圖形對(duì)象可以在運(yùn)行時(shí) 變形以將該至少一條線顯示在不規(guī)則表面上，使得該條線對(duì)其查看軸與所顯示的圖形對(duì)象 的中心處的切平面大約正交的用戶而言顯得是直的?？梢圆扇「鞣N動(dòng)作以執(zhí)行上述預(yù)先變形。例如，圖形對(duì)象能以“自然”形式來(lái)接收，使得該圖形對(duì)象尚未被采樣。因此，應(yīng)用程序開(kāi)發(fā)者不需要考慮編寫(xiě)涉及取決于圖形對(duì)象 的位置和用戶的位置來(lái)將圖形對(duì)象顯示在不規(guī)則(例如，球形)顯示器表面上的代碼。例 如，可以在計(jì)算機(jī)可讀介質(zhì)中生成單位球的表示。可以查明圖形對(duì)象的所需比例(例如，圖 形對(duì)象相對(duì)于該表示的比例)。隨后可在該表示的極點(diǎn)處(例如，經(jīng)度0度，緯度180度) 將按比例縮放的圖形對(duì)象投影到該表示上，使得該按比例縮放的圖形對(duì)象的每一像素都投 影到該表示上。隨后旋轉(zhuǎn)該表示，直至該圖形對(duì)象被合意地定向?yàn)橹?。此后，該表示還可被 進(jìn)一步旋轉(zhuǎn)，直至該圖形對(duì)象處于該表示上的所需位置處為止。其上投影了圖形對(duì)象的這 樣的表示可被“展平”，以便將3維表示和圖形對(duì)象置于二維投影圖像上。隨后可以使用該 投影圖像來(lái)將圖形對(duì)象投影到不規(guī)則表面上(例如，球形表面)。在閱讀并理解了附圖和描述后，可以明白其他方面。附圖簡(jiǎn)述

圖1是便于將圖形對(duì)象投影到不規(guī)則形狀的顯示器表面上的示例系統(tǒng)的功能框 圖。圖2是便于將圖形對(duì)象投影到不規(guī)則形狀的顯示器表面上的示例系統(tǒng)的功能框 圖。圖3是便于在訪問(wèn)圖形對(duì)象的應(yīng)用程序的運(yùn)行時(shí)對(duì)該圖形對(duì)象進(jìn)行變形的示例 組件的功能框圖。圖4是平面圖形對(duì)象到球的計(jì)算機(jī)實(shí)現(xiàn)的表示上的示例投影的描繪。圖5是平面圖形對(duì)象相對(duì)于球的計(jì)算機(jī)實(shí)現(xiàn)的表示的示例旋轉(zhuǎn)的描繪。圖6是球的計(jì)算機(jī)實(shí)現(xiàn)的表示的三維坐標(biāo)系到投影儀所使用的二維坐標(biāo)系的示 例映射的描繪。圖7是要顯示在球形顯示器上的圖形對(duì)象的示例描繪。圖8是球與二維圓盤(pán)之間的映射的示例描繪。圖9是要顯示在球形顯示器上的圖形對(duì)象的示例描繪。圖10是顯示在球形顯示器上的圖形對(duì)象的示例描繪。圖11是柱狀圖形對(duì)象在球的計(jì)算機(jī)實(shí)現(xiàn)的表示上的示例投影。圖12是用于將圖形對(duì)象投影到不規(guī)則形狀的顯示器上的示例方法的流程圖。圖13是用于將圖形對(duì)象投影到不規(guī)則形狀的顯示器上的示例方法的流程圖。圖14是用于將圖形對(duì)象投影到不規(guī)則形狀的顯示器上的示例方法的流程圖。圖15是示例計(jì)算系統(tǒng)。詳細(xì)描述現(xiàn)在將參考附圖描述涉及在觸摸屏環(huán)境(如多觸摸環(huán)境)中將圖形對(duì)象顯示在不 規(guī)則表面上的各種技術(shù)，全部附圖中相同的參考標(biāo)號(hào)表示相同的元素。另外，本文出于解釋 的目的示出并描述了各示例系統(tǒng)的若干功能框圖；然而可以理解，被描述為由特定系統(tǒng)組 件執(zhí)行的功能可以由多個(gè)組件來(lái)執(zhí)行。類(lèi)似地，例如，一組件可被配置成執(zhí)行被描述為由多 個(gè)組件執(zhí)行的功能。參考圖1，示出了 了便于以在審美上令人滿意的方式將圖像投影到不規(guī)則顯示器 表面上的示例系統(tǒng)100。系統(tǒng)100包括接收合意地顯示在不規(guī)則顯示器表面上的圖形對(duì)象 的接收器組件102。該圖形對(duì)象所基于的數(shù)據(jù)可以是自然形式(非轉(zhuǎn)換形式)。根據(jù)一示
6例，該圖形對(duì)象可被設(shè)計(jì)為如同將要顯示在二維(規(guī)則)顯示器上一樣。該圖形對(duì)象可以 是圖片、視頻、文本、圖標(biāo)、或其他合適的圖形對(duì)象。變形器組件104接收該圖形對(duì)象，并且在用于顯示該圖形對(duì)象的應(yīng)用程序的運(yùn)行 時(shí)對(duì)該圖形對(duì)象進(jìn)行變形。例如，該應(yīng)用程序可以是便于結(jié)合多觸摸功能在不規(guī)則顯示器 表面上顯示和移動(dòng)照片的應(yīng)用程序。變形器組件104可以對(duì)圖形對(duì)象進(jìn)行變形，以使得在 用戶的查看軸與在該圖形對(duì)象的中心處和查看表面相切的平面大約正交時(shí)該圖形對(duì)象在 不規(guī)則顯示器表面上的外觀對(duì)用戶基本上相似，而不論該圖形對(duì)象在該彎曲顯示器表面上 的位置。例如，圖形對(duì)象可包括被合意地看成直線的至少一條線。變形器組件104可以對(duì) 圖形對(duì)象進(jìn)行變形以使得在用戶的查看軸與在該圖形對(duì)象中心處和查看表面相切的平面 大約正交時(shí)該條線對(duì)用戶顯得是直的。根據(jù)一示例，可以使用不規(guī)則顯示器表面106(其可以是彎曲顯示器表面，如基本 上是球形的顯示器)來(lái)向用戶Iio顯示照片108。盡管被示為在本質(zhì)上基本上是球形的，但 可以理解，不規(guī)則顯示器表面106可以是任何合適的彎曲顯示器表面，包括球形的一部分、 拋物線形表面?！白匀弧备袷降恼掌?08在本質(zhì)上可以是矩形，并且因而包括至少四條直線。 然而，缺少其中將照片108合意地顯示在不規(guī)則顯示器表面106上的直線。例如，球形顯示 器表面上沒(méi)有直線。然而，使用適當(dāng)?shù)淖冃危瑥挠脩?10的觀點(diǎn)看(例如，以從照片108在 不規(guī)則顯示器表面106上的中心大約90度)，照片108也可以顯得具有四條直線，即使從不 同的觀點(diǎn)也可查明這些線實(shí)際上在本質(zhì)上是彎曲的。變形器組件104可以在沒(méi)有被用于方 便圖形對(duì)象顯示的應(yīng)用程序的幫助下來(lái)執(zhí)行這一變形。換言之，應(yīng)用程序不必被特別地編 碼成在不規(guī)則顯示器表面上顯示照片108 (例如，同一應(yīng)用程序可以在具有規(guī)則(平面)顯 示器表面的多觸摸環(huán)境中使用)。現(xiàn)在參考圖2，示出了便于相對(duì)于不規(guī)則顯示器表面來(lái)執(zhí)行多觸摸功能的示例系 統(tǒng)200。系統(tǒng)200包括保持一個(gè)或多個(gè)圖形對(duì)象的數(shù)據(jù)存儲(chǔ)202。例如，數(shù)據(jù)存儲(chǔ)202可以 是存儲(chǔ)器，如RAM、ROM、EEPROM等。在另一示例中，數(shù)據(jù)存儲(chǔ)202可以是硬盤(pán)驅(qū)動(dòng)器。接收 器組件102從數(shù)據(jù)存儲(chǔ)202接收至少一個(gè)圖形對(duì)象。變形器組件104在用于顯示該圖形對(duì) 象的應(yīng)用程序的運(yùn)行時(shí)對(duì)該圖形對(duì)象進(jìn)行變形，其中采取這一變形以便以在審美上令人滿 意的方式在不規(guī)則顯示器表面106上顯示該圖形對(duì)象。這一變形在下文更詳細(xì)地描述。投影儀204從變形器組件104接收變形圖像并輸出該變形圖像。如下文詳細(xì)地示 出的，變形圖像可以從投影儀204所使用的投影盤(pán)來(lái)進(jìn)行投影以在表面106上顯示圖形對(duì) 象。在一示例中，可以使用諸如冷光鏡等波長(zhǎng)濾波器206來(lái)反射投影儀204所輸出的光。波 長(zhǎng)濾波器206可被配置成允許諸如紅外光等非可見(jiàn)光從中通過(guò)。波長(zhǎng)濾波器206可由支柱 208定位，支柱208可以是例如3軸支柱。顯示器表面106可包括光圈210，并且廣角鏡頭212可以置于光圈210內(nèi)部。廣角 鏡頭212接收從投影儀204發(fā)出的光，并且因而經(jīng)由顯示器表面106的內(nèi)部將圖像投影到 顯示器表面106的外部。例如，顯示器表面106在本質(zhì)上可以是散射的，從而允許最初接觸 顯示器表面106內(nèi)部的光在顯示器表面106外部上照明，使得用戶可以在顯示器表面106 的外部查看圖像。如上所述，系統(tǒng)200可以在多觸摸環(huán)境中采用。因此，系統(tǒng)200包括便于檢測(cè)顯示 器表面106上的、諸如手指或可反射紅外光的其他物體等構(gòu)件例如在物理上與顯示器表面106相接觸的位置的組件。此外，系統(tǒng)200包括便于在接觸點(diǎn)(例如，顯示器表面106上的 手指)在顯示器表面106上移動(dòng)時(shí)跟蹤該接觸點(diǎn)的組件。具體而言，系統(tǒng)200可包括發(fā)出 通過(guò)顯示器表面106的非可見(jiàn)光(例如，紅外光)的一個(gè)或多個(gè)發(fā)光二極管214。發(fā)光二極 管214以類(lèi)環(huán)方式定位在顯示器表面106的內(nèi)部上的光圈210周?chē)Ｈ绻粯?gòu)件在物理上 與顯示器表面106相接觸，則來(lái)自該構(gòu)件的光被反射并由廣角鏡頭212接收。波長(zhǎng)分頻器 206允許非可見(jiàn)光通過(guò)。檢測(cè)器組件216捕捉通過(guò)波長(zhǎng)濾波器206的非可見(jiàn)光的圖像。例如，檢測(cè)器組件 216可以是或包括紅外照相機(jī)。如果一構(gòu)件與顯示器表面106相接觸，則檢測(cè)器組件216捕 捉到的圖像將包括與大于圖像的其他部分的亮度級(jí)相對(duì)應(yīng)的部分。檢測(cè)器組件216還可跟 蹤接觸點(diǎn)的位置，并將這一信息提供給例如變形器組件104。根據(jù)一示例，檢測(cè)器組件216 可以檢測(cè)到一構(gòu)件同顯示器表面106的與一顯示的圖形對(duì)象相對(duì)應(yīng)的一部分相接觸，并且 檢測(cè)器組件216還可以確定該構(gòu)件在移動(dòng)(從而指示圖形對(duì)象在合意地移動(dòng))。變形器組 件104可以適當(dāng)?shù)貙?duì)圖形對(duì)象進(jìn)行變形，以使得該圖形對(duì)象當(dāng)在顯示器表面106上四處移 動(dòng)時(shí)以在審美上令人滿意的方式來(lái)顯示。系統(tǒng)200還可包括在圖形對(duì)象在顯示器上四處旋轉(zhuǎn)(例如，基于檢測(cè)器組件216 檢測(cè)到的用戶輸入)時(shí)將圖形圖像自動(dòng)地定向到顯示器上的照明器組件218。照明器組 件218可以自動(dòng)地定向圖形對(duì)象，使得圖形對(duì)象以基本上相似的方式來(lái)相對(duì)于顯示器表面 106的極點(diǎn)進(jìn)行定向，而不論圖形對(duì)象在顯示器表面106上的位置。例如，用戶可以將照片 從顯示器表面106的一側(cè)移動(dòng)到顯示器表面106的另一側(cè)。照明器組件218使照片保持定 向，以便其在顯示器表面106的另一側(cè)上相對(duì)于用戶“正面朝上”。盡管系統(tǒng)200中的組件被示為以特定方式來(lái)安排，但可以理解，也構(gòu)想了顯示系 統(tǒng)的其他配置。例如，投影儀204可被配置成將光投影到顯示器表面106的外部(而非如 圖所示的顯示器表面106的內(nèi)部)。在這樣的示例中，顯示器表面106在本質(zhì)上不是鏡面而 是散射面。在另一示例中，并非使用廣角鏡頭來(lái)將圖像投影到顯示器表面106上，而是可將 一個(gè)或多個(gè)鏡子定位在顯示器表面106的內(nèi)部以便于將圖像投影到其上。發(fā)明人也構(gòu)想了 其他配置并且這些配置旨在落入所附權(quán)利要求書(shū)的范圍內(nèi)?，F(xiàn)在參考圖3，示出了變形器組件104的示例描繪。盡管被示為包括多個(gè)組件，但 可以理解，變形器組件104可包括比所示出的變形器組件104所包括的更多或更少組件。此 外，被描述為與一個(gè)組件相對(duì)應(yīng)的功能可以在一個(gè)或多個(gè)不同組件中進(jìn)行組合。在一示例中，變形器組件104接收合意地顯示在不規(guī)則顯示器表面上的圖形對(duì) 象。變形器組件104包括確定圖形對(duì)象相對(duì)于不規(guī)則顯示器表面的所需比例的縮放器組件 302。根據(jù)一示例，不規(guī)則顯示器表面可以是基本上球形的顯示器，并且可以在存儲(chǔ)器中創(chuàng) 建并維持球的表示。這樣的表示可以按照笛卡爾坐標(biāo)、極坐標(biāo)、或其他合適的坐標(biāo)系。當(dāng)然， 也可在存儲(chǔ)器中保持其他不規(guī)則形狀的表示。例如，該表示可以是單位球，并且縮放器組件 302可以確定圖形對(duì)象相對(duì)于該單位球的所需比例。定向器組件304確定圖形對(duì)象在單位球上的所需定向。例如，該定向可以是繞球 的極軸的旋轉(zhuǎn)角。位置確定器組件306確定圖形對(duì)象在單位球上的所需位置。例如，所需 位置可以用緯度/經(jīng)度坐標(biāo)、笛卡爾坐標(biāo)、或其他合適的坐標(biāo)系來(lái)表達(dá)。變形器組件104還可以包括將圖形對(duì)象(根據(jù)縮放器組件302的確定來(lái)縮放的)投影到單位球上(例如，經(jīng)縮放的圖形對(duì)象的各數(shù)據(jù)點(diǎn)被投影到單位球的表示上)的投影 儀組件308。這一投影例如可以在單位球的第一極點(diǎn)處發(fā)生。投影點(diǎn)可以保持在存儲(chǔ)器中。 旋轉(zhuǎn)器組件310可以旋轉(zhuǎn)球，直至圖形對(duì)象如定向器組件304所確定的那樣被定向?yàn)橹?。換 言之，在存儲(chǔ)器中旋轉(zhuǎn)球的表示。定位器組件312可以繞第二軸來(lái)旋轉(zhuǎn)球，以使得圖形對(duì)象 如位置確定器組件306所確定的那樣來(lái)定位。隨后可以將球重新定向并可展平球表示和圖 形對(duì)象，以便得到二維表示。該二維表示隨后可用來(lái)將圖形對(duì)象投影到球形顯示器上。如上所述，在顯示器表面具有與球不同的形狀的情況下，變形器組件104的各組 件的功能可被更改。例如，可以生成任何合適的不規(guī)則形狀的顯示器的3維表示，并將其用 于將圖像顯示在不規(guī)則形狀的顯示器上。此外，可出于易于計(jì)算的目的來(lái)使用單位球。然 而，可以理解，球的表示可以是任何合適的大小。此外，可以理解，圖形對(duì)象可包括組成該圖形對(duì)象的多個(gè)部分(例如，圖形對(duì)象可 由多個(gè)三角形對(duì)象組成)。變形器組件104能以連續(xù)的方式對(duì)圖形對(duì)象中的每一個(gè)三角形 執(zhí)行上述變形。這一變形還可便于在基本上是球形的顯示器上顯示三維圖形對(duì)象?，F(xiàn)在轉(zhuǎn)向圖4，示出了到球的表示上的投影(如圖3的投影儀組件308所采取的投 影)的示例400。在存儲(chǔ)器或其他合適的存儲(chǔ)中維持球402的表示。例如，這樣的表示可以 是由與用于將圖形對(duì)象投影到球形顯示器上的盤(pán)中的像素相對(duì)應(yīng)的各離散點(diǎn)所表示的單 位球?？梢允褂玫芽栕鴺?biāo)系在存儲(chǔ)器中表示該球?；蛘撸梢允褂脴O坐標(biāo)系或其他合適的 坐標(biāo)系。合意地顯示在球形顯示器上的圖形對(duì)象404也駐留在存儲(chǔ)器中。將圖形對(duì)象404 縮放/剪切成相對(duì)于球402的所需大小并將其投影到該球上。這一投影由虛線示出。根據(jù) 一示例，在每次投影圖形對(duì)象時(shí)，其都可以相對(duì)于球402的極點(diǎn)來(lái)進(jìn)行投影。圖形對(duì)象404 的投影可以保持在存儲(chǔ)器中?，F(xiàn)在參考圖5，描繪了示出圖形對(duì)象404的定位(如旋轉(zhuǎn)器組件310和定位組件 312所采取的定位)的示例500。如上所述，圖形對(duì)象404被投影到極點(diǎn)上。球402可以 繞極軸502(例如，Y軸)旋轉(zhuǎn)，直至相對(duì)于該軸合意地定向了圖形對(duì)象404為止。隨后，球 402可以繞第二軸504(例如，X軸504)旋轉(zhuǎn)，直至相對(duì)于該軸合意地定向了圖形對(duì)象404 為止。球402隨后可繞第三軸(例如，Z軸506)旋轉(zhuǎn)，直至合意地在球402上定位了圖形 對(duì)象404為止。例如，圖形對(duì)象404的位置可能不在數(shù)據(jù)方面改變，而球402的定向改變以 將圖形對(duì)象404置于所需位置。如同4所示，極點(diǎn)的初始位置可以存在于第一點(diǎn)處，且極點(diǎn) 的最終位置可以處于完全不同的一點(diǎn)處。本領(lǐng)域技術(shù)人員可以查明可如何操縱數(shù)據(jù)來(lái)表示 這樣的球的旋轉(zhuǎn)以及如何將圖形對(duì)象404與該球進(jìn)行相關(guān)。一旦查明所需位置，則可以將 球402重新定向以將極點(diǎn)置于初始位置并將圖形對(duì)象404置于所需位置?，F(xiàn)在轉(zhuǎn)向圖6，示出了圓盤(pán)600，其是球402的展平描繪(如展平器組件314所采取 的展平)。將球402和圖形對(duì)象404的三維表示展平以創(chuàng)建圓盤(pán)600，其包括圖形對(duì)象404 的變形。在將圓盤(pán)602投影到球形顯示器上時(shí)，圖形對(duì)象404以在審美上令人滿意的方式 表現(xiàn)給球形顯示器的用戶。應(yīng)該注意，不必對(duì)圖形對(duì)象404進(jìn)行多次重新采樣來(lái)將圖形對(duì)象404顯示在不規(guī) 則顯示器表面上。即使在交互式環(huán)境中也是如此。此外，在交互式環(huán)境中，例如當(dāng)圖形對(duì)象 在球形顯示器上合意地移動(dòng)時(shí)，不必將該圖形對(duì)象重新投影(例如，通過(guò)投影儀組件308)， 除非這一對(duì)象被重新縮放。此外，可以使用專(zhuān)用3D圖形系統(tǒng)/框架來(lái)執(zhí)行被描述成由變形器組件104所執(zhí)行的操作?，F(xiàn)在參考圖7，示出了投影儀用來(lái)將圖形對(duì)象投影到球形顯示器上的圓盤(pán)上的圖 形對(duì)象的示例屏幕截圖700?？梢岳斫?，所描繪的各圖形對(duì)象都在圓盤(pán)上被變形。然而，當(dāng) 顯示在球形顯示器上時(shí)，當(dāng)從與彎曲顯示器表面上的所顯示的圖形對(duì)象的中心處的切平面 大約正交的查看軸來(lái)查看時(shí)，這些圖形對(duì)象維持它們的矩形形狀。現(xiàn)在轉(zhuǎn)向圖8，示出了球802的表示和要被投影到球形顯示器上的二維圓盤(pán)804之 間的示例映射800。例如，數(shù)據(jù)在三維坐標(biāo)系中的投影可被展平成平面徑向圖像，以供投影 儀通過(guò)廣角鏡頭來(lái)對(duì)圖像進(jìn)行投影。具體而言，球802的頂部映射到二維圓盤(pán)804的中心， 并且距該二維圓盤(pán)的中心的距離與球802上的點(diǎn)的高度相對(duì)應(yīng)。映射可以一次性確定并隨 后用于基本上類(lèi)似大小的球形顯示器。現(xiàn)在參考圖9，示出了圖7中描繪的圖形對(duì)象的示例屏幕截圖900?？梢圆槊鳎瑘D形 對(duì)象被分成方格以便于將這些圖像顯示在球形顯示器上。更具體地，可以使用頂點(diǎn)著色器 應(yīng)用程序來(lái)計(jì)算徑向圖像中的每一頂點(diǎn)在每一幀處的位置。然而，可以理解，構(gòu)想了用于在 彎曲(例如，球形)顯示器上顯示圖像的其他機(jī)制。根據(jù)一示例，可以使用像素著色器應(yīng)用 程序，其中(代替更改三角形頂點(diǎn)的位置)可以更改每一像素的位置來(lái)顯示圖形對(duì)象。如 上所述，變形器組件104(圖1)能以連續(xù)的方式對(duì)圖形對(duì)象的每一個(gè)三角形頂點(diǎn)進(jìn)行變形?？梢允褂酶鞣N數(shù)據(jù)坐標(biāo)系來(lái)創(chuàng)建用于顯示在球形顯示器上的內(nèi)容。例如，可以使 用投影徑向圓盤(pán)圖像的二維坐標(biāo)系來(lái)生成背景紋理。在另一示例中，如以下將示出的，可以 執(zhí)行圓柱投影，其中圖形在二維平面(圓柱地圖)中生成并隨后被映射到球。在又一示例 中，可以用三維笛卡爾坐標(biāo)來(lái)創(chuàng)作內(nèi)容，其中所有圖形對(duì)象都位于以原點(diǎn)為中心的球(例 如，單位球)上。在又一示例中，在任何給定點(diǎn)處的球可被認(rèn)為是平的，并且因而可以用二 維來(lái)設(shè)計(jì)圖形用戶界面的一小部分并隨后將其從三角形平面投影到三維球形表面上的點(diǎn)?，F(xiàn)在參考圖10，示出了正在顯示多個(gè)圖形對(duì)象的示例球形顯示器的照片1000。這 樣的球形對(duì)象是合意地顯示成矩形的圖像。對(duì)這些圖像進(jìn)行變形，使得在查看圖形對(duì)象的 用戶的查看軸與在該圖形對(duì)象的中心處和彎曲顯示器表面相切的平面大約正交時(shí)各條線 看起來(lái)是直的?，F(xiàn)在轉(zhuǎn)向圖11，示出了將圖形圖像投影到球形顯示器上的另一示例方式1100。在 一些情況下，需要執(zhí)行圓柱投影，例如在使用360度照相機(jī)、攝像機(jī)等時(shí)。球1102的表示可 由圓柱圖形對(duì)象1104包圍。隨后將這樣的圖形對(duì)象投影到球1102上。該投影可與以上描 述的投影相類(lèi)似，或可以定向到球1102的中心。如上所述，球1102隨后繞不同的軸來(lái)旋轉(zhuǎn) 以將圖形對(duì)象置于相對(duì)于球1102的所需位置?，F(xiàn)在參考圖12-14，示出并描述了各示例方法。盡管各方法被描述為順序地執(zhí)行的 一系列動(dòng)作，但可以理解，這些方法不受該順序的次序的限制。例如，一些動(dòng)作能以與本文 描述的不同的次序發(fā)生。另外，動(dòng)作可以與另一動(dòng)作同時(shí)發(fā)生。此外，在一些情況下，實(shí)現(xiàn) 本文描述的方法并不需要所有動(dòng)作。此外，本文描述的動(dòng)作可以是可由一個(gè)或多個(gè)處理器實(shí)現(xiàn)的和/或存儲(chǔ)在一個(gè)或 多個(gè)計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)可執(zhí)行指令。計(jì)算機(jī)可執(zhí)行指令可包括例程、子例程、程 序、執(zhí)行的線程等。另外，這些方法的動(dòng)作的結(jié)果可以存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中，顯示在顯 示設(shè)備上，等等。
具體參考圖12，示出了用于在不規(guī)則顯示器表面上顯示圖形對(duì)象的方法。方法 1200在1202處開(kāi)始，并在1204處接收?qǐng)D形對(duì)象。例如，彎曲顯示器表面可以是基本上是球 形的顯示器表面。在1206，在運(yùn)行時(shí)對(duì)圖形對(duì)象進(jìn)行預(yù)先變形。例如，這樣的預(yù)先變形可包括本文所 描述的縮放/剪切、投影、旋轉(zhuǎn)、以及展平的動(dòng)作。對(duì)圖形對(duì)象進(jìn)行預(yù)先變形，以使得在從與 在該圖形對(duì)象當(dāng)被顯示時(shí)的大約中心處和完全顯示器表面相切的平面大約正交的查看軸 查看時(shí)，該圖形對(duì)象在彎曲顯示器表面上的外觀對(duì)用戶基本上相似，而不論圖形對(duì)象在彎 曲顯示器表面上的位置。在1208，將圖形對(duì)象顯示在彎曲顯示器表面上。方法1200在1210完成。方法1200可例如在多觸摸交互式環(huán)境中使用。此外，可以在彎曲顯示器表面上顯 示多個(gè)圖形對(duì)象?，F(xiàn)在參考圖13，示出了用于將圖形對(duì)象投影到球形顯示器上的方法1300。例如， 可以在交互式多觸摸環(huán)境中使用的應(yīng)用程序的運(yùn)行時(shí)采取方法1300。方法1300在1302開(kāi)始，并且在1304縮放或剪切合意地顯示在基本上是球形的顯 示器上的圖形對(duì)象。例如，圖形對(duì)象在本質(zhì)上可以是平面的，并且可以相對(duì)于存儲(chǔ)器中的球 的表示來(lái)進(jìn)行縮放。在另一示例中，可以剪切圖形對(duì)象。在1306，將經(jīng)縮放/剪切的圖形對(duì)象投影到存儲(chǔ)器中的球的表示上。在1308，在存 儲(chǔ)器中將球的表示繞一個(gè)或多個(gè)軸進(jìn)行旋轉(zhuǎn)以將圖形對(duì)象置于該球的表示的所需位置上。在1310，將球的表示和圖形對(duì)象展平。例如，將球的表示和圖形對(duì)象的坐標(biāo)映射到 投影儀所使用的坐標(biāo)系。動(dòng)作1310可以涉及將分成方格的圖形對(duì)象的特定頂點(diǎn)從球的表 示上的3維坐標(biāo)轉(zhuǎn)換成所呈現(xiàn)的圖像上的二維位置，該所呈現(xiàn)的圖像隨后可由投影儀來(lái)顯
7J\ ο在1312，將展平的球投影到物理球形顯示器上。方法1300然后在1314完成。現(xiàn)在參考圖14，示出了便于將圖形對(duì)象投影到球形顯示器上的方法1400。方法 1400在1402處開(kāi)始，并在1404處接收自然格式的圖形對(duì)象。例如，圖形對(duì)象可以是平面對(duì) 象，如照片、視頻、文本等，并且可以與二維坐標(biāo)系相關(guān)聯(lián)。在另一示例中，圖形對(duì)象可以是 合意地投影到球形顯示器上的三維對(duì)象(例如，用笛卡爾坐標(biāo)定義的)。在1406，在交互式多觸摸環(huán)境中使用的應(yīng)用程序的運(yùn)行時(shí)對(duì)圖形對(duì)象進(jìn)行變形。 在1408，將圖形對(duì)象投影到多觸摸裝置的球形顯示器。方法1400然后在1410完成?，F(xiàn)在參考圖15，示出了可以根據(jù)本文公開(kāi)的系統(tǒng)和方法使用的示例計(jì)算設(shè)備 1500的高級(jí)圖示。例如，計(jì)算設(shè)備1500可在交互式多觸摸環(huán)境中使用。在另一示例中，計(jì) 算設(shè)備1500可以是三維圖形框架的一部分。計(jì)算設(shè)備1500包括執(zhí)行存儲(chǔ)在存儲(chǔ)器1504 中的指令的至少一個(gè)處理器1502。這些指令可以是例如用于實(shí)現(xiàn)被描述為由上述一個(gè)或多 個(gè)組件執(zhí)行的功能的指令或用于實(shí)現(xiàn)上述方法中的一個(gè)或多個(gè)的指令。處理器1502可以 通過(guò)系統(tǒng)總線1506訪問(wèn)存儲(chǔ)器。除存儲(chǔ)可執(zhí)行指令之外，存儲(chǔ)器1504還可以存儲(chǔ)圖形對(duì) 象，如文本串、照片、視頻等。計(jì)算設(shè)備1500另外包括可由處理器1502通過(guò)系統(tǒng)總線1506訪問(wèn)的數(shù)據(jù)存儲(chǔ) 1508。數(shù)據(jù)存儲(chǔ)1508可包括可執(zhí)行指令、圖形對(duì)象，圖形對(duì)象諸如照片、視頻、文本串等。計(jì) 算設(shè)備1500還包括允許外部設(shè)備與計(jì)算設(shè)備1500進(jìn)行通信的輸入接口 1510。例如，輸入接口 1510可用于從用戶接收?qǐng)D形對(duì)象、命令等。計(jì)算設(shè)備1500還包括將計(jì)算設(shè)備1500與 一個(gè)或多個(gè)外部設(shè)備進(jìn)行接口的輸出接口 1512。例如，計(jì)算設(shè)備1500可以通過(guò)輸出接口 1512顯示圖形對(duì)象。另外，盡管被示為單個(gè)系統(tǒng)，但可以理解，計(jì)算設(shè)備1500可以是分布式系統(tǒng)環(huán) 境。因此，例如，若干設(shè)備可以通過(guò)網(wǎng)絡(luò)連接進(jìn)行通信并且可共同執(zhí)行被描述為由計(jì)算設(shè)備 1500執(zhí)行的任務(wù)。如此處所使用的，術(shù)語(yǔ)“組件”和“系統(tǒng)”旨在涵蓋硬件、軟件、或硬件和軟件的組 合。因此，例如，系統(tǒng)或組件可以是進(jìn)程、在處理器上執(zhí)行的進(jìn)程、或處理器。另外，組件或 系統(tǒng)可以位于單個(gè)設(shè)備上或分布在若干設(shè)備之間。注意，出于解釋目的提供了若干示例。這些示例不應(yīng)被解釋為限制所附權(quán)利要求 書(shū)。另外，可以認(rèn)識(shí)到，本文提供的示例可被改變而仍然落入權(quán)利要求的范圍內(nèi)。
權(quán)利要求
一種用于將圖像顯示在彎曲顯示器表面上的方法，包括接收?qǐng)D形對(duì)象；在運(yùn)行時(shí)對(duì)所述圖形對(duì)象進(jìn)行變形，以使得當(dāng)在與在所述圖形對(duì)象的中心處和所述彎曲顯示器表面相切的平面大約正交的查看軸查看時(shí)，所述圖形對(duì)象在所述彎曲顯示器表面上的外觀將基本上相似，而不論所述圖形對(duì)象在所述彎曲顯示器表面上的位置；以及將所述圖形對(duì)象顯示在所述彎曲顯示器表面上。
2.如權(quán)利要求1所述的方法，其特征在于，所述圖形對(duì)象是矩形的，并且其中對(duì)所述圖 形對(duì)象進(jìn)行變形以使得當(dāng)在與在所述圖形對(duì)象的中心處和所述彎曲顯示器表面相切的平 面大約正交的查看軸查看時(shí)所述圖形對(duì)象的各條線在所述彎曲顯示器表面上顯得是直的。
3.如權(quán)利要求1所述的方法，其特征在于，所述圖形對(duì)象被分成方格。
4.如權(quán)利要求1所述的方法，其特征在于，所述圖形對(duì)象包括文本。
5.如權(quán)利要求1所述的方法，其特征在于，所述彎曲顯示器表面是基本上是球形的表 面，并且其中所述變形動(dòng)作包括確定所述圖形對(duì)象相對(duì)于球的表示的比例； 確定所述圖形對(duì)象相對(duì)于所述球的表示的所需定向； 確定所述圖形對(duì)象相對(duì)于所述球的表示的所需位置；相對(duì)于所述球的表示來(lái)定向所述圖形對(duì)象，使得所述圖形對(duì)象的中心與所述球的表示 的極點(diǎn)相對(duì)應(yīng)；將所述圖形對(duì)象投影到所述球的表示上；旋轉(zhuǎn)所述球的表示，以便根據(jù)所述所需位置來(lái)定位所述圖形對(duì)象；以及 將所述球形表示和所述圖形對(duì)象展平在要投影到所述基本上是球形的顯示器表面上 的圓盤(pán)上。
6.如權(quán)利要求1所述的方法，其特征在于，所述動(dòng)作是在交互式觸摸屏環(huán)境中執(zhí)行的。
7.如權(quán)利要求6所述的方法，其特征在于，所述動(dòng)作是在交互式多觸摸環(huán)境中執(zhí)行的。
8.如權(quán)利要求1所述的方法，其特征在于，還包括通過(guò)一構(gòu)件與所述彎曲顯示器表面進(jìn)行物理接觸來(lái)接收用戶輸入；以及 至少部分地基于所述用戶輸入來(lái)顯示所述圖形對(duì)象。
9.如權(quán)利要求1所述的方法，其特征在于，所述圖形對(duì)象是包括若干其他圖形對(duì)象的 較大圖形對(duì)象的一部分，并且其中所述變形和顯示的動(dòng)作是針對(duì)所述較大圖形對(duì)象中的每 一圖形對(duì)象來(lái)執(zhí)行的。
10.一種便于將圖像投影到彎曲顯示器表面上的系統(tǒng)，包括接收器組件，所述接收器組件接收要在多觸摸交互式環(huán)境中被顯示在所述彎曲顯示器 表面上的圖形對(duì)象；以及變形器組件，所述變形器組件在使用所述圖形對(duì)象的應(yīng)用程序的運(yùn)行時(shí)對(duì)所述圖形對(duì) 象進(jìn)行變形。
11.如權(quán)利要求10所述的系統(tǒng)，其特征在于，還包括投影儀，所述投影儀將所述至少一 個(gè)圖形對(duì)象投影到所述彎曲顯示器表面上。
12.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述彎曲顯示器表面是基本上是球形的 顯不器。
13.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述圖形對(duì)象是平面圖形對(duì)象或三維圖 形對(duì)象之一。
14.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述彎曲顯示器表面基本上是球形的，并 且還包括縮放器組件，所述縮放器組件確定所述圖形對(duì)象相對(duì)于球的表示的所需比例；定向器組件，所述定向器組件確定所述圖形對(duì)象相對(duì)于所述球的表示的所需定向；以及位置確定器組件，所述位置確定器組件確定所述球的表示上的與在所述彎曲顯示器表 面上合意地顯示所述圖形對(duì)象的位置相對(duì)應(yīng)的位置，其中所述變形器組件至少部分地基于 所確定的比例、所確定的定向、以及所確定的位置來(lái)在使用所述圖形對(duì)象的應(yīng)用程序的運(yùn) 行時(shí)對(duì)所述圖形對(duì)象進(jìn)行變形。
15.如權(quán)利要求14所述的系統(tǒng)，其特征在于，還包括照明器組件，所述照明器組件根據(jù)所述圖形對(duì)象在所述球的表示上的所需定向來(lái)定向 所述圖形對(duì)象；投影儀組件，所述投影儀組件將所述圖形對(duì)象投影到所述球的表示上；旋轉(zhuǎn)器組件，所述旋轉(zhuǎn)器組件旋轉(zhuǎn)所述球的表示，直至所述圖形對(duì)象處于所需位置為 止；以及展平器組件，所述展平器組件將所述計(jì)算機(jī)實(shí)現(xiàn)的顯示器表面展平到要被投影儀投影 到所述彎曲顯示器表面上的投影盤(pán)上。
16.如權(quán)利要求10所述的系統(tǒng)，其特征在于，還包括檢測(cè)器組件，所述檢測(cè)器組件檢測(cè) 所述彎曲顯示器表面上的、一構(gòu)件在物理上與所述彎曲顯示器表面相接觸的位置，其中所 述變形器組件至少部分地基于所檢測(cè)到的位置來(lái)對(duì)所述圖形對(duì)象進(jìn)行變形。
17.如權(quán)利要求16所述的系統(tǒng)，其特征在于，所述檢測(cè)器組件檢測(cè)多個(gè)構(gòu)件與所述彎 曲顯示器表面的物理接觸的多個(gè)位置。
18.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述彎曲顯示器表面是基本上是球形的 顯示器表面，并且還包括照明器組件，所述照明器組件自動(dòng)地定向所述圖形對(duì)象以使得所 述圖形對(duì)象以基本上相似的方式來(lái)相對(duì)于所述球形顯示器表面的極點(diǎn)進(jìn)行定向，而不論所 述圖形對(duì)象在所述球形顯示器表面上的位置。
19.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述圖形對(duì)象是包括多個(gè)圖形對(duì)象的較 大圖形對(duì)象的一部分，并且其中所述變形器組件在所述應(yīng)用程序的運(yùn)行時(shí)對(duì)所述較大圖形 對(duì)象中的每一圖形對(duì)象進(jìn)行變形。
20.一種便于在交互式多觸摸環(huán)境中進(jìn)行圖像投影的系統(tǒng)，包括基本上是球形的顯示器，其中所述基本上是球形的顯示器包括光圈、內(nèi)部、和外部；位于所述光圈中的廣角鏡頭；包括圖形對(duì)象的數(shù)據(jù)存儲(chǔ)，其中所述圖形對(duì)象包括在所述基本上是球形的顯示器上被 合意地看作直線的至少一條線；變形器組件，所述變形器組件在使用所述對(duì)象的應(yīng)用程序的運(yùn)行時(shí)對(duì)所述圖形對(duì)象進(jìn) 行變形，其中所述變形器組件對(duì)所述圖形對(duì)象進(jìn)行變形以使得所述至少一條線將在所述基 本上是球形的顯示器上被顯示成在以自所述圖形對(duì)象的中心大約90度角查看時(shí)該線基本上是直線；以及投影儀，所述投影儀將所述至少一個(gè)圖形對(duì)象投影到所述基本上是球形的顯示器上， 使得所述圖形對(duì)象的所述至少一條線被顯示成在以自所述圖形對(duì)象的中心大約90度角查 看時(shí)基本上是直線。
全文摘要
本文描述了一種用于將圖像顯示在彎曲顯示器表面上的方法。該方法包括接收?qǐng)D形對(duì)象，并在運(yùn)行時(shí)對(duì)該圖形對(duì)象進(jìn)行變形以使得當(dāng)在與在該圖形對(duì)象的中心處和彎曲顯示器表面相切的平面大約正交的查看軸查看時(shí)，該圖形對(duì)象在彎曲顯示器表面上的外觀將基本上相似，而不論該圖形對(duì)象在彎曲顯示器表面上的位置。該方法還包括將圖形對(duì)象顯示在彎曲顯示器表面上。
文檔編號(hào)G06F3/14GK101925874SQ200880125597
公開(kāi)日2010年12月22日 申請(qǐng)日期2008年12月23日 優(yōu)先權(quán)日2008年1月25日
發(fā)明者A·威爾遜, H·本克 申請(qǐng)人:微軟公司