使用視覺逼真的對象顯示的制作方法
【專利說明】使用視覺逼真的對象顯示
[0001]背景
[0002]常規(guī)遙現(xiàn)應(yīng)用和虛擬環(huán)境對這些應(yīng)用的用戶而言通常實質(zhì)上被感受為是人造的。例如，一些常規(guī)虛擬現(xiàn)實應(yīng)用需要將傳感器附連到用戶，包括頭戴式顯示器、檢測用戶的頭部或身體的其他部分的運動的加速度計，等等。這可造成對用戶而言虛擬環(huán)境感覺不自然。類似地，常規(guī)遙現(xiàn)應(yīng)用在以下方面是不足的:向其用戶提供了不自然的通信，因為遙現(xiàn)應(yīng)用的參與者的視頻通常包括扭曲的圖像和/或被縮放來適合在顯示屏上的圖像。此外，對于其中兩個用戶正通過顯示屏和相關(guān)聯(lián)的相機(jī)進(jìn)行通信的遙現(xiàn)應(yīng)用，這些相機(jī)通常從顯示屏偏移開，使得遙現(xiàn)應(yīng)用中的第一參與者具有另一參與者沒有看向第一參與者的臉的感覺；因此，參與者之間的通信可能會感覺不自然。
[0003]隨著顯示屏的大小持續(xù)增加，且相關(guān)聯(lián)的成本持續(xù)降低，上述問題將被強(qiáng)化。例如，對于墻大小的顯示器(例如，具有若干英尺的屏幕對角線長度的顯示器)，利用常規(guī)方法，該顯示器的觀看者經(jīng)由遙現(xiàn)應(yīng)用與其通信的人的臉可能有若干英尺高和/或?qū)?。類似地，使用常?guī)顯示技術(shù)顯示在這樣的顯示器上的對象可被呈現(xiàn)成具有不反映對象的實際大小的大小。
[0004]概述
[0005]以下是在本文更詳細(xì)描述的主題的簡要概述。本概述不旨在成為關(guān)于權(quán)利要求的范圍的限制。
[0006]本文描述了與使用視覺逼真(例如，從顯示屏的觀看者的視角來看，與對象的1:1對應(yīng)比例/定向)在顯示屏上顯示對象有關(guān)的各種技術(shù)。使用視覺逼真在顯示屏上顯示對象可通過確定顯示屏的觀看者的位置(例如，相對于顯示屏上的參考點)并進(jìn)一步確定觀看者的眼睛的注視方向來實現(xiàn)?；谟^看者的位置和眼睛的注視方向，在顯示屏上列出的對象的表示可具有1:1對應(yīng)比例，且在顯示屏上以適當(dāng)定向被顯示給觀看者。因而，觀看者可感覺顯示屏是窗口，其中所表示的對象在窗口的另一側(cè)，因為所表示的對象以因變于觀看者的眼睛相對于對象的位置以及觀看者的注視方向的定向和比例來顯示。在一示例性實施例中，觀看者可改變她的位置和/或注視方向以在不同的視角查看對象和/或查看不能從先前位置/注視方向看到的影像。同樣，這類似于觀看者通過窗口窺視，使得隨著觀看者改變她的位置和注視，呈現(xiàn)給觀看者的影像同樣改變。
[0007]為了實現(xiàn)上述方案，如上所述，觀看者的眼睛相對于顯示屏上的參考點的位置和觀看者的注視方向(例如，仰角和方位角)可被計算。在一示例性實施例中，傳感器或傳感器陣列可被配置成輸出指示觀看者的眼睛在三維坐標(biāo)系中的位置和/或觀看者的注視方向的數(shù)據(jù)。例如，傳感器或傳感器陣列可以是或包括攝像機(jī)、紅外相機(jī)、深度傳感器等。可以理解，這樣的傳感器本質(zhì)上是非侵入式的，因為用戶不需要佩戴附加硬件或手動指示她的位置或注視方向。要呈現(xiàn)在顯示屏上的圖形對象的表示隨后可基于所確定的觀看者的眼睛在三維坐標(biāo)系中的位置以及所確定的觀看者的眼睛的注視方向來被輸出。因此，從觀看者的視角，圖形對象的表示被使用視覺逼真顯示在顯示屏上一一具有如同觀看者正在通過窗口查看對象(而非在顯示屏上查看對象的表示)的比例和視角。
[0008]在一示例性實施例中，顯示在顯示屏上的所表示的對象可以是或包括編程圖形對象(例如，虛擬對象)。例如，三維虛擬對象可被保持在計算機(jī)可讀存儲器中，并且可因變于觀看者的眼睛在三維坐標(biāo)系中的位置以及觀看者的注視方向來被渲染在顯示屏上。例如，雜貨店的虛擬過道可被顯示在顯示屏上，其中虛擬過道包括多個虛擬物品(例如，一加侖牛奶、一盒果汁，等等)。虛擬物品可以是編程物品，因為它們是雜貨店物品的預(yù)編程表示。然而，在被顯示給用戶時，虛擬物品可以用視覺逼真來顯示。
[0009]在另一示例性實施例中，所表示的對象可以是由若干相機(jī)(例如，攝像機(jī))捕捉的對象的融合視圖。例如，多個攝像機(jī)可被定位以捕捉對象的各重疊視圖，從而在不同視角捕捉對象的各視圖。基于所確定的觀看者的眼睛在三維坐標(biāo)系中的位置以及所確定的觀看者的注視方向，對象的不同圖像的各部分可被縫合在一起并在顯示屏上用視覺逼真顯示給觀看者。因而，所表示的對象的定向和比例可隨觀看者的眼睛的位置和/或觀看者的注視方向的變化而實時更新。
[0010]在另一示例中，遙現(xiàn)應(yīng)用可被配置成采用本文描述的技術(shù)。在這樣的應(yīng)用中，第一人和第二人通過第一顯示器和第二顯示器來彼此通信。第一攝像機(jī)陣列中的攝像機(jī)可以捕捉第一人的相應(yīng)圖像，且第二攝像機(jī)陣列中的攝像機(jī)可以捕捉第二人的圖像。第一人的眼睛在第一三維坐標(biāo)系中的位置以及第一人的眼睛的注視方向被確定。來自第二相機(jī)陣列的圖像可基于第一人的眼睛的上述位置和注視方向被處理以供顯示在第一顯示器上，使得在第一人看向第一顯示器上的第二人的表示時，用視覺逼真來顯示第二人的表示(例如，如同第一人正在通過玻璃窗看向第二人)。同樣，第二人的眼睛在三維坐標(biāo)系中的位置和第二人的眼睛的注視方向可被確定，且來自第一相機(jī)陣列的圖像可被處理以供顯示在第二顯示器上，其中圖像基于第二人的眼睛的位置和注視方向被處理。因而，在第二人查看第二顯示器上的第一人的表示時，向第二人示出了視覺逼真(例如，如同第二人正在通過玻璃窗看向第一人)。
[0011]以上概述呈現(xiàn)了簡化概述，以提供對本文討論的系統(tǒng)和/或方法的一些方面的基本理解。本概述并不是對此處所討論的系統(tǒng)和/或方法的全面綜述。并不旨在標(biāo)識關(guān)鍵/重要元素，也不描繪這樣的系統(tǒng)和/或方法的范圍。其唯一目的是以簡化形式呈現(xiàn)一些概念，作為稍后呈現(xiàn)的更詳細(xì)說明的序言。
[0012]附圖簡述
[0013]圖1是促進(jìn)使用視覺逼真在顯示器上呈現(xiàn)對象的表示的示例性系統(tǒng)的功能框圖。
[0014]圖2解說了被采用來從不同視角捕捉對象的圖像的相機(jī)陣列。
[0015]圖3解說了可促進(jìn)遙現(xiàn)應(yīng)用的示例性顯示器。
[0016]圖4解說了捕捉對象的圖像的多個相機(jī)，其中對象的表示要用視覺逼真在顯示屏上顯示給觀看者。
[0017]圖5解說了促進(jìn)遙現(xiàn)應(yīng)用的示例性系統(tǒng)，其中第一人和第二人通過遙現(xiàn)應(yīng)用彼此通信，并且其中用視覺逼真向第一人和第二人呈現(xiàn)了另一人的表示。
[0018]圖6解說了其中在顯示器上示出的所表示的對象因變于觀看者的檢測到的移動來更改的示例性系統(tǒng)。
[0019]圖7解說了配置成使用視覺逼真在其顯示屏上向該顯示屏的觀看者顯示所表示的對象的示例性移動計算設(shè)備。
[0020]圖8是解說用于以使得用視覺逼真來將對象顯示給觀看者的視角和比例在顯示屏上顯示對象的表示的示例性方法的流程圖。
[0021]圖9是解說用于計算對象的表示的定向和比例以使得用視覺逼真在顯示屏上將對象的表示呈現(xiàn)給觀看者的示例性方法的流程圖。
[0022]圖10是不例性計算系統(tǒng)。
[0023]詳細(xì)描述
[0024]現(xiàn)在參照附圖來描述涉及用視覺逼真在顯示器上將圖形對象的表示呈現(xiàn)給觀看者的各種技術(shù)，其中在全部附圖中相同的附圖標(biāo)記用于指代相同的元素。在以下描述中，為解釋起見，闡明了眾多具體細(xì)節(jié)以提供對一個或多個方面的全面理解。然而，顯然這(些)方面可以在沒有這些具體細(xì)節(jié)的情況下實施。在其他實例中，以框圖形式示出公知的結(jié)構(gòu)和設(shè)備以便于描述一個或多個方面。另外，要理解，被描述為由特定系統(tǒng)組件執(zhí)行的功能性可由多個組件執(zhí)行。類似地，例如，一組件可被配置成執(zhí)行被描述為由多個組件實現(xiàn)的功會泛。
[0025]此外，術(shù)語“或”意指包括性“或”而非排斥性“或”。即，除非另有指定或從上下文顯而易見，否則短語“X采用A或B”意指任何自然的包括性排列。S卩，短語“X采用A或B”箱由以下實例中任何實例得到滿足:X米用A ；X米用B ;或X米用A和B兩者。另外，本申請和所附權(quán)利要求書中所使用的冠詞“一”和“一種” 一般應(yīng)被解釋為是指“一個或多個”，除非另有指定或從上下文可以清楚指的是單數(shù)形式。
[0026]此外，如本文所使用的，術(shù)語“組件”和“系統(tǒng)”旨在包含用使得在被處理器執(zhí)行時執(zhí)行特定功能性的計算機(jī)可執(zhí)行指令配置的計算機(jī)可讀數(shù)據(jù)存儲。計算機(jī)可執(zhí)行指令可包括例程、功能等等。還要理解組件或系統(tǒng)可以位于單個設(shè)備上或跨若干設(shè)備分布。另外，如此處所用的，術(shù)語“示例性”旨在表示用作某些事物的圖示或示例，而不意圖指示優(yōu)選。
[0027]現(xiàn)在參考圖1，解說了促進(jìn)用視覺逼真將圖形對象顯示給觀看者的示例性系統(tǒng)100。系統(tǒng)100包括配置成將圖像數(shù)據(jù)呈現(xiàn)給觀看者104的顯示屏102。顯示屏102可以是電視機(jī)、計算機(jī)監(jiān)視器、移動計算設(shè)備(如平板(板式)計算設(shè)備、平板手機(jī)(例如，組合電話/平板)、移動電話等)的顯示器的一部分。在另一示例性實施例中，顯示屏102可以是相對大的顯示屏，如可以在博物館、游樂園等中找到，并且可能容易地可供在家庭環(huán)境中使用。因而，例如，顯示屏102可具有至少70英尺長的屏幕對角線，但可大得多(例如，屏幕對角線可以是數(shù)十英尺長)。如將在本文更詳細(xì)地描述的，在一示例性實施例中，顯示屏102是半透明顯示屏，如透明有機(jī)發(fā)光二極管(0LED)顯示器。
[0028]系統(tǒng)100還包括配置成輸出指示觀看者104的