提供增強現(xiàn)實的方法和設備的制作方法
【專利摘要】本發(fā)明提供一種增強現(xiàn)實提供方法和設備，包括配置成匹配擋風玻璃的平視顯示器區(qū)域和輸入圖像，并把匹配圖像中，信息量最小的區(qū)域確定為顯示虛擬信息的顯示窗口的位置的控制器。另外，控制器被配置成在所確定的位置，輸出虛擬信息。
【專利說明】提供增強現(xiàn)實的方法和設備
[0001]相關(guān)申請的引用
[0002]本申請要求2012年12月5日向韓國知識產(chǎn)權(quán)局提交的韓國專利申請N0.10-2012-0140586的優(yōu)先權(quán)，該申請的整個內(nèi)容在此引為參考。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及提供增強現(xiàn)實的方法和設備。更特別地，本發(fā)明涉及檢測標記，并在增強現(xiàn)實環(huán)境內(nèi)顯示信息的方法和設備。
【背景技術(shù)】
[0004]增強現(xiàn)實是通過在用戶看到的真實世界圖像中增加虛擬信息，例示一個圖像的虛擬現(xiàn)實技術(shù)。這種增強現(xiàn)實用在許多領(lǐng)域，比如教育、游戲和廣告中。為了顯示虛擬信息，增強現(xiàn)實檢測真實世界的素材，或者利用具有特殊信息的標記。增強現(xiàn)實提供其中通過合成在被檢對象的位置的虛擬信息和標記，虛擬素材存在于真實世界中的效果。然而，這種方法取決于標記或素材在圖像內(nèi)的位置。即，當檢測標記時，現(xiàn)有技術(shù)只在對應位置表現(xiàn)信息。
[0005]此外，當把增強現(xiàn)實應用于車輛時，檢測到的標記被表現(xiàn)在行駛路線上的位置，從而駕駛員的視野受到干擾。特別地，當要在屏幕上表現(xiàn)大量信息時，歸因于在合成的圖像中表現(xiàn)的虛擬信息，當用戶獲得真實世界的信息時所需的視野安全性受到限制。例如，當車輛停在十字路口，并且前方的建筑物是興趣點(POI)，從而在前方的建筑物顯示標記時，視線會被所述標記遮擋。在這種情況下，駕駛員應關(guān)閉POI信息，或者強制把標記移動到另一個地方。這樣，當手動設置位置時，會分散駕駛員駕駛車輛的注意力。
[0006]本節(jié)中公開的上述信息只是用于增進對本發(fā)明背景的理解，于是它可能包含不構(gòu)成在本國已為本領(lǐng)域的普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提供一種通過根據(jù)位置，自動搜索使信息量最小的位置，以使駕駛員可以確保視野，并通過借助于分析輸入成像裝置(例如，照相機)的現(xiàn)場圖像，根據(jù)屏幕內(nèi)的位置分析信息量，提供具有顯示虛擬信息的優(yōu)點的增強現(xiàn)實的方法和設備。
[0008]本發(fā)明的例證實施例提供一種安裝在車輛內(nèi)的增強現(xiàn)實提供設備的增強現(xiàn)實提供的方法，包括:由增強現(xiàn)實提供設備上的控制器，匹配擋風玻璃的平視顯示器區(qū)域和輸入圖像；由控制器，把匹配圖像中，信息量最小的區(qū)域確定為顯示虛擬信息的顯示窗口的位置；和由控制器，在所確定的位置輸出虛擬信息。
[0009]由控制器確定區(qū)域可包括判定在匹配圖像中，是否包括與虛擬信息相關(guān)的標記；當在匹配圖像中，包括與虛擬信息相關(guān)的標記時，把匹配圖像中，可顯示虛擬信息的區(qū)域分成多個子塊；基于所述多個子塊，計算信息量；在所述多個子塊中，搜索信息量最小的位置；和把信息量最小的位置確定為顯示窗口的位置。
[0010]由控制器計算信息量可包括基于所述多個子塊，獲得所包含的邊緣；計數(shù)邊緣的數(shù)目；基于所述多個子塊，計算平均距離；對邊緣的數(shù)目進歸一化；和由計算的平均距離和歸一化邊緣的數(shù)目，基于子塊計算信息量。
[0011]由控制器搜索位置可包括根據(jù)信息量，生成積分圖像(integral image);和在積分圖像中，利用窗口大小作為搜索單位，搜索信息量第一小的位置。
[0012]由控制器輸出虛擬信息的步驟可包括，當在信息量第一小的位置，存在已輸出的虛擬信息顯示窗口時，在信息量第二小的位置輸出虛擬信息；當在信息量第二小的位置，存在已輸出的虛擬信息顯示窗口時，按照先前定義的顯示信息的優(yōu)先級，判定是否輸出虛擬信息顯示窗口 ；判定在所確定的位置，是否存在輸出空間；當存在輸出空間時，在輸出空間輸出按照優(yōu)先級的虛擬信息顯示窗口 ；和當輸出空間不存在時，搜索周邊，并在其中信息量最小的區(qū)域中，在優(yōu)先級較低的已輸出的虛擬信息顯示窗口上，輸出按照所述優(yōu)先級的虛擬信息顯示窗口。
[0013]由控制器在已輸出的虛擬信息顯示窗口上，輸出按照優(yōu)先級的虛擬信息顯示窗口包括判定在信息量最小的區(qū)域中，在重寫字段中是否列出‘OFF’標志；當在重寫字段中，未列出‘OFF’標志時，在其中信息量最小的區(qū)域中，優(yōu)先級較低的已輸出的虛擬信息顯示窗口上，輸出按照所述優(yōu)先級的虛擬信息顯示窗口。
[0014]本發(fā)明的另一個實施例提供一種安裝在車輛內(nèi)的增強現(xiàn)實提供設備，包括:拍攝位于駕駛員的前方的圖像的圖像輸入單元；匹配由圖像輸入單元拍攝的輸入圖像和擋風玻璃的平視顯示器區(qū)域的圖像匹配單元；判定在利用匹配單元匹配的圖像中，是否存在標記的識別單元；當存在標記時，把匹配圖像中信息量最小的區(qū)域確定為顯示與標記對應的虛擬信息的顯示窗口的位置的分析單元；和輸出增強現(xiàn)實屏幕的顯示單元，在所述增強現(xiàn)實屏幕中，圖像匹配單元在所確定的位置，顯示虛擬信息。
[0015]分析單元可把匹配圖像中可顯示虛擬信息的區(qū)域劃分成多個子塊，根據(jù)所述多個子塊計算信息量，并把多個子塊中信息量最小的位置確定為顯示虛擬信息的位置。另外，分析單元可根據(jù)多個子塊，對包含的邊緣的數(shù)目進行歸一化，基于子塊及子塊平均距離計算信息量，并根據(jù)信息量，在生成的積分圖像中利用窗口的大小作為搜索單位，搜索信息量第一小的位置。
[0016]此外，當在信息量第一小的位置，存在已輸出的虛擬信息顯示窗口時，分析單元可在信息量第二小的位置，輸出虛擬信息，當在信息量第二小的位置，存在已輸出的虛擬信息顯示窗口時，分析單元可按照先前定義的顯示信息的優(yōu)先級，判定是否輸出顯示窗口，當不存在輸出空間時，搜索周邊，并在信息量最小的區(qū)域中，在優(yōu)先級較低的已輸出的虛擬信息顯示窗口上，輸出按照所述優(yōu)先級的顯示窗口。
[0017]按照本發(fā)明的例證實施例，通過在信息量最小的位置顯示虛擬信息，可以有效地利用有限的視域資源，可以自然地除去不必要的信息，從而可以改善操作便利性。另外，通過自動選擇標記信息顯示位置，可以改善操作便利性。此外，利用信息量的分析，可向駕駛員提供最大的信息量。這樣，可以解決當具體體現(xiàn)增強現(xiàn)實時，獲得真實世界的信息的視野被遮蓋的傳統(tǒng)問題，通過保證視野，可以提高駕駛員的安全。
【專利附圖】

【附圖說明】
[0018]圖1是圖解說明按照本發(fā)明的例證實施例的增強現(xiàn)實提供設備的結(jié)構(gòu)的例證方框圖；
[0019]圖2是圖解說明按照本發(fā)明的例證實施例，安裝在車輛內(nèi)的增強現(xiàn)實提供設備的例證示意圖；
[0020]圖3是按照本發(fā)明的例證實施例的圖1的數(shù)據(jù)庫的例證示意圖；
[0021]圖4圖解說明按照本發(fā)明的例證實施例的例證增強現(xiàn)實屏幕；
[0022]圖5是圖解說明按照本發(fā)明的例證實施例的提供增強現(xiàn)實的方法的例證流程圖；
[0023]圖6是圖解說明按照本發(fā)明的另一個例證實施例的提供增強現(xiàn)實的方法的例證流程圖；
[0024]圖7圖解說明按照本發(fā)明的例證實施例，在駕駛員的視野中看到的擋風玻璃的例證HUD區(qū)域；
[0025]圖8圖解說明按照本發(fā)明的例證實施例，由成像裝置獲得的例證輸入圖像；
[0026]圖9圖解說明按照本發(fā)明的例證實施例，分成子塊的例證圖像；
[0027]圖10圖解說明按照本發(fā)明的例證實施例，基于子塊的例證邊緣和距離計算；
[0028]圖11圖解說明按照本發(fā)明的例證實施例，考慮到駕駛員的視野安全性的例證道路范圍隨機遮蔽區(qū)域；
[0029]圖12圖解說明按照本發(fā)明的例證實施例的例證積分圖像。
【具體實施方式】
[0030]顯然這里使用的術(shù)語“車輛”或“車輛的”或者其它類似術(shù)語包括通常的機動車輛，比如包括運動型多用途車(SUV)的客車，公共汽車，卡車，各種商用車輛，包括各種小舟和輪船的船只，飛機等，并且包括混合動力汽車，純電動汽車，內(nèi)燃機汽車、插電式混合動力汽車，氫動力汽車和其它替代燃料汽車(例如，從除石油以外的資源得到的燃料)。
[0031]盡管例證實施例被描述成利用多個單元進行例證處理，不過，例證處理顯然也可利用一個或多個模塊進行。另外，術(shù)語“控制器/控制單元”顯然指的是包括存儲器和處理器的硬件設備。存儲器被配置成保存所述模塊，處理器被特別配置成執(zhí)行所述模塊，以進行下面進一步說明的一個或多個處理。
[0032]此外，本發(fā)明的控制邏輯可被體現(xiàn)成計算機可讀介質(zhì)上的非臨時性計算機可讀媒介，所述計算機可讀介質(zhì)包含由處理器、控制器/控制單元等執(zhí)行的可執(zhí)行程序指令。計算機可讀介質(zhì)的例子包括(但不限于)ROM、RAM、光盤(CD)-ROM、磁帶、軟盤、閃速驅(qū)動器、智能卡和光學數(shù)據(jù)存儲設備。計算機可讀記錄媒介也可分布在網(wǎng)絡耦接的計算機系統(tǒng)中，以致通過例如遠程信息處理服務器或控制器局域網(wǎng)絡(CAN)，分布地保存和執(zhí)行計算機可讀媒介。
[0033]這里使用的術(shù)語只是用于說明特定的實施例，并不意圖限制本發(fā)明。這里使用的單數(shù)形式意圖還包括復數(shù)形式，除非上下文明確地另有說明。另外要明白當用在本說明書中時，術(shù)語“包含”指定陳述的特征、整數(shù)、步驟、操作、元件和/或組件的存在，不過并不排除一個或多個其它特征、整數(shù)、步驟、操作、元件、組件和/或它們的組合的存在或增加。這里使用的術(shù)語“和/或”包括相關(guān)的列出項目中的一個或多個項目的隨便什么組合。
[0034]在下面的詳細說明中，僅僅作為例子，表示和說明了本發(fā)明的例證實施例。本領(lǐng)域的技術(shù)人員會認識到可以按照各種不同的方式修改記載的實施例，而不脫離本發(fā)明的精神或范圍。因而，附圖和說明應被視為對本發(fā)明的舉例說明，而不是對本發(fā)明的限制。在整個說明書中，相同的附圖標記表示相同的元件。
[0035]另外，在整個說明書中，除非明確地另有說明，否則用語“包含”及諸如“包括”之類的變化應被理解成意味包括陳述的元件，但不排除任何其它元件。另外，說明書中記載的用語器”意味處理至少一種功能和操作，可用硬件組件或軟件組件，以及它們的組合實現(xiàn)的單元。
[0036]下面參考附圖，說明按照本發(fā)明的例證實施例的提供增強現(xiàn)實的方法和設備。
[0037]圖1是圖解說明按照本發(fā)明的例證實施例的增強現(xiàn)實提供設備的結(jié)構(gòu)的例證方框圖，圖2是圖解說明按照本發(fā)明的例證實施例，安裝在車輛內(nèi)的增強現(xiàn)實提供設備的例證示意圖，圖3是圖1的數(shù)據(jù)庫的例證示意圖。
[0038]具體地，增強現(xiàn)實提供設備100可以安裝在車輛內(nèi)，并具體體現(xiàn)增強現(xiàn)實圖像。增強現(xiàn)實提供設備100可被配置成由成像裝置(例如，照相機、攝像機等)，自動檢測在駕駛員的視野中，信息量相當小的區(qū)域，在對應位置表現(xiàn)標記的信息，從而不干擾駕駛員的視野地有效表現(xiàn)信息。
[0039]參見圖1，增強現(xiàn)實提供設備100可包括由控制器執(zhí)行的多個單元。所述多個單元包括:圖像輸入單元110、分析單元120、識別單元130、數(shù)據(jù)庫140、圖像匹配單元150和顯示單元160。圖像輸入單元110可被配置成獲得由成像裝置(例如，照相機)拍攝的圖像。圖像輸入單元110可被配置成跟蹤駕駛員的視線方向，并捕獲前方圖像。
[0040]分析單元120可被配置成分析圖像輸入單元110捕獲的輸入圖像，并根據(jù)區(qū)域計算信息量。分析單元120可被配置成利用輸入圖像的區(qū)域位置、顏色、距離、邊緣和角落的數(shù)量、和用戶重量值，計算輸入圖像的信息量。特別地，單個圖像或事件的顯示可具有優(yōu)先級，可以表現(xiàn)與優(yōu)先級結(jié)合具有最大值的顯示消息。這種顯示消息的優(yōu)先級可用表1定義。
[0041]表1
[0042]
【權(quán)利要求】
1.一種安裝在車輛內(nèi)的增強現(xiàn)實提供設備的增強現(xiàn)實提供方法，包括: 由控制器，匹配擋風玻璃的平視顯示器區(qū)域和輸入圖像； 由所述控制器，把匹配圖像中信息量最小的區(qū)域確定為顯示虛擬信息的顯示窗口的位置；和 由所述控制器，在所確定的位置輸出虛擬信息。
2.按照權(quán)利要求1所述的方法，其中區(qū)域的確定包括: 由所述控制器判定在匹配圖像中是否包括與虛擬信息相關(guān)的標記； 當在匹配圖像中包括所述標記時，由所述控制器把匹配圖像中能夠顯示虛擬信息的區(qū)域分成多個子塊； 由所述控制器，基于所述多個子塊計算信息量； 由所述控制器，基于所述多個子塊搜索信息量最小的位置；和 由所述控制器，把信息量最小的位置確定為顯示窗口的位置。
3.按照權(quán)利要求2所述的方法，其中信息量的計算包括: 由所述控制器，基于所述多個子塊獲得所包含的邊緣； 由所述控制器，計數(shù)邊緣的數(shù)目； 由所述控制器，基于所述多個子塊計算平均距離；· 由所述控制器，對邊緣的數(shù)目進行歸一化；和 由所述控制器，利用計算的平均距離和歸一化的邊緣的數(shù)目，基于子塊計算信息量。
4.按照權(quán)利要求3所述的方法，其中位置的搜索包括: 由所述控制器，基于所述信息量生成積分圖像；和 由所述控制器，在所述積分圖像中利用窗口大小作為搜索單位，搜索信息量第一小的位置。
5.按照權(quán)利要求4所述的方法，其中虛擬信息的輸出包括: 當在信息量第一小的位置，存在已輸出的虛擬信息顯示窗口時，由控制器在信息量第二小的位置輸出虛擬信息； 當在信息量第二小的位置，存在已輸出的虛擬信息顯示窗口時，由所述控制器按照先前定義的顯示信息的優(yōu)先級，判定是否輸出虛擬信息顯示窗口 ； 由所述控制器，判定在所確定的位置是否存在輸出空間； 當存在輸出空間時，由所述控制器在所述輸出空間輸出按照優(yōu)先級的虛擬信息顯示窗口 ；和 當所述輸出空間不存在時，由所述控制器搜索周邊，并在其中信息量最小的區(qū)域中，在優(yōu)先級低于預定閾值的已輸出的虛擬信息顯示窗口上，輸出按照優(yōu)先級的虛擬信息顯示窗□。
6.按照權(quán)利要求5所述的方法，其中在已輸出的虛擬信息顯示窗口上，輸出按照優(yōu)先級的虛擬信息顯示窗口的步驟包括: 由所述控制器判定在信息量最小的區(qū)域中，在重寫字段中是否列出‘OFF’標志； 當在重寫字段中，未列出‘OFF’標志時，由所述控制器在信息量最小的區(qū)域中，在優(yōu)先級低于預定閾值的已輸出的虛擬信息顯示窗口上，輸出按照所述優(yōu)先級的虛擬信息顯示窗□。
7.一種安裝在車輛內(nèi)的增強現(xiàn)實提供設備，包括: 控制器，所述控制器被配置成: 利用成像裝置，捕獲位于駕駛員的前方的輸入圖像； 匹配所述輸入圖像和擋風玻璃的平視顯示器區(qū)域； 判定在匹配的圖像中，是否檢測到標記； 當檢測到標記時，把匹配圖像中信息量最小的區(qū)域確定為顯示與所述標記對應的虛擬信息的顯示窗口的位置；和 輸出增強現(xiàn)實屏幕，在所述增強現(xiàn)實屏幕中，在所確定的位置顯示虛擬信息。
8.按照權(quán)利要求7所述的增強現(xiàn)實提供設備，其中所述控制器被進一步配置成: 把匹配圖像中顯示虛擬信息的區(qū)域劃分成多個子塊； 基于所述多個子塊計算信息量；和 把所述多個子塊中信息量最小的位置確定為顯示虛擬信息的位置。
9.按照權(quán)利要求8所述的增強現(xiàn)實提供設備，其中所述控制器被進一步配置成: 基于所述多個子塊，對包含的邊緣的數(shù)目進行歸一化； 基于子塊及子 塊平均距離計算信息量；和 基于所述信息量，在生成的積分圖像中，利用窗口的大小作為搜索單位，搜索信息量第一小的位置。
10.按照權(quán)利要求9所述的增強現(xiàn)實提供設備，其中所述控制器被進一步配置成: 當在信息量第一小的位置，存在已輸出的虛擬信息顯示窗口時，在信息量第二小的位置，輸出虛擬信息； 當在信息量第二小的位置，存在已輸出的虛擬信息顯示窗口時，按照先前定義的顯示信息的優(yōu)先級，判定是否輸出顯示窗口 ；和 當不存在輸出空間時，搜索周邊，并在信息量最小的區(qū)域中，在優(yōu)先級低于預定閾值的已輸出的虛擬信息顯示窗口上，輸出按照所述優(yōu)先級的虛擬信息顯示窗口。
11.一種包含由控制器執(zhí)行的程序指令的非臨時性計算機可讀介質(zhì)，所述計算機可讀介質(zhì)包括: 控制成像裝置捕獲位于駕駛員前方的輸入圖像的程序指令； 匹配輸入圖像和擋風玻璃的平視顯示器區(qū)域的程序指令； 判定在匹配的圖像中，是否檢測到標記的程序指令； 當檢測到標記時，把匹配圖像中信息量最小的區(qū)域確定為顯示與所述標記對應的虛擬信息的顯示窗口的位置的程序指令；和 輸出增強現(xiàn)實屏幕的程序指令，在所述增強現(xiàn)實屏幕中，在所確定的位置顯示虛擬信肩、O
12.按照權(quán)利要求11所述的非臨時性計算機可讀介質(zhì)，還包括: 把匹配圖像中顯示虛擬信息的區(qū)域劃分成多個子塊的程序指令； 基于所述多個子塊計算信息量的程序指令；和 把所述多個子塊中信息量最小的位置確定為顯示虛擬信息的位置的程序指令。
13.按照權(quán)利要求12所述的非臨時性計算機可讀介質(zhì)，還包括: 基于所述多個子塊，對包含的邊緣的數(shù)目進行歸一化的程序指令；基于子塊及子塊平均距離計算信息量的程序指令；和 基于信息量，在生成的積分圖像中，利用窗口的大小作為搜索單位，搜索信息量第一小的位置的程序指令。
14.按照權(quán)利要求13所述的非臨時性計算機可讀介質(zhì)，還包括: 當在信息量第一小的位置，存在已輸出的虛擬信息顯示窗口時，在信息量第二小的位置，輸出虛擬信息的程序指令； 當在信息量第二小的位置，存在已輸出的虛擬信息顯示窗口時，按照先前定義的顯示信息的優(yōu)先級，判定是否輸出顯示窗口的程序指令；和 當不存在輸出空間時，搜索周邊，并在信息量最小的區(qū)域中，在優(yōu)先級低于預定閾值的已輸出的虛擬信息顯示窗口上，輸出`按照所述優(yōu)先級的虛擬信息顯示窗口的程序指令。
【文檔編號】B60R16/02GK103847640SQ201310560086
【公開日】2014年6月11日 申請日期:2013年11月12日 優(yōu)先權(quán)日:2012年12月5日
【發(fā)明者】申東洙 申請人:現(xiàn)代自動車株式會社