本發(fā)明涉及智能眼鏡技術(shù)領(lǐng)域，尤其涉及一種智能眼鏡透視方法及系統(tǒng)。

背景技術(shù)：

對(duì)于大多數(shù)眼鏡，外界景物光能穿過眼鏡被人眼接收到，它們是光學(xué)透明的。而當(dāng)人佩戴智能眼鏡時(shí)，景物光無法被人眼接收到，人眼是通過觀看顯示屏上的圖像間接地感知外界景物，此時(shí)可能出現(xiàn)人眼間接感知到的外界景物位姿、大小等信息與人眼裸眼直接感知的外界景物信息不一致的情況，從而導(dǎo)致人眼無法準(zhǔn)確的感知外界景物。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種智能眼鏡透視方法及系統(tǒng)，旨在解決現(xiàn)有的智能眼鏡在佩戴過程中人眼間接感知到的外界景物位姿、大小等信息與人眼裸眼直接感知的外界景物信息不一致的技術(shù)問題。

為了解決以上提出的問題，本發(fā)明采用的技術(shù)方案為：一種智能眼鏡透視方法，包括以下步驟：

步驟a：裝配智能眼鏡，使人眼光軸、放大鏡光軸、相機(jī)光軸在同一直線上，顯示屏法線方向與放大鏡光軸平行，單個(gè)人眼對(duì)應(yīng)的半屏顯示區(qū)域中心與放大鏡光心的連線與人眼光軸在同一條直線上；

步驟b：運(yùn)行智能眼鏡，通過相機(jī)對(duì)外界景物生成圖像，使圖像按一定的映射關(guān)系顯示在顯示屏上；

步驟c：佩戴智能眼鏡，通過放大鏡對(duì)顯示屏上顯示的圖像進(jìn)行放大，將圖像拉遠(yuǎn)到人眼能舒適觀看的距離進(jìn)行顯示。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：所述步驟a前還包括：選定智能眼鏡顯示屏的大小與分辨率；設(shè)定放大鏡焦距；并分別設(shè)定人眼光心到放大鏡光心的距離、放大鏡光心到顯示屏的距離、以及放大鏡光心到相機(jī)光心的距離。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：所述a前還包括：以避免人眼視場(chǎng)缺失為目標(biāo)計(jì)算所需相機(jī)視場(chǎng)角，并以匹配顯示屏分辨率為目標(biāo)計(jì)算所需相機(jī)分辨率。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：所述計(jì)算相機(jī)視場(chǎng)角的計(jì)算方式為：

相機(jī)水平視場(chǎng)角為：

相機(jī)垂直視場(chǎng)角為:

在上述公式中，dem為人眼光心到放大鏡光心的距離，dmc為放大鏡光心到相機(jī)光心的距離，dmd為放大鏡光心到顯示屏的距離，fm為放大鏡焦距，qx及qy為單個(gè)相機(jī)對(duì)應(yīng)的顯示屏半屏顯示區(qū)域?qū)挾燃案叨?，deo為人眼光心到景物的距離，dco為相機(jī)光心到景物的距離，fc為相機(jī)焦距，dx為相機(jī)單個(gè)像素橫向物理尺寸，dy為相機(jī)單個(gè)像素縱向尺寸，dev為人眼到虛像的距離，dmv為放大鏡光心到景物虛像的距離，dvo為景物虛像到景物的距離，sd為顯示屏中景物大小，sv為對(duì)應(yīng)虛像大小，so為景物大小，sc為景物在相機(jī)中成像大小，dx為顯示屏上單個(gè)像素橫向物理尺寸、dy為顯示屏上單個(gè)像素縱向尺寸。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：所述計(jì)算相機(jī)分辨率的計(jì)算公式為：

在上述公式中,nx為單眼對(duì)應(yīng)半屏顯示區(qū)域橫向最大像素?cái)?shù)、ny為縱向最大像素?cái)?shù)。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：在所述步驟b中，所述使圖像按一定的映射關(guān)系顯示在顯示屏上即為將圖像以一定縮放比例顯示給人眼；所述圖像縮放比例的求解方法包括：在滿足透視要求下，景物在顯示屏中應(yīng)該要占有的像素?cái)?shù)與景物在相機(jī)中占有的像素?cái)?shù)的比值即為圖像縮放比例p＝(px,py)，其中px為水平方向上的縮放比例，py為垂直方向上的縮放比例；景物在顯示屏上大小與顯示屏上單個(gè)像素的物理尺寸的比值就是景物在顯示屏上占的像素?cái)?shù)，而景物在相機(jī)上成像大小與相機(jī)成像面上單個(gè)像素的物理尺寸比值就是景物在相機(jī)成像面上占的像素?cái)?shù)，即：

在橫向方向上圖像縮放比例px為：

在縱向方向上圖像縮放比例py為：

本發(fā)明實(shí)施例采取的另一技術(shù)方案為：一種智能眼鏡透視系統(tǒng)，包括相機(jī)、顯示屏及放大鏡；所述相機(jī)與人眼的位置相對(duì)應(yīng)，所述顯示屏位于相機(jī)與放大鏡之間，所述放大鏡位于智能眼鏡靠近人眼的一側(cè)，且人眼光軸、放大鏡光軸及相機(jī)光軸在同一直線上，顯示屏法線方向與放大鏡光軸平行，單個(gè)人眼對(duì)應(yīng)的半屏顯示區(qū)域中心與放大鏡光心的連線與人眼光軸在同一條直線上；所述相機(jī)用于對(duì)外界景物生成圖像，所述圖像按一定的映射關(guān)系顯示在顯示屏上，所述放大鏡用于對(duì)顯示屏上顯示的圖像進(jìn)行放大，將圖像拉遠(yuǎn)到人眼能舒適觀看的距離進(jìn)行顯示。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：還包括運(yùn)算處理單元，所述運(yùn)算處理單元分別與相機(jī)及顯示屏信號(hào)連接，用于對(duì)相機(jī)生成的圖像進(jìn)行畸變校正、極線校正處理，并通過顯示屏顯示處理后的圖像。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：所述相機(jī)視場(chǎng)角的計(jì)算方式為：

相機(jī)水平視場(chǎng)角為：

相機(jī)垂直視場(chǎng)角為:

所述相機(jī)分辨率的計(jì)算公式為：

在上述公式中，dem為人眼光心到放大鏡光心的距離，dmc為放大鏡光心到相機(jī)光心的距離，dmd為放大鏡光心到顯示屏的距離，fm為放大鏡焦距，qx及qy為單個(gè)相機(jī)對(duì)應(yīng)的顯示屏半屏顯示區(qū)域?qū)挾燃案叨?，deo為人眼光心到景物的距離，dco為相機(jī)光心到景物的距離，fc為相機(jī)焦距，dx為相機(jī)單個(gè)像素橫向物理尺寸，dy為相機(jī)單個(gè)像素縱向尺寸，dev為人眼到虛像的距離，dmv為放大鏡光心到景物虛像的距離，dvo為景物虛像到景物的距離，sd為顯示屏中景物大小，sv為對(duì)應(yīng)虛像大小，so為景物大小，sc為景物在相機(jī)中成像大小，dx為顯示屏上單個(gè)像素橫向物理尺寸、dy為顯示屏上單個(gè)像素縱向尺寸；nx為單眼對(duì)應(yīng)半屏顯示區(qū)域橫向最大像素?cái)?shù)、ny為縱向最大像素?cái)?shù)。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：所述圖像按一定的映射關(guān)系顯示在顯示屏上具體為：將圖像以一定縮放比例顯示給人眼；所述圖像縮放比例的求解方法包括：景物在顯示屏中應(yīng)該要占有的像素?cái)?shù)與景物在相機(jī)中占有的像素?cái)?shù)的比值即為圖像縮放比例p＝(px,py)，其中px為水平方向上的縮放比例，py為垂直方向上的縮放比例；景物在顯示屏上大小與顯示屏上單個(gè)像素的物理尺寸的比值就是景物在顯示屏上占的像素?cái)?shù)，而景物在相機(jī)上成像大小與相機(jī)成像面上單個(gè)像素的物理尺寸比值就是景物在相機(jī)成像面上占的像素?cái)?shù)，即：

在橫向方向上圖像縮放比例px為：

在縱向方向上圖像縮放比例py為：

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：本發(fā)明實(shí)施例的智能眼鏡透視方法及系統(tǒng)通過相機(jī)對(duì)外界景物成像，生成的圖像在處理后通過顯示屏顯示，并通過放大鏡對(duì)顯示屏上的圖像進(jìn)行放大，從而將圖像拉遠(yuǎn)到人眼能舒適觀看的距離，使得人眼在佩戴智能眼鏡時(shí)就如同裸眼一樣準(zhǔn)確感知外界景物的位姿、大小信息，提高佩戴者的舒適度和觀看準(zhǔn)確度。

附圖說明

圖1為本發(fā)明實(shí)施例的智能眼鏡透視方法的流程圖；

圖2為本發(fā)明實(shí)施例的智能眼鏡參數(shù)標(biāo)識(shí)圖；

圖3是本發(fā)明實(shí)施例的智能眼鏡透視視覺示意圖；

圖4(a)、圖4(b)、圖4(c)是本發(fā)明實(shí)施例的相機(jī)視場(chǎng)計(jì)算方式示意圖；

圖5是本發(fā)明實(shí)施例的智能眼鏡透視系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了便于理解本發(fā)明，下面將參照相關(guān)附圖對(duì)本發(fā)明進(jìn)行更全面的描述。附圖中給出了本發(fā)明的較佳實(shí)施例。但是，本發(fā)明可以以許多不同的形式來實(shí)現(xiàn)，并不限于本文所描述的實(shí)施例。相反地，提供這些實(shí)施例的目的是使對(duì)本發(fā)明的公開內(nèi)容的理解更加透徹全面。

除非另有定義，本文所使用的所有的技術(shù)和科學(xué)術(shù)語與屬于本發(fā)明的技術(shù)領(lǐng)域的技術(shù)人員通常理解的含義相同。本文中在本發(fā)明的說明書中所使用的術(shù)語只是為了描述具體的實(shí)施例的目的，不是旨在于限制本發(fā)明。

請(qǐng)參閱圖1，是本發(fā)明實(shí)施例的智能眼鏡透視方法的流程圖。本發(fā)明實(shí)施例的智能眼鏡透視方法包括以下步驟：

步驟100：選定智能眼鏡顯示屏的大小與分辨率；

在步驟100中，本發(fā)明實(shí)施例的智能眼鏡包括相機(jī)、顯示屏及放大鏡，顯示屏位于相機(jī)與放大鏡之間，放大鏡位于智能眼鏡靠近人眼的一側(cè)，相機(jī)用于對(duì)外界景物生成圖像，生成的圖像由運(yùn)算處理單元處理后(比如畸變校校正、極線校校正)通過顯示屏進(jìn)行顯示，放大鏡用于放大顯示屏上顯示的圖像，并將圖像拉遠(yuǎn)到人眼能舒適觀看的距離，也就是人眼明視距離(250mm左右)，使得人眼在佩戴本發(fā)明實(shí)施例的智能眼鏡時(shí)可以如同裸眼一樣準(zhǔn)確感知外界景物的位姿及大小等信息。

步驟200：設(shè)定放大鏡焦距；

步驟300：分別設(shè)定人眼光心到放大鏡光心的距離、放大鏡光心到顯示屏的距離、以及放大鏡光心到相機(jī)光心的距離；

步驟400：計(jì)算相機(jī)視場(chǎng)角，并計(jì)算相機(jī)分辨率；

在步驟400中，選定相機(jī)視場(chǎng)角可以避免人眼的視場(chǎng)出現(xiàn)黑邊等視場(chǎng)缺少情況，選定相機(jī)分辨率可以避免圖像需要插值后放大給人眼看。

步驟500：裝配智能眼鏡，并使人眼光軸、放大鏡光軸、相機(jī)光軸在同一直線上，顯示屏法線方向與放大鏡光軸平行，單個(gè)人眼對(duì)應(yīng)的半屏顯示區(qū)域中心與放大鏡光心的連線與人眼光軸在同一條直線上；

在步驟500中，具體如圖2和圖3所示，圖2是本發(fā)明實(shí)施例的智能眼鏡參數(shù)標(biāo)識(shí)圖，圖3是本發(fā)明實(shí)施例的智能眼鏡透視視覺示意圖。在圖2中，a為人眼光心到放大鏡光心的距離dem，b為放大鏡光心到顯示屏的距離dmd，c為放大鏡光心到相機(jī)光心的距離dmc。在圖3中，實(shí)線橫軸代表了人眼、放大鏡、相機(jī)的光軸以及顯示屏的法線，其中人眼在橫軸的e點(diǎn)，放大鏡在m點(diǎn)，顯示屏在d點(diǎn)，f1到m的距離是放大鏡的焦距，相機(jī)在c點(diǎn)，f2到c的距離為相機(jī)的焦距，v點(diǎn)為顯示屏上顯示的圖像在放大鏡中對(duì)應(yīng)虛像的位置，o點(diǎn)為外界給定一景物的位置。景物在人眼中的成像與裸眼時(shí)景物在人眼內(nèi)的成像會(huì)相同，從而做到透視。

在已經(jīng)滿足了智能眼鏡的裝配要求的前提下，進(jìn)一步假設(shè)已經(jīng)根據(jù)人眼視覺特性等因素選定了顯示屏、放大鏡以及確定了放大鏡光心與顯示屏的距離dmd、放大鏡光心與相機(jī)光心的距離dmc、人眼光心到放大鏡光心的距離dem，從而已知如下智能眼鏡參數(shù)：放大鏡光心與相機(jī)光心的距離dmc、放大鏡光心與顯示屏的距離dmd、人眼光心與放大鏡光心的距離dem、放大鏡焦距fm、單個(gè)相機(jī)對(duì)應(yīng)的顯示屏半屏顯示區(qū)域?qū)挾葹閝x、高度為qy、單眼對(duì)應(yīng)顯示屏半屏顯示區(qū)域橫向最大像素?cái)?shù)為nx、縱向最大像素?cái)?shù)為ny，從而根據(jù)以上參數(shù)計(jì)算計(jì)算相機(jī)視場(chǎng)角及分辨率；

其中，計(jì)算相機(jī)視場(chǎng)角的方式為：

已知：人眼光心到放大鏡光心的距離dem、放大鏡光心到相機(jī)光心的距離dmc、放大鏡光心到顯示屏的距離dmd、放大鏡焦距fm、單個(gè)相機(jī)對(duì)應(yīng)的顯示屏半屏顯示區(qū)域?qū)挾萹x及高度qy；

求：在透視前提下，相機(jī)需要的最小視場(chǎng)角α＝(αx,αy)，其中αx為水平視場(chǎng)角，αy為垂直視場(chǎng)角；

解：當(dāng)外界景物在顯示屏上的圖像剛好充滿顯示屏?xí)r，景物對(duì)應(yīng)相機(jī)的視場(chǎng)角就為相機(jī)需要的最小視場(chǎng)角。由此，已知景物在顯示屏上成像大小為顯示屏半屏圖像顯示區(qū)域大小，求景物在相機(jī)對(duì)應(yīng)的視場(chǎng)角，所得視場(chǎng)角的值就是待求解的值。為了方便說明，令deo為人眼光心到景物的距離，dco為相機(jī)光心到景物的距離，fc為相機(jī)焦距，相機(jī)單個(gè)像素橫向物理尺寸為dx、縱向尺寸為dy，dev為人眼到虛像的距離，dmv為放大鏡光心到景物虛像的距離，dvo為景物虛像到景物的距離，顯示屏中景物大小為sd，則對(duì)應(yīng)虛像大小為sv，景物大小為so，景物在相機(jī)中成像大小為sc，顯示屏上單個(gè)像素橫向物理尺寸為dx、縱向尺寸為dy。其中：dco＝deo-dem-dmc，dvo＝deo-dem-dmv，dev＝dem+dmv。

當(dāng)相機(jī)視場(chǎng)角過小時(shí)，在滿足透視的前提下，就可能出現(xiàn)相機(jī)得到的圖像無法覆蓋滿顯示屏(在一定意義上說就是要覆蓋滿人眼的視場(chǎng))，導(dǎo)致佩戴智能眼鏡透視方法及系統(tǒng)時(shí)人眼的視場(chǎng)出現(xiàn)黑邊等視場(chǎng)缺失情況。在滿足透視的前提下，為了確保相機(jī)得到的圖像能覆蓋滿顯示屏，則相機(jī)視場(chǎng)角需要不能小于某特定值，具體如圖4(a)、圖4(b)、圖4(c)所示，為相機(jī)視場(chǎng)計(jì)算方式示意圖。其中，實(shí)線橫軸代表了人眼、放大鏡、相機(jī)共同的光軸以及顯示屏的法線。在圖4(a)的橫軸上，a為人眼，b為放大鏡，c為顯示屏，d為顯示屏顯示的圖像在放大鏡中的虛像，c處豎線的長(zhǎng)度代表顯示屏半屏圖像顯示區(qū)域的大小，則在透視前提下，人眼通過觀看顯示屏上圖像獲得的在d距離外的視場(chǎng)為v。在圖4(b)的橫軸上，相較于圖4(a)多了一個(gè)相機(jī)，當(dāng)相機(jī)視場(chǎng)角為θ時(shí)，相機(jī)的視場(chǎng)為w。要盡量避免人眼視場(chǎng)出現(xiàn)黑邊等視場(chǎng)缺失情況，就需要讓相機(jī)視場(chǎng)盡可能多的包含人眼通過觀看顯示屏的圖像獲得的視場(chǎng)。在圖4(c)中，相機(jī)視場(chǎng)角θ足夠大到滿足所以當(dāng)景物在d距離外，在透視前提下，能確保不出現(xiàn)人眼看到黑邊等視場(chǎng)缺失情況。

在圖3中，景物相對(duì)于相機(jī)的視場(chǎng)角為給定sd求α的計(jì)算步驟如下：

1)由sd求得虛像大小

2)由sv求得景物大小so:

3)由so求景物相對(duì)于相機(jī)的視場(chǎng)角:

所以把單個(gè)相機(jī)對(duì)應(yīng)顯示屏顯示區(qū)域大小代入公式(2)就可以求得相機(jī)需要的最小視場(chǎng)角。

相機(jī)水平視場(chǎng)角為：

相機(jī)垂直視場(chǎng)角為:

其中deo越小需要的視場(chǎng)角越大，本發(fā)明建議限定deo最小值為人眼明視距離250mm，把此deo的最小值代入公式(3)和公式(4)就可以得到相機(jī)視場(chǎng)角需要不能小于的那個(gè)特定值。

根據(jù)人眼的視覺分辨能力等因素選定顯示屏的分辨率后，當(dāng)相機(jī)的分辨率過低時(shí)，就會(huì)導(dǎo)致相機(jī)分辨率匹配不上顯示屏的分辨率，需要把相機(jī)采集的圖像插值后顯示給人眼看，也就是放大圖像。在透視的前提下，為了匹配上顯示屏的分辨率(在一定意義上說就是要匹配上人眼的分辨率)，不把圖像插值后顯示給人眼看，則相機(jī)分辨率同樣不能小于某特定值。本發(fā)明實(shí)施例計(jì)算相機(jī)分辨率的方式為：

已知：人眼光心到放大鏡光心的距離dem、放大鏡光心到相機(jī)光心的距離dmc、放大鏡光心到顯示屏的距離dmd、放大鏡焦距fm、單個(gè)相機(jī)對(duì)應(yīng)的顯示屏半屏顯示區(qū)域?qū)挾萹x及高度qy、顯示屏半屏橫向最大像素?cái)?shù)nx、縱向最大像素?cái)?shù)ny；

求：在透視前提下，若圖像在顯示屏顯示時(shí)圖像不能插值放大，則需要相機(jī)最小分辨率；相機(jī)在橫軸上分辨率用表示、縱軸上分辨率用表示；

解：相機(jī)最小分辨率要求的是相機(jī)采集圖像與顯示屏上圖像1：1顯示，景物在相機(jī)采集圖像中像素?cái)?shù)與顯示屏上占有的像素?cái)?shù)相同。由此，先給定景物在顯示屏上成像大小，由此可以得到對(duì)應(yīng)的像素?cái)?shù)ld，然后求對(duì)應(yīng)景物大小so，然后由景物大小與景物在相機(jī)成像中像素?cái)?shù)lc(lc＝ld)求得相機(jī)最小分辨率。計(jì)算步驟如下：

1)給定sd求像素?cái)?shù)ld，先不區(qū)分水平方向與垂直方向，令顯示屏上單個(gè)像素的物理尺寸為d'xy，

則：

由此也可知景物在相機(jī)中像素?cái)?shù)也同樣為ld。

2)求景物的實(shí)際大小so；

由公式(1)知

3)由景物大小so和在相機(jī)中占用像素?cái)?shù)ld求相機(jī)分辨率得：

其中，人眼光心與放大鏡光心的距離dem值可以在使用者佩戴時(shí)測(cè)量得到，deo越小需要的分辨率越大，本發(fā)明建議限定deo最小值為人眼明視距離250mm,把此deo的最小值代入公式(5)和公式(6)就可以得到相機(jī)分辨率需要不能小于的那個(gè)特定值。

步驟600：上電運(yùn)行智能眼鏡，通過智能眼鏡的相機(jī)對(duì)外界景物生成圖像，并對(duì)生成圖像進(jìn)行畸變校校正、極線校校正后，使圖像按一定的映射關(guān)系顯示在顯示屏上；

在步驟600中，相機(jī)采集的圖像到顯示屏上顯示的圖像的映射關(guān)系選定方法包括：將相機(jī)采集的圖像映射到顯示屏上需要解決以下問題：

1、相機(jī)鏡頭存在一定的徑向畸變和切向畸變，生成的圖像需要消除畸變，圖像畸變消除可以通過相機(jī)標(biāo)定得到包括畸變系數(shù)在內(nèi)的相機(jī)內(nèi)參，然后相機(jī)內(nèi)參求得去畸變的圖像；此圖像畸變消除方法為現(xiàn)有技術(shù)，本發(fā)明將不再贅述。

2、智能眼鏡上的兩個(gè)相機(jī)往往沒有做到精準(zhǔn)對(duì)齊，兩個(gè)相機(jī)得到的圖像之間存在垂直視差，如果存在視差的圖像被顯示出來給人眼看時(shí)，會(huì)給人的雙目立體視覺帶來困難，所以需要通過極線校正消除垂直視差；此消除垂直視差方法為現(xiàn)有技術(shù)，本發(fā)明將不再贅述。

3、選定好相機(jī)視場(chǎng)角和分辨率后，常無法剛好做到相機(jī)采集的圖像1：1映射到顯示屏上就能滿足透視要求，而需要縮小圖像顯示給人眼看才能做到透視。即，當(dāng)相機(jī)采集到圖像后，采集到的圖像與顯示屏上圖像需要滿足什么映射關(guān)系才能做到透視，也就是圖像以什么縮放比例顯示給人眼看。此縮放比例值的求解方法如下：

已知：dem、deo、dmc、dmd、fm、qx、qy、nx、ny、

求：在透視前提下，相機(jī)采集圖像在顯示屏顯示時(shí)圖像的縮放比例。

解：

在滿足透視前提下，景物在顯示屏中應(yīng)該要占有的像素?cái)?shù)與景物在相機(jī)中占有的像素?cái)?shù)的比值就為圖像縮放比例p＝(px,py)，其中px為水平方向上的縮放比例，py為垂直方向上的縮放比例。求解過程如下：

1)給定景物大小so求景物在顯示屏大小

如圖1所示人眼看到的景物在放大鏡中的虛像大小應(yīng)該滿足：

從而

由此可進(jìn)一步求得顯示屏上景物大小為：

2)計(jì)算景物在相機(jī)上成像大小為：

3)計(jì)算圖像縮放比例p

景物在顯示屏上大小與顯示屏上單個(gè)像素的物理尺寸的比值就是景物在顯示屏上占的像素?cái)?shù)，而景物在相機(jī)上成像大小與相機(jī)成像面上單個(gè)像素的物理尺寸比值就是景物在相機(jī)成像面上占的像素?cái)?shù)。所以：

在橫向方向上圖像縮放比例

把公式(8)、(9)代入得：

同理求得在縱向方向上圖像縮放比例py：

其中

步驟700：佩戴智能眼鏡，通過智能眼鏡放大鏡對(duì)顯示屏上顯示的圖像進(jìn)行放大，將圖像拉遠(yuǎn)到人眼能舒適觀看的距離進(jìn)行顯示，實(shí)現(xiàn)智能眼鏡的透視。

請(qǐng)參閱圖5，是本發(fā)明實(shí)施例的智能眼鏡透視系統(tǒng)的結(jié)構(gòu)示意圖。本發(fā)明實(shí)施例的智能眼鏡透視系統(tǒng)包括相機(jī)1、運(yùn)算處理單元2、顯示屏3及放大鏡4；其中，相機(jī)1包括兩個(gè)，所述兩個(gè)相機(jī)1分別與人眼5的位置相對(duì)應(yīng)；運(yùn)算處理單元2分別與相機(jī)1及顯示屏3信號(hào)連接，顯示屏3位于相機(jī)1與放大鏡4之間，放大鏡4位于智能眼鏡靠近人眼5的一側(cè)。相機(jī)1用于對(duì)外界景物生成圖像，運(yùn)算處理單元2用于對(duì)相機(jī)1生成的圖像進(jìn)行畸變校正、極線校正等處理，并使處理后的圖像按一定的映射關(guān)系顯示在顯示屏3上，放大鏡4用于對(duì)顯示屏3上顯示的圖像進(jìn)行放大，從而將圖像拉遠(yuǎn)到人眼5能舒適觀看的距離，也就是人眼明視距離，使得人眼在佩戴本發(fā)明實(shí)施例的智能眼鏡時(shí)可以如同裸眼一樣準(zhǔn)確感知外界景物的位姿及大小等信息。

具體地，本發(fā)明實(shí)施例的智能眼鏡透視系統(tǒng)的裝配方式包括：選定智能眼鏡顯示屏3的大小與分辨率；設(shè)定放大鏡4焦距；分別設(shè)定人眼5光心到放大鏡4光心的距離、放大鏡4光心到顯示屏3的距離、以及放大鏡4光心到相機(jī)1光心的距離；計(jì)算相機(jī)1視場(chǎng)角及分辨率后，裝配智能眼鏡，并使人眼光軸、放大鏡4光軸、相機(jī)1光軸在同一直線上，顯示屏3法線方向與放大鏡4光軸平行，單個(gè)人眼5對(duì)應(yīng)的半屏顯示區(qū)域中心與放大鏡4光心的連線與人眼5光軸在同一條直線上；上電運(yùn)行智能眼鏡，通過智能眼鏡的相機(jī)1對(duì)外界景物生成圖像，并通過運(yùn)算處理單元2對(duì)生成圖像進(jìn)行畸變校正、極線校正后，使圖像按一定的映射關(guān)系顯示在顯示屏3上；佩戴智能眼鏡，通過智能眼鏡放大鏡4對(duì)顯示屏3上顯示的圖像進(jìn)行放大，將圖像拉遠(yuǎn)到人眼能舒適觀看的距離進(jìn)行顯示，實(shí)現(xiàn)智能眼鏡的透視。其中，選定相機(jī)1的視場(chǎng)角可以避免人眼5的視場(chǎng)出現(xiàn)黑邊等視場(chǎng)缺少情況，選定相機(jī)1的分辨率可以避免圖像需要插值后放大給人眼5看。

在本發(fā)明實(shí)施例中，具體如圖2和圖3所示，圖2是本發(fā)明實(shí)施例的智能眼鏡參數(shù)標(biāo)識(shí)圖，圖3是本發(fā)明實(shí)施例的智能眼鏡透視視覺示意圖。在圖2中，a為人眼5光心到放大鏡4光心的距離dem，b為放大鏡4光心到顯示屏3的距離dmd，c為放大鏡4光心到相機(jī)1光心的距離dmc。在圖3中，實(shí)線橫軸代表了人眼5、放大鏡4、相機(jī)1的光軸以及顯示屏3的法線，其中人眼5在橫軸的e點(diǎn)，放大鏡4在m點(diǎn)，顯示屏3在d點(diǎn)，f1到m的距離是放大鏡4的焦距，相機(jī)1在c點(diǎn)，f2到c的距離為相機(jī)1的焦距，v點(diǎn)為顯示屏3上顯示的圖像在放大鏡4中對(duì)應(yīng)虛像的位置，o點(diǎn)為外界給定一景物的位置。景物在人眼5中的成像與裸眼時(shí)景物在人眼5內(nèi)的成像會(huì)相同，從而做到透視。

在已經(jīng)滿足了智能眼鏡的裝配要求的前提下，進(jìn)一步假設(shè)已經(jīng)根據(jù)人眼5視覺特性等因素選定了顯示屏3、放大鏡4以及確定了放大鏡4光心與顯示屏3的距離dmd、放大鏡4光心與相機(jī)1光心的距離dmc、人眼5光心到放大鏡4光心的距離dem，從而已知如下智能眼鏡參數(shù)：放大鏡4光心與相機(jī)1光心的距離dmc、放大鏡4光心與顯示屏3的距離dmd、人眼5光心與放大鏡4光心的距離dem、放大鏡4焦距fm、單個(gè)相機(jī)1對(duì)應(yīng)的顯示屏3半屏顯示區(qū)域?qū)挾葹閝x、高度為qy、顯示屏3半屏橫向最大像素?cái)?shù)為nx、縱向最大像素?cái)?shù)為ny，從而根據(jù)以上參數(shù)計(jì)算計(jì)算相機(jī)1視場(chǎng)角及分辨率；

其中，計(jì)算相機(jī)1視場(chǎng)角的方式為：

已知：人眼5光心到放大鏡4光心的距離dem、放大鏡4光心到相機(jī)1光心的距離dmc、放大鏡4光心到顯示屏3的距離dmd、放大鏡4焦距fm、單個(gè)相機(jī)1對(duì)應(yīng)的顯示屏3半屏顯示區(qū)域?qū)挾萹x及高度qy；

求：在透視前提下，相機(jī)1需要的最小視場(chǎng)角α＝(αx,αy)，其中αx為水平視場(chǎng)角，αy為垂直視場(chǎng)角；

解：當(dāng)外界景物在顯示屏3上的圖像剛好充滿顯示屏3時(shí)，景物對(duì)應(yīng)相機(jī)1的視場(chǎng)角就為相機(jī)1需要的最小視場(chǎng)角。由此，已知景物在顯示屏3上成像大小為顯示屏3半屏圖像顯示區(qū)域大小，求景物在相機(jī)1對(duì)應(yīng)的視場(chǎng)角，所得視場(chǎng)角的值就是待求解的值。為了方便說明，令deo為人眼5光心到景物的距離，dco為相機(jī)1光心到景物的距離，fc為相機(jī)1焦距，相機(jī)1單個(gè)像素橫向物理尺寸為dx、縱向尺寸為dy，dev為人眼5到虛像的距離，dmv為放大鏡4光心到景物虛像的距離，dvo為景物虛像到景物的距離，顯示屏3中景物大小為sd，則對(duì)應(yīng)虛像大小為sv，景物大小為so，景物在相機(jī)1中成像大小為sc，顯示屏3上單個(gè)像素橫向物理尺寸為dx、縱向尺寸為dy。

其中：dco＝deo-dem-dmc，dvo＝deo-dem-dmv，dev＝dem+dmv。

當(dāng)相機(jī)1視場(chǎng)角過小時(shí)，在滿足透視的前提下，就可能出現(xiàn)相機(jī)1得到的圖像無法覆蓋滿顯示屏3(在一定意義上說就是要覆蓋滿人眼5的視場(chǎng))，導(dǎo)致佩戴智能眼鏡透視方法及系統(tǒng)時(shí)人眼5的視場(chǎng)出現(xiàn)黑邊等視場(chǎng)缺失情況。在滿足透視的前提下，為了確保相機(jī)1得到的圖像能覆蓋滿顯示屏3，則相機(jī)1視場(chǎng)角需要不能小于某特定值，具體如圖4(a)、圖4(b)、圖4(c)所示，為相機(jī)1視場(chǎng)計(jì)算方式示意圖。其中，實(shí)線橫軸代表了人眼5、放大鏡4、相機(jī)1共同的光軸以及顯示屏3的法線。在圖4(a)的橫軸上，a為人眼5，b為放大鏡4，c為顯示屏3，d為顯示屏3顯示的圖像在放大鏡4中的虛像，c處豎線的長(zhǎng)度代表顯示屏3半屏圖像顯示區(qū)域的大小，則在透視前提下，人眼5通過觀看顯示屏3上圖像獲得的在d距離外的視場(chǎng)為v。在圖4(b)的橫軸上，相較于圖4(a)多了一個(gè)相機(jī)1，當(dāng)相機(jī)1視場(chǎng)角為θ時(shí)，相機(jī)1的視場(chǎng)為w。要盡量避免人眼5視場(chǎng)出現(xiàn)黑邊等視場(chǎng)缺失情況，就需要讓相機(jī)1視場(chǎng)盡可能多的包含人眼5通過觀看顯示屏3的圖像獲得的視場(chǎng)。在圖4(c)中，相機(jī)1視場(chǎng)角θ足夠大到滿足所以當(dāng)景物在d距離外，在透視前提下，能確保不出現(xiàn)人眼5看到黑邊等視場(chǎng)缺失情況。

在圖3中，景物相對(duì)于相機(jī)1的視場(chǎng)角為給定sd求α的計(jì)算步驟如下：

1)由sd求得虛像大小

2)由sv求得景物大小so:

3)由so求景物相對(duì)于相機(jī)1的視場(chǎng)角:

所以把單個(gè)相機(jī)1對(duì)應(yīng)顯示屏3顯示區(qū)域大小代入公式(2)就可以求得相機(jī)1需要的最小視場(chǎng)角。

相機(jī)1水平視場(chǎng)角為：

相機(jī)1垂直視場(chǎng)角為:

其中deo越小需要的視場(chǎng)角越大，本發(fā)明建議限定deo最小值為人眼明視距離250mm，把此deo的最小值代入公式(3)和公式(4)就可以得到相機(jī)1視場(chǎng)角需要不能小于的那個(gè)特定值。

根據(jù)人眼的視覺分辨能力等因素選定顯示屏3的分辨率后，當(dāng)相機(jī)1的分辨率過低時(shí)，就會(huì)導(dǎo)致相機(jī)1分辨率匹配不上顯示屏3的分辨率，需要把相機(jī)1采集的圖像插值后顯示給人眼看，也就是放大圖像。在透視的前提下，為了匹配上顯示屏3的分辨率(在一定意義上說就是要匹配上人眼的分辨率)，不把圖像插值后顯示給人眼看，則相機(jī)1分辨率同樣不能小于某特定值。

本發(fā)明實(shí)施例計(jì)算相機(jī)1分辨率的方式為：

已知：人眼5光心到放大鏡4光心的距離dem、放大鏡4光心到相機(jī)1光心的距離dmc、放大鏡4光心到顯示屏3的距離dmd、放大鏡4焦距fm、單個(gè)相機(jī)1對(duì)應(yīng)的顯示屏3半屏顯示區(qū)域?qū)挾萹x及高度qy、顯示屏3半屏橫向最大像素?cái)?shù)nx、縱向最大像素?cái)?shù)ny；

求：在透視前提下，若圖像在顯示屏3顯示時(shí)圖像不能插值放大，則需要相機(jī)1最小分辨率；相機(jī)1在橫軸上分辨率用表示、縱軸上分辨率用表示；

解：相機(jī)1最小分辨率要求的是相機(jī)1采集圖像與顯示屏3上圖像1：1顯示，景物在相機(jī)1采集圖像中像素?cái)?shù)與顯示屏3上占有的像素?cái)?shù)相同。由此，先給定景物在顯示屏3上成像大小，由此可以得到對(duì)應(yīng)的像素?cái)?shù)ld，然后求對(duì)應(yīng)景物大小so，然后由景物大小與景物在相機(jī)1成像中像素?cái)?shù)lc(lc＝ld)求得相機(jī)1最小分辨率。計(jì)算步驟如下：

1)給定sd求像素?cái)?shù)ld，先不區(qū)分水平方向與垂直方向，令顯示屏3上單個(gè)像素的物理尺寸為d'xy，

則：

由此也可知景物在相機(jī)1中像素?cái)?shù)也同樣為ld。

2)求景物的實(shí)際大小so；

由公式(1)知

3)由景物大小so和在相機(jī)1中占用像素?cái)?shù)ld求相機(jī)1分辨率得：

其中，人眼5光心與放大鏡4光心的距離dem值可以在使用者佩戴時(shí)測(cè)量得到，deo越小需要的分辨率越大，本發(fā)明建議限定deo最小值為人眼5明視距離250mm,把此deo的最小值代入公式(5)和公式(6)就可以得到相機(jī)1分辨率需要不能小于的那個(gè)特定值。

在本發(fā)明實(shí)施例中，相機(jī)1采集的圖像到顯示屏3上顯示的圖像的映射關(guān)系選定方法包括：將相機(jī)1采集的圖像映射到顯示屏3上需要解決以下問題：

1、相機(jī)1鏡頭存在一定的徑向畸變和切向畸變，生成的圖像需要消除畸變，圖像畸變消除可以通過相機(jī)1標(biāo)定得到包括畸變系數(shù)在內(nèi)的相機(jī)1內(nèi)參，然后相機(jī)1內(nèi)參求得去畸變的圖像；此圖像畸變消除方法為現(xiàn)有技術(shù)，本發(fā)明將不再贅述。

2、智能眼鏡上的兩個(gè)相機(jī)1往往沒有做到精準(zhǔn)對(duì)齊，兩個(gè)相機(jī)1得到的圖像之間存在垂直視差，如果存在視差的圖像被顯示出來給人眼5看時(shí)，會(huì)給人的雙目立體視覺帶來困難，所以需要通過極線校正消除垂直視差；此消除垂直視差方法為現(xiàn)有技術(shù)，本發(fā)明將不再贅述。

3、選定好相機(jī)1視場(chǎng)角和分辨率后，常無法剛好做到相機(jī)1采集的圖像1：1映射到顯示屏3上就能滿足透視，而需要縮小圖像顯示給人眼5看才能做到透視。即，當(dāng)相機(jī)1采集到圖像后，采集到的圖像與顯示屏3上圖像需要滿足什么映射關(guān)系才能做到透視，也就是圖像以什么縮放比例顯示給人眼5看。此縮放比例值的求解方法如下：

已知：dem、deo、dmc、dmd、fm、qx、qy、nx、ny、

求：在透視前提下，相機(jī)1采集圖像在顯示屏3顯示時(shí)圖像的縮放比例。

解：

在滿足透視前提下，景物在顯示屏3中應(yīng)該要占有的像素?cái)?shù)與景物在相機(jī)1中占有的像素?cái)?shù)的比值就為圖像縮放比例p＝(px,py)，其中px為水平方向上的縮放比例，py為垂直方向上的縮放比例。求解過程如下：

1)給定景物大小so求景物在顯示屏3大小

如圖1所示人眼5看到的景物在放大鏡4中的虛像大小應(yīng)該滿足：

從而

由此可進(jìn)一步求得顯示屏3上景物大小為：

2)計(jì)算景物在相機(jī)1上成像大小為：

3)計(jì)算圖像縮放比例p

景物在顯示屏3上大小與顯示屏3上單個(gè)像素的物理尺寸的比值就是景物在顯示屏3上占的像素?cái)?shù)，而景物在相機(jī)1上成像大小與相機(jī)1成像面上單個(gè)像素的物理尺寸比值就是景物在相機(jī)1成像面上占的像素?cái)?shù)。所以：在橫向方向上圖像縮放比例

把公式(8)、(9)代入得：

同理求得在縱向方向上圖像縮放比例py：

其中

本發(fā)明實(shí)施例的智能眼鏡透視方法及系統(tǒng)通過相機(jī)對(duì)外界景物成像，生成的圖像在處理后通過顯示屏顯示，并通過放大鏡對(duì)顯示屏上的圖像進(jìn)行放大，從而將圖像拉遠(yuǎn)到人眼能舒適觀看的距離，使得人眼在佩戴智能眼鏡時(shí)就如同裸眼一樣準(zhǔn)確感知外界景物的位姿、大小信息，提高佩戴者的舒適度和觀看準(zhǔn)確度。

上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受上述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。