自動(dòng)3d照相亭的制作方法
【專(zhuān)利說(shuō)明】自動(dòng)3D照相亭
[0001]本申請(qǐng)要求于2014年3月20日提交的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)?zhí)枮镹0.61/968121的名稱(chēng)為“自動(dòng)3D照相亭”(即Automated3D Photo Booth)的申請(qǐng)的優(yōu)先權(quán)，其被在此引用作為所有目的的參考。
技術(shù)領(lǐng)域
[0002]這里所公開(kāi)的設(shè)備涉及照相亭所拍圖像或視頻的3D轉(zhuǎn)換。雖然照相亭的發(fā)明幾乎可追溯到攝像的開(kāi)端，但照相亭一直局限于用于普通圖像的印刷，而沒(méi)有用于3D光柵印刷或在移動(dòng)設(shè)備上的3D觀影。與該照相亭結(jié)合使用的方法使得單鏡頭相機(jī)和立體相機(jī)的視頻或圖像能夠進(jìn)行全自動(dòng)3D轉(zhuǎn)換。
[0003]【背景技術(shù)】:現(xiàn)有技術(shù)的局限性
[0004]在社交場(chǎng)合、主題公園和公共場(chǎng)所進(jìn)行攝像時(shí)，很難很快地將所拍攝的圖像加工成個(gè)性化的紀(jì)念品。如果可為旅行者進(jìn)行個(gè)性化定制并制作出引人注目的3D紀(jì)念品，那將會(huì)取得很好的效果；但實(shí)時(shí)將圖像或視頻進(jìn)行3D轉(zhuǎn)換是很困難的。如果圖像或視頻的實(shí)時(shí)3D轉(zhuǎn)換需要通過(guò)大量的人工處理過(guò)程完成，則由于高昂的人工成本，使得增加服務(wù)人員的方式也不能解決該問(wèn)題。并且，即使增加了服務(wù)人員，根據(jù)二維圖像來(lái)創(chuàng)建逼真的3D模型也并不容易。
[0005]數(shù)字視頻中的前景物體的自動(dòng)圖像分割過(guò)程經(jīng)常被認(rèn)為是一個(gè)不能解決的科學(xué)問(wèn)題。生物視覺(jué)系統(tǒng)使得該圖像分割過(guò)程看起來(lái)很容易。增加像激光測(cè)距儀或紅外圖像的增補(bǔ)數(shù)據(jù)能提高計(jì)算機(jī)視覺(jué)的深度知覺(jué)(depth percept1n),但這也會(huì)增加額外的硬件成本并使該圖像分割過(guò)程更為復(fù)雜。對(duì)于具有普通圖像或影片剪輯的視頻處理過(guò)程，將物體進(jìn)行深度智能的圖像分割有時(shí)被稱(chēng)為內(nèi)容轉(zhuǎn)換的圣杯(Holy Grail)。
[0006]可以通過(guò)將一般影片預(yù)渲染成3D影片，避免實(shí)時(shí)自動(dòng)圖像分割過(guò)程的需要。電影工作室一直在制作的3D動(dòng)畫(huà)電影都是基于3D建模而完成的，而這種3D動(dòng)畫(huà)電影并不逼真。這也是目前現(xiàn)代3D電腦游戲的最先進(jìn)技術(shù)。然而，在大多數(shù)情況下，3D圖像或視頻仍然局限在(locked inside)平面顯示屏上。使用基于偏振鏡片或快門(mén)鏡片制成的立體眼鏡來(lái)播放3D影片的電影院出現(xiàn)增長(zhǎng)性復(fù)蘇。如果顧客能將諸如3D圖像或視頻的個(gè)性化紀(jì)念品帶回家，那將是很好的。然而，直到現(xiàn)在，僅有影視大片才能制作成3D電影。并且盡管那樣，3D電影的制作需要經(jīng)過(guò)幾個(gè)月或幾年的預(yù)處理。
[0007]另一個(gè)問(wèn)題是要滿(mǎn)足裸眼3D技術(shù)的需求。3D眼鏡以其不好的觀看而一直受到人們的批評(píng)。紅藍(lán)立體電影會(huì)導(dǎo)致重影，還會(huì)使得觀眾頭痛。偏振眼鏡和快門(mén)眼鏡使用起來(lái)并不方便，并且對(duì)于電影院來(lái)說(shuō)，大量的偏振眼鏡和快門(mén)眼鏡也可能會(huì)非常昂貴。還出現(xiàn)有雙目視頻面罩(visor)，但是這種雙目視頻面罩并不是透明的，并且還阻斷了用戶(hù)與其他人之間的互動(dòng)，并使用戶(hù)無(wú)法觀察其周?chē)h(huán)境。
[0008]另一個(gè)問(wèn)題是要解決在某些時(shí)候不能進(jìn)行光柵印刷，來(lái)展示3D圖像或視頻。對(duì)于大多數(shù)用戶(hù)來(lái)說(shuō)，將光柵鏡片層疊在隔行打印件(interlaced print)上是非常耗費(fèi)時(shí)間，并很難完成的。顧客想要有即印3D圖像，但沒(méi)有顯而易見(jiàn)的方法自身去實(shí)現(xiàn)。手機(jī)可以顯示圖像，但也可能不具有可利用的光柵覆蓋物(lenticular overlay)。在手機(jī)上安裝光柵覆蓋物，并將該光柵覆蓋物按照要求精確定位和定向也是難以完成的。另一個(gè)制約是，如果光柵鏡片保持垂直設(shè)置，通常會(huì)引起莫阿干涉效應(yīng)，并對(duì)在液晶二極管(LCD)、發(fā)光二極管(LED)、陰極射線(xiàn)管(CRT)或其他種類(lèi)的顯示屏上的紅色亞像素、綠色亞像素或藍(lán)色亞像素進(jìn)行放大。但光柵鏡片偏離垂直方向越大，立體的凸顯效果就越差。另一個(gè)問(wèn)題是，大多數(shù)可利用的光柵鏡片設(shè)計(jì)用于打印，但墨水位置具有與顯示屏中的像素不同的焦距。
[0009]或者，相機(jī)可被用來(lái)追蹤用戶(hù)的動(dòng)作，并將用戶(hù)的動(dòng)作轉(zhuǎn)化成計(jì)算機(jī)的鼠標(biāo)或方向鍵輸入的導(dǎo)航信息。通過(guò)這種方式，當(dāng)一個(gè)人運(yùn)動(dòng)時(shí)，在3D情景、電腦游戲或虛擬旅游的屏幕上視角(perspective)將會(huì)發(fā)生改變。在普通的平板電腦或智能手機(jī)上，你可以像在全息圖一樣將前景物體向前或向后移動(dòng)，以及環(huán)視該前景物體。然而，很遺憾地，對(duì)于不同的用戶(hù)，室內(nèi)照明效果有著顯著差異，而這種情況導(dǎo)致了性能上有很大的差異。在移動(dòng)顯示屏上的自動(dòng)立體觀影過(guò)程中，當(dāng)沒(méi)有獲得光學(xué)覆蓋物時(shí)，需要采用一種方法；該這種方法比通過(guò)內(nèi)置相機(jī)追蹤用戶(hù)動(dòng)作來(lái)觀看顯示屏的前景物體每個(gè)面的“環(huán)視觀影效果”的方式更為可靠。
[0010]因此，一種能解決上述這些問(wèn)題的設(shè)備是非常有用的。
[0011]前景:

【發(fā)明內(nèi)容】

[0012]這里所公開(kāi)的發(fā)明揭示了現(xiàn)有技術(shù)的缺陷。在本部分中將概括描述本發(fā)明的方法，而在下一部分中將在優(yōu)選實(shí)施例中描述該方法的細(xì)節(jié)。本發(fā)明的方法包括以下幾個(gè)主要步驟:圖像捕捉、3D轉(zhuǎn)換以及3D轉(zhuǎn)換結(jié)果的顯示以及觀看。
[0013]本發(fā)明首先通過(guò)使用單鏡頭相機(jī)或立體相機(jī)的新穎照相亭將影像(圖像和/或視頻)轉(zhuǎn)換成3D影像。該照相亭與機(jī)械裝置一起操作，以將隔行掃描打印件和嵌入式(snap-1n)光柵分發(fā)出去,如圖1所不。打印機(jī)位于在座椅下方(或設(shè)置在CPU/販賣(mài)倉(cāng)中)，將將隔行掃描打印件從座椅側(cè)部的狹槽排出。
[0014]多個(gè)相框堆疊在照相亭的側(cè)壁上，并由自動(dòng)售貨機(jī)通過(guò)照相亭側(cè)部狹槽分發(fā)出來(lái)。該自動(dòng)售貨機(jī)如圖2所示:一個(gè)定制設(shè)計(jì)架/堆垛機(jī)將空白相框放置于正確的位置以用于分發(fā)。在每個(gè)相框架的底部設(shè)置有一個(gè)步進(jìn)馬達(dá)，該步進(jìn)馬達(dá)激發(fā)了推動(dòng)和排放門(mén)，以將下一個(gè)相框帶入特定位置，然后將該相框推入/噴射到一個(gè)重力式不銹鋼鋼滑梯中，使該相框滑下并落入到拾取(pick-up)窗口中；其中，消費(fèi)者可夠到該拾取窗口中，并移出該相框。步進(jìn)馬達(dá)由照相亭軟件控制，該步進(jìn)馬達(dá)將會(huì)分發(fā)出所購(gòu)買(mǎi)數(shù)量的相框。照相亭軟件具有以折扣價(jià)增售額外3D圖像的選項(xiàng)。例如，一張3D圖像售價(jià)為5美元，二張3D圖像售價(jià)為9美元，三張3D圖像售價(jià)為12美元。
[0015]照相亭可固定設(shè)置在諸如主題公園或購(gòu)物商場(chǎng)的公共場(chǎng)所中。布景主題和引導(dǎo)標(biāo)識(shí)可與3D燈箱一起展示在照相亭外側(cè)后部。在照相亭的內(nèi)部設(shè)置有顯示屏，該顯示屏朝向操作者，該顯示屏可以是在其每個(gè)側(cè)面設(shè)置有燈的2D顯示屏或3D (立體)顯示屏。在照相亭前壁的外側(cè)上與該顯示屏背靠背地設(shè)置有一個(gè)向外的3D顯示屏，該3D顯示屏用于給其他用戶(hù)展示3D凸出效果。用戶(hù)坐在照相亭中的座椅上，給其他用戶(hù)拍照。處于照相亭外的用戶(hù)將通過(guò)他們前方并處于2D顯示屏下方的小孔進(jìn)行付款。
[0016]照相亭還可以是一個(gè)小的便攜式機(jī)器，如圖2所示，該照相亭設(shè)置于地板上，該地板內(nèi)設(shè)有打印機(jī)和電腦，其中該打印機(jī)和電腦設(shè)置底板存儲(chǔ)柜的下方，且該地板上方設(shè)置有自動(dòng)立體平面顯示屏。盡管該便攜式照相亭可被零售商操作，但它也具有通過(guò)投幣，即可與一種用于分發(fā)出隔行掃描打印件和3D相框的機(jī)械裝置一起進(jìn)行運(yùn)轉(zhuǎn)的選項(xiàng)。
[0017]這里所公開(kāi)的機(jī)械裝置是第一全自動(dòng)3D照相亭。專(zhuān)業(yè)軟件用于將由單鏡頭相機(jī)拍攝的圖像，或與由多鏡頭(立體)相機(jī)拍攝的圖像進(jìn)行轉(zhuǎn)換，以渲染出3D深度地圖(深度地圖也叫做線(xiàn)框)；其中，圖像隨后映射于該3D深度地圖上。3D點(diǎn)云或線(xiàn)框也可通過(guò)添加其他使用激光測(cè)距儀的距離傳感器、紅外圖像或其他非圖像方法獲得，這些非圖像設(shè)備包括有由以色列特拉維夫市的Prime Sense公司研制的體感傳感器(Kinect sensor),或由加州山景城的Lytro公司或加州山景城的Pelican Imaging公司研制的光場(chǎng)相機(jī)。
[0018]我們可使用色度鍵控，通過(guò)在背景上選擇一種如亮綠色的獨(dú)特色彩，以移除相片的背景。如在本優(yōu)選實(shí)施例中的描述，我們也可將灰色的陰影部分轉(zhuǎn)換成不同的深度，并為照相亭創(chuàng)建背景，這個(gè)背景有意地與被拍照的人物的亮度/暗度形成對(duì)比。這些確實(shí)是新式整體照相亭的一部分。然而，這里所公開(kāi)的軟件還包括自身具有新穎性和創(chuàng)造性的步驟，且簡(jiǎn)單地并不成為新式組件的部分。任何人可創(chuàng)建綠屏，并使用常見(jiàn)圖像編輯軟件人為地移除背景。但軟件的這些算法與上述方法的主要區(qū)別在于:(1)實(shí)際深度并非通過(guò)簡(jiǎn)單的色度鍵控來(lái)獲得；(2)軟件算法需要設(shè)計(jì)成足夠快，來(lái)實(shí)現(xiàn)實(shí)時(shí)視頻效果；(3)這些軟件算法都是全自動(dòng)的。
[0019]對(duì)于將雙鏡頭視頻或圖像的自動(dòng)轉(zhuǎn)換成高質(zhì)量的3D線(xiàn)框，這里所公開(kāi)的方法通過(guò)比較兩個(gè)圖像，并采用每個(gè)分割區(qū)域邊界的內(nèi)部和外部的多色彩邊界探測(cè)，找出前景物體的基本圖像分割區(qū)域，以精確、自動(dòng)的定義該前景物體的基本輪廓。這是非常有用的技術(shù)，可自動(dòng)提供出奇有效的效果。
[0020]雙鏡頭3D方法的目的是在動(dòng)態(tài)視差的基礎(chǔ)上將左視圖像和右視圖像進(jìn)行比較，找出雙眼視差的粗的分割區(qū)域，來(lái)快速識(shí)別前景物體的分割區(qū)域。這個(gè)方法不必精確。然后軟件利用前景物體分割區(qū)域內(nèi)部和外部的色彩，搜索該前景物體分割區(qū)域內(nèi)部和外部更為精確的分割線(xiàn)。這是用于計(jì)算機(jī)版本的有用且新穎的方法，以自動(dòng)地并實(shí)時(shí)地提供前景物體的出奇地好的檢測(cè)。
[0021]一旦圖像轉(zhuǎn)換創(chuàng)建了線(xiàn)框場(chǎng)景，且圖像被映射在該線(xiàn)框場(chǎng)景上時(shí)，這種逼真3D線(xiàn)框場(chǎng)景模型的圖像隨后保存在3D前景物體場(chǎng)景的幾個(gè)特定圖像中。這些特定圖像會(huì)“隔行掃描”到一個(gè)大型圖像中；每個(gè)特定圖像具有隔行掃描分割條；這是一種用于為光柵透鏡創(chuàng)建圖像的標(biāo)準(zhǔn)隔行掃描方法?；蛘?，這些逼真的3D線(xiàn)框模型(基于圖像或視頻)也可存儲(chǔ)為工業(yè)標(biāo)準(zhǔn)3D格式，如DirectX，OpenGL，OpenGL ES或VRML，用于顧客隨后的互動(dòng)式3D觀看。
[0022]圖像轉(zhuǎn)換實(shí)時(shí)自動(dòng)進(jìn)行，這樣顧客能接收到隔行掃描打印件，該隔行掃描打印件可以插入到相框中，或顧客可通過(guò)電子郵件、藍(lán)牙傳輸或社交媒體接收數(shù)字3D線(xiàn)框模型以在移動(dòng)設(shè)備、電視或電腦上觀看。一旦初始視頻轉(zhuǎn)換成3D線(xiàn)框時(shí)，一系列顯示選項(xiàng)可以實(shí)現(xiàn)。多種圖像被隔行掃描并顯示，用于成為光柵打印件和在具有光柵覆蓋物的顯示屏(或在HDTV上的內(nèi)置光柵覆蓋物，也已知為“自動(dòng)立體顯示器”)上進(jìn)行光柵觀看的視頻或圖像。
[0023]本發(fā)明的一個(gè)目的是為了壁面疊合過(guò)程，該疊合過(guò)程一般需要和光柵打印一起完成。在這里所公開(kāi)的方法中，光柵覆蓋物嵌入在相框或移動(dòng)設(shè)備中的隔行掃描打印件上方。光柵覆蓋物與隔行掃描打印件的匹配過(guò)程和校準(zhǔn)過(guò)程對(duì)于照相亭而言是一個(gè)重要的具有創(chuàng)造性的步驟，并基于我們團(tuán)隊(duì)研發(fā)的自動(dòng)校準(zhǔn)鏡頭進(jìn)行的，該自動(dòng)校準(zhǔn)鏡頭詳見(jiàn)PCT/CN2006/002198。
[0024]對(duì)于沒(méi)有光柵覆蓋物的用戶(hù)，在例如用戶(hù)的手持移動(dòng)設(shè)備的普通顯示屏上進(jìn)行“裸視”3D觀影體驗(yàn)也是有可能的。當(dāng)移動(dòng)設(shè)備在任何方向上傾斜時(shí)，傾斜傳感器可指示該移動(dòng)設(shè)備的傾斜程度，并移動(dòng)顯示屏上逼真的3D前景物體。這種方式就像支撐光柵打印，當(dāng)移動(dòng)設(shè)備向前、向后移動(dòng)時(shí)，用戶(hù)能體驗(yàn)“環(huán)視效果”，上下地環(huán)視前景物體的一側(cè)或環(huán)視其另一側(cè)，像看全息圖一樣；但在本發(fā)明中利用的是普通顯示屏；該過(guò)程與環(huán)視手持的真實(shí)物體一樣。
[0025]顯示屏用于避免莫阿干涉效應(yīng)的光柵覆蓋物
[0026]對(duì)于自動(dòng)立體視頻，這里公開(kāi)的方法涉及一種能與一定尺寸的顯示屏、播放器和移動(dòng)設(shè)備配合使用的透明的光柵(脊?fàn)?覆蓋物的聚焦方法。這種方法用于將普通視頻的內(nèi)容進(jìn)行轉(zhuǎn)換，從而進(jìn)行觀看。增加深度知覺(jué)為觀看電影提供了一種增強(qiáng)的觀看體驗(yàn)，這種增強(qiáng)的觀看體驗(yàn)就像看傳統(tǒng)的立體視頻一樣，但該觀看體驗(yàn)不需要通過(guò)雙目視頻眼鏡而僅需要通過(guò)視頻來(lái)實(shí)現(xiàn)。用戶(hù)可看到深度凸出效果；并且當(dāng)用戶(hù)移動(dòng)頭部時(shí)，他們可以在視頻播放過(guò)程中環(huán)視前景物體；其中所有的前景物體都呈現(xiàn)于具有低成本光柵覆蓋物的普通顯示屏上。
[0027]術(shù)語(yǔ)“光柵”指的是微透鏡、或鏡頭。一般地，光柵上陣列排布有平行設(shè)置的長(zhǎng)的脊；這些脊可等同于小型圓形集成鏡片或同心菲涅耳透鏡脊。線(xiàn)型脊目前在立體觀影中是最普通的。然而，這些線(xiàn)型脊可主要被用于靜態(tài)打印中。在數(shù)字視頻，圖像處理和3D建模存在之前，沒(méi)有方法將單鏡頭相機(jī)拍攝的電影轉(zhuǎn)化以用于光柵觀看。一般地，當(dāng)打印的光柵卡傾斜時(shí)，隨著光路從隔行掃描分割條由一巾貞移動(dòng)到下一巾貞，朝向用戶(hù)的光學(xué)脊會(huì)引起翻轉(zhuǎn)和運(yùn)動(dòng)。在這里公開(kāi)的方法中，我們?yōu)閷?shí)現(xiàn)立體觀影方式和實(shí)時(shí)視頻的環(huán)視效果，擴(kuò)展了這個(gè)性能。
[0028]一般地，隔行掃描圖像精確打印或粘貼在光柵塑料上。然而，我們的方法的新穎性在于將光柵覆蓋物卡設(shè)在用于放置打印圖像或移動(dòng)設(shè)備殼的相框中，并設(shè)置膠粘屏保格式。當(dāng)然，這種方法也可采用于帶有固定連接的光柵層的光柵顯示屏。
[0029]雖然我們公開(kāi)了用于將普通電影轉(zhuǎn)換成3D場(chǎng)景模型的工具，但是數(shù)字顯示屏具有比打印標(biāo)準(zhǔn)更小的分辨率。在標(biāo)準(zhǔn)電腦顯示屏上用于光柵打印的每英寸的像素可為600dpi，而目前的標(biāo)準(zhǔn)僅處于每英寸80像素，或在某些目前的顯示屏高達(dá)326像素。本發(fā)明方法由此利用盡可能薄的光柵覆蓋物，這種光柵覆蓋物具有最小的脊(即最高間距)；使得在顯示屏上的光柵觀看具有非常低的分辨率。
[0030]在沒(méi)有穿戴3D眼鏡的狀態(tài)下，3D效果使電影看起來(lái)在顯示屏前后具有深度。這種3D效果給顧客提供了一種在普通顯示屏或電視上像看全息圖一樣的體驗(yàn)。當(dāng)你可以體驗(yàn)全息圖時(shí)，為什么還在你的電腦，電視或手持電子設(shè)備上看平面圖片呢？而且，通過(guò)低成本的由乙烯樹(shù)脂制成的脊帶來(lái)了與昂貴的大顯示屏的光柵顯示屏一樣的視覺(jué)效果。
[0031]研究出多種用于使用快門(mén)眼鏡、紅綠眼鏡和偏振眼鏡來(lái)獲得立體深度凸出效果來(lái)進(jìn)行3D觀影的方法。然而，在這里所描述的方法中，我們?cè)谌魏畏N類(lèi)的顯示屏或移動(dòng)設(shè)備上使用塑料光學(xué)覆蓋物。僅隨著打印，具有正確的光學(xué)性能的塑料覆蓋物將產(chǎn)生立體深度凸出效果、“環(huán)視效果”(即視差)或在觀看者移動(dòng)時(shí)變換前景物體的色