專(zhuān)利名稱(chēng)：基于攝像機(jī)陣列的三維實(shí)時(shí)獲取系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種三維獲取技術(shù)，尤其是指一種基于攝像機(jī)陣列的，可以實(shí) 時(shí)獲取三維信息的三維獲取系統(tǒng)，其應(yīng)用目標(biāo)是大視角、大物體和動(dòng)態(tài)場(chǎng)景等 應(yīng)用領(lǐng)域。
背景技術(shù)：
場(chǎng)景的三維信息獲取是當(dāng)今視覺(jué)研究的熱點(diǎn)問(wèn)題，但各種方法普遍不夠完 善。首先，有很多基于單攝像機(jī)、雙攝像機(jī)和攝像機(jī)陣列的三維圖像獲取技術(shù)， 這些技術(shù)的缺點(diǎn)是魯棒性不高，而且這些技術(shù)要求的運(yùn)算量非常大，即使是非 常先進(jìn)的處理單元，也很難達(dá)到實(shí)時(shí)處理。
T0F技術(shù)是一種最近發(fā)展起來(lái)的獲取場(chǎng)景三維信息的先進(jìn)技術(shù)。這種技術(shù)通 過(guò)發(fā)射調(diào)制紅外線(xiàn)照射場(chǎng)景，在接收到場(chǎng)景反射回來(lái)的紅外線(xiàn)時(shí)檢測(cè)它的相位 差，來(lái)確定場(chǎng)景的三維信息，因?yàn)椴恍枰罅窟\(yùn)算，這種方法是可以實(shí)現(xiàn)實(shí)時(shí) 處理的。但它的缺點(diǎn)是空間分辨率較低。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，通過(guò)建立基于立體視覺(jué)和T0F技 術(shù)的陣列立體視覺(jué)系統(tǒng)，并利用這兩種技術(shù)的互補(bǔ)，克服各自技術(shù)的缺點(diǎn)，提 出了一種基于攝像機(jī)陣列的三維實(shí)時(shí)獲取系統(tǒng)。該系統(tǒng)首先通過(guò)T0F攝像機(jī)實(shí) 時(shí)獲取一個(gè)空間分辨率較低的場(chǎng)景三維信息的初始值，再通過(guò)映射和優(yōu)化，最 終得到實(shí)時(shí)的高分辨率場(chǎng)景三維信息。
為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明采用的技術(shù)方案如下 本發(fā)明的基于攝像機(jī)陣列的三維實(shí)時(shí)獲取系統(tǒng)包括以下四個(gè)部分 視頻采集系統(tǒng)，采用攝像機(jī)陣列來(lái)采集場(chǎng)景的圖像信息，并對(duì)采集的每一 幀圖像信息按照時(shí)間序列編碼，通過(guò)信號(hào)轉(zhuǎn)發(fā)系統(tǒng)傳送到數(shù)據(jù)處理系統(tǒng)；
數(shù)據(jù)處理系統(tǒng)，對(duì)采集到的信號(hào)進(jìn)行實(shí)時(shí)立體視覺(jué)處理，計(jì)算出場(chǎng)景的三維數(shù)據(jù)信息，通過(guò)網(wǎng)絡(luò)傳送到數(shù)據(jù)融合系統(tǒng)；
信號(hào)轉(zhuǎn)發(fā)系統(tǒng)，將采集到的圖像信息轉(zhuǎn)發(fā)到相應(yīng)的數(shù)據(jù)處理系統(tǒng)中，并控 制視頻采集系統(tǒng)的工作狀態(tài)；
數(shù)據(jù)融合系統(tǒng)，在已經(jīng)得到的不同視角場(chǎng)景的三維數(shù)據(jù)信息的基礎(chǔ)上，將 這些三維數(shù)據(jù)融合為惟一確定的全場(chǎng)景的三維數(shù)據(jù)。其中
視頻采集系統(tǒng)是由多個(gè)高分辨率攝像機(jī)和一個(gè)較低空間分辨率T0F攝像機(jī) 組成的陣列，可以是平面陣列，也可以是弧型陣列或任意的拓?fù)浣Y(jié)構(gòu)的陣列，來(lái) 完成采集視頻圖像信息的目的。每臺(tái)高分辨率攝像機(jī)有一個(gè)視頻采集單元，在 信號(hào)轉(zhuǎn)發(fā)系統(tǒng)上的同步控制單元的控制下，采集陣列視頻圖像數(shù)據(jù)。需要發(fā)送 的陣列視頻圖像數(shù)據(jù)和需要接收的控制信號(hào)，通過(guò)LVDS串行解串行器來(lái)傳輸。 LVDS串行解串行器的好處是可以把并行信號(hào)轉(zhuǎn)換成串行信號(hào)，簡(jiǎn)化設(shè)計(jì)，而且 在信號(hào)線(xiàn)數(shù)目減少后，可以通過(guò)更方便的傳輸線(xiàn)與信號(hào)轉(zhuǎn)發(fā)系統(tǒng)通信。
信號(hào)轉(zhuǎn)發(fā)系統(tǒng)的首要功能是利用信號(hào)轉(zhuǎn)發(fā)器將視頻采集系統(tǒng)中每一臺(tái)高分 辨率攝像機(jī)采集到的視頻圖像數(shù)據(jù)發(fā)送到對(duì)應(yīng)的數(shù)據(jù)處理系統(tǒng)的處理器中。其
次，信號(hào)轉(zhuǎn)發(fā)系統(tǒng)上有一個(gè)同步控制單元，它可以在數(shù)據(jù)處理系統(tǒng)上的核心處 理器和T0F攝像機(jī)的控制下，產(chǎn)生所有高分辨率攝像機(jī)的同步信號(hào)，并通過(guò)信 號(hào)轉(zhuǎn)發(fā)器轉(zhuǎn)發(fā)到每臺(tái)高分辨率攝像機(jī)中。最后，它上面設(shè)有插槽，用來(lái)固定數(shù) 據(jù)處理系統(tǒng)中的處理器系統(tǒng)。
數(shù)據(jù)處理系統(tǒng)的主要組成部分是對(duì)應(yīng)于每一臺(tái)高分辨率攝像機(jī)的處理器， 其中一臺(tái)核心處理器還負(fù)責(zé)控制信號(hào)轉(zhuǎn)發(fā)系統(tǒng)中的控制單元。所有的處理器通 過(guò)網(wǎng)絡(luò)相互連接并與T0F攝像機(jī)通信，還接收通過(guò)LVDS串行解串行器傳送的相 關(guān)幾臺(tái)高分辨率攝像機(jī)的視頻圖像數(shù)據(jù)。這些處理器采用以下方式來(lái)計(jì)算出場(chǎng) 景的三維信息
首先，需要對(duì)高分辨率攝像機(jī)和T0F攝像機(jī)陣列進(jìn)行標(biāo)定，來(lái)確定各臺(tái)攝 像機(jī)之間的準(zhǔn)確相對(duì)位置。本發(fā)明先采用單攝像機(jī)的標(biāo)定方法，分別得到所有 攝像機(jī)的內(nèi)、外參數(shù)；再通過(guò)同一平板的坐標(biāo)系到各自攝像機(jī)間的坐標(biāo)變換， 建立攝像機(jī)之間的位置關(guān)系矩陣。再以求得的參數(shù)為初始值，考慮畸變因素， 利用全局最優(yōu)化方法求得最優(yōu)解。
然后，做T0F攝像機(jī)和所有高分辨率攝像機(jī)之間的配準(zhǔn)。要求T0F攝像機(jī)與各臺(tái)高分辨率攝像機(jī)在所覆蓋的共同空間上達(dá)到嚴(yán)格的對(duì)應(yīng)關(guān)系，通過(guò)這種 對(duì)應(yīng)關(guān)系，將T0F攝像機(jī)的深度信息映射到所有高分辨率攝像機(jī)組成的立體視 覺(jué)系統(tǒng)，并利用立體視覺(jué)系統(tǒng)，進(jìn)一步優(yōu)化深度信息。在配準(zhǔn)時(shí)，數(shù)據(jù)處理系 統(tǒng)中的每臺(tái)處理器對(duì)應(yīng)一臺(tái)高分辨率攝像機(jī)，并通過(guò)信號(hào)轉(zhuǎn)發(fā)系統(tǒng)分別接收附
近區(qū)域的多臺(tái)高分辨率攝像機(jī)和T0F攝像機(jī)的數(shù)據(jù)，通過(guò)千兆網(wǎng)與其它處理器 交換數(shù)據(jù)。利用T0F攝像機(jī)所映射的深度信息和附近區(qū)域的多臺(tái)高分辨率攝像 機(jī)的視頻圖像數(shù)據(jù)，經(jīng)過(guò)相應(yīng)的集束計(jì)算處理，得到每臺(tái)高分辨率攝像機(jī)視角 區(qū)域的高分辨率三維信息。采用多臺(tái)高分辨率攝像機(jī)，可獲得大視角場(chǎng)景的三
維信息。
數(shù)據(jù)融合系統(tǒng)主要是后臺(tái)處理器。它通過(guò)千兆網(wǎng)接收到數(shù)據(jù)處理系統(tǒng)中每 臺(tái)處理器發(fā)送的所對(duì)應(yīng)的高分辨率攝像機(jī)視角的三維信息，并把它們整合成完 整的唯一的全局場(chǎng)景三維幾何數(shù)據(jù)。
我們采取的矩形攝像機(jī)陣列首先通過(guò)T0F攝像機(jī)獲取一個(gè)空間分辨率較低 的場(chǎng)景三維信息的初始值。根據(jù)計(jì)算機(jī)視覺(jué)的原理，將這些初始值映射到高分 辨率攝像機(jī)所得到的圖像上，利用陣列高分辨率攝像機(jī)所獲的圖像數(shù)據(jù)間的相 關(guān)性進(jìn)行全局優(yōu)化，最后得到準(zhǔn)確的高分辨率的場(chǎng)景的三維信息。
本發(fā)明立體視覺(jué)處理算法與傳統(tǒng)的立體匹配方法也不一樣，它是通過(guò)攝像 機(jī)之間的位置關(guān)系矩陣和立體視覺(jué)原理，在有高可靠性初始深度圖的條件下， 將圖像配準(zhǔn)變換函數(shù)作為關(guān)于深度信息變量的變換函數(shù)，通過(guò)圖像配準(zhǔn)，直接求 深度圖，而不是視差圖。由于有高可靠性初始深度圖，加上立體視覺(jué)的一些有用 的約束條件，因此容易獲得高效和高精度的圖像配準(zhǔn)結(jié)果。這樣就可克服傳統(tǒng) 立體視覺(jué)中出現(xiàn)的立體匹配計(jì)算量大、容易產(chǎn)生誤匹配等問(wèn)題。而且，采用多 臺(tái)處理器，分別處理由攝像機(jī)陣列所獲得的場(chǎng)景圖像的一部分區(qū)域，提高了運(yùn) 算效率，可以很好的實(shí)時(shí)采集高分辨率的場(chǎng)景三維信息。


為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉一較佳實(shí)施
例，并配合附圖，詳細(xì)說(shuō)明如下
圖1表示基于2x3+1攝像機(jī)陣列的三維實(shí)時(shí)獲取系統(tǒng)示意圖。圖2表示2x3+1攝像機(jī)陣列的拓?fù)浣Y(jié)構(gòu)。 圖3表示本實(shí)施例的整體系統(tǒng)框圖。
圖4表示本實(shí)施例的視頻采集系統(tǒng)中每一臺(tái)高分辨率攝像機(jī)的結(jié)構(gòu)框圖。 圖5表示本實(shí)施例的信息轉(zhuǎn)發(fā)系統(tǒng)的結(jié)構(gòu)框圖。
圖6表示本實(shí)施例的信號(hào)轉(zhuǎn)發(fā)系統(tǒng)中相對(duì)于一臺(tái)高分辨率攝像機(jī)的結(jié)構(gòu)框圖。
圖7表示本實(shí)施例的信號(hào)轉(zhuǎn)發(fā)系統(tǒng)的結(jié)構(gòu)框圖。
具體實(shí)施例方式
圖l表示本發(fā)明實(shí)施例的系統(tǒng)示意圖。在本實(shí)施例中，采用六臺(tái)CMOS攝像 機(jī)和一臺(tái)T0F攝像機(jī)作為視頻采集系統(tǒng)。六臺(tái)DSP處理器作為數(shù)據(jù)處理系統(tǒng)， 采用千兆網(wǎng)作為數(shù)據(jù)交換和傳輸?shù)拿浇?，使用PC平臺(tái)作為數(shù)據(jù)融合系統(tǒng)。
圖2表示本發(fā)明實(shí)施例的視頻采集系統(tǒng)的拓?fù)浣Y(jié)構(gòu)。視頻釆集系統(tǒng)中的攝 像機(jī)陣列采用(2*3+1)的拓?fù)浣Y(jié)構(gòu)。六臺(tái)高分辨率攝像機(jī)分布在一個(gè)矩形的四 個(gè)頂點(diǎn)和長(zhǎng)邊中點(diǎn)上， 一臺(tái)T0F攝像機(jī)位于這個(gè)矩形的中心。每一臺(tái)高分辨率 攝像機(jī)都對(duì)應(yīng)數(shù)據(jù)處理系統(tǒng)中的一臺(tái)DSP處理器。
將T0F攝像機(jī)的深度信息映射到所有高分辨率攝像機(jī)組成的立體視覺(jué)系統(tǒng) 中，并作為初始深度圖，將圖像配準(zhǔn)變換函數(shù)作為關(guān)于深度信息變量的變換函 數(shù),通過(guò)圖像配準(zhǔn)，直接求深度圖。在做配準(zhǔn)算法時(shí)，對(duì)于C2的立體匹配(在 C2的DSP系統(tǒng)執(zhí)行運(yùn)算)，Cl、 C5和C3攝像機(jī)采集的數(shù)據(jù)都可參與處理，相當(dāng) 于多基線(xiàn)的立體匹配，最終求得使C2與C1、 C5和C3達(dá)到總的最佳匹配時(shí)的深 度圖，其中C2要求高分辨率圖像數(shù)據(jù)，其它攝像機(jī)僅需要低分辨率圖像數(shù)據(jù)； 同樣對(duì)于C5的立體匹配，C2、 C4和C6攝像機(jī)采集的數(shù)據(jù)都參與處理，最終求 得使C5與C2、 C4和C6達(dá)到總的最佳匹配時(shí)的深度圖；對(duì)于Cl的立體匹配， C2和C4攝像機(jī)采集的數(shù)據(jù)都參與處理；同樣對(duì)于C3的立體匹配，C2和C6攝 像機(jī)采集的數(shù)據(jù)都參與處理；對(duì)于C4的立體匹配，Cl和C5攝像機(jī)采集的數(shù)據(jù) 都參與處理；對(duì)于C6的立體匹配，C3和C5攝像機(jī)采集的數(shù)據(jù)都參與處理。
圖3表示本發(fā)明實(shí)施例的硬件設(shè)計(jì)的整體框圖。六臺(tái)高分辨率攝像機(jī)采集 的圖像信息和同步信號(hào)分別由Al-A6傳輸?shù)叫盘?hào)轉(zhuǎn)發(fā)系統(tǒng)。T0F攝像機(jī)的同步信號(hào)由P傳輸?shù)叫盘?hào)轉(zhuǎn)發(fā)系統(tǒng)。圖像信息由Cl-C6從信號(hào)轉(zhuǎn)發(fā)系統(tǒng)傳輸?shù)綌?shù)據(jù)處 理系統(tǒng)的六臺(tái)DSP中。其中，DSP-3為核心DSP，它還通過(guò)Dl發(fā)送控制信息到 信號(hào)轉(zhuǎn)發(fā)系統(tǒng)中。在這些信息和T0F攝像機(jī)同步信號(hào)的控制下，信號(hào)轉(zhuǎn)發(fā)系統(tǒng) 產(chǎn)生對(duì)六臺(tái)高分辨率攝像機(jī)的同步信號(hào)，通過(guò)Bl-B6傳輸?shù)搅_(tái)高分辨率攝像 機(jī)。TOF攝像機(jī)和所有的DSP處理器都可以由N0-N6通過(guò)千兆網(wǎng)交換數(shù)據(jù)，并由 N7通過(guò)千兆網(wǎng)傳輸DSP計(jì)算得到的場(chǎng)景三維數(shù)據(jù)到數(shù)據(jù)融合系統(tǒng)。
圖4為本發(fā)明實(shí)施例的視頻采集系統(tǒng)中每臺(tái)高分辨率攝像機(jī)的結(jié)構(gòu)圖。每 臺(tái)高分辨率攝像機(jī)由一片CMOS感光芯片， 一片LVDS芯片和一個(gè)RJ45網(wǎng)口組成。 CMOS感光芯片通過(guò)光學(xué)原理，在控制信號(hào)的控制下，采集場(chǎng)景圖像信息，把相 應(yīng)的信號(hào)發(fā)送到LVDS串行解串行器上。LVDS負(fù)責(zé)傳送CMOS芯片的控制信號(hào)和 接受CMOS芯片釆集的數(shù)據(jù)信息和同步信號(hào)。它可以將16根并行傳輸線(xiàn)轉(zhuǎn)換成2 根LVDS線(xiàn)傳輸信號(hào)，大大的簡(jiǎn)約了設(shè)計(jì)，節(jié)省了空間。RJ45網(wǎng)口負(fù)責(zé)傳輸LVDS 的輸入輸出串行信號(hào)到信號(hào)轉(zhuǎn)發(fā)系統(tǒng)中。
下面，介紹一下各個(gè)重要信號(hào)線(xiàn)的功能。
發(fā)送信號(hào)
DO-和D0+是LVDS發(fā)送信號(hào)，RIN-和RIN+是LVDS接收信號(hào)。 DC—0UT[9:0]是十位并行的圖像數(shù)據(jù)，即為CMOS芯片采集的圖像數(shù)據(jù)。 LAST—LINE為幀同步信號(hào)，PIXEL—VALID為數(shù)據(jù)輸出有效信號(hào)，TIME—OUT為 幀曝光結(jié)束信號(hào)，將它們傳給信號(hào)轉(zhuǎn)發(fā)系統(tǒng)中的CPLD上與地分辨率三維攝像機(jī) 一起，產(chǎn)生高分辨率攝像機(jī)的同步控制信號(hào)，最終輸入到信號(hào)轉(zhuǎn)發(fā)系統(tǒng)的CPLD 和數(shù)據(jù)處理系統(tǒng)中的DSP中。 接收信號(hào)
Y—START信號(hào)為幀控制信號(hào)，Y—CLOCK為場(chǎng)同步信號(hào)。SS—START為曝光開(kāi)始 信號(hào)，SS—STOP為幀曝光結(jié)束信號(hào)，即為高分辨率攝像機(jī)的同步信號(hào)。
SYS一RESET為芯片重起信號(hào)，SYS—CLK為系統(tǒng)時(shí)鐘信號(hào)，ADC—CLK為數(shù)模轉(zhuǎn) 換時(shí)鐘信號(hào)，是一些系統(tǒng)信號(hào)。
S_CLK為串行寫(xiě)寄存器時(shí)鐘信號(hào)，S—DATA為串行寫(xiě)寄存器數(shù)據(jù)信號(hào)，S—EN 為串行寫(xiě)寄存器始能信號(hào)，這三個(gè)信號(hào)一起來(lái)寫(xiě)CMOS芯片中的寄存器。
最后，是系統(tǒng)同步時(shí)鐘的問(wèn)題。在本發(fā)明實(shí)施例中，CMOS芯片的時(shí)鐘信號(hào)實(shí)際上是由信號(hào)轉(zhuǎn)發(fā)系統(tǒng)中的CPLD產(chǎn)生，通過(guò)RCLK信號(hào)恢復(fù)出來(lái)的。為了單 系統(tǒng)調(diào)試方便，做了一個(gè)二選一的選擇器，除了可以通過(guò)RCLK，也可以由晶振 直接產(chǎn)生。另外，把SYS_CLK系統(tǒng)時(shí)鐘傳送到LVDS上的TCLK，作為CMOS發(fā)送 信號(hào)到LVDS上的時(shí)鐘。
圖5表示本發(fā)明實(shí)施例的數(shù)據(jù)處理系統(tǒng)中核心處理器的結(jié)構(gòu)圖。每臺(tái)處理 器通過(guò)PCI接口接收信號(hào)轉(zhuǎn)發(fā)系統(tǒng)的信號(hào)，每臺(tái)處理器都要接收相對(duì)應(yīng)的3或4 臺(tái)高分辨率攝像機(jī)所傳輸?shù)臄?shù)據(jù)，進(jìn)行相應(yīng)的處理。這些數(shù)據(jù)通過(guò)PCI接口傳 輸過(guò)來(lái)后，再由LVDS串行解串行器恢復(fù)成并行信號(hào)，傳輸?shù)紻SP處理器的視頻 口。每臺(tái)處理器還可以通過(guò)千兆網(wǎng)口與其他的處理器和數(shù)據(jù)融合系統(tǒng)通信。此 圖表示的是核心DSP處理器，除完成同樣功能外，它還要負(fù)責(zé)發(fā)送一些CPLD的 控制信號(hào)。這些信號(hào)通過(guò)雙向rc總線(xiàn)，SPI和GPIO接口來(lái)傳輸。其中SDA0和 SCL0是I2C信號(hào)；SPICS#， SPIDO， SPIDI和SPICLK為SPI信號(hào);GPI0[15: 0] 為16并行的GPI0信號(hào)。
RIN-和RIN+是接收到的LVDS信號(hào)，ADC—0UT
是恢復(fù)出來(lái)的十位并行的 圖像數(shù)據(jù)。
本發(fā)明實(shí)施例所采用的處理器是DSP，并配有相應(yīng)的SDRAM， SPI—EEPROM和 FLASH等芯片協(xié)同工作。其中SDRAM負(fù)責(zé)存儲(chǔ)計(jì)算中大量的數(shù)據(jù)，SPI_EEPROM 和FLASH負(fù)責(zé)存儲(chǔ)算法程序。
圖6為本發(fā)明實(shí)施例的信號(hào)轉(zhuǎn)發(fā)系統(tǒng)對(duì)于一臺(tái)高分辨率攝像機(jī)的結(jié)構(gòu)框圖。 本發(fā)明的信號(hào)轉(zhuǎn)發(fā)系統(tǒng)負(fù)責(zé)轉(zhuǎn)送視頻采集系統(tǒng)和數(shù)據(jù)處理系統(tǒng)之間的信號(hào)。并 通過(guò)CPLD來(lái)產(chǎn)生同步視頻采集系統(tǒng)的信號(hào)。 一臺(tái)高分辨率攝像機(jī)采集的數(shù)據(jù)首 先通過(guò)一個(gè)LVDS R印eater轉(zhuǎn)發(fā)給相應(yīng)的三或四臺(tái)處理器系統(tǒng)，其中一臺(tái)攝像 機(jī)會(huì)把信號(hào)轉(zhuǎn)發(fā)給CPLD芯片，CPLD在核心DSP控制信號(hào)C0N1和TOF攝像機(jī)同 步信號(hào)C0N2的控制下，輸出六臺(tái)高分辨率攝像機(jī)的同步信號(hào)。這路LVDS信號(hào) 線(xiàn)通過(guò)LVDS串行解串行器還原成并行信號(hào)，通過(guò)RJ45—1-RJ45_6轉(zhuǎn)發(fā)給六臺(tái)高 分辨率攝像機(jī)。其它的信號(hào)都已經(jīng)在前面作過(guò)解釋。
圖7表示本發(fā)明實(shí)施例的信號(hào)轉(zhuǎn)發(fā)系統(tǒng)的完整結(jié)構(gòu)圖。由視頻采集系統(tǒng)傳 送過(guò)來(lái)的六路視頻信號(hào)，分別由對(duì)應(yīng)的轉(zhuǎn)發(fā)器LVDS R印eater分別發(fā)送到對(duì)應(yīng) 的數(shù)據(jù)處理系統(tǒng)的三或四臺(tái)DSP中。其中一路信號(hào)經(jīng)LVDS串行解串行器恢復(fù)為并行信號(hào)，在低分辨率三維攝像機(jī)的同步信號(hào)和核心處理器DSP的控制下，通 過(guò)CPLD產(chǎn)生所有高分辨率攝像機(jī)的同步信號(hào)，再經(jīng)LVDS-7傳回視頻采集系統(tǒng) 的六臺(tái)高分辨率攝像機(jī)中。在這里，信號(hào)傳輸通過(guò)的是RJ45網(wǎng)口。
本發(fā)明實(shí)施例的數(shù)據(jù)融合系統(tǒng)采用PC機(jī)作為處理平臺(tái)。并接收處理器和T0F 攝像機(jī)所得到的數(shù)據(jù)進(jìn)行運(yùn)算。后臺(tái)計(jì)算機(jī)接收到單個(gè)攝像機(jī)視角的3D信息， 并把它們整合成完整的唯一的全局場(chǎng)景3D幾何數(shù)據(jù)，具體思路是
將3D空間離散化，每個(gè)采樣點(diǎn)為AxAxA小立方體。
在上述離散化的3D空間，對(duì)所有攝像機(jī)對(duì)應(yīng)的3D幾何數(shù)據(jù)，進(jìn)行整合和 重采樣，得到完整的、唯一的全局場(chǎng)景3D幾何數(shù)據(jù)。
權(quán)利要求
1.一種基于攝像機(jī)陣列的三維實(shí)時(shí)獲取系統(tǒng)，其特征在于包括視頻采集系統(tǒng)，采用攝像機(jī)陣列來(lái)采集場(chǎng)景的圖像信息，并對(duì)采集的每一幀圖像信息按照時(shí)間序列編碼，通過(guò)信號(hào)轉(zhuǎn)發(fā)系統(tǒng)傳送到數(shù)據(jù)處理系統(tǒng)；數(shù)據(jù)處理系統(tǒng)，對(duì)采集到的信號(hào)進(jìn)行實(shí)時(shí)立體視覺(jué)處理，計(jì)算出場(chǎng)景的三維數(shù)據(jù)信息，通過(guò)網(wǎng)絡(luò)傳送到數(shù)據(jù)融合系統(tǒng)；信號(hào)轉(zhuǎn)發(fā)系統(tǒng)，將采集到的圖像信息轉(zhuǎn)發(fā)到相應(yīng)的數(shù)據(jù)處理系統(tǒng)中，并控制視頻采集系統(tǒng)的工作狀態(tài)；數(shù)據(jù)融合系統(tǒng)，在已經(jīng)得到的不同視角場(chǎng)景的三維數(shù)據(jù)信息的基礎(chǔ)上，將這些三維數(shù)據(jù)融合為唯一確定的全場(chǎng)景的三維數(shù)據(jù)。
2. 如權(quán)利要求l所述基于攝像機(jī)陣列的三維實(shí)時(shí)獲取系統(tǒng)，其特征在于， 所述視頻采集系統(tǒng)包括多臺(tái)高分辨率攝像機(jī)，采集得到場(chǎng)景的高分辨率圖像； 一臺(tái)低分辨率三維攝像機(jī)，可以獲取較低分辨率的三維數(shù)據(jù)圖像； 所述視頻采集系統(tǒng)中的所有攝像機(jī)可以按需要以不同的陣列形式和姿態(tài)方 式放置。
3. 如權(quán)利要求2所述基于攝像機(jī)陣列的三維實(shí)時(shí)獲取系統(tǒng)，其特征在于， 所述視頻采集系統(tǒng)中的每一 臺(tái)高分辨率攝像機(jī)包括一個(gè)視頻采集單元，用于采集場(chǎng)景的圖像信息，它采用幀曝光模式，可控 制攝像機(jī)的分辨率、圖像采集速度、單(多)斜率曝光等參數(shù)；一個(gè)幀編碼控制單元，對(duì)得到的每一幀圖像按照時(shí)間序列編碼；一個(gè)串行解串行器，把視頻采集單元得到的數(shù)據(jù)和對(duì)視頻采集單元的控制 信號(hào)由并行信號(hào)轉(zhuǎn)換成串行信號(hào)，與信號(hào)轉(zhuǎn)發(fā)系統(tǒng)交換信息；一個(gè)外接端口，發(fā)送數(shù)據(jù)到信號(hào)轉(zhuǎn)發(fā)系統(tǒng)，并接收信號(hào)轉(zhuǎn)發(fā)系統(tǒng)的控制信號(hào)。
4. 如權(quán)利要求1所述的基于攝像機(jī)陣列三維實(shí)時(shí)獲取系統(tǒng)，其特征在于， 所述信號(hào)轉(zhuǎn)發(fā)系統(tǒng)包括多個(gè)外接端口，每一個(gè)外接端口接收視頻采集系統(tǒng)中一臺(tái)高分辨率攝像機(jī) 發(fā)送的數(shù)據(jù)，并發(fā)送控制信號(hào)到視頻采集系統(tǒng)；多個(gè)信號(hào)轉(zhuǎn)發(fā)器，其中每臺(tái)高分辨率攝像機(jī)各需要一個(gè)信號(hào)轉(zhuǎn)發(fā)器，將圖 像數(shù)據(jù)轉(zhuǎn)發(fā)到對(duì)應(yīng)的數(shù)據(jù)處理系統(tǒng)的處理器中，另外還需要一個(gè)信號(hào)轉(zhuǎn)發(fā)器用來(lái)轉(zhuǎn)發(fā)控制單元的控制信號(hào)到所有高分辨率攝像機(jī)中；一片串行解串行器，恢復(fù)出視頻采集系統(tǒng)中的并行信號(hào)； 一個(gè)同步控制單元，在數(shù)據(jù)處理系統(tǒng)中的一臺(tái)核心處理器的控制下，同步視頻采集系統(tǒng)中的所有高分辨率攝像機(jī)；多個(gè)插槽，固定數(shù)據(jù)處理系統(tǒng)的多臺(tái)處理器，并接收其中一臺(tái)核心處理器的控制信息。所述信號(hào)轉(zhuǎn)發(fā)系統(tǒng)接受數(shù)據(jù)處理系統(tǒng)中一臺(tái)核心處理器的控制，來(lái)調(diào)整視 頻采集系統(tǒng)中的攝像機(jī)的采集模式和分辨率等信息。并將每一臺(tái)高分辨率攝像 機(jī)所采集到的圖像信息通過(guò)轉(zhuǎn)發(fā)器分發(fā)到數(shù)據(jù)處理系統(tǒng)中所對(duì)應(yīng)的多臺(tái)處理器中。
5. 如權(quán)利要求1所述的基于攝像機(jī)陣列的三維實(shí)時(shí)獲取系統(tǒng)，其特征在于， 所述數(shù)據(jù)處理系統(tǒng)包括多臺(tái)處理器，用于視頻數(shù)據(jù)處理；一臺(tái)核心處理器，除與其它處理器一起參與計(jì)算外，還要控制信號(hào)轉(zhuǎn)發(fā)系 統(tǒng)中的控制單元；各臺(tái)處理器分別處理相關(guān)的多臺(tái)高分辨率攝像機(jī)采集的圖像信息，并接受 較低分辨率三維攝像機(jī)所采集的三維圖像數(shù)據(jù)，并通過(guò)網(wǎng)絡(luò)交換相互之間的數(shù) 據(jù)，最后通過(guò)計(jì)算機(jī)視覺(jué)原理，計(jì)算出所對(duì)應(yīng)區(qū)域的場(chǎng)景三維信息。
6. 如權(quán)利要求5所述的基于攝像機(jī)陣列的三維實(shí)時(shí)獲取系統(tǒng)，其特征在于， 所述的數(shù)據(jù)處理系統(tǒng)中的每一臺(tái)處理器包括多片串行解串行器，分別恢復(fù)出視頻采集系統(tǒng)中相應(yīng)的各臺(tái)高分辨率攝像 機(jī)傳送的并行信號(hào)；網(wǎng)口，與其它的處理器交換數(shù)據(jù)，并接受低分辨率三維攝像機(jī)傳送的圖像 曰息；一個(gè)處理單元，計(jì)算場(chǎng)景對(duì)應(yīng)區(qū)域的三維信息。
7. 如權(quán)利要求 3或4或6所述的基于攝像機(jī)陣列的三維實(shí)時(shí)獲取系統(tǒng)， 其特征在于，所采用的串行解串行器為L(zhǎng)VDS。
8.如權(quán)利要求l所述的基于攝像機(jī)陣列的三維實(shí)時(shí)獲取系統(tǒng)，其特征在于， 所述的低分辨率三維攝像機(jī)為T(mén)0F攝像機(jī)。
全文摘要
本發(fā)明公開(kāi)了一種基于攝像機(jī)陣列的三維實(shí)時(shí)獲取系統(tǒng)，它包括視頻采集系統(tǒng)、信號(hào)轉(zhuǎn)發(fā)系統(tǒng)、數(shù)據(jù)處理系統(tǒng)和數(shù)據(jù)融合系統(tǒng)四部分，視頻采集系統(tǒng)采用攝像機(jī)陣列采集場(chǎng)景的圖像信息，并對(duì)采集的每一幀圖像信息按照時(shí)間序列編碼，通過(guò)信號(hào)轉(zhuǎn)發(fā)系統(tǒng)傳送到數(shù)據(jù)處理系統(tǒng)中計(jì)算場(chǎng)景的三維信息，最后通過(guò)網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)融合系統(tǒng)中，以將這些三維數(shù)據(jù)融合為唯一確定的全場(chǎng)景的三維數(shù)據(jù)。
文檔編號(hào)H04N13/00GK101321302SQ200810062878
公開(kāi)日2008年12月10日 申請(qǐng)日期2008年7月8日 優(yōu)先權(quán)日2008年7月8日
發(fā)明者于慧敏, 唐慧明, 名 楊, 超 郭 申請(qǐng)人:浙江大學(xué)