本公開至少一實(shí)施例涉及一種立體視覺測量系統(tǒng)和立體視覺測量方法。

背景技術(shù)：

目前圍繞智能電視產(chǎn)生了很多以三維場景重建為核心的應(yīng)用，如體感游戲和虛擬現(xiàn)實(shí)電影等，這些應(yīng)用的關(guān)鍵是識別場景中用戶的位置、姿態(tài)等三維數(shù)據(jù)信息。

技術(shù)實(shí)現(xiàn)要素：

本公開至少一實(shí)施例涉及一種立體視覺測量系統(tǒng)和立體視覺測量方法，可搭建多圖像獲取部的三維視覺重建系統(tǒng)，從而可實(shí)現(xiàn)長距離/距離可調(diào)的多圖像獲取部的立體測量。

本公開至少一實(shí)施例提供一種立體視覺測量系統(tǒng)，包括主控裝置和至少兩個協(xié)同裝置，其中，所述主控裝置與所述至少兩個協(xié)同裝置通信連接，并被配置為控制各所述協(xié)同裝置；各所述協(xié)同裝置為可移動裝置，并帶有圖像獲取部；

各所述協(xié)同裝置被配置為在標(biāo)定階段獲取第一場景的第一圖像和所述第一圖像的第一圖像信息，并將所述第一圖像和所述第一圖像信息發(fā)送給所述主控裝置，各所述協(xié)同裝置還被配置為在測量階段獲取第二場景的第二圖像和所述第二圖像的第二圖像信息，并將所述第二圖像信息發(fā)送給所述主控裝置；

所述主控裝置被配置為在所述標(biāo)定階段獲取各圖像獲取部的參數(shù)信息；所述主控裝置還被配置為在所述測量階段根據(jù)所述參數(shù)信息和所述第二圖像信息獲得所述第二場景的三維重建信息。

根據(jù)本公開一實(shí)施例提供的立體視覺測量系統(tǒng)，所述主控裝置包括標(biāo)定部，所述標(biāo)定部被配置為根據(jù)各所述協(xié)同裝置發(fā)送的所述第一圖像和所述第一圖像信息獲取各圖像獲取部的所述參數(shù)信息，所述參數(shù)信息包括內(nèi)參數(shù)和外參數(shù)，所述內(nèi)參數(shù)是指各圖像獲取部的物理參數(shù)，所述外參數(shù)是指圖像獲取部之間的位置關(guān)系。

根據(jù)本公開一實(shí)施例提供的立體視覺測量系統(tǒng)，所述標(biāo)定部被配置為將所述圖像獲取部分組，每組包括兩個圖像獲取部，采用圖像獲取部配對標(biāo)定。

根據(jù)本公開一實(shí)施例提供的立體視覺測量系統(tǒng)，所述主控裝置包括三維數(shù)據(jù)形成部，所述三維數(shù)據(jù)形成部被配置為根據(jù)所述參數(shù)信息和各所述協(xié)同裝置發(fā)送的所述第二圖像信息獲得所述三維重建信息。

根據(jù)本公開一實(shí)施例提供的立體視覺測量系統(tǒng)，各所述協(xié)同裝置包括圖像處理部，所述第一圖像信息包括第一關(guān)鍵點(diǎn)信息，所述第二圖像信息包括第二關(guān)鍵點(diǎn)信息，所述圖像處理部被配置為在所述標(biāo)定階段提取所述第一圖像的所述第一關(guān)鍵點(diǎn)信息，并被配置為在所述測量階段提取所述第二圖像的所述第二關(guān)鍵點(diǎn)信息。

根據(jù)本公開一實(shí)施例提供的立體視覺測量系統(tǒng)，所述三維數(shù)據(jù)形成部包括關(guān)鍵點(diǎn)組合單元、三維空間坐標(biāo)計算單元和關(guān)鍵點(diǎn)數(shù)據(jù)統(tǒng)計單元，所述關(guān)鍵點(diǎn)組合單元被配置為根據(jù)各協(xié)同裝置發(fā)送的所述第二關(guān)鍵點(diǎn)信息，進(jìn)行關(guān)鍵點(diǎn)匹配，篩選得到成功匹配的關(guān)鍵點(diǎn)組合，所述三維空間坐標(biāo)計算單元被配置為根據(jù)所述關(guān)鍵點(diǎn)組合、所述參數(shù)信息，計算得到所述關(guān)鍵點(diǎn)組合的三維空間坐標(biāo)；所述關(guān)鍵點(diǎn)數(shù)據(jù)統(tǒng)計單元被配置為統(tǒng)計關(guān)鍵區(qū)域的關(guān)鍵點(diǎn)數(shù)據(jù)，完成立體視覺計算，獲得所述三維重建信息。

根據(jù)本公開一實(shí)施例提供的立體視覺測量系統(tǒng)，所述主控裝置包括智能電視，所述協(xié)同裝置包括移動終端。

本公開至少一實(shí)施例提供的立體視覺測量系統(tǒng)，一種立體視覺測量方法，包括：

標(biāo)定階段，至少兩個協(xié)同裝置獲取第一場景的第一圖像和所述第一圖像的第一圖像信息，并將所述第一圖像和所述第一圖像信息發(fā)送給主控裝置，所述主控裝置被配置為在所述標(biāo)定階段獲取各圖像獲取部的參數(shù)信息；所述主控裝置與所述至少兩個協(xié)同裝置通信連接，并控制各所述協(xié)同裝置；各所述協(xié)同裝置為可移動裝置，并帶有圖像獲取部；

測量階段，各所述協(xié)同裝置獲取第二場景的第二圖像和所述第二圖像的第二圖像信息，并將所述第二圖像信息發(fā)送給所述主控裝置，所述主控裝置根據(jù)所述參數(shù)信息和所述第二圖像信息獲得所述第二場景的三維重建信息。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，根據(jù)各所述協(xié)同裝置發(fā)送的所述第一圖像和所述第一圖像信息獲取各圖像獲取部的所述參數(shù)信息，所述參數(shù)信息包括內(nèi)參數(shù)和外參數(shù)，所述內(nèi)參數(shù)是指各圖像獲取部的物理參數(shù)，所述外參數(shù)是指圖像獲取部之間的位置關(guān)系。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，所述第一圖像信息包括第一關(guān)鍵點(diǎn)信息，所述第二圖像信息包括第二關(guān)鍵點(diǎn)信息。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，根據(jù)各協(xié)同裝置發(fā)送的所述第二關(guān)鍵點(diǎn)信息，進(jìn)行關(guān)鍵點(diǎn)匹配，篩選得到成功匹配的關(guān)鍵點(diǎn)組合；根據(jù)所述關(guān)鍵點(diǎn)組合、所述參數(shù)信息，計算得到所述關(guān)鍵點(diǎn)組合的三維空間坐標(biāo)；統(tǒng)計關(guān)鍵區(qū)域的關(guān)鍵點(diǎn)數(shù)據(jù)，完成立體視覺計算，獲得所述三維重建信息。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，所述主控裝置將所述圖像獲取部分組，每組包括兩個圖像獲取部，形成多組雙目立體視覺測量單元。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，還包括在所述標(biāo)定階段和所述測量階段至少之一的階段同步所述主控裝置和所述協(xié)同裝置的信號，其中，所述同步所述主控裝置和所述協(xié)同裝置的信號包括：獲取網(wǎng)絡(luò)延遲；

所述獲取網(wǎng)絡(luò)延遲包括：所述主控裝置連續(xù)發(fā)送兩條消息給所述協(xié)同裝置，所述協(xié)同裝置收到后立即返回，所述主控裝置收到返回的兩條消息的時間間隔，即是所述主控裝置到所述協(xié)同裝置通信的網(wǎng)絡(luò)延遲。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，還包括在所述標(biāo)定階段和所述測量階段至少之一的階段同步所述主控裝置和所述協(xié)同裝置的信號，其中，所述同步所述主控裝置和所述協(xié)同裝置的信號包括：同步采集；

所述同步采集包括：所述主控裝置將時間戳和采集指令一起發(fā)送給所述協(xié)同裝置，所述協(xié)同裝置獲得指令并獲取圖像后，將時間戳和對所述圖像進(jìn)行處理得到的圖像信息一起返回到所述主控裝置；所述主控裝置根據(jù)收到的返回時間戳來對齊各所述協(xié)同裝置的圖像信息，所述圖像包括所述第一圖像或所述第二圖像，所述圖像信息包括所述第一圖像信息或所述第二圖像信息。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，所述主控裝置包括智能電視，所述協(xié)同裝置包括移動終端。

附圖說明

為了更清楚地說明本公開實(shí)施例的技術(shù)方案，下面將對實(shí)施例的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅涉及本公開的一些實(shí)施例，而非對本公開的限制。

圖1a為本公開一實(shí)施例提供的一種立體視覺測量系統(tǒng)示意圖；

圖1b為本公開一實(shí)施例提供的一種立體視覺測量系統(tǒng)中參數(shù)信息的示意圖；

圖2為本公開一實(shí)施例提供的一種立體視覺測量系統(tǒng)中各協(xié)同裝置的示意圖；

圖3為本公開一實(shí)施例提供的立體視覺測量系統(tǒng)在標(biāo)定階段，各協(xié)同裝置獲取的第一圖像和第一圖像信息的示意圖；

圖4為本公開另一實(shí)施例提供的一種立體視覺測量系統(tǒng)中一種主控裝置的示意圖；

圖5為本公開一實(shí)施例提供的立體視覺測量系統(tǒng)中主控裝置獲得各圖像獲取部的參數(shù)信息的示意圖；

圖6為本公開一實(shí)施例提供的立體視覺測量系統(tǒng)在測量階段，各協(xié)同裝置獲取的第二圖像和第二圖像信息的示意圖；

圖7為本公開一實(shí)施例提供的立體視覺測量系統(tǒng)中主控裝置獲得三維重建信息的示意圖；

圖8為本公開另一實(shí)施例提供的一種立體視覺測量系統(tǒng)中一種主控裝置的示意圖；

圖9為本公開另一實(shí)施例提供的一種立體視覺測量系統(tǒng)中一種主控裝置的示意圖；

圖10為本公開一實(shí)施例提供的立體視覺測量系統(tǒng)中將相鄰兩個圖像獲取部分為一組的示意圖；

圖11為本公開一實(shí)施例提供的一種立體視覺測量方法示意圖；

圖12為本公開一實(shí)施例提供的一種立體視覺測量方法中標(biāo)定階段示意圖；

圖13為本公開一實(shí)施例提供的一種立體視覺測量方法中測量階段示意圖。

具體實(shí)施方式

為使本公開實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本公開實(shí)施例的附圖，對本公開實(shí)施例的技術(shù)方案進(jìn)行清楚、完整地描述。顯然，所描述的實(shí)施例是本公開的一部分實(shí)施例，而不是全部的實(shí)施例?；谒枋龅谋竟_的實(shí)施例，本領(lǐng)域普通技術(shù)人員在無需創(chuàng)造性勞動的前提下所獲得的所有其他實(shí)施例，都屬于本公開保護(hù)的范圍。

除非另外定義，本公開使用的技術(shù)術(shù)語或者科學(xué)術(shù)語應(yīng)當(dāng)為本公開所屬領(lǐng)域內(nèi)具有一般技能的人士所理解的通常意義。本公開中使用的“第一”、“第二”以及類似的詞語并不表示任何順序、數(shù)量或者重要性，而只是用來區(qū)分不同的組成部分。同樣，“包括”或者“包含”等類似的詞語意指出現(xiàn)該詞前面的元件或者物件涵蓋出現(xiàn)在該詞后面列舉的元件或者物件及其等同，而不排除其他元件或者物件?！斑B接”或者“相連”等類似的詞語并非限定于物理的或者機(jī)械的連接，而是可以包括電性的連接，不管是直接的還是間接的?！吧稀薄ⅰ跋隆?、“左”、“右”等僅用于表示相對位置關(guān)系，當(dāng)被描述對象的絕對位置改變后，則該相對位置關(guān)系也可能相應(yīng)地改變。

通常的智能電視如果要運(yùn)行基于三維場景測量的應(yīng)用，如體感游戲等，為了識別場景中用戶的位置、姿態(tài)等三維數(shù)據(jù)信息，用戶需要額外夠買相應(yīng)的三維測量設(shè)備，如微軟的kinect等。但是，這種設(shè)備的缺點(diǎn)包括以下幾點(diǎn)。

第一，用戶需距離設(shè)備較遠(yuǎn)距離，因為三維測量設(shè)備是固定裝置一個支架上，考慮設(shè)備體積以及攝像頭的間距不能太長，導(dǎo)致用戶必須站在攝像頭一定距離以外才能有效測量，如kinect要求用戶距離設(shè)備1.2米以外(實(shí)際使用時，通常至少需要1.5米)，這樣大大增加了該設(shè)備的使用限制。

第二，場景大小受限。從立體視覺原理上來說，攝像頭之間的距離越大，則測量越精確，可以接受的目標(biāo)與攝像頭之間的距離越短。但是，通常的測量設(shè)備都是一個獨(dú)立的裝置，通常是兩個攝像頭平行固定在一個支架上，限于體積要求，只能小于一定長度，所以測量的有效距離較短；同樣是考慮到體積，通常的設(shè)備只攜帶兩個攝像頭，因此僅對攝像頭正前方位置的用戶能夠有效測量，無法對大角度場景的多人獲取準(zhǔn)確數(shù)據(jù)。

第三，場景角度受限。因為通常的設(shè)備最多只有兩個攝像頭，并且一旦安裝在使用環(huán)境中(如電視機(jī)上沿)，則不能再改變，所以，當(dāng)不同身高的用戶，甚至多個用戶同時出現(xiàn)在場景時，通常的設(shè)備的測量精度將會大大下降，甚至不能使用或者需要重新標(biāo)定。

如圖1a所示，本公開至少一實(shí)施例提供一種立體視覺測量系統(tǒng)，包括主控裝置10和至少兩個協(xié)同裝置20，主控裝置10與至少兩個協(xié)同裝置20通信連接，并被配置為控制各協(xié)同裝置20；各協(xié)同裝置20為可移動裝置，并帶有圖像獲取部201。

圖1a中示出了三個協(xié)同裝置20：第一協(xié)同裝置2001、第二協(xié)同裝置2002和第三協(xié)同裝置2003，各協(xié)同裝置20包括圖像獲取部201，即，第一協(xié)同裝置2001包括第一圖像獲取部2011，第二協(xié)同裝置2002包括第二圖像獲取部2012，第三協(xié)同裝置2003包括第三圖像獲取部2013。各協(xié)同裝置20的圖像獲取部201可被配置為獲取場景的圖像。例如，各協(xié)同裝置20的圖像獲取部201獲取的圖像可為同一場景的不同視角的圖像。例如，各協(xié)同裝置20的圖像獲取部201獲取的圖像可為同一場景的同一時刻的不同視角的圖像。例如，各協(xié)同裝置可負(fù)責(zé)與主控裝置的通信，以及打開圖像獲取部獲取當(dāng)前場景視頻圖像，檢測圖像的關(guān)鍵點(diǎn)，并識別預(yù)定目標(biāo)(如人臉、人體姿態(tài)等)。例如，主控裝置可以與各協(xié)同裝置20不限于基于wifi、藍(lán)牙、近場通信(nearfieldcommunication，nfc)或者3g、4g移動通信網(wǎng)絡(luò)等通信技術(shù)所實(shí)現(xiàn)的通信連接。

如圖1b所示，主控裝置10被配置為在標(biāo)定階段獲取各圖像獲取部201的參數(shù)信息23。例如，參數(shù)信息23包括內(nèi)參數(shù)231和外參數(shù)232，內(nèi)參數(shù)231是指各圖像獲取部201的物理參數(shù)，外參數(shù)232是指圖像獲取部201之間的位置關(guān)系；

如圖2所示，根據(jù)本公開一實(shí)施例提供的立體視覺測量系統(tǒng)，各協(xié)同裝置20包括圖像處理部202，圖像處理部202可對其所屬的協(xié)同裝置20的圖像獲取部拍攝的圖像進(jìn)行處理。例如，第一協(xié)同裝置2001包括第一圖像處理部2021，第二協(xié)同裝置2002包括第二圖像處理部2022，第三協(xié)同裝置2003包括第三圖像處理部2023。

圖3示出了在標(biāo)定階段，各協(xié)同裝置獲取的第一圖像211和第一圖像信息221的示意圖。如圖3所示，各協(xié)同裝置20被配置為在標(biāo)定階段獲取第一場景的第一圖像211和第一圖像211的第一圖像信息221，并將第一圖像211和第一圖像信息221發(fā)送給主控裝置10。例如，在標(biāo)定階段，將場景稱作第一場景，第一場景可變換，比如，用戶可調(diào)整姿態(tài)，第一圖像可根據(jù)場景不同而不同，對第一場景連續(xù)取景(拍攝)可形成視頻。例如，第一圖像可為同一場景的同一時刻的不同視角的圖像。例如，第一圖像信息221包括第一關(guān)鍵點(diǎn)信息2211，圖像處理部202被配置為提取第一圖像211的第一關(guān)鍵點(diǎn)信息2211。第一關(guān)鍵點(diǎn)信息2211包括sift關(guān)鍵點(diǎn)和/或harris角點(diǎn)等。尺度不變特征變換(scale-invariantfeaturetransform，sift)法是常用的局部特征提取方法，其可基于局部特征把圖像數(shù)據(jù)轉(zhuǎn)換到尺度不變的坐標(biāo)上。例如，sift首先檢測出圖像中的顯著性結(jié)構(gòu)即尺寸空間極值點(diǎn)，這些顯著結(jié)構(gòu)在圖像中往往稱作關(guān)鍵點(diǎn)或特征點(diǎn)。角點(diǎn)例如是指圖像灰度發(fā)生較大變化的點(diǎn)。

例如，協(xié)同裝置可作為主控裝置的協(xié)同計算設(shè)備，協(xié)同裝置完成視頻內(nèi)容的分析，將識別結(jié)果發(fā)送到主控裝置。例如，關(guān)鍵點(diǎn)可包括可包括人體各部位至少之一，例如可包括眉、眼、耳、鼻口、手、臂、腿部、腳部等至少之一，但不限于此，關(guān)鍵點(diǎn)可根據(jù)需要選擇。例如，每個關(guān)鍵點(diǎn)有三個信息：位置、所在尺度、方向。由此，可以確定一個sift特征區(qū)域。例如，圖像處理中，關(guān)鍵點(diǎn)指的是圖像灰度值發(fā)生劇烈變化的點(diǎn)或者在圖像邊緣上曲率較大的點(diǎn)(即兩個邊緣的交點(diǎn))。圖像關(guān)鍵點(diǎn)在基于關(guān)鍵點(diǎn)的圖像匹配算法中有著十分重要的作用。圖像關(guān)鍵點(diǎn)能夠反映圖像本質(zhì)特征，能夠標(biāo)識圖像中目標(biāo)物體。通過關(guān)鍵點(diǎn)的匹配能夠完成圖像的匹配。

圖4為本公開一實(shí)施例提供的立體視覺測量系統(tǒng)中主控裝置的示意圖，根據(jù)本公開一實(shí)施例提供的立體視覺測量系統(tǒng)，主控裝置10包括標(biāo)定部101。

如圖4所示，根據(jù)本公開一實(shí)施例提供的立體視覺測量系統(tǒng)，主控裝置10還可包括控制部102，控制部102可被配置為控制各協(xié)同裝置20。例如，控制部102可發(fā)送指令給各協(xié)同裝置20。

圖5示出了主控裝置10根據(jù)各協(xié)同裝置20發(fā)送的第一圖像211和第一圖像信息221獲取各圖像獲取部201的內(nèi)參數(shù)231和外參數(shù)232的示意圖。如圖5所示，標(biāo)定部101可被配置為根據(jù)各協(xié)同裝置20發(fā)送的第一圖像211和第一圖像信息221獲取各圖像獲取部201的參數(shù)信息，例如獲取內(nèi)參數(shù)231和外參數(shù)232。主控裝置可控制多個協(xié)同裝置完成整個視覺測量系統(tǒng)的標(biāo)定。

圖6示出了協(xié)同裝置在測量階段各協(xié)同裝置20獲取的第二圖像212和第二圖像信息222的示意圖。例如，如圖6所示，各協(xié)同裝置20還被配置為在測量階段獲取第二場景的第二圖像212和第二圖像21的第二圖像信息222，并將各第二圖像信息222發(fā)送給主控裝置10。例如，可在主控裝置10的控制下在測量階段各協(xié)同裝置獲取第二圖像212和第二圖像信息222。例如，各協(xié)同裝置20的圖像獲取部201在測量階段獲取第二場景的第二圖像212，各圖像處理部202可對其所屬協(xié)同裝置20的圖像獲取部201獲取的第二圖像212進(jìn)行處理以獲得第二圖像信息222，第二圖像212可根據(jù)場景不同而不同，例如，可通過各協(xié)同裝置20的圖像獲取部201(例如包括第一圖像獲取部2011、第二圖像獲取部2012和第三圖像獲取部2013)獲取第二圖像212。例如，在測量階段，將場景稱作第二場景，第二場景可變換，比如，用戶可調(diào)整姿態(tài)，對第二場景連續(xù)取景(拍攝)可形成視頻。例如，第二圖像可為同一場景的同一時刻的不同視角的圖像。第二圖像可根據(jù)場景不同而不同。例如，第二圖像信息222包括第二關(guān)鍵點(diǎn)信息2221，圖像處理部202還可被配置為提取第二圖像212的第二關(guān)鍵點(diǎn)信息2221。第二關(guān)鍵點(diǎn)信息2221也可包括sift關(guān)鍵點(diǎn)和/或harris角點(diǎn)等，可參照之前有關(guān)sift關(guān)鍵點(diǎn)和/或harris角點(diǎn)的敘述。

如圖7所示，主控裝置10可被配置為在測量階段根據(jù)參數(shù)信息23和第二圖像信息222獲得第二場景的三維重建信息240。主控裝置可負(fù)責(zé)與第三方的需求軟件(如體感游戲、ar/vr應(yīng)用等)通信，以及建立與協(xié)同裝置的連接和控制，并綜合各協(xié)同裝置的圖像獲取部的識別結(jié)果，得到當(dāng)前場景的三維重建數(shù)據(jù)。測量階段通常都是視頻實(shí)時處理，協(xié)同裝置可不發(fā)送完整的圖像到主控裝置10，而是發(fā)送第二關(guān)鍵點(diǎn)信息到主控裝置10，否則將大大增加系統(tǒng)傳輸負(fù)載，并且也沒有必要。

本公開至少一實(shí)施例提供的立體視覺測量系統(tǒng)，通過主控裝置作為控制(主控)中心，以及多個協(xié)同裝置作為客戶端，各協(xié)同裝置的圖像獲取部可共享給主控裝置，以搭建多圖像獲取部的三維視覺重建系統(tǒng)，從而解決了用戶需要額外購買三維測量設(shè)備以及通常的設(shè)備測量不準(zhǔn)確、使用距離受限等問題，并且因各協(xié)同裝置可移動，可調(diào)節(jié)各協(xié)同裝置之間的位置關(guān)系，可以通過靈活布置多個協(xié)同裝置的相對位置，實(shí)現(xiàn)長距離/距離可調(diào)的多圖像獲取部的立體測量，從而更加靈活準(zhǔn)確，可為各種基于立體視覺測量的體感游戲、ar/vr應(yīng)用提供更加精確的解決方案，將極大的提高用戶的視覺體驗。

例如，主控裝置10包括智能電視，協(xié)同裝置20包括移動終端，移動終端包括智能手機(jī)或平板電腦，圖像獲取部包括攝像頭。例如，內(nèi)參數(shù)是指圖像獲取部本身的焦距等物理參數(shù)，外參數(shù)是指攝像頭之間的旋轉(zhuǎn)平移等位置關(guān)系，只有標(biāo)定后的圖像獲取部組合，才能實(shí)現(xiàn)立體視覺測量。

本公開至少一實(shí)施例提供的立體視覺測量系統(tǒng)，可以充分利用用戶的現(xiàn)有資源，不需要再額外購買三維測量設(shè)備(如微軟的kinect)，就能搭建起長距離(長基線)的多攝像頭的立體視覺測量系統(tǒng)，將極大推動相關(guān)產(chǎn)業(yè)的發(fā)展。

圖8本公開一實(shí)施例提供的立體視覺測量系統(tǒng)中的主控裝置的示意圖，根據(jù)本公開一實(shí)施例提供的立體視覺測量系統(tǒng)，如圖8所示，主控裝置10包括三維數(shù)據(jù)形成部103。三維數(shù)據(jù)形成部103被配置為根據(jù)參數(shù)信息(例如包括內(nèi)參數(shù)231和外參數(shù)232)和各協(xié)同裝置20發(fā)送的第二圖像信息222獲得三維重建信息240?？筛鶕?jù)各協(xié)同裝置20發(fā)送的同一場景的同一時刻的不同視角的第二圖像212的第二圖像信息222(第二關(guān)鍵點(diǎn)信息2221)進(jìn)行三維重建。

圖9示出了本公開一實(shí)施例提供的立體視覺測量系統(tǒng)中的三維數(shù)據(jù)形成部103的示意圖，根據(jù)本公開一實(shí)施例提供的立體視覺測量系統(tǒng)，如圖9所示，三維數(shù)據(jù)形成部103包括關(guān)鍵點(diǎn)組合單元1031、三維空間坐標(biāo)計算單元1032和關(guān)鍵點(diǎn)數(shù)據(jù)統(tǒng)計單元1033。關(guān)鍵點(diǎn)組合單元1031被配置為根據(jù)各協(xié)同裝置20發(fā)送的第二關(guān)鍵點(diǎn)信息2221，進(jìn)行關(guān)鍵點(diǎn)匹配，篩選得到成功匹配的關(guān)鍵點(diǎn)組合。例如，可將眼睛，鼻子和嘴巴作為一個關(guān)鍵點(diǎn)組合，當(dāng)然，也可以采用其他形式的關(guān)鍵點(diǎn)組合。三維空間坐標(biāo)計算單元1032被配置為根據(jù)關(guān)鍵點(diǎn)組合和參數(shù)信息23(例如包括內(nèi)參數(shù)231和外參數(shù)232)，計算得到關(guān)鍵點(diǎn)組合(各關(guān)鍵點(diǎn))的三維空間坐標(biāo)。例如，可根據(jù)眼睛，鼻子和嘴巴的組合和參數(shù)信息23獲得眼睛，鼻子和嘴巴的三維空間坐標(biāo)。關(guān)鍵點(diǎn)數(shù)據(jù)統(tǒng)計單元1033被配置為統(tǒng)計關(guān)鍵區(qū)域的關(guān)鍵點(diǎn)數(shù)據(jù)，例如，可合成人體姿態(tài)，從而，完成立體視覺計算，獲得三維重建信息240。例如，關(guān)鍵區(qū)域包括人臉、四肢等。例如，可根據(jù)人臉、四肢等的關(guān)鍵點(diǎn)數(shù)據(jù)獲得人體(例如用戶)的三維重建信息240。例如，三維重建信息240可包括人臉、人體體態(tài)等的三維重建信息。例如，第二圖像信息主要是獲取場景中用戶的信息，例如，用戶的臉部、四肢等特征，以形成人臉、體態(tài)特征等信息。

如圖10所示，根據(jù)本公開一實(shí)施例提供的立體視覺測量系統(tǒng)，為了提高標(biāo)定的準(zhǔn)確性，標(biāo)定部101被配置為將圖像獲取部201分組，每組包括兩個圖像獲取部201，采用圖像獲取部201配對標(biāo)定。例如，可第一圖像獲取部2011、第二圖像獲取部2012和第三圖像獲取部2013依次設(shè)置，將第一圖像獲取部2011和第二圖像獲取部2012為第一組，將第二圖像獲取部2012和第三圖像獲取部2013為第二組，即可采用相鄰兩個圖像獲取部201兩兩配對標(biāo)定。圖6中以包括三個圖像獲取部201為例進(jìn)行說明。

如圖11所示，本公開至少一實(shí)施例提供一種立體視覺測量方法，包括以下步驟。

標(biāo)定階段：至少兩個協(xié)同裝置20獲取第一場景的第一圖像211和第一圖像211的第一圖像信息221，并將第一圖像211和第一圖像信息221發(fā)送給主控裝置10。主控裝置10被配置為在標(biāo)定階段獲取各圖像獲取部201參數(shù)信息23。主控裝置10與至少兩個協(xié)同裝置20通信連接，并控制各協(xié)同裝置20；各協(xié)同裝置20為可移動裝置，并帶有圖像獲取部201。

測量階段：各協(xié)同裝置20獲取第二場景的第二圖像212和第二圖像212的第二圖像信息222，并將第二圖像信息222發(fā)送給主控裝置10，主控裝置10獲得第二場景的三維重建信息240。

本公開至少一實(shí)施例提供的立體視覺測量方法，以搭建多圖像獲取部的三維視覺重建系統(tǒng)，從而解決了用戶需要額外購買三維測量設(shè)備以及通常的設(shè)備測量不準(zhǔn)確、使用距離受限等問題，并且因各協(xié)同裝置可移動，可調(diào)節(jié)各協(xié)同裝置之間的位置關(guān)系，可以通過靈活布置多個協(xié)同裝置的相對位置，實(shí)現(xiàn)長距離/距離可調(diào)的多圖像獲取部的立體測量。長距離例如是指圖像獲取部之間可具有較長的距離，距離可調(diào)例如是指圖像獲取部之間的距離可調(diào)節(jié)。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，根據(jù)各協(xié)同裝置20發(fā)送的第一圖像211和第一圖像信息221獲取各圖像獲取部201的參數(shù)信息23，例如參數(shù)信息23包括內(nèi)參數(shù)231和外參數(shù)232，內(nèi)參數(shù)231是指各圖像獲取部201的物理參數(shù)，外參數(shù)232是指圖像獲取部201之間的位置關(guān)系。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，根據(jù)參數(shù)信息23和各協(xié)同裝置20發(fā)送的第二圖像信息222獲得三維重建信息240。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，第一圖像信息221包括第一關(guān)鍵點(diǎn)信息2211，第二圖像信息222包括第二關(guān)鍵點(diǎn)信息2221。為了便于標(biāo)定和測量，減少網(wǎng)絡(luò)負(fù)荷，可在標(biāo)定階段不發(fā)送全部的第一圖像信息，而是僅發(fā)送第一關(guān)鍵點(diǎn)信息2211，可在測量階段不發(fā)送全部的第二圖像信息，而是僅發(fā)送第二關(guān)鍵點(diǎn)信息2221。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，根據(jù)各協(xié)同裝置20發(fā)送的第二關(guān)鍵點(diǎn)信息2221，進(jìn)行關(guān)鍵點(diǎn)匹配，篩選得到成功匹配的關(guān)鍵點(diǎn)組合；根據(jù)關(guān)鍵點(diǎn)組合、內(nèi)參數(shù)231和外參數(shù)232，計算得到三維空間坐標(biāo)；統(tǒng)計關(guān)鍵區(qū)域的關(guān)鍵點(diǎn)數(shù)據(jù)，完成立體視覺計算，獲得三維重建信息240。三維重建信息240也可采用其他方式獲得，本公開的實(shí)施例對此不作限定。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，為了減少標(biāo)定階段和/或測量階段的誤差，提高準(zhǔn)確性，主控裝置10可將圖像獲取部201分組，每組包括兩個圖像獲取部201，從而，可形成多組雙目立體視覺測量單元。例如可減小圖像關(guān)鍵點(diǎn)的匹配誤差等。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，為了避免無線網(wǎng)絡(luò)阻塞以及協(xié)同裝置拍攝等原因造成的延遲，還可包括在標(biāo)定階段和/或測量階段同步主控裝置10和協(xié)同裝置20的信號，同步主控裝置10和協(xié)同裝置20的信號包括：獲取網(wǎng)絡(luò)延遲或同步采集。

獲取網(wǎng)絡(luò)延遲包括：主控裝置10連續(xù)發(fā)送兩條消息給協(xié)同裝置20，協(xié)同裝置20收到后立即返回，主控裝置10收到返回的兩條消息的時間間隔，即是主控裝置10到協(xié)同裝置20通信的網(wǎng)絡(luò)延遲；

同步采集包括：主控裝置10將時間戳和采集指令一起發(fā)送給協(xié)同裝置20，協(xié)同裝置20獲得指令并獲取圖像后，將時間戳和對圖像進(jìn)行處理得到的圖像信息一起返回到主控裝置10；主控裝置10根據(jù)收到的返回時間戳來對齊各協(xié)同裝置20的圖像信息。圖像包括第一圖像211或第二圖像212，圖像信息包括第一圖像信息2211或第二圖像信息2221，可根據(jù)所處的階段是標(biāo)定階段還是測量階段來確定發(fā)送的是第一圖像信息2211還是第二圖像信息2221。

根據(jù)本公開一實(shí)施例提供的立體視覺測量方法，主控裝置10包括智能電視，協(xié)同裝置20可包括移動終端。

參照圖12和圖13，并以主控裝置為智能電視，協(xié)同裝置可為智能手機(jī)，圖像獲取部為智能手機(jī)上的攝像頭為例進(jìn)行說明。

標(biāo)定是指當(dāng)用戶放置智能手機(jī)在固定位置后，需要采取一定的方式獲取當(dāng)前攝像頭組合的參數(shù)信息(內(nèi)參數(shù)和外參數(shù)等)；測量是指系統(tǒng)搭建完成后，智能電視控制各智能手機(jī)完成當(dāng)前場景圖像的捕捉和計算，從而獲取場景中用戶的三維數(shù)據(jù)信息(三維重建信息)。

如圖12所示，標(biāo)定階段可包括如下步驟。

1、用戶將兩臺以上的智能手機(jī)放置于場景中適當(dāng)位置，將智能電視和智能手機(jī)中的相應(yīng)軟件打開，智能電視作為主控中心，搜索當(dāng)前局域網(wǎng)中的智能手機(jī)；智能手機(jī)打開攝像頭。

2、用戶站立于場景中間，可張開雙臂，智能電視發(fā)出指令，控制智能手機(jī)同步連續(xù)采集第一場景圖像，智能手機(jī)獲取圖像中的關(guān)鍵點(diǎn)(sift關(guān)鍵點(diǎn)\harris角點(diǎn)等)，然后，將第一圖像和第一圖像信息(關(guān)鍵點(diǎn)信息)發(fā)送給智能電視。

3、用戶變換姿態(tài)，系統(tǒng)重復(fù)上一步驟的計算流程。

4、智能電視根據(jù)獲取到不同攝像頭的第一圖像和第一圖像信息(第一關(guān)鍵點(diǎn)信息)，利用標(biāo)定部進(jìn)行標(biāo)定，獲取本次攝像頭組合的內(nèi)參數(shù)和外參數(shù)，并可將其記錄在智能電視的不可擦除存儲體中。標(biāo)定完畢。

在實(shí)際的標(biāo)定過程中，電視界面可以通過播放相應(yīng)的畫面和實(shí)時圖像來引導(dǎo)用戶完成該標(biāo)定步驟；如果放置兩臺以上的智能手機(jī)，則系統(tǒng)可根據(jù)捕獲到的圖像，進(jìn)行相鄰兩個攝像頭的兩兩配對的標(biāo)定，對于用戶來說，無需進(jìn)行額外的活動。

如圖13所示，測量階段可包括如下步驟。

1、用戶完成攝像頭組合的標(biāo)定后，系統(tǒng)即可進(jìn)行三維立體測量，基本流程類似標(biāo)定階段。首先，智能電視作為主控中心，搜索當(dāng)前局域網(wǎng)中的多個智能手機(jī)；控制各智能手機(jī)打開攝像頭。

2、智能電視發(fā)出指令，控制智能手機(jī)同步連續(xù)采集第二場景的第二圖像，智能手機(jī)通過圖像處理部獲取第二圖像信息(第二關(guān)鍵點(diǎn)信息)；考慮到大多數(shù)基于立體視覺的應(yīng)用都是與用戶的互動，智能手機(jī)還可進(jìn)行人臉識別、體態(tài)檢測等更高層次的分析。然后，智能手機(jī)可將第二關(guān)鍵點(diǎn)信息和識別結(jié)果發(fā)送給智能電視。例如，因為測量階段通常都是視頻實(shí)時處理，智能手機(jī)端沒有必要發(fā)送完整的圖像到電視端，僅發(fā)送第二關(guān)鍵點(diǎn)信息給智能電視即可，否則將大大增加系統(tǒng)傳輸負(fù)載，并且也沒有必要。

3、智能電視根據(jù)獲取到不同攝像頭的第二關(guān)鍵點(diǎn)信息，首先進(jìn)行關(guān)鍵點(diǎn)匹配，篩選得到成功匹配的關(guān)鍵點(diǎn)組合，然后根據(jù)預(yù)先標(biāo)定的攝像頭內(nèi)外參數(shù)，計算得到三維空間坐標(biāo)，最后統(tǒng)計關(guān)鍵區(qū)域(人臉/四肢等)內(nèi)得到關(guān)鍵點(diǎn)數(shù)據(jù)，完成當(dāng)前場景的立體視覺計算。

此外，由于無線網(wǎng)絡(luò)阻塞以及手機(jī)攝像頭拍攝等原因造成的延遲，智能電視和智能手機(jī)的通信加入同步信號，實(shí)現(xiàn)的方法是包括獲取網(wǎng)絡(luò)延遲和/或同步采集：

1、獲取網(wǎng)絡(luò)延遲：智能電視連續(xù)發(fā)送兩條消息給智能手機(jī)，智能手機(jī)收到后立即返回，智能電視收到返回的兩條消息的時間間隔，即是智能電視到智能手機(jī)通信的網(wǎng)絡(luò)延遲；

2、同步采集：智能電視可將自身的64位系統(tǒng)時間作為時間戳，將時間戳和采集指令一起發(fā)送給智能手機(jī)；智能手機(jī)獲得指令并拍攝照片后，將時間戳和處理后的數(shù)據(jù)一起返回給智能電視；智能電視根據(jù)收到的返回時間戳來對齊各個智能手機(jī)的處理數(shù)據(jù)。

可在標(biāo)定階段和測量階段至少之一的階段采用上述任一方法進(jìn)行信號同步。

測量階段，當(dāng)用戶放置了兩臺以上的智能手機(jī)在系統(tǒng)中時，智能電視控制部可將相鄰智能手機(jī)進(jìn)行兩兩組合，形成多組雙目立體視覺測量系統(tǒng)，這樣將進(jìn)一步減少系統(tǒng)的各個階段誤差，例如圖像關(guān)鍵點(diǎn)的匹配誤差等。

智能電視結(jié)合智能手機(jī)可搭建三維立體視覺測量系統(tǒng)；智能電視作為主控中心，智能手機(jī)作為協(xié)同客戶端，提供攝像頭以及計算資源。立體視覺測量方法可分為標(biāo)定和測量兩個階段，其中，標(biāo)定方法可采用基于場景關(guān)鍵點(diǎn)檢測的自標(biāo)定算法；當(dāng)智能手機(jī)數(shù)量大于兩個時，系統(tǒng)可形成多組雙目立體視覺組合，達(dá)到更精確的測量。

本公開實(shí)施例的立體視覺測量系統(tǒng)還可以包括一個或多個處理器以及一個或多個存儲器。處理器可以處理數(shù)據(jù)信號，可以包括各種計算結(jié)構(gòu)，例如復(fù)雜指令集計算機(jī)(cisc)結(jié)構(gòu)、結(jié)構(gòu)精簡指令集計算機(jī)(risc)結(jié)構(gòu)或者一種實(shí)行多種指令集組合的結(jié)構(gòu)。存儲器可以保存處理器執(zhí)行的指令和/或數(shù)據(jù)。這些指令和/或數(shù)據(jù)可以包括代碼，用于實(shí)現(xiàn)本公開實(shí)施例描述的一個或多個裝置、部件或單元的一些功能或全部功能。例如，存儲器包括動態(tài)隨機(jī)存取存儲器(dram)、靜態(tài)隨機(jī)存取存儲器(sram)、閃存(flashmemory)、光存儲器(opticalmemory)，或其他的本領(lǐng)域技術(shù)人員熟知的存儲器。

在本公開的一些實(shí)施例中，圖像處理部、標(biāo)定部、三維數(shù)據(jù)形成部、關(guān)鍵點(diǎn)組合單元、三維空間坐標(biāo)計算單元和關(guān)鍵點(diǎn)數(shù)據(jù)統(tǒng)計單元等部件/單元包括存儲在存儲器中的代碼和程序；處理器可以執(zhí)行該代碼和程序以實(shí)現(xiàn)如上所述的灰度值提取裝置、脈搏波繪制裝置、脈搏波傳播時間確定裝置和/或血壓獲取裝置的一些功能或全部功能。

在本公開的一些實(shí)施例中，圖像處理部、標(biāo)定部、三維數(shù)據(jù)形成部、關(guān)鍵點(diǎn)組合單元、三維空間坐標(biāo)計算單元和關(guān)鍵點(diǎn)數(shù)據(jù)統(tǒng)計單元等可以是特殊硬件器件，用來實(shí)現(xiàn)如上所述的該圖像處理部、標(biāo)定部、三維數(shù)據(jù)形成部、關(guān)鍵點(diǎn)組合單元、三維空間坐標(biāo)計算單元和關(guān)鍵點(diǎn)數(shù)據(jù)統(tǒng)計單元等的一些或全部功能。例如，圖像處理部、標(biāo)定部、三維數(shù)據(jù)形成部、關(guān)鍵點(diǎn)組合單元、三維空間坐標(biāo)計算單元和關(guān)鍵點(diǎn)數(shù)據(jù)統(tǒng)計單元等可以是一個電路板或多個電路板的組合，用于實(shí)現(xiàn)如上所述的功能。在本公開實(shí)施例中，該一個電路板或多個電路板的組合可以包括：(1)一個或多個處理器；(2)與處理器相連接的一個或多個非暫時的計算機(jī)可讀的存儲器；以及(3)處理器可執(zhí)行的存儲在存儲器中的固件。

有以下幾點(diǎn)需要說明：

(1)除非另作定義，本公開實(shí)施例以及附圖中，同一附圖標(biāo)記代表同一含義。

(2)本公開實(shí)施例附圖中，只涉及到與本公開實(shí)施例涉及到的結(jié)構(gòu)，其他結(jié)構(gòu)可參考通常設(shè)計。

(3)為了清晰起見，在用于描述本公開的實(shí)施例的附圖中，層或區(qū)域的厚度被放大?？梢岳斫猓?dāng)諸如層、膜、區(qū)域或基板之類的元件被稱作位于另一元件“上”或“下”時，該元件可以“直接”位于另一元件“上”或“下”，或者可以存在中間元件。

(4)在不沖突的情況下，本公開的同一實(shí)施例及不同實(shí)施例中的特征可以相互組合。

以上所述，僅為本公開的具體實(shí)施方式，但本公開的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本公開揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本公開的保護(hù)范圍之內(nèi)。因此，本公開的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。