本發(fā)明涉及計(jì)算機(jī)視覺(jué)與圖像處理技術(shù)領(lǐng)域，尤其涉及一種全景視頻圖像融合方法及裝置。

背景技術(shù)：

數(shù)字三維全景圖像，是通過(guò)相機(jī)捕捉整個(gè)環(huán)境場(chǎng)景的圖像信息，使用軟件進(jìn)行圖像的拼接整合，將平面圖像進(jìn)行處理得到的三維全景圖像。三維全景圖像能夠?qū)崿F(xiàn)把二維的平面圖像模擬成真實(shí)的三維空間，以達(dá)到模擬和再現(xiàn)真實(shí)環(huán)境場(chǎng)景的效果。

隨著計(jì)算機(jī)軟硬件技術(shù)的不斷發(fā)展，智能可穿戴設(shè)備日漸普及，頭戴式虛擬現(xiàn)實(shí)設(shè)備通過(guò)圖像顯示屏將虛擬的環(huán)境圖像展現(xiàn)在使用者眼前，為使用者營(yíng)造一種置身于虛擬環(huán)境中的體驗(yàn)。使用者佩戴頭戴式虛擬現(xiàn)實(shí)設(shè)備時(shí)，通過(guò)將使用者的視野范圍完全限定在圖像顯示屏的顯示范圍內(nèi)，能夠隔絕圖像顯示屏顯示范圍以外的環(huán)境圖像，從而讓使用者獲得沉浸于虛擬場(chǎng)景的體驗(yàn)。

通過(guò)多個(gè)攝像機(jī)拍攝高畫(huà)質(zhì)的全景視頻圖像，保留環(huán)境場(chǎng)景中更多的圖像細(xì)節(jié)，能夠讓使用者通過(guò)虛擬現(xiàn)實(shí)設(shè)備觀(guān)看全景視頻時(shí)獲得更加真實(shí)的沉浸感。在現(xiàn)有技術(shù)中，通過(guò)多個(gè)攝像機(jī)采集環(huán)境場(chǎng)景的全景視頻圖像時(shí)，相鄰攝像機(jī)獲取的圖像之間存在重疊區(qū)域，由于拍攝時(shí)間與角度差異，重疊區(qū)域通常存在色彩亮度及形變程度的差異。在對(duì)多個(gè)攝像機(jī)采集的圖像進(jìn)行拼接得全景圖像時(shí)，如果將重疊區(qū)域的圖像只進(jìn)行簡(jiǎn)單的疊加處理，將嚴(yán)重影響全景圖像的視覺(jué)效果。因此，如何使拼接融合后的圖像更加平滑自然、過(guò)渡清晰，有效地提高全景圖像拼接效果，是全景圖像拼接合成過(guò)程中亟待解決的技術(shù)問(wèn)題之一。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題在于全景圖像分辨率高，圖像信息量大，圖像拼接融合過(guò)程運(yùn)算復(fù)雜度高、耗時(shí)長(zhǎng)，在解碼播放過(guò)程中往往不能滿(mǎn)足實(shí)時(shí)性的要求，尤其在連續(xù)視頻圖像上的處理存在延遲的問(wèn)題。

在鑒于此，本發(fā)明一方面提供一種全景視頻圖像融合方法，包括以下步驟：預(yù)設(shè)多個(gè)攝像頭采集環(huán)境場(chǎng)景不同空間角度的視頻圖像，建立所述環(huán)境場(chǎng)景的空間球面模型；根據(jù)所述環(huán)境場(chǎng)景的空間球面模型，對(duì)所述多個(gè)攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像進(jìn)行拼接，得到所述環(huán)境場(chǎng)景空間球面模型對(duì)應(yīng)的球面紋理圖像；根據(jù)所述多個(gè)攝像頭的姿態(tài)矩陣，建立所述球面紋理圖像中的圖像像素點(diǎn)與所述攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)之間的關(guān)聯(lián)映射；根據(jù)所述關(guān)聯(lián)映射，對(duì)所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。

優(yōu)選地，所述預(yù)設(shè)多個(gè)攝像頭采集環(huán)境場(chǎng)景不同空間角度的視頻圖像，建立所述環(huán)境場(chǎng)景的空間球面模型的步驟，具體為：所述多個(gè)攝像頭設(shè)置于球狀設(shè)備表面，所述每個(gè)攝像頭采集所述環(huán)境場(chǎng)景預(yù)設(shè)空間角度范圍的視頻圖像，所述多個(gè)攝像頭采集的環(huán)境場(chǎng)景視頻圖像覆蓋所述環(huán)境場(chǎng)景的空間全景；以所述球狀設(shè)備的球心為坐標(biāo)原點(diǎn)構(gòu)建笛卡爾坐標(biāo)系，得到所述環(huán)境場(chǎng)景的空間球面模型。

優(yōu)選地，所述預(yù)設(shè)多個(gè)攝像頭采集環(huán)境場(chǎng)景不同空間角度的視頻圖像，建立所述環(huán)境場(chǎng)景的空間球面模型的步驟，還包括：根據(jù)姿態(tài)估計(jì)算法，確定所述多個(gè)攝像頭在所述笛卡爾坐標(biāo)系中的姿態(tài)，得到所述多個(gè)攝像頭的姿態(tài)矩陣。

優(yōu)選地，所述根據(jù)所述環(huán)境場(chǎng)景的空間球面模型，對(duì)所述多個(gè)攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像進(jìn)行拼接，得到所述環(huán)境場(chǎng)景空間球面模型對(duì)應(yīng)的球面紋理圖像的步驟，還包括：建立所述環(huán)境場(chǎng)景空間球面模型的經(jīng)緯度坐標(biāo)系，確定所述球面紋理圖像中的圖像像素點(diǎn)在所述經(jīng)緯度坐標(biāo)系中的坐標(biāo)。

優(yōu)選地，所述根據(jù)所述多個(gè)攝像頭的姿態(tài)矩陣，建立所述球面紋理圖像中的圖像像素點(diǎn)與所述攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)之間的關(guān)聯(lián)映射的步驟，具體為：根據(jù)所述多個(gè)攝像頭的姿態(tài)矩陣，建立所述球面紋理圖像中的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)與所述至少一個(gè)攝像頭對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)的坐標(biāo)之間的關(guān)聯(lián)映射。

優(yōu)選地，所述根據(jù)所述關(guān)聯(lián)映射，對(duì)所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合的步驟，具體為：根據(jù)所述關(guān)聯(lián)映射，獲取所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)，所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)分別與所述兩個(gè)或兩個(gè)以上攝像頭對(duì)應(yīng) 的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)坐標(biāo)存在關(guān)聯(lián)映射；根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)存在關(guān)聯(lián)映射的所述兩個(gè)或兩個(gè)以上攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)，對(duì)所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。

本發(fā)明另一方面提供一種全景視頻圖像融合裝置，包括：圖像采集模塊：包括多個(gè)攝像單元，用于采集環(huán)境場(chǎng)景不同空間角度的視頻圖像；模型建立模塊：用于建立所述環(huán)境場(chǎng)景的空間球面模型；圖像拼接模塊：用于根據(jù)所述環(huán)境場(chǎng)景的空間球面模型，對(duì)所述多個(gè)攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像進(jìn)行拼接，得到所述環(huán)境場(chǎng)景空間球面模型對(duì)應(yīng)的球面紋理圖像；關(guān)聯(lián)映射模塊：用于根據(jù)所述多個(gè)攝像單元的姿態(tài)矩陣，建立所述球面紋理圖像中的圖像像素點(diǎn)與所述攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)之間的關(guān)聯(lián)映射；圖像融合模塊：用于根據(jù)所述關(guān)聯(lián)映射，對(duì)所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。

優(yōu)選地，所述多個(gè)攝像單元設(shè)置于球狀設(shè)備表面，所述每個(gè)攝像單元采集所述環(huán)境場(chǎng)景預(yù)設(shè)空間角度范圍的視頻圖像，所述多個(gè)攝像單元采集的環(huán)境場(chǎng)景視頻圖像覆蓋所述環(huán)境場(chǎng)景的空間全景。

優(yōu)選地，所述模型建立模塊，包括：坐標(biāo)系構(gòu)建單元：用于以所述球狀設(shè)備的球心為坐標(biāo)原點(diǎn)構(gòu)建笛卡爾坐標(biāo)系，得到所述環(huán)境場(chǎng)景的空間球面模型；姿態(tài)估計(jì)單元：用于根據(jù)姿態(tài)估計(jì)算法，確定所述多個(gè)攝像單元在所述笛卡爾坐標(biāo)系中的姿態(tài)，得到所述多個(gè)攝像單元的姿態(tài)矩陣。

優(yōu)選地，所述坐標(biāo)系建立單元，還用于建立所述環(huán)境場(chǎng)景空間球面模型的經(jīng)緯度坐標(biāo)系，確定所述球面紋理圖像中的圖像像素點(diǎn)在所述經(jīng)緯度坐標(biāo)系中的坐標(biāo)；以及，所述關(guān)聯(lián)映射模塊根據(jù)所述姿態(tài)估計(jì)單元確定的所述多個(gè)攝像單元的姿態(tài)矩陣，建立所述球面紋理圖像中的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)與所述至少一個(gè)攝像單元對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)的坐標(biāo)之間的關(guān)聯(lián)映射。

優(yōu)選地，所述圖像融合模塊，包括：獲取單元：用于根據(jù)所述關(guān)聯(lián)映射模塊確定的關(guān)聯(lián)映射，獲取所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)，所述符合圖像融合條件的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)分別與所述兩個(gè)或兩個(gè)以上攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)坐標(biāo)存在關(guān)聯(lián)映射；融合單元：用于根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)存在關(guān)聯(lián) 映射的所述兩個(gè)或兩個(gè)以上攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)，對(duì)所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。

以上本發(fā)明的技術(shù)方案，通過(guò)多個(gè)攝像頭采集環(huán)境場(chǎng)景的視頻圖像，得到環(huán)境場(chǎng)景的空間球面模型，根據(jù)多個(gè)攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像拼接得到環(huán)境場(chǎng)景球面紋理圖像，建立球面紋理圖像中的圖像像素點(diǎn)與多個(gè)攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)之間的關(guān)聯(lián)映射，生成關(guān)聯(lián)映射表。根據(jù)關(guān)聯(lián)映射表中的關(guān)聯(lián)映射關(guān)系，對(duì)球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。通過(guò)本發(fā)明技術(shù)方案的圖像融合方式，能夠?qū)崿F(xiàn)簡(jiǎn)捷高效的圖像融合操作，有效地解決了現(xiàn)有技術(shù)方案無(wú)法流暢播放高分辨率全景視頻圖像的缺陷，同時(shí)顯著地降低了大容量視頻實(shí)時(shí)傳輸對(duì)于網(wǎng)絡(luò)帶寬的要求，提升了全景視頻播放技術(shù)在不同場(chǎng)景中的適用性。

本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書(shū)中闡述，并且，部分地從說(shuō)明書(shū)中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明的技術(shù)方案而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在說(shuō)明書(shū)、權(quán)利要求書(shū)以及附圖中所特別指出的結(jié)構(gòu)和/或流程來(lái)實(shí)現(xiàn)和獲得。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例的描述中所需要使用的附圖作簡(jiǎn)單地介紹。顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例的說(shuō)明，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其它的附圖：

圖1示出了根據(jù)本發(fā)明第一種實(shí)施例的全景視頻圖像融合方法的流程示意圖；

圖2示出了根據(jù)本發(fā)明第二種實(shí)施例的全景視頻圖像融合裝置的結(jié)構(gòu)示意圖；

圖3示出了根據(jù)本發(fā)明第二種實(shí)施例的全景視頻圖像融合裝置的模型建立模塊的結(jié)構(gòu)示意圖；

圖4示出了根據(jù)本發(fā)明第二種實(shí)施例的全景視頻圖像融合裝置的圖像融合模塊的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了能夠更清楚地理解本發(fā)明的目的、特征和優(yōu)點(diǎn)，下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明做進(jìn)一步的詳細(xì)描述。需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合。

在下面的描述中，闡述了很多具體的技術(shù)細(xì)節(jié)，以便于充分理解本發(fā)明。但是，這僅僅是本發(fā)明的一些實(shí)施例，本發(fā)明還可以采用其他不同于在此處描述的其他方式來(lái)實(shí)施。因此，本發(fā)明的保護(hù)范圍并不受下面公開(kāi)的具體實(shí)施例的限制。

實(shí)施例一

圖1示出了根據(jù)本發(fā)明第一種實(shí)施例的全景視頻圖像融合方法的流程示意圖。

如圖1所示，根據(jù)本發(fā)明第一種實(shí)施例的全景視頻圖像融合方法，主要包括以下步驟：

步驟s101，預(yù)設(shè)多個(gè)攝像頭采集環(huán)境場(chǎng)景不同空間角度的視頻圖像，建立環(huán)境場(chǎng)景的空間球面模型；

步驟s102，根據(jù)環(huán)境場(chǎng)景的空間球面模型，對(duì)多個(gè)攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像進(jìn)行拼接，得到環(huán)境場(chǎng)景空間球面模型對(duì)應(yīng)的球面紋理圖像；

步驟s103，根據(jù)多個(gè)攝像頭的姿態(tài)矩陣，建立球面紋理圖像中的圖像像素點(diǎn)與攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)之間的關(guān)聯(lián)映射；

步驟s104，根據(jù)關(guān)聯(lián)映射，對(duì)球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。

在該技術(shù)方案中，通過(guò)多個(gè)攝像頭采集環(huán)境場(chǎng)景的視頻圖像，建立環(huán)境場(chǎng)景的空間球面模型，根據(jù)該環(huán)境場(chǎng)景的空間球面模型，確定多個(gè)攝像頭采集的視頻圖像在環(huán)境場(chǎng)景的空間球面模型表面的對(duì)應(yīng)映射關(guān)系，將多個(gè)攝像頭采集的視頻圖像進(jìn)行拼接，得到環(huán)境場(chǎng)景空間球面模型對(duì)應(yīng)的球面紋理圖像，建立球面紋理圖像中圖像像素點(diǎn)與攝像頭采集的視頻圖像中圖像像素點(diǎn)的關(guān)聯(lián)映射，根據(jù)關(guān)聯(lián)映射，確定球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)，對(duì)球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。

上述技術(shù)方案中，優(yōu)選地，所述步驟s101，具體為：多個(gè)攝像頭分布于球狀設(shè)備表面，每個(gè)攝像頭采集環(huán)境場(chǎng)景預(yù)設(shè)空間角度范圍的視頻圖像，所述多 個(gè)攝像頭采集的視頻圖像覆蓋所述環(huán)境場(chǎng)景的空間三維全景。具體地，在球狀設(shè)備表面設(shè)置多個(gè)攝像頭采集環(huán)境場(chǎng)景的視頻圖像，例如，4～32個(gè)攝像頭，每個(gè)攝像頭的fov(fieldofview，視場(chǎng)角)為100～220度，該多個(gè)攝像頭采集的原始視頻圖像覆蓋環(huán)境場(chǎng)景的空間全景，即該多個(gè)攝像頭采集的原始視頻圖像包含構(gòu)成環(huán)境場(chǎng)景球面全景圖像的原始圖像數(shù)據(jù)。

在該技術(shù)方案中，進(jìn)一步地，以球狀設(shè)備的球心為坐標(biāo)原點(diǎn)構(gòu)建笛卡爾坐標(biāo)系，得到所述環(huán)境場(chǎng)景的空間球面模型。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s101，還包括：根據(jù)姿態(tài)估計(jì)算法，確定所述多個(gè)攝像頭在所述笛卡爾坐標(biāo)系中的姿態(tài)，得到所述多個(gè)攝像頭的姿態(tài)矩陣。具體地，在所述球狀設(shè)備的球心位置放置相機(jī)m，在所述多個(gè)攝像頭中選定任意攝像頭，使相機(jī)m與所述選定的攝像頭的鏡頭同軸，也即是使相機(jī)m與所述選定的攝像頭的鏡頭光心位于環(huán)境場(chǎng)景空間球面模型的同一半徑。根據(jù)姿態(tài)估計(jì)算法，確定所述選定的攝像頭相對(duì)于相機(jī)m的姿態(tài)矩陣。依此類(lèi)推，確定所述多個(gè)攝像頭中的每個(gè)攝像頭在所述笛卡爾坐標(biāo)系中的姿態(tài)矩陣。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s102，具體為：根據(jù)環(huán)境場(chǎng)景的空間球面模型，將多個(gè)攝像頭采集的環(huán)境場(chǎng)景視頻圖像進(jìn)行球面映射，拼接得到環(huán)境場(chǎng)景空間球面模型對(duì)應(yīng)的球面紋理圖像。具體地，對(duì)多個(gè)攝像頭采集的環(huán)境場(chǎng)景視頻圖像進(jìn)行畸變校正后，將多個(gè)攝像頭對(duì)應(yīng)的視頻圖像進(jìn)行球面映射，拼接得到環(huán)境場(chǎng)景空間球面模型對(duì)應(yīng)的球面紋理圖像。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s102，還包括：建立所述環(huán)境場(chǎng)景空間球面模型的經(jīng)緯度坐標(biāo)系，確定所述球面紋理圖像中的圖像像素點(diǎn)在所述經(jīng)緯度坐標(biāo)系中的坐標(biāo)。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s103，具體為：根據(jù)多個(gè)攝像頭的姿態(tài)矩陣，確定所述球面紋理圖像中的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)與所述至少一個(gè)攝像頭對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)的坐標(biāo)之間的關(guān)聯(lián)映射。具體地，通過(guò)將多個(gè)攝像頭采集的環(huán)境場(chǎng)景視頻圖像進(jìn)行球面映射，得到多個(gè)攝像頭對(duì)應(yīng)的經(jīng)緯度紋理圖像，通過(guò)拼接得到球面紋理圖像，根據(jù)每個(gè)攝像頭在環(huán)境場(chǎng)景空間球面模型的笛卡爾坐標(biāo)系中的姿態(tài)矩陣，確定每個(gè)攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)的坐標(biāo)對(duì)應(yīng)的所述球面紋理圖像中的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)。

在該技術(shù)方案中，通過(guò)多個(gè)攝像頭采集環(huán)境場(chǎng)景的視頻圖像，相鄰攝像頭采集的視頻圖像之間存在部分重疊區(qū)域，使得拼接得到的球面紋理圖像中的部分圖像區(qū)域與兩個(gè)或兩個(gè)以上相鄰攝像頭采集的視頻圖像的圖像重疊區(qū)域相對(duì)應(yīng)。由于相鄰的攝像頭采集的視頻圖像在顏色和亮度上通常存在一定的差異，為了使全景視頻圖像還原更加真實(shí)，需要根據(jù)圖像重疊區(qū)域中的圖像像素點(diǎn)，對(duì)拼接得到的全景視頻圖像中對(duì)應(yīng)的圖像區(qū)域進(jìn)行圖像融合處理。具體地，將多個(gè)攝像頭采集的環(huán)境場(chǎng)景視頻圖像進(jìn)行球面映射，拼接得到環(huán)境場(chǎng)景的球面紋理圖像，根據(jù)多個(gè)攝像頭的姿態(tài)矩陣，確定每個(gè)攝像頭對(duì)應(yīng)的視頻圖像在環(huán)境場(chǎng)景的球面紋理圖像中的經(jīng)緯度坐標(biāo)區(qū)間，以及確定每個(gè)攝像頭對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)坐標(biāo)所對(duì)應(yīng)的所述球面紋理圖像中圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)，建立所述球面紋理圖像中每個(gè)圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)與所述攝像頭對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)坐標(biāo)的關(guān)聯(lián)映射表。例如，在所述關(guān)聯(lián)映射表中，存儲(chǔ)所述球面紋理圖像中的圖像像素點(diǎn)j的經(jīng)緯度坐標(biāo)(u，v)及與圖像像素點(diǎn)j存在關(guān)聯(lián)映射的攝像頭對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)k的參數(shù)信息，其中圖像像素點(diǎn)k的參數(shù)信息包括：圖像像素點(diǎn)k對(duì)應(yīng)的攝像頭標(biāo)識(shí)d、所述攝像頭d的姿態(tài)矩陣r以及圖像像素點(diǎn)k在所述攝像頭d對(duì)應(yīng)的視頻圖像中的坐標(biāo)(x，y)。其中，在所述關(guān)聯(lián)映射表中，球面紋理圖像中的每個(gè)圖像像素點(diǎn)與所述至少一個(gè)攝像頭對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)存在關(guān)聯(lián)映射。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s104，具體為：根據(jù)所述關(guān)聯(lián)映射，獲取所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)，所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)分別與所述兩個(gè)或兩個(gè)以上攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)坐標(biāo)存在關(guān)聯(lián)映射；根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)存在關(guān)聯(lián)映射的所述兩個(gè)或兩個(gè)以上攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)，對(duì)所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。具體地，根據(jù)球面紋理圖像中的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)與所述攝像頭采集的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)坐標(biāo)的關(guān)聯(lián)映射表，獲取所述球面紋理圖像中符合圖像融合的條件的圖像像素點(diǎn)，即所述球面紋理圖像中處于圖像拼接的重疊區(qū)域的圖像像素點(diǎn)，所述球面紋理圖像中符合圖像融合的條件的圖像像素點(diǎn)經(jīng)緯度坐標(biāo)分別與所述兩個(gè)或兩個(gè)以上的攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)坐標(biāo)存在關(guān)聯(lián) 映射。進(jìn)一步地，根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)存在關(guān)聯(lián)映射的所述兩個(gè)或兩個(gè)以上攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)，通過(guò)姿態(tài)相關(guān)加權(quán)方法對(duì)所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。具體地，分別將所述兩個(gè)或兩個(gè)以上攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)的像素與其對(duì)應(yīng)的權(quán)重值相乘后求和，得到圖像融合后的圖像像素點(diǎn)。例如，球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)c，分別與攝像頭e對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)p及攝像頭f對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)q存在關(guān)聯(lián)映射，則根據(jù)以下表達(dá)式對(duì)圖像像素點(diǎn)p與圖像像素點(diǎn)q進(jìn)行圖像融合，得到圖像像素點(diǎn)c對(duì)應(yīng)的像素值c′：

c′＝p′×wp+q′×wq

其中，p′為圖像像素點(diǎn)p進(jìn)行亞像素插值后得到的像素值，q′為圖像像素點(diǎn)q進(jìn)行亞像素插值后得到的像素值，wp為圖像像素點(diǎn)p對(duì)應(yīng)的權(quán)重，wq為圖像像素點(diǎn)q對(duì)應(yīng)的權(quán)重，wp與wq的取值范圍均為0～1。具體地，根據(jù)圖像像素點(diǎn)p在攝像頭e對(duì)應(yīng)的視頻圖像中的坐標(biāo)及圖像像素點(diǎn)c與攝像頭e在笛卡爾坐標(biāo)系中的位置關(guān)系確定圖像像素點(diǎn)p的權(quán)重wp；以及，根據(jù)圖像像素點(diǎn)q在攝像頭f對(duì)應(yīng)的視頻圖像中的坐標(biāo)及圖像像素點(diǎn)c與攝像頭f在笛卡爾坐標(biāo)系中的位置關(guān)系確定圖像像素點(diǎn)q的權(quán)重wq。同樣地，球面紋理圖像中的圖像像素點(diǎn)也可以與兩個(gè)以上的攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)存在關(guān)聯(lián)映射，此處不再贅述。

在上述技術(shù)方案中，進(jìn)一步地，通過(guò)顯示裝置顯示全景場(chǎng)景視頻圖像時(shí)，根據(jù)視頻觀(guān)看視角對(duì)應(yīng)的模型視圖矩陣和投影矩陣，確定全景視頻圖像顯示區(qū)域在所述環(huán)境場(chǎng)景的空間球面模型對(duì)應(yīng)的球面紋理圖像中的投影區(qū)域。根據(jù)所述投影區(qū)域在所述球面紋理圖像中的經(jīng)緯度坐標(biāo)區(qū)間，判斷所述投影區(qū)域中是否包含所述符合圖像融合條件的圖像像素點(diǎn)。若是，則根據(jù)所述投影區(qū)域中包含的符合圖像融合條件的圖像像素點(diǎn)存在關(guān)聯(lián)映射的所述兩個(gè)或兩個(gè)以上攝像頭對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)，對(duì)所述投影區(qū)域中包含的符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。

值得說(shuō)明的是，在本發(fā)明實(shí)施例中，還可以對(duì)所述多個(gè)攝像頭對(duì)應(yīng)的視頻圖像進(jìn)行視頻分塊編碼，將所述每個(gè)攝像頭對(duì)應(yīng)的視頻圖像分割為預(yù)設(shè)尺寸的視頻圖像塊。確定球面紋理圖像中的圖像像素點(diǎn)與所述至少一個(gè)攝像頭對(duì)應(yīng)的 視頻圖像塊的圖像像素點(diǎn)之間的關(guān)聯(lián)映射。根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)存在關(guān)聯(lián)映射的所述兩個(gè)或兩個(gè)以上攝像頭對(duì)應(yīng)的視頻圖像塊中的圖像像素點(diǎn)，對(duì)所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。

實(shí)施例二

圖2示出了本發(fā)明第二種實(shí)施例的全景視頻圖像融合裝置的結(jié)構(gòu)示意圖。

如圖2所示，根據(jù)本發(fā)明第二種實(shí)施例的全景視頻圖像融合裝置200，主要包括：

圖像采集模塊201：包括多個(gè)攝像單元，用于采集環(huán)境場(chǎng)景不同空間角度的視頻圖像；

模型建立模塊202：用于建立環(huán)境場(chǎng)景的空間球面模型；

圖像拼接模塊203：用于根據(jù)環(huán)境場(chǎng)景的空間球面模型，對(duì)多個(gè)攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像進(jìn)行拼接，得到環(huán)境場(chǎng)景空間球面模型對(duì)應(yīng)的球面紋理圖像；

關(guān)聯(lián)映射模塊204：用于根據(jù)多個(gè)攝像單元的姿態(tài)矩陣，建立球面紋理圖像中的圖像像素點(diǎn)與攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)之間的關(guān)聯(lián)映射；

圖像融合模塊205：用于根據(jù)關(guān)聯(lián)映射，對(duì)球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。

在該技術(shù)方案中，圖像采集模塊201通過(guò)多個(gè)攝像單元采集環(huán)境場(chǎng)景的視頻圖像，模型建立模塊202根據(jù)圖像采集模塊201采集的環(huán)境場(chǎng)景視頻圖像建立環(huán)境場(chǎng)景的空間球面模型，根據(jù)該環(huán)境場(chǎng)景的空間球面模型，確定多個(gè)攝像單元采集的視頻圖像在環(huán)境場(chǎng)景的空間球面模型表面的對(duì)應(yīng)映射關(guān)系，圖像拼接模塊203將多個(gè)攝像單元采集的視頻圖像進(jìn)行拼接，得到環(huán)境場(chǎng)景空間球面模型對(duì)應(yīng)的球面紋理圖像，關(guān)聯(lián)映射模塊204根據(jù)多個(gè)攝像單元的狀態(tài)矩陣，建立球面紋理圖像中圖像像素點(diǎn)與攝像單元采集的視頻圖像中圖像像素點(diǎn)的關(guān)聯(lián)映射，圖像融合模塊205根據(jù)關(guān)聯(lián)映射，確定球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)，對(duì)球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。

上述技術(shù)方案中，優(yōu)選地，圖像采集模塊201包括多個(gè)攝像單元設(shè)置于球 狀設(shè)備表面，所述每個(gè)攝像單元采集所述環(huán)境場(chǎng)景預(yù)設(shè)空間角度范圍的視頻圖像，所述多個(gè)攝像單元采集的環(huán)境場(chǎng)景視頻圖像覆蓋所述環(huán)境場(chǎng)景的空間全景。具體地，在球狀設(shè)備表面設(shè)置多個(gè)攝像單元采集環(huán)境場(chǎng)景的視頻圖像，例如，4～32個(gè)攝像單元，每個(gè)攝像單元的fov(fieldofview，視場(chǎng)角)為100～220度，多個(gè)攝像單元采集的原始視頻圖像覆蓋環(huán)境場(chǎng)景的空間全景，即多個(gè)攝像單元采集的原始視頻圖像包含構(gòu)成環(huán)境場(chǎng)景球面全景圖像的原始圖像數(shù)據(jù)。

在上述技術(shù)方案中，優(yōu)選地，如圖3所示，模型建立模塊202，包括：坐標(biāo)系構(gòu)建單元2021：用于以球狀設(shè)備的球心為坐標(biāo)原點(diǎn)構(gòu)建笛卡爾坐標(biāo)系，得到環(huán)境場(chǎng)景的空間球面模型；姿態(tài)估計(jì)單元2022：用于根據(jù)姿態(tài)估計(jì)算法，確定多個(gè)攝像單元在笛卡爾坐標(biāo)系中的姿態(tài)，得到多個(gè)攝像單元的姿態(tài)矩陣。具體地，在所述球狀設(shè)備的球心位置放置相機(jī)m，在所述多個(gè)攝像單元中選定任意攝像單元，使相機(jī)m與所述選定的攝像單元的鏡頭同軸，也即是使相機(jī)m與所述選定的攝像單元的鏡頭光心位于環(huán)境場(chǎng)景空間球面模型的同一半徑。根據(jù)姿態(tài)估計(jì)算法，確定所述選定的攝像單元相對(duì)于相機(jī)m的姿態(tài)矩陣。依此類(lèi)推，確定圖像采集模塊201的多個(gè)攝像單元中的每個(gè)攝像單元在笛卡爾坐標(biāo)系中的姿態(tài)矩陣。

在上述技術(shù)方案中，優(yōu)選地，坐標(biāo)系構(gòu)建單元2021，還用于建立環(huán)境場(chǎng)景空間球面模型的經(jīng)緯度坐標(biāo)系，確定所述球面紋理圖像中的圖像像素點(diǎn)在所述經(jīng)緯度坐標(biāo)系中的坐標(biāo)；以及所述關(guān)聯(lián)映射模塊204根據(jù)姿態(tài)估計(jì)單元2022確定的多個(gè)攝像單元的姿態(tài)矩陣，確定球面紋理圖像中的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)與所述至少一個(gè)攝像單元對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)的坐標(biāo)之間的關(guān)聯(lián)映射。具體地，通過(guò)將多個(gè)攝像單元采集的環(huán)境場(chǎng)景視頻圖像進(jìn)行球面映射，得到多個(gè)攝像單元采集的視頻圖像對(duì)應(yīng)的經(jīng)緯度紋理圖像，通過(guò)拼接得到球面紋理圖像。根據(jù)每個(gè)攝像單元在環(huán)境場(chǎng)景空間球面模型的笛卡爾坐標(biāo)系中的姿態(tài)矩陣，確定每個(gè)攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)的坐標(biāo)對(duì)應(yīng)的球面紋理圖像中的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)。

在該技術(shù)方案中，通過(guò)多個(gè)攝像單元采集環(huán)境場(chǎng)景的視頻圖像，相鄰攝像單元采集的視頻圖像之間存在部分重疊區(qū)域，使得拼接得到的球面紋理圖像中的部分圖像區(qū)域與兩個(gè)或兩個(gè)以上相鄰攝像單元采集的視頻圖像的圖像重疊區(qū)域相對(duì)應(yīng)。由于相鄰的攝像單元采集的視頻圖像在顏色和亮度上通常存在一定 的差異，為了使全景視頻圖像還原更加真實(shí)，需要根據(jù)圖像重疊區(qū)域中的圖像像素點(diǎn)，對(duì)拼接得到的全景視頻圖像中對(duì)應(yīng)的圖像區(qū)域進(jìn)行圖像融合處理。具體地，將多個(gè)攝像單元采集的環(huán)境場(chǎng)景視頻圖像進(jìn)行球面映射，拼接得到環(huán)境場(chǎng)景的球面紋理圖像，根據(jù)多個(gè)攝像單元的姿態(tài)矩陣，確定每個(gè)攝像單元對(duì)應(yīng)的視頻圖像在環(huán)境場(chǎng)景的球面紋理圖像中的經(jīng)緯度坐標(biāo)區(qū)間，以及確定每個(gè)攝像單元對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)坐標(biāo)所對(duì)應(yīng)的所述球面紋理圖像中圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)，建立所述球面紋理圖像中每個(gè)圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)與所述攝像單元對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)坐標(biāo)的關(guān)聯(lián)映射表。例如，在所述關(guān)聯(lián)映射表中，存儲(chǔ)所述球面紋理圖像中的圖像像素點(diǎn)j的經(jīng)緯度坐標(biāo)(u，v)及與圖像像素點(diǎn)j存在關(guān)聯(lián)映射的攝像單元對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)k的參數(shù)信息，其中圖像像素點(diǎn)k的參數(shù)信息包括：圖像像素點(diǎn)k對(duì)應(yīng)的攝像單元標(biāo)識(shí)d、所述攝像單元d的姿態(tài)矩陣r以及圖像像素點(diǎn)k在所述攝像單元d對(duì)應(yīng)的視頻圖像中的坐標(biāo)(x，y)。其中，在所述關(guān)聯(lián)映射表中，球面紋理圖像中的每個(gè)圖像像素點(diǎn)與所述至少一個(gè)攝像單元對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)存在關(guān)聯(lián)映射。

在上述技術(shù)方案中，優(yōu)選地，如圖4所示，圖像融合模塊205，包括：獲取單元2051：用于根據(jù)關(guān)聯(lián)映射模塊204確定的關(guān)聯(lián)映射，獲取球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)，符合圖像融合條件的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)分別與兩個(gè)或兩個(gè)以上攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)坐標(biāo)相關(guān)聯(lián)；融合單元2052：用于根據(jù)與球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)存在關(guān)聯(lián)映射的兩個(gè)或兩個(gè)以上攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)，對(duì)球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。具體地，根據(jù)球面紋理圖像中的圖像像素點(diǎn)的經(jīng)緯度坐標(biāo)與攝像單元采集的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)坐標(biāo)的關(guān)聯(lián)映射表，獲取單元2051獲取所述球面紋理圖像中符合圖像融合的條件的圖像像素點(diǎn)，即所述球面紋理圖像中處于圖像拼接的重疊區(qū)域的圖像像素點(diǎn)，所述球面紋理圖像中符合圖像融合的條件的圖像像素點(diǎn)經(jīng)緯度坐標(biāo)分別與所述兩個(gè)或兩個(gè)以上的攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)坐標(biāo)存在關(guān)聯(lián)映射。進(jìn)一步地，融合單元2052根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)存在關(guān)聯(lián)映射的所述兩個(gè)或兩個(gè)以上攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)，通過(guò)姿 態(tài)相關(guān)加權(quán)方法對(duì)所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。具體地，分別將所述兩個(gè)或兩個(gè)以上攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)的像素與其對(duì)應(yīng)的權(quán)重值相乘后求和，得到圖像融合后的圖像像素點(diǎn)。例如，球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)c，分別與攝像單元e對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)p及攝像單元f對(duì)應(yīng)的視頻圖像中的圖像像素點(diǎn)q存在關(guān)聯(lián)映射，則根據(jù)以下表達(dá)式對(duì)圖像像素點(diǎn)p與圖像像素點(diǎn)q進(jìn)行圖像融合，得到圖像像素點(diǎn)c對(duì)應(yīng)的像素值c′：

c′＝p′×wp+q′×wq

其中，p′為圖像像素點(diǎn)p進(jìn)行亞像素插值后得到的像素值，q′為圖像像素點(diǎn)q進(jìn)行亞像素插值后得到的像素值，wp為圖像像素點(diǎn)p對(duì)應(yīng)的權(quán)重，wq為圖像像素點(diǎn)q對(duì)應(yīng)的權(quán)重，wp與wq的取值范圍均為0～1。具體地，根據(jù)圖像像素點(diǎn)p在攝像單元e對(duì)應(yīng)的視頻圖像中的坐標(biāo)及圖像像素點(diǎn)c與攝像單元e在笛卡爾坐標(biāo)系中的位置關(guān)系確定圖像像素點(diǎn)p的權(quán)重wp；以及，根據(jù)圖像像素點(diǎn)q在攝像單元f對(duì)應(yīng)的視頻圖像中的坐標(biāo)及圖像像素點(diǎn)c與攝像單元f在笛卡爾坐標(biāo)系中的位置關(guān)系確定圖像像素點(diǎn)q的權(quán)重wq。同樣地，球面紋理圖像中的圖像像素點(diǎn)也可以與兩個(gè)以上的攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)存在關(guān)聯(lián)映射，此處不再贅述。

在上述技術(shù)方案中，進(jìn)一步地，通過(guò)顯示裝置顯示全景場(chǎng)景視頻圖像時(shí)，根據(jù)視頻觀(guān)看視角對(duì)應(yīng)的模型視圖矩陣和投影矩陣，確定全景視頻圖像顯示區(qū)域在所述環(huán)境場(chǎng)景的空間球面模型對(duì)應(yīng)的球面紋理圖像中的投影區(qū)域。根據(jù)所述投影區(qū)域在所述球面紋理圖像中的經(jīng)緯度坐標(biāo)區(qū)間，判斷所述投影區(qū)域中是否包含所述符合圖像融合條件的圖像像素點(diǎn)。若是，則根據(jù)所述投影區(qū)域中包含的符合圖像融合條件的圖像像素點(diǎn)存在關(guān)聯(lián)映射的所述兩個(gè)或兩個(gè)以上攝像單元對(duì)應(yīng)的環(huán)境場(chǎng)景視頻圖像中的圖像像素點(diǎn)，對(duì)所述投影區(qū)域中包含的符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。

值得說(shuō)明的是，在本發(fā)明實(shí)施例中，還可以對(duì)所述多個(gè)攝像單元對(duì)應(yīng)的視頻圖像進(jìn)行視頻分塊編碼，將所述每個(gè)攝像單元對(duì)應(yīng)的視頻圖像分割為預(yù)設(shè)尺寸的視頻圖像塊。確定球面紋理圖像中的圖像像素點(diǎn)與所述至少一個(gè)攝像單元對(duì)應(yīng)的視頻圖像塊的圖像像素點(diǎn)之間的關(guān)聯(lián)映射。根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)存在關(guān)聯(lián)映射的所述兩個(gè)或兩個(gè)以上攝像單元 對(duì)應(yīng)的視頻圖像塊中的圖像像素點(diǎn)，對(duì)所述球面紋理圖像中符合圖像融合條件的圖像像素點(diǎn)進(jìn)行圖像融合。

再次聲明，本說(shuō)明書(shū)中公開(kāi)的所有特征，或公開(kāi)的所有方法或過(guò)程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。

本說(shuō)明書(shū)(包括任何附加權(quán)利要求、摘要和附圖)中公開(kāi)的任一特征，除非特別敘述，均可被其他等效或具有類(lèi)似目的的替代特征加以替換。即，除非特別敘述，每個(gè)特征只是一系列等效或類(lèi)似特征中的一個(gè)例子而已。

本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本申請(qǐng)實(shí)施例所提供的方法中的各步驟，它們可以集中在單個(gè)的計(jì)算裝置進(jìn)行執(zhí)行，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上進(jìn)行執(zhí)行?？蛇x地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來(lái)實(shí)現(xiàn)。從而，可以將它們存儲(chǔ)在存儲(chǔ)裝置中由計(jì)算裝置來(lái)執(zhí)行，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來(lái)實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。

雖然本發(fā)明所揭露的實(shí)施方式如上，但所述的內(nèi)容僅為便于理解本發(fā)明技術(shù)方案而采用的實(shí)施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬領(lǐng)域內(nèi)的技術(shù)人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實(shí)施的形式及細(xì)節(jié)上進(jìn)行任何的修改與變化，但本發(fā)明的專(zhuān)利保護(hù)范圍，仍須以所附的權(quán)利要求書(shū)所界定的范圍為準(zhǔn)。