采用多個(gè)虛擬設(shè)備分析熱像數(shù)據(jù)的方法和將深度值與圖像像素進(jìn)行關(guān)聯(lián)的方法
【專利說(shuō)明】采用多個(gè)虛擬設(shè)備分析熱像數(shù)據(jù)的方法和將深度值與圖像像素進(jìn)行關(guān)聯(lián)的方法
[0001]對(duì)相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)主張于2013年8月9日提交的題為“采用多個(gè)虛擬設(shè)備分析熱像數(shù)據(jù)和將深度值與圖像像素進(jìn)行關(guān)聯(lián)的方法以及一種包括無(wú)縫透鏡蓋的系統(tǒng)”的61/864，196號(hào)美國(guó)臨時(shí)專利申請(qǐng)的權(quán)益，該申請(qǐng)通過(guò)參考整體并入本文中。
【背景技術(shù)】
[0003]可采用廣角相機(jī)的陣列來(lái)生成全景圖像，其中廣角相機(jī)的陣列組合起來(lái)可形成最多360度的視場(chǎng)，也可采用配有魚眼鏡頭或其他全景反射鏡、可形成隨后由計(jì)算機(jī)進(jìn)行壓平處理的連續(xù)“小型球面反射鏡”圖像的單個(gè)相機(jī)來(lái)生成全景圖像。這些圖像提供用于視頻監(jiān)控所需的細(xì)節(jié)的能力有限，因?yàn)閭鞲衅髟趯捯晥?chǎng)上被拉伸(有時(shí)達(dá)到完整的360度)。
[0004]—種相對(duì)較新的獲取熱全景圖像的方式是，以少于60RPM的轉(zhuǎn)速持續(xù)轉(zhuǎn)動(dòng)采用低溫冷卻的熱傳感器或其他高速相機(jī)，并使用計(jì)算機(jī)處理來(lái)自該相機(jī)的圖像，圖像在計(jì)算機(jī)內(nèi)被拼接在一起并被分析。這些低溫冷卻傳感器能夠在僅僅幾納秒內(nèi)獲取圖像，這使其能夠生成接近實(shí)時(shí)的視頻。然而，這些冷卻的傳感器用電量很大且價(jià)格昂貴，使其在許多應(yīng)用場(chǎng)合中難以實(shí)用。此外，高速相機(jī)對(duì)照明的需求非常大，這使其在并非完全在白天工作的場(chǎng)合中的應(yīng)用受到很大限制。
[0005]即使在本領(lǐng)域的現(xiàn)有進(jìn)展條件下，仍然需要有經(jīng)過(guò)改進(jìn)的相機(jī)系統(tǒng)和分析方法，特別是需要其能夠呈現(xiàn)最低的復(fù)雜度和成本，并可在相對(duì)較低的功率要求下工作。
[0006]本申請(qǐng)所請(qǐng)求保護(hù)的主題并不局限于可解決任何不利狀況或僅可在例如上文所述等環(huán)境中工作的實(shí)施例。提供本技術(shù)背景的目的僅在于例示出本文所述的一些實(shí)施例可得以實(shí)施的一個(gè)示例性技術(shù)領(lǐng)域。
[0007]發(fā)明概述
[0008]本發(fā)明的實(shí)現(xiàn)方式包括被配置以采用多個(gè)虛擬設(shè)備對(duì)全景圖像數(shù)據(jù)的單獨(dú)圖像幀進(jìn)行排序和分析的系統(tǒng)、方法和計(jì)算程序產(chǎn)品。例如，本發(fā)明的一種實(shí)施例所針對(duì)的是一種采用多個(gè)虛擬設(shè)備對(duì)全景圖像數(shù)據(jù)的單獨(dú)圖像幀進(jìn)行分析和排序的現(xiàn)場(chǎng)系統(tǒng)。此類系統(tǒng)可能包括:索引機(jī)構(gòu)，在其上安裝有熱成像相機(jī)，用于轉(zhuǎn)動(dòng)該相機(jī)經(jīng)過(guò)多個(gè)停止位置；熱成像相機(jī)，其被配置以拍攝熱成像相機(jī)圖像，當(dāng)該熱成像相機(jī)轉(zhuǎn)動(dòng)經(jīng)過(guò)所述多個(gè)停止位置時(shí)，熱成像相機(jī)圖像中的至少一些圖像對(duì)應(yīng)于停止位置；以及復(fù)用和分析模塊，其被配置以拋棄與任何停止位置均不對(duì)應(yīng)的任何熱成像相機(jī)圖像，使得對(duì)應(yīng)于任何停止位置的熱成像相機(jī)圖像被保留。該復(fù)用和分析模塊可被配置以通過(guò)將被保留的熱成像相機(jī)圖像的視頻流分離為單獨(dú)熱成像相機(jī)圖像的方式，對(duì)被保留的熱成像相機(jī)圖像的視頻流進(jìn)行處理，被保留的熱成像相機(jī)圖像被針對(duì)相應(yīng)的虛擬相機(jī)設(shè)備進(jìn)行存儲(chǔ)。每個(gè)虛擬相機(jī)設(shè)備均可對(duì)應(yīng)于一個(gè)特定的停止位置，且虛擬相機(jī)設(shè)備相對(duì)于熱成像相機(jī)可能為在現(xiàn)場(chǎng)工作。復(fù)用和分析模塊可被配置為不在現(xiàn)場(chǎng)將被保留的熱成像相機(jī)圖像拼接在一起成為全景圖，以使包括熱成像相機(jī)、用于轉(zhuǎn)動(dòng)相機(jī)的索引機(jī)構(gòu)、以及用于對(duì)虛擬相機(jī)設(shè)備的圖像進(jìn)行排序的復(fù)用和分析模塊的現(xiàn)場(chǎng)系統(tǒng)的總功率需求不超過(guò)10W左右。圖像可被保存在現(xiàn)場(chǎng)系統(tǒng)中，或者非現(xiàn)場(chǎng)保存(例如，如果必要，在現(xiàn)場(chǎng)進(jìn)行轉(zhuǎn)遞)。
[0009]本發(fā)明的另一種實(shí)施例包括從轉(zhuǎn)動(dòng)經(jīng)過(guò)多個(gè)停止位置的熱成像相機(jī)獲得熱成像相機(jī)圖像。相機(jī)可能以恒定幀率獲取熱成像相機(jī)圖像。至少有一些熱成像相機(jī)圖像對(duì)應(yīng)于停止位置，而其他所獲取的熱成像相機(jī)圖像可能不對(duì)應(yīng)于任何停止位置。對(duì)應(yīng)于任何停止位置的熱成像相機(jī)圖像會(huì)被保留，而不對(duì)應(yīng)于任何停止位置的熱成像相機(jī)圖像會(huì)被拋棄。被保留的熱成像相機(jī)圖像以視頻流被發(fā)送至視頻處理器，在此其被分離為單獨(dú)的熱成像相機(jī)圖像，并針對(duì)與給定的圖像所對(duì)應(yīng)的特定停止位置相對(duì)應(yīng)的相應(yīng)的虛擬相機(jī)設(shè)備進(jìn)行排序。被保留的經(jīng)排序的圖像可在現(xiàn)場(chǎng)進(jìn)行保存。在另一種實(shí)施例中，可非現(xiàn)場(chǎng)保存，并根據(jù)需要對(duì)圖像進(jìn)行現(xiàn)場(chǎng)轉(zhuǎn)遞。相對(duì)于熱成像相機(jī)，虛擬相機(jī)設(shè)備位于現(xiàn)場(chǎng)，而非遠(yuǎn)程。有意不在現(xiàn)場(chǎng)將熱成像相機(jī)圖像拼接為一幅全景圖像，以使現(xiàn)場(chǎng)系統(tǒng)(例如，包括熱成像相機(jī)、用于轉(zhuǎn)動(dòng)相機(jī)的索引機(jī)構(gòu)、以及用于對(duì)虛擬相機(jī)設(shè)備進(jìn)行圖像排序的復(fù)用和分析模塊)的總功率需求不超過(guò)約10W左右。
[0010]拋棄不對(duì)應(yīng)于任何停止位置的圖像可使視頻處理器定期休眠，因?yàn)槠鋸牟唤邮漳切﹫D像，由此使系統(tǒng)的用電效率更高。類似地，因?yàn)楝F(xiàn)場(chǎng)分析被限制到相對(duì)簡(jiǎn)單的功能(例如，不是將圖像拼接在一起，而是停住并注視一個(gè)給定位置，以查看所發(fā)生的情況，等等)，系統(tǒng)會(huì)呈現(xiàn)相對(duì)有限的功耗特性。例如，現(xiàn)場(chǎng)系統(tǒng)可能需用功率不超過(guò)10W左右，可在無(wú)人看管條件下運(yùn)行數(shù)年，并可由以相對(duì)較小的太陽(yáng)能電池進(jìn)行充電的電池供電。
[0011]在另一方面，本發(fā)明涉及一種對(duì)地理位置數(shù)據(jù)進(jìn)行關(guān)聯(lián)的方法，所述方法包括確定全景圖像的一個(gè)單獨(dú)圖像幀的像素位置的深度值(即，距相機(jī)的距離)。所述方法可能包括從轉(zhuǎn)動(dòng)經(jīng)過(guò)多個(gè)停止位置的單個(gè)相機(jī)獲得相機(jī)圖像(例如，熱成像相機(jī)圖像)的步驟。相機(jī)可能以恒定幀率獲取圖像，當(dāng)相機(jī)轉(zhuǎn)動(dòng)經(jīng)過(guò)多個(gè)停止位置時(shí)，至少有一些圖像對(duì)應(yīng)于停止位置。相機(jī)的一個(gè)位置可與地理位置數(shù)據(jù)進(jìn)行關(guān)聯(lián)，一個(gè)給定的相機(jī)圖像的像素位置可與地理位置數(shù)據(jù)關(guān)聯(lián)，至少可部分根據(jù)相機(jī)的地理位置和給定停止位置被“指向”的方向或位置，來(lái)確定給定相機(jī)圖像的像素位置的深度值。
[0012]本“發(fā)明概述”部分的目的是以簡(jiǎn)化的形式介紹概念選擇，下文將在“詳細(xì)說(shuō)明”部分對(duì)其進(jìn)行進(jìn)一步說(shuō)明。本“發(fā)明概述”并非旨在明確指出所請(qǐng)求保護(hù)的主題的關(guān)鍵特征或基本特征，也非旨在輔助確定所請(qǐng)求保護(hù)的主題的范圍。
[0013]附加特征和優(yōu)點(diǎn)將在下文說(shuō)明中給出，其一部分將可從本說(shuō)明中顯見，或者可從對(duì)本文的教導(dǎo)內(nèi)容的實(shí)踐中獲知。本發(fā)明的特征和優(yōu)點(diǎn)可通過(guò)在所附權(quán)利要求中明確指出的儀器及組合加以實(shí)現(xiàn)和獲得。本發(fā)明的特征將通過(guò)以下說(shuō)明和所附權(quán)利要求而變得更加清楚，或者可通過(guò)對(duì)下文所述的本發(fā)明的實(shí)踐而獲知。
[0014]附圖簡(jiǎn)要說(shuō)明
[0015]為了對(duì)可獲得上文所述及其他的優(yōu)點(diǎn)和特征的方式進(jìn)行說(shuō)明，以下將參照附圖中所示的特定實(shí)施例對(duì)上文所簡(jiǎn)述的主題進(jìn)行更為具體的說(shuō)明。在理解這些附圖僅示出典型的實(shí)施例而非因此被看做對(duì)范圍加以限定的條件下，將借助附圖對(duì)各實(shí)施例進(jìn)行更加具體和詳細(xì)的介紹，其中:
[0016]圖1示意性示出了可以在其中運(yùn)用本文所述原理的一種示例性計(jì)算系統(tǒng)。
[0017]圖2示意性示出了可以在其中運(yùn)用本文所述原理的一種特定環(huán)境。
[0018]圖3A示意性示出了當(dāng)以順時(shí)針?lè)较蜣D(zhuǎn)動(dòng)、相機(jī)指向停止位置1時(shí)的虛擬相機(jī)位置，其在本文中也被稱為停止位置。
[0019]圖3B示意性示出了如圖3A所示、相機(jī)指向停止位置5的虛擬相機(jī)位置。
[0020]圖4示意性示出了圖2所示視頻處理器的一種實(shí)現(xiàn)方式。
[0021]圖5A為示出一種示例方法的流程圖。
[0022]圖5B為示出了根據(jù)本發(fā)明的另一種示例方法的流程圖。
[0023]詳細(xì)說(shuō)明
[0024]本發(fā)明的實(shí)現(xiàn)方式包括被配置為采用多個(gè)虛擬設(shè)備對(duì)全景圖像數(shù)據(jù)的單獨(dú)圖像幀進(jìn)行排序和分析的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品。例如，如圖5A所示，本發(fā)明的一種實(shí)施例包括從轉(zhuǎn)動(dòng)經(jīng)過(guò)多個(gè)停止位置(S12)的熱成像相機(jī)獲取熱成像相機(jī)圖像的方法S10。相機(jī)可能以恒定幀率獲取熱成像相機(jī)圖像。至少有一些熱成像相機(jī)圖像對(duì)應(yīng)于停止位置，而其他被獲取的熱成像相機(jī)圖像可能不對(duì)應(yīng)于任何停止位置。對(duì)應(yīng)于任何停止位置的熱成像相機(jī)圖像會(huì)被保留(S14)，而不對(duì)應(yīng)于任何停止位置的熱成像相機(jī)圖像會(huì)被拋棄(S16)。
[0025]被保留的熱成像相機(jī)圖像被以視頻流發(fā)送至視頻處理器(S18)。它們可被分離為單獨(dú)的熱成像相機(jī)圖像，并經(jīng)排序，針對(duì)與給定圖像所對(duì)應(yīng)的特定停止位置相對(duì)應(yīng)的相應(yīng)虛擬相機(jī)設(shè)備進(jìn)行存儲(chǔ)(S20)。例如，現(xiàn)場(chǎng)系統(tǒng)可能包括用于存儲(chǔ)圖像的相應(yīng)存儲(chǔ)器。作為替代方式，一些或全部圖像可被非現(xiàn)場(chǎng)保存，并根據(jù)需要進(jìn)行現(xiàn)場(chǎng)轉(zhuǎn)遞。虛擬相機(jī)設(shè)備相對(duì)于熱成像相機(jī)可能為在現(xiàn)場(chǎng)工作。熱成像相機(jī)圖像并不在現(xiàn)場(chǎng)被拼接在一起成為現(xiàn)場(chǎng)全景圖像，以使現(xiàn)場(chǎng)系統(tǒng)(例如，包括熱成像相機(jī)，用于轉(zhuǎn)動(dòng)相機(jī)的索引機(jī)構(gòu)，和用于對(duì)虛擬相機(jī)設(shè)備進(jìn)行圖像排序的復(fù)用和分析模塊)的總功率需求不超過(guò)10W左右(S22)。
[0026]來(lái)自每個(gè)停止位置的單獨(dú)熱成像相機(jī)圖像可以被作為一個(gè)視頻流進(jìn)行分析，以檢測(cè)從一幅給定圖像到一幅后續(xù)圖像的變化(S24)。
[0027]拋棄不對(duì)應(yīng)于任何停止位置的圖像可使視頻處理器能夠因其不再接收這些圖像而定時(shí)休眠，由此使系統(tǒng)的能效更高。類似地，由于現(xiàn)場(chǎng)分析僅限于相對(duì)簡(jiǎn)單的功能(例如，不將圖像拼接在一起等)，系統(tǒng)將呈現(xiàn)相對(duì)有限的功耗特性(例如，低于10W左右，可在無(wú)人看管條件下運(yùn)行數(shù)年，并可由以相對(duì)較小的太陽(yáng)能電池進(jìn)行充電的電池供電)。
[0028]在另一方面，本發(fā)明涉及一種對(duì)地理位置數(shù)據(jù)進(jìn)行關(guān)聯(lián)的方法(S30-如圖5B所示)，包括對(duì)全景圖像的一個(gè)單獨(dú)圖像幀的像素位置的深度值進(jìn)行確定。本方法可能包括從轉(zhuǎn)動(dòng)經(jīng)過(guò)多個(gè)停止位置的單個(gè)相機(jī)獲取相機(jī)圖像(例如，熱成像相機(jī)圖像)的步驟(S32)。相機(jī)可能以恒定幀率獲取圖像，在相機(jī)轉(zhuǎn)動(dòng)經(jīng)過(guò)多個(gè)停止位置時(shí)，至少有一些圖像對(duì)應(yīng)于停止位置。相機(jī)的一個(gè)位置可與地理位置數(shù)據(jù)進(jìn)行關(guān)聯(lián)(S34)，一個(gè)給定的相機(jī)圖像的像素位置可與地理位置數(shù)據(jù)關(guān)聯(lián)(S36)，而給定相機(jī)圖像的像素位置的