本發(fā)明涉及計(jì)算機(jī)視覺自動(dòng)對(duì)焦算法領(lǐng)域，具體涉及一種事件輔助的高速自動(dòng)對(duì)焦方法。

背景技術(shù)：

1、相機(jī)對(duì)焦技術(shù)是攝影和視頻拍攝中的關(guān)鍵環(huán)節(jié)，影響著成像質(zhì)量和用戶體驗(yàn)。隨著科技的進(jìn)步，傳統(tǒng)的對(duì)焦方法逐漸被新興的技術(shù)所補(bǔ)充和改進(jìn)，事件相機(jī)作為一種新型圖像傳感器，展示了其在高時(shí)間分辨率捕捉場(chǎng)景變化方面的優(yōu)勢(shì)，為自動(dòng)對(duì)焦技術(shù)的發(fā)展帶來了新的思路。

2、傳統(tǒng)相機(jī)的對(duì)焦方法主要包括相位對(duì)焦和對(duì)比度對(duì)焦。相位對(duì)焦是一種常用的自動(dòng)對(duì)焦技術(shù)，主要應(yīng)用于單反相機(jī)和高端無反光鏡相機(jī)。該方法通過光學(xué)分離將進(jìn)入的光線分成兩部分，測(cè)量?jī)墒獾南辔徊顏砼袛嘟裹c(diǎn)位置。相位對(duì)焦的優(yōu)點(diǎn)在于快速響應(yīng)，適合拍攝運(yùn)動(dòng)物體，但在低光環(huán)境中表現(xiàn)相對(duì)較差。對(duì)比度對(duì)焦通過分析圖像的對(duì)比度來確定焦點(diǎn)位置。相機(jī)會(huì)在不同焦距上拍攝多張圖像，找到對(duì)比度最高的圖像進(jìn)行對(duì)焦。雖然這種方法在低光環(huán)境下表現(xiàn)更好，但速度較慢，特別是在快速移動(dòng)物體的拍攝中。

3、事件相機(jī)是一種新型的圖像傳感器，能夠以極高的時(shí)間分辨率獲取傳感器面上的亮度變化信息，且其在極暗環(huán)境下表現(xiàn)依然良好。事件相機(jī)通過捕捉每個(gè)像素的光強(qiáng)變化，實(shí)時(shí)生成事件。這種高時(shí)間分辨率使得事件相機(jī)在快速運(yùn)動(dòng)場(chǎng)景中表現(xiàn)優(yōu)異。有人從事件率和事件極性變化等角度出發(fā)，利用事件相機(jī)實(shí)現(xiàn)更快速的自動(dòng)對(duì)焦。然而，這些方法通常需要進(jìn)行較長(zhǎng)行程的對(duì)焦掃描，以找到準(zhǔn)焦位置，再移動(dòng)至準(zhǔn)焦位置，這會(huì)在對(duì)焦觀感上體現(xiàn)出“拉風(fēng)箱”效應(yīng)，影響用戶體驗(yàn)。

4、隨著近年來事件相機(jī)的逐步成熟及商業(yè)化，其有望集成至智能手機(jī)等小型終端設(shè)備中，輔助傳統(tǒng)的圖像傳感器，完成僅靠傳統(tǒng)圖像傳感器無法實(shí)現(xiàn)的任務(wù)。從物理原理上而言，傳統(tǒng)圖像傳感器是對(duì)時(shí)空光場(chǎng)的時(shí)間稀疏采樣，體現(xiàn)為低幀率但空間稠密的灰度圖像；而事件相機(jī)則是對(duì)時(shí)空光場(chǎng)的空間稀疏采樣，體現(xiàn)為高幀率但空間稀疏的亮度變化信息。因此，將兩者結(jié)合起來，是實(shí)現(xiàn)更高速自動(dòng)對(duì)焦等任務(wù)的關(guān)鍵。

技術(shù)實(shí)現(xiàn)思路

1、為了克服傳統(tǒng)相位對(duì)焦方法低光適應(yīng)性弱，對(duì)比度對(duì)焦方法對(duì)焦速度慢，事件相機(jī)事件率、事件極性對(duì)焦方法“拉風(fēng)箱”等問題，本發(fā)明提出一種事件輔助的高速自動(dòng)對(duì)焦方法。

2、本發(fā)明的技術(shù)方案如下：

3、本發(fā)明首先提供了一種事件輔助的高速自動(dòng)對(duì)焦方法，其包括如下步驟：

4、步驟一、利用事件相機(jī)和圖像傳感器在對(duì)焦運(yùn)動(dòng)過程中采集時(shí)間同步、空間對(duì)齊的事件幀和圖像幀；

5、步驟二、利用laplacian算子對(duì)每個(gè)所述圖像幀求其空間二階導(dǎo)數(shù)矩陣；

6、步驟三、將所述事件幀點(diǎn)乘其之前最近時(shí)刻的圖像幀的空間二階導(dǎo)數(shù)矩陣，將結(jié)果全部加和，并取負(fù)號(hào)，得到該事件幀對(duì)應(yīng)的事件laplacian乘積和；

7、步驟四、在對(duì)焦運(yùn)動(dòng)過程中，每采集得到一個(gè)事件幀，計(jì)算其對(duì)應(yīng)的事件laplacian乘積和，判斷其值是否為正；當(dāng)事件laplacian乘積和變?yōu)樨?fù)值，說明對(duì)焦運(yùn)動(dòng)已越過準(zhǔn)焦位置，朝著離焦方向運(yùn)動(dòng)，此時(shí)切換運(yùn)動(dòng)方向，將像面移動(dòng)至laplacian乘積和正負(fù)值切換的中間位置，即達(dá)到了準(zhǔn)焦位置。

8、本發(fā)明還提供了一種實(shí)施所述方法的事件輔助的高速自動(dòng)對(duì)焦系統(tǒng)，其包括：

9、基于事件相機(jī)和圖像傳感器的混合器件，用于在對(duì)焦運(yùn)動(dòng)過程中采集時(shí)間同步、空間對(duì)齊的事件幀和圖像幀；

10、第一處理單元，用于對(duì)每個(gè)所述圖像幀求其空間二階導(dǎo)數(shù)矩陣；

11、第二處理單元，用于將所述事件幀點(diǎn)乘其之前最近時(shí)刻的圖像幀的空間二階導(dǎo)數(shù)矩陣，將結(jié)果全部加和，并取負(fù)號(hào)，得到該事件幀對(duì)應(yīng)的事件laplacian乘積和；

12、因果窗口自適應(yīng)濾波器，用于對(duì)第二處理單元獲得的事件laplacian乘積和進(jìn)行濾波，得到濾波后的當(dāng)前事件laplacian乘積和filter_elp；

13、對(duì)焦模塊，用于在對(duì)焦運(yùn)動(dòng)過程中，判斷每個(gè)事件幀對(duì)應(yīng)的事件laplacian乘積和filter_elp是否為正；當(dāng)事件laplacian乘積和filter_elp變?yōu)樨?fù)值，說明對(duì)焦運(yùn)動(dòng)已越過準(zhǔn)焦位置，朝著離焦方向運(yùn)動(dòng)，此時(shí)切換運(yùn)動(dòng)方向，將像面移動(dòng)至laplacian乘積和filter_elp正負(fù)值切換的中間位置，即達(dá)到了準(zhǔn)焦位置。

14、與現(xiàn)有技術(shù)相比，本發(fā)明所具有的有益效果有：

15、本發(fā)明提出的高速自動(dòng)對(duì)焦方法，其相較于傳統(tǒng)相位對(duì)焦方法，由于事件相機(jī)能夠同時(shí)覆蓋0.1～10klux的照度環(huán)境，保證了其在暗環(huán)境下的魯棒性；相較于傳統(tǒng)對(duì)比度對(duì)焦方法，本方法一方面利用事件相機(jī)的高時(shí)間分辨特性，可以實(shí)現(xiàn)超過圖像幀率10倍的事件幀采集和對(duì)焦評(píng)價(jià)判斷；另一方面，利用對(duì)準(zhǔn)焦位置極為敏感的事件laplacian乘積和評(píng)價(jià)函數(shù)，能夠通過檢測(cè)評(píng)價(jià)函數(shù)的突變位置，快速、準(zhǔn)確地找到準(zhǔn)焦位置，從而避免在準(zhǔn)焦位置附近多次采集圖像分析對(duì)比度，以找到準(zhǔn)焦位置，極大地提高了對(duì)焦的速度和精度。相較于基于事件率或事件極性變化的自動(dòng)對(duì)焦方法，本發(fā)明不需要經(jīng)歷從離焦到準(zhǔn)焦再到離焦，相當(dāng)長(zhǎng)的對(duì)焦判斷行程，最后移動(dòng)至準(zhǔn)焦位置，而是直接檢測(cè)評(píng)價(jià)函數(shù)突變位置，移動(dòng)至準(zhǔn)焦位置附近及時(shí)剎車，從而避免了顯著的拉風(fēng)箱效應(yīng)。最重要的是，本發(fā)明給出的事件laplacian乘積和評(píng)價(jià)函數(shù)可以通過其值為正還是負(fù)直接判斷是否朝著準(zhǔn)焦位置移動(dòng)，不會(huì)出現(xiàn)對(duì)焦過程中“南轅北轍”的情況，起到了一定的對(duì)焦預(yù)測(cè)功能。

技術(shù)特征：

1.一種事件輔助的高速自動(dòng)對(duì)焦方法，其特征在于包括如下步驟：

2.根據(jù)權(quán)利要求1所述的事件輔助的高速自動(dòng)對(duì)焦方法，其特征在于，所述步驟一中，所述圖像傳感器采集獲得圖像幀，所述事件相機(jī)用于采集對(duì)焦事件；

3.根據(jù)權(quán)利要求1所述的事件輔助的高速自動(dòng)對(duì)焦方法，其特征在于，步驟一中，所述事件相機(jī)和圖像傳感器的每個(gè)像素共用同一個(gè)物理成像單元；

4.根據(jù)權(quán)利要求1所述的事件輔助的高速自動(dòng)對(duì)焦方法，其特征在于，所述步驟二包括：

5.據(jù)權(quán)利要求1所述的事件輔助的高速自動(dòng)對(duì)焦方法，其特征在于，所述步驟三包括：對(duì)于每一個(gè)事件幀，找到其之前最近時(shí)刻采集的圖像幀，點(diǎn)乘利用laplacian算子計(jì)算的圖像幀的空間二階導(dǎo)數(shù)矩陣，并將結(jié)果矩陣的所有值求和，并取負(fù)號(hào)，得到事件laplacian乘積和。

6.據(jù)權(quán)利要求1所述的事件輔助的高速自動(dòng)對(duì)焦方法，其特征在于，所述步驟四中在判斷事件laplacian乘積和是否為正之前，還包括建立因果窗口自適應(yīng)濾波器，利用因果窗口自適應(yīng)濾波器對(duì)計(jì)算得到的事件laplacian乘積和進(jìn)行濾波的步驟。

7.據(jù)權(quán)利要求6所述的事件輔助的高速自動(dòng)對(duì)焦方法，其特征在于，所述建立因果窗口自適應(yīng)濾波器，利用因果窗口自適應(yīng)濾波器對(duì)計(jì)算得到的事件laplacian乘積和進(jìn)行濾波，具體包括：

8.一種實(shí)施權(quán)利要求7所述方法的事件輔助的高速自動(dòng)對(duì)焦系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明提供了一種事件輔助的高速自動(dòng)對(duì)焦方法，屬于計(jì)算機(jī)視覺自動(dòng)對(duì)焦算法領(lǐng)域。該方法結(jié)合了事件相機(jī)和傳統(tǒng)圖像傳感器，利用事件相機(jī)的高時(shí)間分辨特性，采集幀率超過圖像幀率10倍的事件幀，并利用圖像幀的二階空間導(dǎo)數(shù)與事件幀的乘積和構(gòu)建對(duì)焦評(píng)價(jià)函數(shù)。通過捕捉對(duì)焦評(píng)價(jià)函數(shù)的突變，能夠準(zhǔn)確檢測(cè)準(zhǔn)焦位置，避免傳統(tǒng)對(duì)焦方法中的“拉風(fēng)箱”效應(yīng)，并提高對(duì)焦速度和精度。此外，本發(fā)明方法在暗光環(huán)境下表現(xiàn)出良好的魯棒性，并可通過因果窗口自適應(yīng)濾波器處理對(duì)焦過程中場(chǎng)景運(yùn)動(dòng)帶來的干擾，進(jìn)一步提高對(duì)焦的準(zhǔn)確性和穩(wěn)定性。相較于現(xiàn)有技術(shù)，本發(fā)明無需長(zhǎng)時(shí)間的對(duì)焦掃描過程，能夠快速、準(zhǔn)確地完成自動(dòng)對(duì)焦，適用于智能手機(jī)等小型終端設(shè)備。

技術(shù)研發(fā)人員：汪凱巍,鮑宇涵,白劍
受保護(hù)的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30