基于多個(gè)影像的閃爍偵測(cè)方法及電路的制作方法
【專利說(shuō)明】基于多個(gè)影像的閃爍偵測(cè)方法及電路 【技術(shù)領(lǐng)域】
[0001] 本發(fā)明是有關(guān)于一種閃爍偵測(cè)方法及相關(guān)電路，且特別是有關(guān)于基于多個(gè)影像的 閃爍偵測(cè)方法及電路。 【【背景技術(shù)】】
[0002] 用于拍攝影像及/或錄制影片的數(shù)字影像系統(tǒng)，像是智能型手機(jī)、移動(dòng)電話、手持 計(jì)算機(jī)、便攜計(jì)算機(jī)、平板計(jì)算機(jī)、筆記本電腦、穿戴式配件（例如，眼鏡或手表）、導(dǎo)航裝 置、數(shù)字相機(jī)、網(wǎng)絡(luò)相機(jī)（例如，IP相機(jī)）、數(shù)字?jǐn)z錄機(jī)、游戲控制器、交互式玩具以及監(jiān)視系 統(tǒng)等等，已成為現(xiàn)代電子裝置的重要部份。
[0003] 在現(xiàn)代的數(shù)字影像系統(tǒng)中，影像的取得典型上是通過(guò)滾動(dòng)快門以控制對(duì)影像傳 感器的曝光來(lái)實(shí)現(xiàn)。影像傳感器可包括排成陣列的多個(gè)像素傳感器；針對(duì)排成同一條 線的像素傳感器，例如，水平掃描線，此線的各像素傳感器所獲得的光數(shù)據(jù)可在讀出間隔 (interval)內(nèi)依序地被讀出。通過(guò)滾動(dòng)快門機(jī)制，不同線（行）的讀出間隔被安排成依序 地發(fā)生，而非共同地發(fā)生，因此，即便沒有實(shí)體光屏蔽，仍可避免影像傳感器在讀出周期收 集過(guò)多的光量，進(jìn)而降低影像傳感器的成本。然而，滾動(dòng)快門也會(huì)因?yàn)橐佬虻男校ň€）俘獲 及讀出而引入大量人工產(chǎn)物，其一就是變動(dòng)光源所造成的亮度閃爍。
[0004] 因此，如何偵測(cè)并移除影像的亮度閃爍噪聲，是目前業(yè)界所致力的課題之一。 【
【發(fā)明內(nèi)容】
】
[0005] 本發(fā)明提供一種基于多個(gè)影像的閃爍偵測(cè)方法以及電路。
[0006] 本發(fā)明提供一種基于多個(gè)影像的閃爍偵測(cè)方法，包含對(duì)各影像提供整合閃爍信 號(hào)，包括：沿著各影像的一方向累加各影像的多個(gè)像素的像素?cái)?shù)據(jù)；執(zhí)行移動(dòng)補(bǔ)償，包括： 比較兩影像的兩整合閃爍信號(hào)，以提供閃爍信號(hào)差；執(zhí)行閃爍特征俘獲，包括：基于閃爍信 號(hào)差進(jìn)行頻率分析，以提供閃爍特征值；以及執(zhí)行閃爍判定，包括：依據(jù)閃爍特征值決定是 否應(yīng)拒絕無(wú)閃爍假設(shè)。
[0007] 本發(fā)明還提供一種基于多個(gè)影像的閃爍偵測(cè)電路，包括整合閃爍信號(hào)計(jì)算模塊， 用以針對(duì)各影像提供整合閃爍信號(hào)；移動(dòng)補(bǔ)償模塊，通過(guò)比較兩影像的兩整合閃爍信號(hào)，以 提供閃爍信號(hào)差；閃爍特征俘獲模塊，根據(jù)閃爍信號(hào)差進(jìn)行頻率分析，以提供閃爍特征信 號(hào)；以及閃爍判定模塊，用以執(zhí)行閃爍判定，以響應(yīng)于閃爍特征信號(hào)。
[0008] 本發(fā)明通過(guò)以上方案，可以有效地解決亮度閃爍的問(wèn)題。 【【附圖說(shuō)明】】
[0009] 圖1圖示了依據(jù)本發(fā)明的一實(shí)施例的閃爍偵測(cè)流程圖。
[0010] 圖2圖示了依據(jù)本發(fā)明第一實(shí)施例的閃爍偵測(cè)電路。
[0011] 圖3圖示了連續(xù)讀出以及閃爍。
[0012] 圖4圖示了兩連續(xù)幀之間的差異。
[0013] 圖5圖示了依據(jù)本發(fā)明的一實(shí)施例的整合閃爍信號(hào)的形成。
[0014] 圖6圖示了依據(jù)本發(fā)明的一實(shí)施例的強(qiáng)度調(diào)制。
[0015] 圖7圖示了依據(jù)本發(fā)明的一實(shí)施例的強(qiáng)度補(bǔ)償。
[0016] 圖8圖示了說(shuō)明兩連續(xù)幀的整合閃爍信號(hào)間的移動(dòng)的一示例。
[0017] 圖9圖示了移動(dòng)補(bǔ)償?shù)囊皇纠?br>[0018] 圖10圖示了依據(jù)本發(fā)明的一實(shí)施例的移動(dòng)估計(jì)的流程圖。
[0019] 圖11圖示了錯(cuò)誤減少的一示例。
[0020] 圖12圖示了決定用于閃爍特征俘獲的取樣頻率的示例。
[0021] 圖13圖示了決定用于閃爍特征俘獲的取樣頻率的示例。 【【具體實(shí)施方式】】
[0022] 影像在環(huán)境光下被俘獲，而在大部份所感受到的環(huán)境光之中，部份會(huì)受到亮度變 動(dòng)的影響。舉例來(lái)說(shuō)，汲取交流電源的人造光源會(huì)產(chǎn)生光強(qiáng)度變動(dòng)。在變動(dòng)光源下，像是用 于室內(nèi)照明的日光燈，影像傳感器的不同行（線）會(huì)因?yàn)橐佬虻男蟹@以及讀出而被不同 的亮度曝光，進(jìn)而對(duì)所俘獲的影像造成帶效應(yīng)（banding effect)，例如，閃爍偽像，使得影 像質(zhì)量降低。為了抑制或消除帶效應(yīng)，可將每一條線的曝光時(shí)間設(shè)成與亮度變動(dòng)的時(shí)間周 期相同，故影像中的每條線在曝光時(shí)間中可被等量的光子所曝光。為此，偵測(cè)閃爍的頻率相 當(dāng)重要，可進(jìn)而設(shè)定曝光時(shí)間。
[0023] 日光燈的閃爍頻率可對(duì)應(yīng)至供應(yīng)電源的交流電流頻率。通過(guò)磁性鎮(zhèn)流器 (magnetic ballast)，閃爍頻率可以是供電電源頻率的兩倍，因?yàn)殒?zhèn)流器可在正、負(fù)電壓差 啟動(dòng)。若閃爍頻率被決定，數(shù)字影像系統(tǒng)可隨需求而改變其曝光表（例如，AE表，AE表示自 動(dòng)曝光）。更具體地說(shuō)，倘若偵測(cè)到120Hz的閃爍，影像系統(tǒng)可采用針對(duì)60Hz交流源光（其 曝光時(shí)間等于8. 33毫秒的倍數(shù)）的曝光表，但仍可觀察IOOHz的閃爍，反之亦然。例如，倘 若偵測(cè)到IOOHz的閃爍，影像系統(tǒng)可切換至針對(duì)50Hz交流源光（其曝光時(shí)間等于10毫秒 的倍數(shù)）的曝光表，并持續(xù)偵測(cè)120Hz的閃爍是否出現(xiàn)。
[0024] 請(qǐng)參考圖1以及圖2。圖1繪示依據(jù)本發(fā)明的一實(shí)施例的基于影像的閃爍偵測(cè)流 程圖100,其可利用幀（frame)到幀之間的差以增強(qiáng)閃爍偵測(cè)的信號(hào)噪聲比。圖2繪示電 路200,其可被嵌入至電子裝置（未繪示）當(dāng)中，并可采用流程圖100以依據(jù)電子裝置中 影像系統(tǒng)（未繪示）的影像傳感器30所俘獲的影像進(jìn)行閃爍偵測(cè)。舉例來(lái)說(shuō)，電路200 可以是基頻處理器、應(yīng)用處理器、電子信號(hào)處理器、微控制器、集成電路、或是芯片上系統(tǒng) (system-on-chip，S0C)、控制器、微控制器等等。電路200包括曝光及幀率控制模塊31、整 合閃爍信號(hào)計(jì)算模塊32、移動(dòng)估計(jì)模塊33、強(qiáng)度補(bǔ)償模塊34、移動(dòng)補(bǔ)償模塊35、移動(dòng)估計(jì)錯(cuò) 誤減小模塊36、閃爍特征俘獲模塊37、頻率選擇模塊38、閃爍判定模塊39以及自動(dòng)調(diào)諧模 塊40。
[0025] 大多現(xiàn)代電子裝置的制造商規(guī)定閃爍偵測(cè)要能在影像系統(tǒng)開啟間隔偵測(cè)動(dòng)態(tài)的 光頻率切換。這樣的要求需要電子裝置隨時(shí)動(dòng)態(tài)分析影像圖樣IOOHz或120Hz的閃爍，而 非只在電子裝置的初始電源開啟階段（或相機(jī)開啟階段）進(jìn)行分析。因?yàn)閯?dòng)態(tài)偵測(cè)的要 求，電路200可一直操作在使能于消除所偵測(cè)的閃爍頻率的閃爍的模式，并使能動(dòng)態(tài)閃爍 偵測(cè)，以檢測(cè)當(dāng)前光源是否改變頻率。舉例來(lái)說(shuō)，電路200可持續(xù)地（例如，周期性地）重 復(fù)執(zhí)行流程圖100或通過(guò)情境感知（context awareness)執(zhí)行流程圖100。
[0026] 為通過(guò)抑制閃爍以達(dá)到更佳的用戶體驗(yàn)，電路200可準(zhǔn)備兩組AE表分別用于50Hz 以及60Hz :50Hz AE表組可設(shè)計(jì)來(lái)消除50Hz交流源光的閃爍，而60Hz AE表組可設(shè)計(jì)來(lái)消 除60Hz交流源光的閃爍。舉例來(lái)說(shuō)，用以消除50Hz交流源閃爍的50Hz AE表組可包括針 對(duì)影像傳感器30的多個(gè)離散曝光時(shí)間，各曝光時(shí)間可以是10毫秒的倍數(shù)；另一方面，用以 消除60Hz交流源閃爍的60Hz AE表組可包括另外的多個(gè)離散曝光時(shí)間，各曝光時(shí)間可以是 8. 33毫秒的倍數(shù)。當(dāng)電路200采用50Hz AE表組來(lái)控制影像傳感器30,電路200亦可執(zhí)行 流程圖100以偵測(cè)當(dāng)前的環(huán)境光是否在60Hz的交流電源下產(chǎn)生變動(dòng)。類似地，當(dāng)電路200 采用60Hz閃爍AE表組，電路200亦可執(zhí)行流程圖100以偵測(cè)當(dāng)前的環(huán)境光是否在50Hz的 交流電源下產(chǎn)生變動(dòng)。
[0027] 連同圖1及圖2,請(qǐng)參考圖3,其繪示依據(jù)本發(fā)明的一實(shí)施例的影像傳感器30的連 續(xù)讀出。如圖3所示，影像傳感器30的各行（水平線）可被曝光一曝光時(shí)間E，并在曝光后 的一讀出間隔被讀出。舉例來(lái)說(shuō)，在行1的曝光之后，行1中像素的像素?cái)?shù)據(jù)可在一讀出間 隔TRl被讀出；在行2的曝光之后，鄰近之行2中像素的像素?cái)?shù)據(jù)可在一讀出間隔TR2被讀 出等等。不同行的讀出間隔，例如TRl至TR5,可維持相同的間隔并標(biāo)示為讀出時(shí)間TR。
[0028] 為了降低復(fù)雜度、耗費(fèi)的資源以及實(shí)現(xiàn)影像讀出的成本，影像傳感器30,例如， CMOS傳感器陣列，可設(shè)計(jì)在任意時(shí)間僅對(duì)一行作讀取。影像傳感器30可包括單一行讀出電 路（未繪示）。在完成每一行的曝光后，可讀出完整行中像素的像素?cái)?shù)據(jù)。這樣的單行讀取 機(jī)制在不同行的讀出間隔之間可能需要作逐行的延遲，因?yàn)椴煌械南袼財(cái)?shù)據(jù)可能不會(huì)同 時(shí)被讀出。舉例來(lái)說(shuō)，如圖3所示，行2的讀出間隔TR2可起始于行1的讀出間隔TRl的末 端之后，行3的讀出間隔TR3可起始于行2的讀出間隔TR2的末端之后。因此，不同行的曝 光起始處之間存在一逐行延遲，以確保各行皆被曝光相同的時(shí)間。舉例來(lái)說(shuō)，如圖3所示， 行2的曝光起始處可通過(guò)將行1的曝光起始處延遲一讀出時(shí)間TR后而得到。此延遲是讀 出電路用以完成讀出一行的時(shí)間。
[0029] 在光變動(dòng)強(qiáng)度如波形300下俘獲影像，相繼的俘獲（曝光）及讀出亦可能造成閃 爍，若各行的曝光時(shí)間E不等于變動(dòng)強(qiáng)度的變動(dòng)周期T_f Ik的整數(shù)倍，其可能在讀出的影像 上形成不必要的帶效應(yīng)。圖3亦繪示受到帶效應(yīng)閃爍影響的示例性影像301。在相繼的俘 獲以及讀出之下，時(shí)間的變動(dòng)波形300轉(zhuǎn)換成不想要的空間亮度變化加載了讀出影像301 中所要的內(nèi)容，使影像301中的結(jié)果內(nèi)容受到亮、暗帶交錯(cuò)的干擾，此干擾沿著影像301的 行水平延伸，并以空間邊帶周期TB垂直地重復(fù)。也就是說(shuō)，時(shí)間的強(qiáng)度變動(dòng)周期T_flk反 應(yīng)在空間邊帶周期TB上。
[0030] 為解決閃爍的問(wèn)題，流程圖100的閃爍偵測(cè)可用來(lái)判定閃爍是否存在于一給定的 閃爍頻率上，因而電路200可適應(yīng)性地選擇合適的AE表組，以消除帶效應(yīng)，進(jìn)而得到無(wú)帶效 應(yīng)的影像302。
[0031] 請(qǐng)?jiān)賲⒖紙D1及圖2,電路200 (圖2)中模塊的功能以及流程圖100 (圖1)中的主 要步驟說(shuō)明如下。
[0032] 步驟2 :通過(guò)曝光及幀率控制模塊31提供曝光時(shí)間E'以及幀率R'，以進(jìn)行最佳閃 爍偵測(cè)。因此，在流程圖100的閃爍偵測(cè)間隔，用于對(duì)各行作曝光的曝光時(shí)間E(圖3)可被 設(shè)為等于曝光時(shí)間E'，而用于俘獲連續(xù)幀的幀率可設(shè)為幀率R'。
[0033] 在此實(shí)施例中，偵測(cè)閃爍的能力可仰賴源自帶效應(yīng)的空間閃爍圖樣的存在；閃爍 圖樣可基于一或多個(gè)俘獲影像而取得，例如基于