最銳利 的（最佳焦點對準的）圖像一直是一個挑戰(zhàn)?？紤]中的區(qū)域與在先前部分中提及的區(qū)域不 同。典型地，考慮中的區(qū)域是基于期望的用戶交互的模式來確定的。例如，如果用戶將使用 觸摸界面操作重聚焦應用，則考慮中的區(qū)域將對應于使用觸摸界面的交互的平均面積。使 用具有基于鼠標的界面的重聚焦應用的用戶將具有甚至更精細的交互面積，從而考慮中的 區(qū)域將更小。運里提出的最佳焦點對準估計技術考慮到了所有運些因素并且提出了可配置 的解決方案。執(zhí)行運種最佳焦點對準估計所設及的步驟描述如下。
[0052]首先，使用任意邊緣檢測操作獲得所有圖像的邊緣圖P，其中，j叫1，N]。例如，一 個運樣的邊緣檢測操作可W是高斯-拉普拉斯濾波技術。其次，邊緣圖像P被劃分成每個大 小為pXq個像素的塊。令在圖像中有R個區(qū)域。然后，設定考慮中的區(qū)域r = l。接下來，對于 每個圖像計算給定區(qū)域r的第一階能量。隨后，對于給定區(qū)域具有最高能量的圖像被選擇用 于該區(qū)域的深度索引(Wr)。
[0054] 然后，將考慮中的區(qū)域遞增1，即r = r+l。每次在r遞增時確定r的值W檢查r是否等 于R，即，圖像中的區(qū)域總數。如果r的值小于或等于R，則過程被路由到為區(qū)域r+1計算第一 階能量的前一步驟，直到對于圖像中的所有區(qū)域R都計算了深度索引為止。從而此技術將為 圖像中的每個區(qū)域提供使該區(qū)域焦點對準的圖像索引。
[0055] 圖4是描繪根據本發(fā)明的實施例的拍攝最優(yōu)化技術的圖像處理系統(tǒng)的框圖。本文 的實施例通過利用如下事實解決了檢測圖像中的焦點的問題：與銳利區(qū)域相比，模糊區(qū)域 一般缺乏高頻分量從而對隨后的低通濾波不敏感。運里，使用絕對差的總和來將從原始圖 像獲得的邊緣圖與從圖像的經嚴重低通濾波的版本獲得的邊緣圖進行比較。另外，選擇性 的闊值化提供了清楚地焦點對準的區(qū)域。根據圖4,輸入圖像的亮度分量被輸入到低通濾波 器402。輸入圖像被濾波并且低通濾波器402的輸出被輸入到邊緣檢測器404曰。邊緣檢測器 404a產生邊緣圖：與經低通濾波的版本相對應的額外地，輸入圖像也被直接饋送到 另一邊緣檢測器404bW獲得與輸入圖像相對應的邊緣圖ledge。分別與輸入圖像和經低通濾 波的圖像相對應的兩個邊緣圖ledge和被輸入到二元單元406。二元單元406根據ledge 巧/'iSl之間的絕對差的歸一化總和產生二元圖Ibin，其中，
[0057]在W上公式中，索引（x，y)表示圖像中的像素并且Eth表示闊值因子(憑經驗設定為 5)。先前部分中所定義的二元圖像Ibin的每個區(qū)域或塊中的總和能量被計算，并且那些低于 或高于特定闊值Sth的區(qū)域被闊值單元408宣布為焦點對準的區(qū)域。闊值被按經驗確定W確 保誤報不會發(fā)生。運通過公式2給出：
[0059]在本發(fā)明的實施例中，漏掉焦點對準的區(qū)域的檢測是可接受的，但誤報不可接受。 換句話說，漏掉對焦點對準的區(qū)域的檢測還好，但將沒有焦點對準的區(qū)域分類為焦點對準 的區(qū)域可能導致丟失數據。有可能被捕捉來描述場景的圖像中的任何一個都沒有使一特定 區(qū)域焦點對準，運從重聚焦的視角看是不利的。另一方面，如果區(qū)域包含有強相對邊緣，貝U 假定漏掉是可接受的。
[0060] 在本發(fā)明的實施例中，捕捉系統(tǒng)提供另一種用于從所捕捉的序列估計最佳焦點對 準圖像的方法。在此方法中，在步驟一，整個場景被分成MXN塊的柵格。M和N的值是可配置 的。合理估計將是所遇到的對象的典型大小，從而M=5和N = 4按經驗看起來是合理選擇。在 步驟二，blockNum被設定為一，其中blockNum表示將被明確設定為焦點的塊。在步驟S，考 慮a來描繪焦點對準的區(qū)域，并且a被設定為N化L(空）。在步驟四，與WockNum相對應的塊被 設定為焦點對準，并且捕捉該塊的圖片。在步驟五，使用上文提及的拍攝最優(yōu)化技術執(zhí)行對 所捕捉塊的預處理W確定其它焦點對準的塊。并且用被檢測為焦點對準的所有區(qū)域來更新 曰。在步驟六，blockNum被設定為blockNum+1。在步驟屯，確定blockNum是否是塊a的一部分。 如果是，則其指示blockNum已經焦點對準，并且過程跳至步驟六。如果否，則在步驟八，確定 WockNum是否小于或等于M*N。如果是，則過程跳至步驟S。如果否，則在步驟九，執(zhí)行對所 捕捉圖像的后處理深度估計。在步驟十，所捕捉的圖像與深度信息一起被打包為多媒體文 件格式。
[0061] 圖5是圖示根據本發(fā)明的實施例的場景的基于對象的分割的快照。用此方法，采用 快速場景掃描技術來檢測場景中最顯著的對象。運里，隨機重疊塊對于捕捉場景中的所有 顯著對象來說是足夠的。顯著度檢測的方法在圖像處理文獻中廣泛定義。當給定圖像中的 最顯著區(qū)域被識別出來時，相機捕捉應用被設定為明確聚焦在運些對象中的每一個上，并 且對運些對象中的每一個拍攝照片。根據圖5,包括用戶想要捕捉的對象的塊被用X標志標 注。運些塊對應于圖中所示出的圖像的顯著區(qū)域。因此，運些塊中的每一個被設定為焦點并 且對于運些區(qū)域中的每一個捕捉照片。運里，有五個塊與顯著區(qū)域相對應，從而獲得包含焦 點對準的用戶感興趣的對象的5個圖像。
[0062] 圖6是根據本發(fā)明的實施例的圖像捕捉系統(tǒng)的框圖。根據圖6,輸入場景被輸入到 實時場景分析單元602中。實時場景分析單元602將輸入圖像的整個場景分割成MXN塊的柵 格，并且將blockNum設定為等于一。運對應于實時場景分析單元602的輸出。blockNum指示 將被明確設定為焦點的塊。實時場景分析單元602的輸出被饋送到焦點設定和捕捉單元604 中，其中焦點設定和捕捉單元604獲得分割后的MXN塊的柵格W及blockNum= 1。焦點設定 和捕捉單元604然后將與blockNum相對應的塊設定為焦點對準并且拍攝圖片。然后焦點設 定和捕捉單元604使用如上所述的拍攝最優(yōu)化技術執(zhí)行預處理W確定焦點對準的其它塊。 焦點設定和捕捉單元604的輸出被饋送到焦點更新單元606。焦點更新單元606檢測與 blockNum相對應的塊是否已經焦點對準。如果是，則焦點更新單元606將blockNum的值遞增 1。然后，確定blockNum的值W檢查其是否小于或等于M X N的值。如果blockNum被確定為小 于或等于MXN的值，則相應塊被設定為焦點并且被拍攝圖片。例如，考慮在將blockNum的值 遞增1之后，blockNum的值是13。在運種情況下，確定blockNum的值是否<=MXNd運里，M X N 的值是20。因此，blockNum的值小于MXN的值，即13<20。因此，塊13被設定為焦點并且被拍 攝圖片。進行此過程直到MXN塊的柵格中的所有塊都被設定為焦點并被拍攝照片。一旦MX N柵格的所有塊都完成，則焦點設定和捕捉單元604的輸出就被饋送到后處理深度分析單元 608。后處理深度分析單元608如上所述根據所捕捉的場景執(zhí)行最佳焦點對準估計。然后，后 處理深度分析單元608的輸出被饋送到打包單元610,在那里捕捉的圖像與深度信息一起被 打包為多媒體文件格式。
[0063] 圖7是描繪根據本發(fā)明的示例性實施例的利用不同的照度來重聚焦的圖像的快 照。在圖7中，檢測對視場中具有相關聯的照度水平的感興趣的對象的重聚焦動作。然后，基 于檢測來變化該對象的相關聯的照度水平。圖（a)圖示了焦點被設定到窗戶的圖像，而圖 (b)圖示了焦點在靠墊上的圖像。運里，窗戶和靠墊處于相同的深度水平。因此，用戶能夠變 化所捕捉圖像的照度W突出其感興趣的對象。
[0064] 圖8是描繪根據本發(fā)明的示例性實施例的全景模式中的重聚焦的圖像的快照。在 圖8中，用戶基于拍攝最優(yōu)化技術拍攝重聚焦照片，其中可重聚焦圖像集在全景模式中捕 捉。在所捕捉的全景圖像中可對與視場相關聯的每個對象個別聚焦。在此圖中，全景圖像包 括諸如標記筆、鼠標、線纜和CPU的對象。用戶可將焦點改變到全景圖像中任何感興趣的對 象上。例如，用戶可根據其興趣對筆或線纜或者監(jiān)視器重聚焦。此外，用戶可實現重聚焦W 使得在W后的階段可對每個對象個別聚焦。
[0065] 圖9是描繪根據本發(fā)明的示例性實施例的重聚焦圖像中的HDR效果的圖像的快