本發(fā)明涉及圖像處理設備、圖像處理方法和圖像處理系統(tǒng)。
背景技術:
日本未經審查的專利申請公開No.2014-64835公開了一種具有以下構造的圖像處理設備。圖像獲得單元從X射線計算機斷層掃描(CT)設備得到多個CT圖像,并且產生三維圖像。低分辨率圖像產生單元對三維圖像執(zhí)行多分辨率變換,并且產生低分辨率圖像。第一提取單元通過使用圖形切割方法從低分辨率圖像中提取諸如肝臟區(qū)域的特定區(qū)域。輪廓區(qū)域設置單元在三維圖像上設置從低分辨率圖像中提取的肝臟區(qū)域的輪廓,并且在三維圖像上設置包括肝臟區(qū)域的輪廓的輪廓區(qū)域。第二提取單元從輪廓區(qū)域中提取肝臟區(qū)域的輪廓,并且還從三維圖像中提取肝臟區(qū)域。
在圖像處理中,用戶分割他們指定為要經受圖像處理的區(qū)域的指定區(qū)域。
技術實現(xiàn)要素:
因此,本發(fā)明的目的是提供圖像處理設備、圖像處理方法和圖像處理系統(tǒng),該圖像處理設備、圖像處理方法和圖像處理系統(tǒng)可使得能夠以比在沒有取消針對其中曾經被檢測到指定區(qū)域的區(qū)域的指定區(qū)域的情況下進行指定區(qū)域分割的精度更高的精度進行指定區(qū)域分割,并且可使得能夠以比通過重新設置其中曾經被檢測到指定區(qū)域的區(qū)域的整體并且通過使用關于新接受的代表位置的位置信息再次檢測區(qū)域進行指定區(qū)域分割有所提高的處理速度進行指定區(qū)域分割。
根據(jù)本發(fā)明的第一方面,提供了一種圖像處理設備,該圖像處理設備包括位置信息獲得單元和區(qū)域檢測單元。位置信息獲得單元獲得指示圖像中的一個或更多個指定區(qū)域的代表位置的位置信息。區(qū)域檢測單元從所述位置信息檢測所述一個或更多個指定區(qū)域。所述區(qū)域檢測單元取消針對所述圖像的預定部分內的像素的所述一個或更多個指定區(qū)域的設置,并且基于從所述圖像上的還沒有被取消所述一個或更多個指定區(qū)域的設置的像素之中選擇的參考像素,針對所述預定部分內的像素再次檢測所述一個或更多個指定區(qū)域。
根據(jù)本發(fā)明的第二方面,在根據(jù)第一方面的圖像處理設備中,所述預定部分是檢測到的指定區(qū)域的邊界部分。
根據(jù)本發(fā)明的第三方面,在根據(jù)第一方面的圖像處理設備中,所述區(qū)域檢測單元包括第一區(qū)域檢測單元和第二區(qū)域檢測單元,所述第一區(qū)域檢測單元從所述位置信息檢測所述一個或更多個指定區(qū)域,所述第二區(qū)域檢測單元取消在被放大后的所述指定區(qū)域的邊界部分中的所述一個或更多個指定區(qū)域的設置。
根據(jù)本發(fā)明的第四方面,在根據(jù)第一方面的圖像處理設備中,所述位置信息獲得單元獲得指示所述一個或更多個指定區(qū)域的額外位置的額外位置信息,所述區(qū)域檢測單元取消針對所述圖像的預定部分內的所述額外位置信息指示的所述額外位置處的像素的相鄰像素的所述一個或更多個指定區(qū)域的設置。
根據(jù)本發(fā)明的第五方面,在根據(jù)第一方面的圖像處理設備中,所述位置信息獲得單元還獲得用于擦除所述位置信息的至少部分的擦除信息,所述區(qū)域檢測單元從所述位置信息檢測所述一個或更多個指定區(qū)域,所述位置信息的所述至少部分已使用所述擦除信息擦除。
根據(jù)本發(fā)明的第六方面,根據(jù)第一方面的圖像處理設備還包括圖像大小改變單元,所述圖像大小改變單元改變用戶用來指明指定區(qū)域的圖像的圖像大小并且按照所述圖像改變后的圖像大小來改變位置信息。所述區(qū)域檢測單元按照改變后的所述位置信息來檢測所述一個或更多個指定區(qū)域。
根據(jù)本發(fā)明的第七方面,提供了一種圖像處理設備,該圖像處理設備包括位置信息獲得單元、第一區(qū)域檢測單元、指定區(qū)域放大單元和第二區(qū)域檢測單元。位置信息獲得單元獲得指示圖像中的一個或更多個指定區(qū)域的代表位置的位置信息。第一區(qū)域檢測單元從所述位置信息檢測所述一個或更多個指定區(qū)域。指定區(qū)域放大單元放大檢測到的指定區(qū)域。第二區(qū)域檢測單元基于從屬于所述圖像中的除了放大后的所述指定區(qū)域的邊界部分外的區(qū)域的像素之中選擇的參考像素,在所述邊界部分內再次檢測所述一個或更多個指定區(qū)域。
根據(jù)本發(fā)明的第八方面,根據(jù)第七方面的圖像處理設備還包括圖像大小改變單元,所述圖像大小改變單元改變用戶用來指明指定區(qū)域的圖像的圖像大小并且按照所述圖像改變后的圖像大小來改變位置信息。所述第一區(qū)域檢測單元按照改變后的所述位置信息來檢測所述一個或更多個指定區(qū)域。
根據(jù)本發(fā)明的第九方面,在根據(jù)第七方面的圖像處理設備中,所述圖像大小改變單元將用戶用來指明指定區(qū)域的圖像和所述位置信息相互分開,并且單獨地改變所述圖像和所述位置信息。
根據(jù)本發(fā)明的第十方面,在根據(jù)第七方面至第九方面中任一項所述的圖像處理設備中,所述第二區(qū)域檢測單元應用過濾器,所述過濾器用于取消所述一個或更多個指定區(qū)域的設置,使得所述過濾器以被所述指定區(qū)域放大單元放大的指定區(qū)域的邊界上的像素為中心,并且所述第二區(qū)域檢測單元使用還沒有被取消所述一個或更多個指定區(qū)域的設置的像素作為參考像素,針對被取消所述一個或更多個指定區(qū)域的設置的像素再次檢測所述一個或更多個指定區(qū)域。
根據(jù)本發(fā)明的第十一方面,在根據(jù)第七方面至第十方面中任一項所述的圖像處理設備中,所述第二區(qū)域檢測單元包括范圍設置單元和確定單元。范圍設置單元設置第一范圍或改變第二范圍。所述第一范圍是針對從屬于各放大后的所述指定區(qū)域的像素之中選擇的參考像素設置的并且是針對被確定在或不在所述一個或更多個指定區(qū)域中的對應一個中的第一目標像素的范圍。所述第二范圍是針對作為被選擇的目標像素的第二目標像素設置的并且是包括所述參考像素的范圍,所述參考像素是用于確定所述第二目標像素被包括在哪個指定區(qū)域中的像素。確定單元確定所述第一目標像素或所述第二目標像素屬于哪個指定區(qū)域。
根據(jù)本發(fā)明的第十二方面,在根據(jù)第七方面至第十一方面中任一項所述的圖像處理設備中,所述第一區(qū)域檢測單元包括范圍設置單元和確定單元。所述范圍設置單元設置第一范圍或改變第二范圍。所述第一范圍是針對從屬于所述一個或更多個指定區(qū)域中的每個的像素之中選擇的參考像素設置的并且是針對被確定在或不在所述一個或更多個指定區(qū)域中的對應一個中的第一目標像素的范圍。所述第二范圍是針對作為被選擇的目標像素的第二目標像素設置的并且是包括所述參考像素的范圍,所述參考像素是用于確定所述第二目標像素被包括在哪個指定區(qū)域中的像素。所述確定單元確定所述第一目標像素或所述第二目標像素屬于哪個指定區(qū)域。
根據(jù)本發(fā)明的第十三方面,在根據(jù)第七方面至第十二方面中任一項所述的圖像處理設備中,所述位置信息獲得單元獲得指示所述一個或更多個指定區(qū)域的額外位置的額外位置信息,所述第一區(qū)域檢測單元按照所述額外位置信息檢測所述一個或更多個指定區(qū)域。
根據(jù)第十四方面,提供了一種圖像處理方法,該圖像處理方法包括:獲得指示圖像中的一個或更多個指定區(qū)域的代表位置的位置信息;從所述位置信息檢測所述一個或更多個指定區(qū)域。所述檢測包括取消針對所述圖像的預定部分內的像素的所述一個或更多個指定區(qū)域的設置,并且基于從所述圖像上的還沒有被取消所述一個或更多個指定區(qū)域的設置的像素之中選擇的參考像素,針對所述預定部分內的像素再次檢測所述一個或更多個指定區(qū)域。
根據(jù)第十五方面,提供了一種圖像處理系統(tǒng),該圖像處理系統(tǒng)包括顯示裝置、圖像處理設備和輸入裝置。所述顯示裝置顯示圖像。所述圖像處理設備對關于所述顯示裝置上顯示的圖像的圖像信息執(zhí)行圖像處理。所述輸入裝置將來自用戶的指令輸入到所述圖像處理設備,以執(zhí)行圖像處理。所述圖像處理設備包括位置信息獲得單元和區(qū)域檢測單元。所述位置信息獲得單元獲得指示所述圖像中的一個或更多個指定區(qū)域的代表位置的位置信息。所述區(qū)域檢測單元從所述位置信息檢測所述一個或更多個指定區(qū)域。所述區(qū)域檢測單元取消針對所述圖像的預定部分內的像素的所述一個或更多個指定區(qū)域的設置,并且基于從所述圖像上的還沒有被取消所述一個或更多個指定區(qū)域的設置的像素之中選擇的參考像素,針對所述預定部分內的像素再次檢測所述一個或更多個指定區(qū)域。
根據(jù)本發(fā)明的第一方面,可以提供一種圖像處理設備,該圖像處理設備能夠以比在沒有取消針對其中曾經被檢測到指定區(qū)域的區(qū)域的指定區(qū)域的情況下進行指定區(qū)域分割的精度更高的精度進行指定區(qū)域分割,并且能夠以比通過重新設置其中被檢測到一次指定區(qū)域的區(qū)域的整體并且通過使用關于新接受的代表位置的位置信息再次檢測區(qū)域進行指定區(qū)域分割有所提高的處理速度進行指定區(qū)域分割。
根據(jù)本發(fā)明的第二方面,可以針對有可能出現(xiàn)分割精度降低的部分實現(xiàn)高分割精度。
根據(jù)本發(fā)明的第三方面,可以以提高的處理速度來分割指定區(qū)域,即使使用的是高分辨率圖像。
根據(jù)本發(fā)明的第四方面,可以以高分割精度使用額外位置信息分割指定區(qū)域。
根據(jù)本發(fā)明的第五方面,用戶能夠校正位置信息。
根據(jù)本發(fā)明的第六方面,可以選擇分割指定區(qū)域時對應的圖像大小。
根據(jù)本發(fā)明的第七方面,可以提供一種圖像處理設備,該圖像處理設備能夠以比在沒有取消針對其中曾經被檢測到指定區(qū)域的區(qū)域的指定區(qū)域的情況下進行指定區(qū)域分割的精度更高的精度進行指定區(qū)域分割,并且能夠以比通過重新設置其中被檢測到一次指定區(qū)域的區(qū)域的整體并且通過使用關于新接受的代表位置的位置信息再次檢測區(qū)域進行指定區(qū)域分割有所提高的處理速度進行指定區(qū)域分割。
根據(jù)本發(fā)明的第八方面,即使用戶用來指明指定區(qū)域的圖像、第一區(qū)域檢測單元在其中分割指定區(qū)域的圖像、第二區(qū)域檢測單元在其中分割指定區(qū)域的圖像具有不同大小,也可以執(zhí)行處理。
根據(jù)本發(fā)明的第九方面,可以實現(xiàn)位置信息精度的進一步提高。
根據(jù)本發(fā)明的第十方面,可容易地取消指定區(qū)域的設置。
根據(jù)本發(fā)明的第十一方面,第二區(qū)域檢測單元能夠更快速地執(zhí)行分割指定區(qū)域的處理。
根據(jù)本發(fā)明的第十二方面,第一區(qū)域檢測單元能夠更快速地執(zhí)行分割指定區(qū)域的處理。
根據(jù)本發(fā)明的第十三方面,可以以高分割精度使用額外位置信息來分割指定區(qū)域。
根據(jù)本發(fā)明的第十四方面,可以提供一種圖像處理方法,該圖像處理方法能夠以比在沒有取消針對其中曾經被檢測到指定區(qū)域的區(qū)域的指定區(qū)域的情況下進行指定區(qū)域分割的精度更高的精度進行指定區(qū)域分割,并且能夠以比通過重新設置其中被檢測到一次指定區(qū)域的區(qū)域的整體并且通過使用關于新接受的代表位置的位置信息再次檢測區(qū)域進行指定區(qū)域分割有所提高的處理速度進行指定區(qū)域分割。
根據(jù)本發(fā)明的第十五方面,可以提供一種圖像處理系統(tǒng),該圖像處理系統(tǒng)可容易地執(zhí)行圖像處理。
附圖說明
將基于下面的附圖詳細描述本發(fā)明的示例性實施方式,其中:
圖1示出根據(jù)本發(fā)明的示例性實施方式的圖像處理系統(tǒng)的示例構造;
圖2是示出根據(jù)第一、第三和第四示例性實施方式的圖像處理設備的示例功能構造的框圖;
圖3A和圖3B示出用于指明指定區(qū)域的示例用戶交互方法;
圖4A和圖4B示出通過使用區(qū)域擴張方法分別在圖3A和圖3B中示出的圖像中分割的指定區(qū)域;
圖5A至圖5C示出指定區(qū)域放大單元執(zhí)行的處理;
圖6A和圖6B示出其中第二區(qū)域檢測單元重新設置標簽的處理;
圖7A和圖7B示出重新設置標簽之前和之后之間的比較;
圖8A至圖8E示出其中第二區(qū)域檢測單元再次檢測指定區(qū)域的處理;
圖9A和圖9B示出當用戶選擇指定區(qū)域時顯示裝置的顯示屏上顯示的示例畫面;
圖10示出當將執(zhí)行圖像處理時顯示裝置的顯示屏上顯示的示例畫面;
圖11A至圖11C示出相關技術的區(qū)域擴張方法;
圖12是示出根據(jù)第一示例性實施方式的第一區(qū)域檢測單元的示例功能構造的框圖;
圖13A示出其中將分割指定區(qū)域的原始圖像;
圖13B示出參考像素;
圖14示出第一范圍;
圖15示出基于圖14中示出的第一范圍內的目標像素的歐氏距離進行判斷的結果;
圖16A和圖16B示出用于確定影響程度的方法;
圖17示出使用基于圖14中示出的第一范圍內的目標像素的強度的方法進行判斷的結果;
圖18A至圖18H示出基于第一示例中的強度使用區(qū)域擴張方法標記像素的處理的示例;
圖19A至圖19H示出在第二示例中使用區(qū)域擴張方法標記像素的處理的示例;
圖20A和圖20B示出行列的次序被顛倒的情況;
圖21是示出第一示例和第二示例中的第一區(qū)域檢測單元的操作的流程圖;
圖22示出第三示例中的通過像素選擇單元選擇的目標像素和通過范圍設置單元設置的第二范圍;
圖23示出根據(jù)第一示例性實施方式的判斷的結果;
圖24A至圖24H示出使用第四示例中的區(qū)域擴張方法標記像素的處理的示例;
圖25是示出第三示例和第四示例中的第一區(qū)域檢測單元的操作的流程圖;
圖26是示出第五示例中的第一區(qū)域檢測單元的操作的流程圖;
圖27A和圖27B是示出用于增強原始圖像可視性的視網膜皮層(retinex)處理的概念圖;
圖28是示出根據(jù)第二示例性實施方式的圖像處理設備的示例功能構造的框圖;
圖29A至圖29C示出第二示例性實施方式中使用的三個大小的圖像;
圖30A至圖30C示出將圖29A中示出的編輯圖像分解成圖像和位置信息圖像;
圖31是描繪最近鄰映射的圖像;
圖32是描繪使用線性插值的插值處理的圖像;
圖33A和圖33B示出代表種子的曲線的一部分的線性插值;
圖34A和圖34B分別示出閾值處理之前的圖像和閾值處理之后的圖像;
圖35示出固定種子和可變種子;
圖36示出縮小圖像和縮小位置信息圖像的組合;
圖37示出根據(jù)第三示例性實施方式的圖3B中示出的圖像中給出三個種子的情況;
圖38A至圖38C示出使用區(qū)域擴張方法在圖37中示出的圖像中分割指定區(qū)域;
圖39A至圖39C示出根據(jù)第三示例性實施方式的指定區(qū)域放大單元執(zhí)行的處理;
圖40A和圖40B示出根據(jù)第三示例性實施方式的第二區(qū)域檢測單元再次檢測指定區(qū)域的處理;
圖41A至圖41E示出根據(jù)第四示例性實施方式的將額外種子用于分割指定區(qū)域的情況;
圖42A至圖42C示出額外種子的校正;
圖43示出使用多個額外種子的情況;
圖44A和圖44B示出用于設置其中給出額外種子的區(qū)域的方法;
圖45示出設置的區(qū)域包括給出的種子的情況;
圖46A和圖46B示出根據(jù)第四示例性實施方式的將經受指定區(qū)域分割的圖像范圍;
圖47示出圖像處理設備的硬件構造。
具體實施方式
下文中,將參照附圖詳細地描述本發(fā)明的示例性實施方式。
在參照附圖提供詳細描述之前,現(xiàn)在將討論本發(fā)明的背景。以不同方式對彩色圖像執(zhí)行質量調節(jié)。例如,調節(jié)整個彩色圖像的質量并且調節(jié)彩色圖像中的各區(qū)域的質量。彩色圖像一般被表現(xiàn)為顏色空間的顏色分量(諸如,紅綠藍(RGB)、L*a*b*等的亮度和色度分量、或色調飽和度值(HSV)等的亮度、色調和飽和度分量)。圖像質量控制的典型示例包括控制顏色分量的直方圖、控制亮度對比度、控制亮度直方圖、控制亮度的帶寬、控制色調和控制飽和度。另外,近來重點集中在關于可視性的圖像質量控制(諸如,視網膜皮層處理)?;陬伾蛄炼鹊膸捒刂茍D像質量(特別地,只調節(jié)特定區(qū)域的圖像質量)包含分割特定區(qū)域的處理。
近來普遍使用的信息和通信技術(ICT)裝置造成圖像處理操作的范圍擴大。因此,存在如上所述用于圖像操縱和圖像編輯的各種可想到的方法。諸如平板終端的ICT裝置的優(yōu)點在于,它們是通過觸摸面板等進行直觀操作的,這種ICT裝置的特征是使用戶交互性增強的圖像操縱和圖像編輯的能力。
此外,近來在諸如設計領域和醫(yī)療領域的各種領域中進行圖像分割的處理常常是以高分辨率圖像為目標。例如,在設計領域中,高分辨率圖像有時被用于調節(jié)分割區(qū)域的顏色、改變分割區(qū)域的紋理、和其它操作。在其它時間,后期處理可能需要打印高分辨率圖像。在這種情況下,向高分辨率圖像應用屏蔽(區(qū)域的分割)一般會是必要的。
按照上述情形,在本文中公開的示例性實施方式中,使用具有以下構造的圖像處理系統(tǒng)1來分割特定區(qū)域并且調節(jié)圖像質量。
對整體圖像處理系統(tǒng)的描述
圖1示出根據(jù)示例性實施方式的圖像處理系統(tǒng)1的示例構造。
如圖1中所示,根據(jù)示例性實施方式的圖像處理系統(tǒng)1包括圖像處理設備10、顯示裝置20和輸入裝置30。圖像處理設備10對關于顯示裝置20上顯示的圖像的圖像信息執(zhí)行圖像處理。顯示裝置20接收圖像處理設備10創(chuàng)建的圖像信息,并且基于圖像信息顯示圖像。用戶操作輸入裝置30將各種信息輸入到圖像處理設備10。
圖像處理設備10是例如通用個人計算機(PC)。圖像處理設備10致使在操作系統(tǒng)(OS)的管理下運行各種應用軟件。因此,執(zhí)行諸如創(chuàng)建圖像信息的操作。
顯示裝置20在顯示屏21上顯示圖像。顯示裝置20被實現(xiàn)為具有使用加色混色顯示圖像的功能的裝置(諸如,PC液晶顯示器、液晶TV監(jiān)視器、或投影儀)。因此,顯示裝置20的方法不限于液晶方法。在圖1中示出的示例中,顯示屏21位于顯示裝置20的頂部。另選地,例如,可使用投影儀作為顯示裝置20。在這種情況下,顯示屏21可以是位置遠離顯示裝置20的屏幕。
輸入裝置30由鍵盤、鼠標和任何其它合適組件構成。輸入裝置30可用于啟用或禁用用于圖像處理的應用軟件,或者用戶可使用輸入裝置30將指令輸入圖像處理設備10,以在用戶將要執(zhí)行以下將詳細描述的圖像處理時執(zhí)行圖像處理。
圖像處理設備10和顯示裝置20經由數(shù)字視頻接口(DVI)彼此連接。可使用替代DVI的任何其它方法(諸如,HDMI(注冊商標)(高清晰度多媒體接口)或DisplayPort連接)。
圖像處理設備10和輸入裝置30經由例如通用串行總線(USB)彼此連接??墒褂锰娲鶸SB的任何其它方法(諸如,電氣和電子工程師協(xié)會(IEEE)1394或RS-232C連接)。
在具有上述構造的圖像處理系統(tǒng)1中,首先,在顯示裝置20上顯示原始圖像即圖像處理之前的圖像。當用戶使用輸入裝置30將執(zhí)行圖像處理的指令輸入圖像處理設備10時,圖像處理設備10對關于原始圖像的圖像信息執(zhí)行圖像處理。圖像處理的結果被反映在顯示裝置20上顯示的圖像中,經受圖像處理的圖像被重新渲染并且顯示在顯示裝置20上。這樣可使用戶在觀看顯示裝置20上的圖像的同時能夠交互性執(zhí)行圖像處理,從而導致圖像處理更直觀并且更容易操作。
注意的是,根據(jù)示例性實施方式的圖像處理系統(tǒng)1的構造不限于圖1中示出的構造。例如,平板終端可被作為圖像處理系統(tǒng)1的示例。平板終端具有觸摸面板,圖像顯示在觸摸面板上并且用戶通過觸摸面板輸入指令。也就是說,觸摸面板用作顯示裝置20和輸入裝置30。觸摸監(jiān)測器還可用作顯示裝置20和輸入裝置30的一體裝置。觸摸監(jiān)測器具有用作顯示裝置20的顯示屏21的觸摸面板。在這種情況下,通過圖像處理設備10創(chuàng)建圖像信息,在觸摸監(jiān)測器上顯示基于圖像信息的圖像。通過操作觸摸監(jiān)測器(諸如,觸摸觸摸監(jiān)測器),用戶輸入用于執(zhí)行圖像處理的指令。
第一示例性實施方式
現(xiàn)在,將描述圖像處理設備10。首先,將描述第一示例性實施方式。
對圖像處理設備的描述
圖2是示出根據(jù)第一示例性實施方式的圖像處理設備10的示例功能構造的框圖。在圖2中,選擇性示出圖像處理設備10的各種功能之中的與這個示例性實施方式相關的功能。
如圖2中所示,根據(jù)這個示例性實施方式的圖像處理設備10包括圖像信息獲得單元11、用戶指令接受單元12、第一區(qū)域檢測單元13、指定區(qū)域放大單元14、第二區(qū)域檢測單元15、區(qū)域切換單元16、圖像處理單元17和圖像信息輸出單元18。
圖像信息獲得單元11獲得關于將經受圖像處理的圖像的圖像信息。也就是說,圖像信息獲得單元11獲得關于圖像處理之前的原始圖像的圖像信息。通過例如用于在顯示裝置20上顯示的RGB形式的視頻數(shù)據(jù)(RGB數(shù)據(jù))表現(xiàn)圖像信息。
在這個示例性實施方式中,圖像信息獲得單元11獲得關于兩個圖像的圖像信息。圖像中的一個是用戶想要實際執(zhí)行圖像處理的具有高分辨率的正使用的圖像G'。在這個示例性實施方式中,正使用的圖像G'最終被分割成指定區(qū)域。另一個圖像是具有比正使用的圖像G'低的分辨率的圖像G。例如,圖像G是正使用的圖像G'的大小縮小版本。低分辨率圖像G顯示在顯示裝置20上,以使例如用戶指令接受單元12、區(qū)域切換單元16和圖像處理單元17接受用戶給出的指令,以下將對此進行詳細描述。進一步使用圖像G,以使第一區(qū)域檢測單元13分割指定區(qū)域。
用戶指令接受單元12是位置信息獲得單元的示例,并且接受用戶給出的用于圖像處理的指令,指令是通過輸入裝置30輸入的。
具體地,用戶指令接受單元12接受用于在顯示裝置20上顯示的圖像G中指明用戶指定為特定圖像區(qū)域的指定區(qū)域的指令作為用戶指令信息。舉例來說,特定圖像區(qū)域是用戶對其執(zhí)行圖像處理的圖像區(qū)域。實際上,在這個示例性實施方式中,用戶指令接受單元12獲得用戶輸入的、指示指定區(qū)域的代表位置的位置信息作為用戶指令信息。
如以下詳細描述的,用戶指令接受單元12接受用于從指定區(qū)域之中選擇用戶實際上對其執(zhí)行圖像處理的指定區(qū)域的指令作為用戶指令信息。用戶指令接受單元12還接受與用戶對所選擇指定區(qū)域執(zhí)行的圖像處理的細節(jié)(諸如,處理項和處理量)相關的指令作為用戶指令信息。以下將是細節(jié)。
這個示例性實施方式采用下述用于指明指定區(qū)域的用戶交互方法。
圖3A和圖3B示出用于指明指定區(qū)域的示例用戶交互方法。
在圖3A中,顯示裝置20的顯示屏21上顯示的圖像是示出前景中的人和人后方的背景的照片的圖像G。在圖3A中,此外,用戶選擇前景中的人頭部的頭發(fā)部分和非頭發(fā)部分作為指定區(qū)域。也就是說,存在兩個指定區(qū)域。在下文中,代表頭發(fā)部分的指定區(qū)域可被稱為“第一指定區(qū)域”,代表非頭發(fā)部分的指定區(qū)域可被稱為“第二指定區(qū)域”。
另外,在圖3B中,顯示裝置20的顯示屏21上顯示的圖像是示出前景中的人和人后方的背景的照片的圖像G。在圖3B中,此外,用戶選擇前景中的人面部部分和非面部部分作為指定區(qū)域。也就是說,存在兩個指定區(qū)域。在下文中,代表面部部分的指定區(qū)域可被稱為“第一指定區(qū)域”,代表非面部部分的指定區(qū)域可被稱為“第二指定區(qū)域”。
用戶在相應指定區(qū)域中的每個中繪制代表路徑??赏ㄟ^輸入裝置30輸入路徑。具體地講,如果輸入裝置30是鼠標,則用戶操作鼠標并且通過在顯示裝置20的顯示屏21上顯示的圖像G上進行拖拽來繪制路徑。如果輸入裝置30是觸摸面板,則用戶通過用他們的手指或諸如觸摸筆的任何工具通過掃動在圖像G上移來移去,繪制路徑。用戶可繪制點而非路徑。用戶給出指示代表各指定區(qū)域(諸如,頭發(fā)部分)的位置的信息可以是足夠的。換句話講,用戶可輸入指示指定區(qū)域的代表位置的位置信息。在下文中,路徑、點等可被稱為“種子”。
在圖3A中示出的示例中,在頭發(fā)部分和非頭發(fā)部分中繪制種子。頭發(fā)部分和非頭發(fā)部分中的種子可在下文中分別被稱為“種子1”和“種子2”。在圖3B中示出的示例中,在面部部分和非面部部分中繪制種子。面部部分和非面部部分中的種子可在下文中分別被稱為“種子1”和“種子2”。
第一區(qū)域檢測單元13按照用戶指令接受單元12接受的用戶指令信息,檢測顯示裝置20上顯示的圖像G中的指定區(qū)域。實際上,第一區(qū)域檢測單元13執(zhí)行從顯示裝置20上顯示的圖像中分割指定區(qū)域的處理。
為了基于關于種子的信息分割指定區(qū)域,首先,第一區(qū)域檢測單元13為其中繪制種子的部分中的像素分派標簽。在圖3A中示出的示例中,與頭發(fā)部分中繪制的路徑(種子1)對應的像素被分派“標簽1”,與非頭發(fā)部分中繪制的路徑(種子2)對應的像素被分派“標簽2”。
在圖3B中示出的示例中,與面部部分中繪制的路徑(種子1)對應的像素被分派“標簽1”,與非面部部分中繪制的路徑(種子2)對應的像素被分派“標簽2”。在這個示例性實施方式中,分派標簽被稱為“標記”。
然后,按照被標記為種子的像素(下文中,被稱為“種子像素”)的像素值和種子像素的相鄰像素的像素值彼此多么接近,組合或不組合種子像素和相鄰像素。具體地,如以下詳細描述的,如果像素值彼此接近,則組合這兩個像素,并且如果像素值彼此遠離,則不組合這兩個像素。重復地執(zhí)行這個操作,以擴大區(qū)域。通過上述區(qū)域擴張方法,分割指定區(qū)域。
圖4A和圖4B示出通過使用區(qū)域擴張方法分別在圖3A和圖3B中示出的圖像G中分割的指定區(qū)域。
在圖4A中,通過使用區(qū)域擴張方法,在圖3A中示出的圖像G中分割“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”。
在圖4B中,通過使用區(qū)域擴張方法,在圖3B中示出的圖像G中分割“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”。
下面,分割了指定區(qū)域的圖4A和圖4B中示出的圖像中的每個可被稱為分割圖像Gb。
上述方法允許用戶更直觀地且更容易地分割指定區(qū)域,即便指定區(qū)域具有復雜形狀。這里,在低分辨率圖像G中分割指定區(qū)域。相比之下,這個示例性實施方式可使得通過以下處理在正使用的高分辨率圖像G'中能夠分割指定區(qū)域。
指定區(qū)域放大單元14放大第一區(qū)域檢測單元13檢測到的指定區(qū)域。
圖5A至圖5C示出指定區(qū)域放大單元14執(zhí)行的處理。
在圖5A至圖5C中,放大圖4B中示出的指定區(qū)域。類似于圖4B,圖5A示出分割圖像Gb,在分割圖像Gb中,分割了“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”作為指定區(qū)域。
圖5B示出通過放大分割圖像Gb獲得的放大分割圖像Gz。放大分割圖像Gz由放大的指定區(qū)域構成。指定區(qū)域放大單元14放大分割圖像Gb,直到分割圖像Gb的大小變成等于正使用的圖像G'的大小。也就是說,指定區(qū)域放大單元14按照正使用的圖像G'的大小來放大分割圖像Gb。
如圖5B中所示,放大之后的放大分割圖像Gz的大小等于正使用的圖像G'。然而,由于僅僅通過放大低分辨率分割圖像Gb來產生放大后的分割圖像Gz,因此在“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”之間的邊界處存在顯著鋸齒或凹凸不平的邊緣。
圖5C是“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”之間的邊界的放大視圖。在圖5C中,用實線指示正使用的圖像G'中的兩個指定區(qū)域的實際邊界。如圖5C中所示,“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”之間的邊界偏離實際邊界。這里,僅僅通過放大分割圖像Gb來產生放大后的分割圖像Gz。然而,即使使用任何其它的更高精度放大方法,也將出現(xiàn)這種偏離。
第二區(qū)域檢測單元15在指定區(qū)域放大單元14放大的指定區(qū)域的邊界部分中再次檢測指定區(qū)域。也就是說,第二區(qū)域檢測單元15再次執(zhí)行在圖5B和圖5C中示出的“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”之間的邊界部分中檢測指定區(qū)域的處理。使用正使用的高分辨率圖像G',選擇性對邊界部分執(zhí)行這個處理,而不對任何其它部分執(zhí)行這個處理,使得“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”之間的邊界匹配實際邊界。下文中,將描述第二區(qū)域檢測單元15執(zhí)行的特定處理。
首先,第二區(qū)域檢測單元15重新設置放大后的分割圖像Gz中的“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”之間的邊界部分中的標簽。也就是說,分派給“第一指定區(qū)域(S1)”中包括的像素的“標簽1”和分派給“第二指定區(qū)域(S2)”中包括的像素的“標簽2”被重新設置。
在這個示例性實施方式中,第二區(qū)域檢測單元15對放大后的分割圖像Gz的像素之中的被分配標簽的像素應用用于重新設置標簽的過濾器,該像素被分派的標簽不同于相鄰像素被分派的標簽。
圖6A和圖6B示出其中第二區(qū)域檢測單元15重新設置標簽的處理。
圖6A示出用于重新設置標簽的過濾器。過濾器被設置成以被分派標簽的像素為中心,該像素被分派的標簽不同于相鄰像素被分派的標簽。在圖6A中,示出被設置成以表現(xiàn)為中心像素的像素為中心的過濾器。被分派給中心像素的標簽可以是“標簽1”或“標簽2”??砂凑照褂玫膱D像G'的大小,確定過濾器的大小。例如,如果正使用的圖像G'的大小是圖像G的大小的十倍,則可使用10個像素×10個像素的過濾器。
在圖6B中,使用上述過濾器重新設置了標簽。如圖6B中所示,重新設置圖6A中示出的“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”之間的邊界部分中的標簽。這里,用區(qū)域S0代表針對“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”之間的邊界的范圍。另外,用“標簽0”代表標簽被重新設置成的標簽。換句話講,區(qū)域S0中的像素被分派“標簽0”。
圖7A和圖7B示出重新設置標簽之前和之后之間的比較。
圖7A示出在重新設置標簽之前的圖像,即,如圖5B中所示的放大后的分割圖像Gz。圖7B示出在重新設置標簽之后的圖像,該圖像表現(xiàn)為標簽重新設置的圖像Gr。在標簽重新設置的圖像Gr中,如圖7B中所示,“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”之間的邊界部分中的標簽被重新設置,從而導致獲得區(qū)域S0。
然后,第二區(qū)域檢測單元15再次檢測區(qū)域S0內的指定區(qū)域。第二區(qū)域檢測單元15通過以上在描述第一區(qū)域檢測單元13時描述的區(qū)域擴張方法來分割指定區(qū)域。在第一區(qū)域檢測單元13在整個低分辨率圖像G中分割指定區(qū)域時,第二區(qū)域檢測單元15使用正使用的圖像G'并且選擇性在邊界部分中或在區(qū)域S0中分割指定區(qū)域。也就是說,被分派給圖7B中的“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”中包括的像素(即,標簽沒有被重新設置的像素)的標簽是固定標簽,保持“標簽1”或“標簽2”不變。相比之下,區(qū)域S0中包括的被分派“標簽0”的像素被第二區(qū)域檢測單元15重新分派“標簽1”或“標簽2”。
圖8A至圖8E示出其中第二區(qū)域檢測單元15再次檢測區(qū)域S0內的指定區(qū)域的處理。
在圖8A至圖8E中,從上到下順序地進行對指定區(qū)域的檢測。類似于圖7B,圖8A示出在第二區(qū)域檢測單元15檢測到指定區(qū)域之前的標簽重新設置圖像Gr。圖8E示出在第二區(qū)域檢測單元15檢測到指定區(qū)域之后獲得的最終分割圖像Gbe。如圖8E中看到的,區(qū)域S0被再次分割成“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”,區(qū)域S0消失。圖8B至圖8D示出從圖8A中示出的狀態(tài)到圖8E中示出的狀態(tài)的處理的進程。
在圖8E中示出的狀態(tài)下,“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”之間的邊界基本上匹配圖5C中示出的實際邊界,基本上沒有出現(xiàn)圖5B和圖5C中示出的鋸齒,從而導致邊界變得更平滑。
以上述方式,第二區(qū)域檢測單元15應用用于取消指定區(qū)域的設置的過濾器,使得過濾器以指定區(qū)域放大單元14放大的指定區(qū)域的邊界中的像素為中心,并且再次檢測指定區(qū)域中的被取消指定區(qū)域的設置的像素。
返回參照圖2,區(qū)域切換單元16在多個指定區(qū)域之間進行切換。也就是說,如果存在多個指定區(qū)域,則用戶選擇用戶想要對其執(zhí)行圖像調節(jié)的指定區(qū)域,并且區(qū)域切換單元16相應切換指定區(qū)域。
圖9A和圖9B示出當用戶選擇指定區(qū)域時在顯示裝置20的顯示屏21上顯示的示例畫面。
在圖9A和圖9B中示出的示例中,在顯示屏21的左部中顯示其中被選擇指定區(qū)域的圖像G,在顯示屏21的右部中顯示用于選擇“區(qū)域1”或“區(qū)域2”的單選按鈕212a和212b?!皡^(qū)域1”對應于“第一指定區(qū)域(S1)”,“區(qū)域2”對應于“第二指定區(qū)域(S2)”。當用戶通過使用輸入裝置30選擇單選按鈕212a或212b時,切換指定區(qū)域。
在圖9A中,選擇單選按鈕212a并且選擇“第一指定區(qū)域(S1)”即面部部分的圖像區(qū)域作為指定區(qū)域。當用戶選擇單選按鈕212b時,如圖9B中所示,指定區(qū)域切換成“第二指定區(qū)域(S2)”即非面部部分的圖像區(qū)域。
實際上,通過用戶指令接受單元12獲得以上參照圖9A和圖9B描述的操作的結果作為用戶指令信息,通過區(qū)域切換單元16切換指定區(qū)域。
圖像處理單元17實際上對所選擇的指定區(qū)域執(zhí)行圖像處理。
圖10示出當將執(zhí)行圖像處理時顯示裝置20的顯示屏21上顯示的示例畫面。
這里,舉例來說,就色調、飽和度和亮度方面,調節(jié)所選擇的指定區(qū)域。在圖示示例中,在顯示屏21的左上部分中顯示已經被選擇指定區(qū)域的圖像G,在顯示屏21的右上部分中顯示用于選擇“區(qū)域1”或“區(qū)域2”的單選按鈕212a和212b。在圖示示例中,選擇單選按鈕212a并且選擇“第一指定區(qū)域(S1)”即面部部分的圖像區(qū)域作為指定區(qū)域。操作單選按鈕212a和212b,以能夠以與圖9A和圖9B中示出的方式類似的方式在指定區(qū)域之間進行切換。
在顯示屏21的下部中,還顯示滑控條213a和滑動器213b?;貤l213a用于調節(jié)“色調”、“飽和度”和“亮度”。各滑動器213b被構造成能按照輸入裝置30的操作沿著對應的一個滑控條213a左右滑動地移動。滑動器213b在初始狀態(tài)下位于滑控條213a的中心,并且滑動器213b當位于滑控條213a中心時指示調節(jié)“色調”、“飽和度”和“亮度”之前的狀態(tài)。
當用戶使用輸入裝置30并且將用于“色調”、“飽和度”和“亮度”的滑動器213b中的任一個沿著對應的一個滑控條213a在圖10中左右滑動時,對所選擇的指定區(qū)域執(zhí)行圖像處理,顯示屏21上顯示的圖像G也相應變化。當用戶將滑動器213b中的一個在圖10中向右滑動時,執(zhí)行用于增大“色調”、“飽和度”和“亮度”中的對應一個的圖像處理。當用戶將滑動器213b中的一個在圖10中向左滑動時,執(zhí)行用于減小“色調”、“飽和度”和“亮度”中的對應一個的圖像處理。
返回參照圖2,圖像信息輸出單元18輸出以上述方式經受圖像處理的圖像信息。經受圖像處理的圖像信息被發(fā)送到顯示裝置20。然后,在顯示裝置20上顯示基于圖像信息的圖像G。注意的是,顯示裝置20上顯示的圖像G用于向用戶呈現(xiàn)圖像處理結果,而通過區(qū)域切換單元16和圖像處理單元17實際上對正使用的較高分辨率圖像G'執(zhí)行圖像處理??赏ㄟ^例如減小正使用的圖像G'的大小,創(chuàng)建關于圖像G的圖像信息。
對第一區(qū)域檢測單元和第二區(qū)域檢測單元的描述
接下來,將更詳細地描述第一區(qū)域檢測單元13和第二區(qū)域檢測單元15使用區(qū)域擴張方法分割指定區(qū)域的方法。
首先,將描述相關技術的區(qū)域擴張方法。
圖11A至圖11C示出相關技術的區(qū)域擴張方法。
圖11A示出由垂直方向上的3個像素和水平方向上的3個像素(即,9個像素(3×3=9))的區(qū)域組成的原始圖像。原始圖像由兩個圖像區(qū)域構成。在圖11A中,使用具有不同顏色強度的像素表現(xiàn)這兩個圖像區(qū)域。假設各圖像區(qū)域中包括的像素具有彼此接近的像素值。
如圖11B中示出的,第二行第一列的像素被分派種子1,第一行第三列的像素被分派種子2。
現(xiàn)在,考慮第二行第二列的像素即圖像中心的像素(下文中,被稱為“中心像素”)是屬于包括被分派種子1的像素的指定區(qū)域還是屬于包括被分派種子2的像素的指定區(qū)域。這里,在中心像素的像素值和中心像素的八個相鄰像素中包括的種子像素的像素值之間進行比較。如果這兩個像素值彼此接近,則確定中心像素被包括在包括該種子像素的指定區(qū)域中。在圖示示例中,兩個種子像素(即,被分派種子1的像素和被分派種子2的像素)被包括在這八個相鄰像素中。由于相比于被分派種子2的像素的像素值,中心像素的像素值更接近被分派種子1的像素的像素值,因此經判斷,中心像素屬于包括被分派種子1的像素的指定區(qū)域。
然后,如圖11C中所示,中心像素屬于包括被分派種子1的像素的區(qū)域。中心像素此時被作為新種子操縱。在這種情況下,種子像素被用“標簽1”標記,該標簽與被分派種子1的像素的標簽相同。
在相關技術的區(qū)域擴張方法中,選擇與種子像素相鄰的像素作為目標像素(在上述示例中,中心像素),判斷其是在對應指定區(qū)域中還是不在對應指定區(qū)域中,將目標像素的像素值與目標像素的八個相鄰像素中包括的種子像素的像素值進行比較。目標像素被認為屬于包括像素值接近目標像素的像素值的種子像素的區(qū)域,并且被標記。重復地執(zhí)行上述操作,以擴大該區(qū)域。
相關技術的區(qū)域擴張方法的典型示例包括以下文章:V.Vezhnevets和V.Konouchine:"Grow-Cut"-Interactive Multi-label N-D Image Segmentation",Proc.Graphicon.pp 150-156(2005)。
在相關技術的區(qū)域擴張方法中,如上所述,聚焦于目標像素,將目標像素的像素值與目標像素的八個相鄰像素之中的種子像素的像素值進行比較,以確定目標像素所屬的指定區(qū)域。也就是說,相關技術的區(qū)域擴張方法是所謂的“被動型”方法,在該方法中,目標像素在受這八個相鄰像素影響時變化。
然而,相關技術的區(qū)域擴張方法涉及逐一選擇像素作為目標像素并且標記這些像素,從而導致處理速度有可能放緩。另一個問題在于,在例如包括復雜區(qū)域的部分中,分割精度有可能減小。
在這個示例性實施方式中,因此,第一區(qū)域檢測單元13和第二區(qū)域檢測單元15具有用于解決以上問題的下列構造。由于第一區(qū)域檢測單元13和第二區(qū)域檢測單元15具有類似構造,將舉例來說描述第一區(qū)域檢測單元13。
圖12是示出根據(jù)這個示例性實施方式的第一區(qū)域檢測單元13的示例功能構造的框圖。
如圖12中所示,根據(jù)這個示例性實施方式的第一區(qū)域檢測單元13包括像素選擇單元131、范圍設置單元132、判斷單元133、特性改變單元134和收斂判斷單元135。
下面,將使用第一示例至第四示例描述圖12中示出的第一區(qū)域檢測單元13。
第一示例(在“主動型”和“同步型”的情況下)
首先,將描述第一區(qū)域檢測單元13的第一示例。
在第一示例中,第一區(qū)域檢測單元13選擇參考像素。從屬于指定區(qū)域的像素之中,選擇參考像素。術語“屬于指定區(qū)域的像素”是指例如用戶指定的代表位置中包括的像素,也就是說,上述的種子像素。術語“屬于指定區(qū)域的像素”用于還包括使用區(qū)域擴張方法新標記的像素。
這里,像素選擇單元131從屬于指定區(qū)域的像素之中選擇一個像素作為參考像素。
圖13A示出其中將分割指定區(qū)域的原始圖像。如圖13A中所示,原始圖像由垂直方向上的9個像素和水平方向上的7個像素(即,63個像素(9×7=63))的區(qū)域組成。如圖13A中所示,原始圖像包括圖像區(qū)域R1和圖像區(qū)域R2。圖像區(qū)域R1中包括的像素具有彼此接近的像素值,圖像區(qū)域R2中包括的像素具有彼此接近的像素值。如以下描述的,分割出圖像區(qū)域R1和圖像區(qū)域R2作為指定區(qū)域。
為了簡化圖示,如圖13B中所示,用戶指定兩個代表位置,每個代表位置在圖像區(qū)域R1和圖像區(qū)域R2中的一個中。用單個像素指定代表位置中的每個,并且像素選擇單元131選擇其作為參考像素。在圖13B中,用種子1和種子2代表參考像素。
具有種子1和種子2的像素中的每個被標記并且具有以下將詳細描述的強度。這里,分別用標簽1和標簽2標記具有種子1和種子2的像素并且這些像素具有均被設置成初始值1的強度。
范圍設置單元132設置第一范圍。第一范圍被設置用于參考像素,并且覆蓋被確定在或不在參考像素所屬指定區(qū)域中的目標像素(第一目標像素)。
圖14示出第一范圍。
如圖14中所示,分別在圖像區(qū)域R1和圖像區(qū)域R2中,選擇作為參考像素的具有種子1和種子2的像素。另外,分別以具有種子1和種子2的像素為中心的、垂直方向上的5個像素和水平方向上的5個像素的范圍被設置為第一范圍。在圖14中,第一范圍被顯示為用粗線框限定的范圍。
在這個示例性實施方式中,第一范圍是可變的,并且可按照處理的進程減小,以下將對此進行詳細描述。
判斷單元133是確定單元的示例,并且確定第一范圍內的目標像素(第一目標像素)屬于哪個指定區(qū)域。
判斷單元133將包括在第一范圍內的25個像素之中的除了具有種子1或種子2的像素之外的24個像素中的每個設置為要被判斷在或不在對應指定區(qū)域中的目標像素(第一目標像素)。然后,判斷單元133判斷目標像素中的每個是被包括在具有種子1的像素所屬的指定區(qū)域(第一指定區(qū)域)還是被包括在具有種子2的像素所屬的指定區(qū)域(第二指定區(qū)域)。
在這種情況下,可基于像素值的接近程度進行判斷。
具體地,為了方便起見,第一范圍內包括的24個像素被分派編號,并且假設用Pi代表第i個(其中,i是1至24的整數(shù))目標像素,如果顏色數(shù)據(jù)是RGB數(shù)據(jù),則可用Pi=(Ri,Gi,Bi)代表像素Pi的顏色數(shù)據(jù)。另外,假設用P0代表具有種子1或種子2的參考像素,可用P0=(R0,G0,B0)代表參考像素P0的顏色數(shù)據(jù)。為了測量像素值的接近程度,考慮用以下等式給出的RGB值之間的歐氏距離di。
如果歐氏距離di小于或等于預定閾值,則判斷單元133判斷目標像素屬于第一指定區(qū)域或第二指定區(qū)域。也就是說,如果歐氏距離di小于或等于預定閾值,則認為參考像素P0的像素值和目標像素Pi的像素值彼此接近。在這種情況下,判斷單元133確定參考像素P0和目標像素Pi屬于同一指定區(qū)域。
在一些情況下,具有種子1和種子2的像素二者的歐氏距離di可小于或等于閾值。在這些情況下,判斷單元133確定目標像素屬于具有種子1和種子2的像素中的歐氏距離di較小的那個所屬的指定區(qū)域。
圖15示出基于圖14中示出的第一范圍內的目標像素的歐氏距離di進行判斷的結果。
在圖15中,判斷顏色與具有種子1的像素的顏色相同的黑色像素屬于指定區(qū)域1,判斷具有與具有種子2的像素的(對角線)陰影相同的(對角線)陰影的像素屬于指定區(qū)域2。判斷白色像素并不屬于指定區(qū)域1和2中的任一個。
以上述方式操作判斷單元133提供了允許自動擴展給定種子的效果。在這個示例性實施方式中,例如,判斷單元133可僅對于首次執(zhí)行上述操作。另選地,判斷單元133可對于最初幾次執(zhí)行上述操作。在這種情況下,對于后續(xù)次數(shù),判斷單元133可使用上述“強度”進行判斷。注意的是,判斷單元133可從首次使用下述“強度”進行判斷。
在上述示例中,在顏色數(shù)據(jù)是RGB數(shù)據(jù)的背景下進行描述。這不旨在是限制,可使用任何其它顏色空間中的顏色數(shù)據(jù)(諸如,L*a*b*數(shù)據(jù)、YCbCr數(shù)據(jù)、HSV數(shù)據(jù)或圖像處理工具箱(IPT)數(shù)據(jù))。并非可使用所有顏色分量。例如,當使用HSV數(shù)據(jù)作為顏色數(shù)據(jù)時,可只使用H值和S值。
在一些情況下,可使用任何其它顏色空間中的顏色數(shù)據(jù)來應對指定區(qū)域的分割失敗。例如,考慮使用在以下等式(2)中給出的利用YCbCr值的歐氏距離diw,而非等式(1)給出的RGB值的歐氏距離di。當用Pi=(Yi、Cbi、Cri)代表目標像素的顏色數(shù)據(jù)并且用P0=(Y0、Cb0、Cr0)代表參考像素的顏色數(shù)據(jù)時,等式(2)提供歐氏距離diw。另外,等式(2)給出的歐氏距離diw是使用加權因子WY、WCb、WCr的加權歐氏距離。當例如指定區(qū)域之間的亮度差大而色度差小時,等式(2)生效。也就是說,加權因子WY減小,使亮度分量Y對歐氏距離diw的貢獻減小。這導致色度分量對歐氏距離diw的貢獻相對增大。結果,其間的亮度差大而色度差小的指定區(qū)域的分割精度可提高。
待使用的顏色數(shù)據(jù)不限于具有三個分量的顏色數(shù)據(jù)。例如,可使用n維顏色空間并且可考慮n個顏色分量的歐氏距離diw。
例如,等式(3)使用顏色分量X1、X2、…、和Xn。當用Pi=(X1i、X2i、…、Xni)代表目標像素的顏色數(shù)據(jù)并且用P0=(X10、X20、…、Xn0)代表參考像素的顏色數(shù)據(jù)時,等式(3)提供歐氏距離diw。等式(3)給出的歐氏距離diw也是使用加權因子WX1、XX2、…、和XXn的加權歐式距離。在這種情況下,使這n個顏色分量之中的很好地表現(xiàn)出指定區(qū)域的特性的顏色分量的加權因子相對大于其它加權因子,從而使指定區(qū)域的分割精度提高。
特性改變單元134在第一范圍內改變賦予目標像素(第一目標像素)的特征。
如本文中使用的術語“特征”是指賦予目標像素的標簽和強度。
如上所述,標簽指示目標像素屬于哪個指定區(qū)域,屬于指定區(qū)域1的像素被分派“標簽1”,而屬于指定區(qū)域2的像素被分派“標簽2”。由于具有種子1的像素具有標簽1并且具有種子2的像素具有標簽2,因此用標簽1標記被判斷單元133確定屬于指定區(qū)域1的像素(在圖15中,黑色像素)。用標簽2標記被判斷單元133確定屬于指定區(qū)域2的像素(在圖15中,具有(對角線)陰影的像素)。
強度是屬于與被分派的標簽對應的指定區(qū)域的像素的強度,并且指示某個像素會有多大可能屬于與被分派的標簽對應的指定區(qū)域。強度越高,像素會屬于對應于標簽的指定區(qū)域的可能性越大。強度越低,像素會屬于對應于標簽的指定區(qū)域的可能性越小。按以下方式確定強度。
首先,用戶首次指定的代表位置處包括的像素的強度被設置為1作為初始值。也就是說,區(qū)域擴張之前的具有種子1或種子2的像素具有強度1。未標記的像素具有強度0。
現(xiàn)在,考慮給定強度的像素對相鄰像素的影響程度。
圖16A和圖16B示出用于確定影響程度的方法。在圖16A和圖16B中,水平軸代表歐氏距離di并且垂直軸代表影響程度。
歐氏距離di是給定強度的像素的像素值與該像素的相鄰像素的像素值之間的歐氏距離di。例如,如圖16A中所示,定義非線性單調遞減函數(shù),通過單調遞減函數(shù)相對于歐氏距離di確定的值被定義為影響程度。
也就是說,歐氏距離di越小,影響程度越高,而歐氏距離di越大,影響程度越低。
單調遞減函數(shù)不限于圖16A中示出的單調遞減函數(shù),可使用任何形狀的單調遞減函數(shù)。因此,可使用圖16B中示出的線性單調遞減函數(shù)。另選地,可使用具有歐氏距離di的特定范圍內的線性分區(qū)和其它范圍內的非線性分區(qū)的分段線性單調遞減函數(shù)。
通過將參考像素的強度乘以影響程度,得到被判斷屬于指定區(qū)域的像素的強度。例如,參考像素具有強度1并且參考像素對與參考像素左邊相鄰的目標像素的影響程度是0.9。在這種情況下,當判斷目標像素屬于對應的指定區(qū)域時,用1×0.9=0.9給出被賦予目標像素的強度。例如,參考像素具有強度1并且參考像素對與參考像素左邊相鄰兩個像素的目標像素的影響程度是0.8。在這種情況下,當判斷目標像素屬于對應的指定區(qū)域時,用1×0.8=0.8給出被賦予目標像素的強度。
使用上述的計算方法,判斷單元133可使用被賦予第一范圍內的目標像素(第一目標像素)的強度進行判斷。如果目標像素沒有標簽,則判斷單元133判斷目標像素被包括在參考像素所屬的指定區(qū)域中。如果目標像素具有針對不同指定區(qū)域的標簽,則判斷單元133判斷目標像素被包括在具有較高強度的參考像素所屬的指定區(qū)域中。在前一種情況下,分派與參考像素的標簽相同的標簽。在后一種情況下,分派與具有特性之中的較高強度的參考像素的標簽相同的標簽。在這種方法中,像素一旦被標記某個標簽,可具有變成其它標簽的標簽。
例如,已用某個標簽標記目標像素(第一目標像素)。如果被分派不同標簽的參考像素具有強度ui和影響程度wij,則用uj=wijui給出施加到目標像素(第一目標像素)上的強度uj。然后,將目標像素(第一目標像素)的當前強度與強度uj進行比較。如果強度uj高于目標像素(第一目標像素)的強度,則目標像素(第一目標像素)具有變成不同標簽的標簽。如果強度uj等于或低于目標像素(第一目標像素)的強度,則目標像素(第一目標像素)不具有變成不同標簽的標簽,使得當前標簽得以保持。
圖17示出使用基于圖14中示出的第一范圍內的目標像素的強度的方法進行判斷的結果。
在圖14中,具有種子1和種子2的像素的第一范圍部分重疊。第一范圍沒有重疊的部分中(也就是說,具有種子1和種子2的像素沒有彼此干擾的部分中)的未標記像素都被標記與具有種子1和種子2的像素中用作參考像素的對應一個相同的標簽。另一方面,具有種子1和種子2的像素的第一范圍重疊的部分中(也就是說,具有種子1和種子2的像素彼此干擾的部分中)的像素均被標記標簽中具有較高強度的標簽。結果,得到圖17中示出的帶標簽像素。
圖18A至圖18H示出基于強度使用區(qū)域擴張方法標記像素的進程的示例。
圖18A示出在這種情況下設置的第一范圍。也就是說,選擇具有種子1和種子2的像素,它們分別是圖像區(qū)域R1和圖像區(qū)域R2中的參考像素。另外,以具有種子1和種子2的像素為中心的垂直方向上的3個像素和水平方向上的3個像素的范圍被設置為第一范圍。在圖18A中,用粗線框顯示第一范圍。
圖18B示出具有種子1和種子2的像素的第一范圍內的目標像素的判斷結果。由于具有種子1和種子2的像素的第一范圍沒有重疊,因此各第一范圍內的目標像素都被標記與對應參考像素(即,具有種子1或種子2的像素)的標簽相同的標簽。
圖18C示出通過進一步區(qū)域擴張進行更新的結果。如圖17中所示,具有種子1和種子2的像素的第一范圍沒有重疊的部分中的像素都被標記與具有種子1和種子2的像素中用作參考像素的對應一個的標簽相同的標簽。另外,具有種子1和種子2的像素的第一范圍重疊的部分中的像素均被標記標簽中具有較高強度的標簽。
另外,甚至已被標記某個標簽的目標像素也被標記具有目標像素的當前強度和參考像素施加的強度中的較高那個的標簽。另外,為目標像素賦予較高強度。也就是說,目標像素的標簽和強度改變。
帶標簽的目標像素此時被選擇作為新的參考像素,并且以圖18D至圖18H中示出的方式順序更新區(qū)域。最終,如圖18H中所示,分割了第一指定區(qū)域和第二指定區(qū)域。
在上述示例中,在顏色數(shù)據(jù)是RGB數(shù)據(jù)的背景下進行描述。這不旨在是限制,可使用任何其它顏色空間中的顏色數(shù)據(jù)(諸如,L*a*b*數(shù)據(jù)、YCbCr數(shù)據(jù)、或HSV數(shù)據(jù))。并非可使用所有顏色分量。例如,當使用HSV數(shù)據(jù)作為顏色數(shù)據(jù)時,可只使用H值和S值。
以上述方式,如果判斷目標像素屬于指定區(qū)域,則特性改變單元134改變目標像素的標簽和強度。
實際上,關于標簽、強度和影響程度的信息作為各像素的信息被存儲在下述的主存儲器92(參見圖47)等中。在必要時從主存儲器92讀取該信息,并且當標簽、強度和/或影響程度改變時更新該信息。這樣可提高第一區(qū)域檢測單元13的處理速度。
重復地執(zhí)行上述像素選擇單元131、范圍設置單元132、判斷單元133和特性改變單元134的處理,直到實現(xiàn)收斂。也就是說,如參照圖15描述的,選擇被新判斷屬于指定區(qū)域1或指定區(qū)域2的像素作為新的參考像素,并且進一步判斷第一范圍內的另一個目標像素屬于指定區(qū)域1還是指定區(qū)域2。重復地執(zhí)行這個處理以進行區(qū)域更新操作,從而使得經受特性改變(諸如,標記)的區(qū)域能夠順序地擴大。因此,分割指定區(qū)域1和指定區(qū)域2。在這種方法(區(qū)域擴張方法)中,標記有某個標簽的像素也可具有變成不同標簽的標簽。
收斂判斷單元135判斷上述處理序列是否收斂。
收斂判斷單元135在例如不再存在其標簽將改變的像素時判斷一系列處理發(fā)生收斂。另選地,預先可確定最大更新次數(shù),收斂判斷單元135可在達到最大更新次數(shù)時判斷一系列處理發(fā)生收斂。
在上述的第一示例中的區(qū)域擴張方法中,將被判斷在或不在指定區(qū)域中的目標像素屬于第一范圍并且是與用作參考像素的具有種子1或種子2的像素不同的像素。然后,將目標像素的像素值與參考像素的像素值進行比較,確定目標像素所屬的指定區(qū)域。也就是說,第一示例中的區(qū)域擴張方法是所謂的“主動型”方法,在該方法中,目標像素在受參考像素影響時改變。
在這種區(qū)域擴張方法中,此外,暫時存儲就在區(qū)域擴張之前的整個圖像的標簽和強度。判斷單元133判斷使用從各指定區(qū)域內選擇的參考像素設置的第一范圍內的目標像素屬于哪個指定區(qū)域,并且執(zhí)行區(qū)域擴張。在進行判斷之后,特性改變單元134改變存儲的標簽和強度。改變后的標簽和強度被作為就在進一步區(qū)域擴張之前的整個圖像的標簽和強度存儲,并且執(zhí)行進一步的區(qū)域擴張。在這種情況下,整個圖像的標簽和強度一起改變。也就是說,第一示例中的區(qū)域擴張方法是所謂的“同步型”區(qū)域擴張方法。
在這種區(qū)域擴張方法中,此外,可固定或改變第一范圍。第一范圍可改變,以按照更新次數(shù)而減小。具體地,例如,初始地將第一范圍設置得大,之后,如果更新次數(shù)大于或等于某個指定值,則減小第一范圍??稍O置多個指定值并且可逐步減小第一范圍。也就是說,在初始階段中將第一范圍設置得大可導致處理速度增加。此后,當更新進行到一定程度時將第一范圍設置得小會導致指定區(qū)域的分離精度進一步提高。也就是說,同時能實現(xiàn)處理速度的提高和指定區(qū)域分割精度的提高。
第二示例(在“主動型”和“異步型”的情況下)
接下來,將描述第一區(qū)域檢測單元13的第二示例。
圖19A至圖19H示出在第二示例中使用區(qū)域擴張方法標記像素的進程的示例。
類似于圖18A,圖19A示出在這種情況下設置的第一范圍。
在這個示例性實施方式中,如圖19B中所示,首先,判斷單元133從設置在第二行第二列的具有種子2的像素開始,判斷第一范圍內的目標像素屬于哪個指定區(qū)域。然后,如圖19C和圖19D中所示,判斷單元133在將參考像素在圖19C和圖19D中向右移位一個像素的同時判斷第一范圍內的目標像素屬于哪個指定區(qū)域。這個判斷可基于例如如上所述的使用等式(1)至(3)的像素值的接近程度。另外,如圖18A至圖18H中一樣,這個判斷可使用基于強度的方法。
在將直至圖19C和圖19D中的右端的各像素作為目標像素進行判斷之后,判斷單元133將參考像素移位至第三行,并且在以類似方式將參考像素在圖19C和圖19D中向右移位一個像素的同時判斷第一范圍內的目標像素屬于哪個指定區(qū)域。在將直至圖19C和圖19D中的右端的各像素作為目標像素進行判斷之后,判斷單元133進一步將參考像素移位至下一行。以與圖19E至圖19G示出的方式重復地執(zhí)行這個操作,并且執(zhí)行該操作,直到參考像素移向圖19E至圖19G中的右下端。換句話講,判斷單元133可在移位參考像素的同時進行判斷,以逐個像素地掃描圖像。
在已經到達右下端并且參考像素變得不再能移動之后,判斷單元133在與上述方向相反的方向上移位參考像素,并且執(zhí)行類似處理,直到參考像素移向左上端。因此,實現(xiàn)參考像素的單次往復移動。隨后重復參考像素的這個往復移動,直到實現(xiàn)收斂。
換句話講,如圖20A和圖20B中所示,通過顛倒行列的次序,執(zhí)行類似處理。另外,當達到末端位置(在這種情況下,右下端或左上端)時,參考像素進一步移位,使得在反向方向上掃描圖像。
在圖示的示例中,在單個起始點的背景下進行描述。可設置并且單獨移位多個起始點。另外,可選擇圖像中的任何像素作為起始點。
最終,如圖19H中所示,分割了第一指定區(qū)域和第二指定區(qū)域。
這種區(qū)域擴張方法可提供比參考圖18A至圖18H描述的方法更高的收斂速度和更高的處理速度。當達到末端位置時,參考像素進一步移位,使得在反向方向上掃描圖像,從而允許不太可能出現(xiàn)收斂慢的部分,導致收斂速度提高。
在第二示例中,除了判斷單元133外的組件(即,像素選擇單元131、范圍設置單元132、特性改變單元134和收斂判斷單元135)的操作類似于第一示例中的操作。另外,第一范圍可固定或改變。第一范圍可改變,按照更新次數(shù)而減小。
在這種區(qū)域擴張方法中,每當所選擇的參考像素移位一個像素時,判斷單元133判斷第一范圍內的目標像素屬于哪個指定區(qū)域,并且執(zhí)行區(qū)域擴張。也就是說,以預定次序選擇單個參考像素,并且目標像素(第一目標像素)經受一次針對所選擇的參考像素的判斷。重復這個判斷。在進行判斷之后,特性改變單元134改變存儲的標簽和強度。在這種情況下,整個圖像的標簽和強度沒有一起改變,只有每當參考像素移位一個像素時確定的第一范圍內的目標像素(第一目標像素)將經受標簽和強度改變。因此,第二示例中的區(qū)域擴張方法是所謂的“異步型”區(qū)域擴張方法。
接下來,將描述第一示例和第二示例中的第一區(qū)域檢測單元13的操作。
圖21是示出第一示例和第二示例中的第一區(qū)域檢測單元13的操作的流程圖。
下面,將參照圖12和圖21描述第一區(qū)域檢測單元13的操作。
首先,像素選擇單元131選擇要從屬于指定區(qū)域的像素之中選擇的參考像素(步驟S101)。在圖13B中示出的示例中,像素選擇單元131選擇具有種子1和種子2的像素作為參考像素。
然后,范圍設置單元132針對要被確定在或不在對應于參考像素的指定區(qū)域中的目標像素(第一目標像素)設置第一范圍(步驟S102)。在圖13B中示出的示例中,范圍設置單元132將以具有種子1和種子2的像素為中心的垂直方向上的5個像素和水平方向上的5個像素的范圍設置為第一范圍。
然后,判斷單元133判斷第一范圍內的目標像素屬于哪個指定區(qū)域(步驟S103)。在這種情況下,判斷單元133判斷目標像素屬于指定區(qū)域彼此干擾的部分中具有較高強度的指定區(qū)域。另選地,判斷單元133可使用像素值的歐氏距離di進行上述判斷,并且可擴大指定區(qū)域。
另外,特性改變單元134改變被判斷單元133判斷屬于任一個指定區(qū)域的目標像素的特性(步驟S104)。具體地,特性改變單元134標記此目標像素,并且還向目標像素賦予強度。
然后,收斂判斷單元135判斷這系列處理是否收斂(步驟S105)。當如上所述不再有像素的標簽改變或者達到預定最大更新次數(shù)時,收斂判斷單元135會判斷一系列處理收斂。
如果收斂判斷單元135判斷一系列處理收斂(步驟S105中的“是”),則指定區(qū)域分割處理結束。
另一方面,如果收斂判斷單元135判斷一系列處理沒有收斂(步驟S105中的“否”),處理返回到步驟S101。在這種情況下,像素選擇單元131選擇的參考像素改變。
第三示例(在“被動型”和“同步型”的情況下)
接下來,將描述第一區(qū)域檢測單元13的第三示例。
在第三示例中,像素選擇單元131選擇要被判斷在或不在指定區(qū)域中的一個目標像素。范圍設置單元132改變第二范圍。第二范圍是針對所選擇的目標像素(第二目標像素)設置的,并且是包括用于判斷所選擇的目標像素被包括在哪個指定區(qū)域的參考像素的范圍。
圖22示出通過像素選擇單元131選擇的目標像素和通過范圍設置單元132設置的第二范圍。
在圖22中,以與圖13B中示出的方式類似的方式,將參考像素設置為圖13A中示出的原始圖像中的種子1和種子2。選擇用T1指代的一個像素作為目標像素(第二目標像素)。另外,以目標像素T1為中心的垂直方向上的5個像素和水平方向上的5個像素的范圍被設置為第二范圍。在圖22中,用粗線框顯示第二范圍。
判斷單元133判斷目標像素T屬于哪個指定區(qū)域。判斷單元133判斷目標像素T1是屬于具有種子1的像素所屬的指定區(qū)域(第一指定區(qū)域)還是屬于具有種子2的像素所屬的指定區(qū)域(第二指定區(qū)域)。
例如,判斷單元133判斷目標像素T1的像素值更靠近包括在第二范圍內的用作參考像素的具有種子1和種子2的像素的像素值中的哪個,從而判斷目標像素T1是屬于第一指定區(qū)域還是屬于第二指定區(qū)域。也就是說,判斷單元133按照目標像素T1的像素值與參考像素中的每個的像素值的接近程度來判斷目標像素T1。
另選地,判斷單元133可使用基于強度的方法來進行上述判斷。在這種情況下,判斷單元133按照包括在第二范圍內的參考像素的強度,判斷目標像素T1(第二目標像素)屬于哪個指定區(qū)域。
圖23示出根據(jù)這個示例性實施方式的判斷的結果。
在圖23中,相比于具有種子1的像素的像素值,目標像素T1的像素值更接近具有種子2的像素的像素值,因此,判斷目標像素T1屬于第二指定區(qū)域。
特性改變單元134和收斂判斷單元135的操作與第一示例中的操作類似。
另外,在這個示例性實施方式中,重復地執(zhí)行像素選擇單元131、范圍設置單元132、判斷單元133和特性改變單元134的處理,直到實現(xiàn)收斂。重復地執(zhí)行這個處理以進行區(qū)域更新操作,從而使得經受特性改變(諸如,標記)的區(qū)域能夠順序地擴大。因此,分割指定區(qū)域1和指定區(qū)域2。第二范圍是可變的并且可按照更新次數(shù)順序地減小。
具體地,初始地將第二范圍設置得大,之后,如果更新次數(shù)大于或等于某個指定值,則減小第二范圍??稍O置多個指定值并且可逐步減小第二范圍。也就是說,在初始階段中將第二范圍設置得大,使得參考像素更有可能存在于第二范圍內,從而導致更有效率的判斷。另外,當更新進行到一定程度時將第二范圍設置得小會導致指定區(qū)域的分離精度提高。
根據(jù)這個示例性實施方式的區(qū)域擴張方法聚焦于目標像素T1,將目標像素T1的像素值與第二范圍內的參考像素(具有種子1或種子2的像素)的像素值進行比較,以確定目標像素T1所屬的指定區(qū)域。也就是說,第三示例中的區(qū)域擴張方法是所謂的“被動型”方法,在該方法中,目標像素T1在受第二范圍內的參考像素影響時改變。
另外,在被動型方法中,用特定標簽標記的像素可具有變成不同標簽的標簽。
這種方法與參照圖11A至圖11C描述的相關技術的區(qū)域擴張方法類似。在相關技術的區(qū)域擴張方法中,目標像素T1受與目標像素T1相鄰的八個固定相鄰像素影響。相比之下,第三示例中的區(qū)域擴張方法的特征在于,第二范圍是可變的。第二范圍的大小增大可使得能夠進行更有效率的判斷,如上所述。另一方面,八個固定相鄰像素將不太可能包括參考像素,從而降低判斷效率。
在這種區(qū)域擴張方法中,此外,暫時存儲就在區(qū)域擴張之前的整個圖像的標簽和強度。判斷單元133判斷所選擇的目標像素T1屬于哪個指定區(qū)域,并且執(zhí)行區(qū)域擴張。在進行判斷之后,特性改變單元134改變存儲的標簽和強度。改變后的標簽和強度被作為就在進一步區(qū)域擴張之前的整個圖像的標簽和強度存儲,并且執(zhí)行進一步的區(qū)域擴張。也就是說,第三示例中的區(qū)域擴張方法是所謂的“同步型”。
另外,減小第二范圍的大小會進一步提高指定區(qū)域的分離精度。在這個示例性實施方式中,因此,第二范圍改變,以按照更新次數(shù)減小。
第四示例(在“被動型”和“異步型”的情況下)
上述的區(qū)域擴張方法是與第一示例中的“同步型”類似的“同步型”。另選地,可使用與第二示例中的“異步型”的區(qū)域擴張方法類似的“異步型”的區(qū)域擴張方法。下面,將描述“被動型”和“異步型”的區(qū)域擴張方法作為第四示例。
圖24A至圖24H示出使用第四示例中的區(qū)域擴張方法標記像素的進程的示例。
在圖24A中,與參照圖18A和圖19A描述的內容類似地,在圖13A中示出的原始圖像中設置圖13B中示出的用作參考像素的具有種子1和種子2的像素。
圖24B示出在這種情況下設置的第二范圍。在這個示例性實施方式中,如圖24B中所示,判斷單元133使用第一行第一列的像素作為起始點進行判斷,并且初始地將像素設置為目標像素T1。然后,判斷單元133判斷目標像素T1屬于哪個指定區(qū)域。然后,如圖24C和圖24D中所示,判斷單元133在目標像素T1在圖24C和圖24D中向右移位一個像素的同時,判斷目標像素T1屬于哪個指定區(qū)域。這個判斷是基于強度,并且與第一示例至第三示例中的判斷類似。
在針對作為目標像素T1的直至圖24C和圖24D中的右端的各像素進行判斷之后,判斷單元133將目標像素T1向第二行移位,并且以與上述方式類似的方式,在目標像素T1在圖24C和圖24D中向右移位一個像素的同時,判斷目標像素T1屬于哪個指定區(qū)域。在針對直至圖24C和圖24D中的右端的像素進行判斷之后,判斷單元133進一步將目標像素T1向下一行移位。以與圖24E至圖24G中示出的方式重復地執(zhí)行這個操作,并且執(zhí)行該操作,直到目標像素T移到圖24E至圖24G中的右下端。
在已經到達右下端并且目標像素T1變得不再能移動之后,判斷單元133在與上述方向相反的方向上移位目標像素T1,并且執(zhí)行類似的處理,直到目標像素T1移到左上端。因此,實現(xiàn)目標像素T1的單次往復移動。隨后重復目標像素T1的這個往復移動,直到實現(xiàn)收斂。
在圖示的示例中,在單個起始點的背景下進行描述。另選地,如第三示例中描述的,可設置多個起始點并且單獨移位這多個點。另外,可選擇圖像中的任何像素作為起始點。
最終,如圖24H中所示,分割第一指定區(qū)域和第二指定區(qū)域。
這種區(qū)域擴張方法還可提供更高的收斂速度并且更高的處理速度。當?shù)竭_末端位置時,目標像素T1進一步移位,使得在相反方向上掃描圖像,從而允許不太可能出現(xiàn)具有慢收斂的部分,導致收斂速度增加。
第二范圍可以固定或改變。第二范圍可改變,以按照更新次數(shù)而減小大小。
在這種區(qū)域擴張方法中,此外,每當所選擇的目標像素T1移位一個像素時,判斷單元133判斷目標像素T1屬于哪個指定區(qū)域,并且執(zhí)行區(qū)域擴張。也就是說,以預定次序選擇單個目標像素T1(第二目標像素),所選擇的目標像素T1(第二目標像素)經受一次判斷。重復進行這個判斷。在進行判斷之后,特性改變單元134改變存儲的標簽和強度。也就是說,每當目標像素T1(第二目標像素)移位一個像素時,只有目標像素T1將經受標簽和強度的改變。上述的區(qū)域擴張方法是“異步型”。
接下來,將描述第三示例和第四示例中的第一區(qū)域檢測單元13的操作。
圖25是示出第三示例和第四示例中的第一區(qū)域檢測單元13的操作的流程圖。
下面,將參照圖12和圖25描述第一區(qū)域檢測單元13的操作。
首先,像素選擇單元131選擇目標像素(第二目標像素)(步驟S201)。在圖22中示出的示例中,像素選擇單元131選擇目標像素T1。
然后,范圍設置單元132設置第二范圍,即對針對目標像素T1的判斷有影響的像素的影響范圍(步驟S202)。在圖22中示出的示例中,范圍設置單元132將以目標像素T1為中心的垂直方向上的5個像素和水平方向上的5個像素的范圍設置為第二范圍。
然后,判斷單元133判斷目標像素T1屬于哪個指定區(qū)域(步驟S203)。在上述示例中,判斷單元133按照目標像素T1的像素值與具有種子1和種子2的像素的像素值中的每個的接近程度并且按照目標像素T1、具有種子1的像素和具有種子2的像素的強度進行判斷。
如果判斷單元133確定目標像素T1屬于指定區(qū)域中的任一個,則特性改變單元134改變特性(步驟S204)。具體地,特性改變單元134標記目標像素T1,并且還向目標像素T1賦予強度。
然后,收斂判斷單元135判斷這系列處理是否收斂(步驟S205)。當如上所述將不再有像素的標簽改變或者達到預定最大更新次數(shù)時,收斂判斷單元135會判斷一系列處理收斂。
如果收斂判斷單元135判斷一系列處理收斂(步驟S205中的“是”),則指定區(qū)域分割處理結束。
另一方面,如果收斂判斷單元135判斷一系列處理沒有收斂(步驟S205中的“否”),處理返回到步驟S201。在這種情況下,像素選擇單元131選擇的目標像素(第二目標像素)改變。
第五示例
接下來,將描述第一區(qū)域檢測單元13的第五示例。
第五示例既采用第一示例和第二示例中描述的“主動型”區(qū)域擴張方法又采用第三示例和第四示例中描述的“被動型”區(qū)域擴張方法。也就是說,在第五示例中,在更新期間切換“主動型”區(qū)域擴張方法和“被動型”區(qū)域擴張方法的同時,執(zhí)行區(qū)域擴張。
每當執(zhí)行更新時,范圍設置單元132選擇要使用“主動型”區(qū)域擴張方法和“被動型”區(qū)域擴張方法中的哪個。如果選擇“主動型”區(qū)域擴張方法,則范圍設置單元132設置第一范圍。然后,判斷單元133判斷第一范圍內的目標像素屬于哪個指定區(qū)域。如果選擇“被動型”區(qū)域擴張方法,則范圍設置單元132設置第二范圍。然后,判斷單元133判斷目標像素屬于哪個指定區(qū)域。也就是說,判斷單元133在設置第一范圍和設置第二范圍之間進行至少一次切換的同時進行判斷。
切換方法不限于任何特定的切換方法。例如,可交替地使用“主動型”和“被動型”區(qū)域擴張方法。另選地,可初始地使用“主動型”區(qū)域擴張方法達對應于預定更新次數(shù)的次數(shù),然后可使用“被動型”區(qū)域擴張方法,直到該處理結束。相反地,可初始地使用“被動型”區(qū)域擴張方法達對應于預定更新次數(shù)的次數(shù),然后可使用“主動型”區(qū)域擴張方法,直到該處理結束??墒褂玫谝皇纠虻诙纠械摹爸鲃有汀眳^(qū)域擴張方法。
因此,既采用“主動型”又采用“被動型”的區(qū)域擴張方法也使得能夠分割指定區(qū)域1和指定區(qū)域2。
在這個示例性實施方式中,要設置的第一范圍或第二范圍可以是固定的或可變的。第一范圍和第二范圍可按照更新次數(shù)順序地減小。另外,可使用第一示例中的“同步型”和第二示例中的“異步型”中的任一個。
接下來,將描述第五示例中的第一區(qū)域檢測單元13的操作。
圖26是示出第五示例中的第一區(qū)域檢測單元13的操作的流程圖。
下面,將參照圖12和圖26描述第一區(qū)域檢測單元13的操作。
首先,像素選擇單元131選擇要使用“主動型”和“被動型”中的哪個(步驟S301)。
如果像素選擇單元131選擇“主動型”(步驟S302中的“是”),則像素選擇單元131選擇要從屬于指定區(qū)域的像素之中選擇的參考像素(步驟S303)。
然后,范圍設置單元132針對要被確定在或不在對應于參考像素的指定區(qū)域中的目標像素(第一目標像素)設置第一范圍(步驟S304)。
然后,判斷單元133判斷第一范圍內的目標像素屬于哪個指定區(qū)域(步驟S305).
另一方面,如果像素選擇單元131選擇“被動型”(步驟S302中的“否”),則像素選擇單元131選擇目標像素T1(第二目標像素)(步驟S306)。
然后,范圍設置單元132設置第二范圍,即對針對目標像素T1的判斷有影響的像素的影響范圍(步驟S307)。
然后,判斷單元133確定目標像素T1屬于哪個指定區(qū)域(步驟S308)。
然后,特性改變單元134改變第一范圍內的目標像素或被判斷單元133判斷屬于指定區(qū)域中的任一個的目標像素T1的特性(步驟S309)。
然后,收斂判斷單元135判斷這一系列處理是否收斂(步驟S310)。
如果收斂判斷單元135判斷一系列處理收斂(步驟S310中的“是”),則指定區(qū)域分割處理結束。
另一方面,如果收斂判斷單元135判斷一系列處理沒有收斂(步驟S310中的“否”),則處理返回到步驟S301。在這種情況下,通過像素選擇單元131選擇的參考像素或目標像素(第二目標像素)改變。
以上詳細描述的第一區(qū)域檢測單元13的構造可使得,相比于使用相關技術的方法,使用區(qū)域擴張方法能夠更快速分割指定區(qū)域。
如果通過圖像信息獲得單元11獲得的圖像的可視性低,則可預先執(zhí)行視網膜皮層處理等以增強可視性。
假設用I(x,y)代表圖像上的像素位置(x,y)處的像素的像素值(亮度值)并且用I'(x,y)代表可視性增強的圖像上的對應像素的像素值,視網膜皮層處理可如下地能夠增強可視性:
I'(x,y)=αR(x,y)+(1-α)I(x,y)
其中,α是強調反射率的參數(shù)并且R(x,y)指代估計的反射率分量。在視網膜皮層模型中,反射率分量的強調可使得可視性能夠增強。在這個示例性實施方式中,可使用用到視網膜皮層模型的任何現(xiàn)有方法來計算估計的反射率分量R(x,y)。在給定0≤α≤1的情況下,當α=0時,代表原始圖像,當α=1時,代表反射率圖像(具有最大可視性)。參數(shù)α可由用戶進行調節(jié),或者可與按照圖像暗度的值關聯(lián)。
圖27A和圖27B是示出用于增強原始圖像可視性的視網膜皮層處理的概念圖。
圖27A示出原始圖像,圖27B示出經受視網膜皮層處理的圖像。以此方式,可視性的增強可進一步提高指定區(qū)域的分割精度。
第二示例性實施方式
接下來,將描述根據(jù)第二示例性實施方式的圖像處理設備10。
對圖像處理設備的描述
圖28是示出根據(jù)第二示例性實施方式的圖像處理設備10的示例功能構造的框圖。
如圖28中所示,根據(jù)這個示例性實施方式的圖像處理設備10包括圖像信息獲得單元11、用戶指令接受單元12、圖像大小改變單元19、第一區(qū)域檢測單元13、指定區(qū)域放大單元14、第二區(qū)域檢測單元15、區(qū)域切換單元16、圖像處理單元17和圖像信息輸出單元18。也就是說,根據(jù)這個示例性實施方式的圖像處理設備10具有圖2中示出的根據(jù)第一示例性實施方式的圖像處理設備10還包括圖像大小改變單元19的構造。
例如,在如圖3A和圖3B中所示使用曲線輸入指定區(qū)域中的種子的情況下,存在供用戶編輯的最佳大小。另一方面,可能期望的是,用于編輯的大小不同于用于指定區(qū)域分割的大小,因為第一區(qū)域檢測單元13執(zhí)行分割指定區(qū)域的處理時的大小可取決于圖像處理設備10的處理能力等。還存在第二區(qū)域檢測單元15最終分割指定區(qū)域時正使用的圖像G'的大小。也就是說,存在三個大小的圖像。
圖29A至圖29C示出這個示例性實施方式中使用的三個大小的圖像。
圖29A示出顯示裝置20上顯示的編輯圖像,用戶通過顯示裝置20在指定區(qū)域中輸入種子。用圖像G代表編輯圖像。圖像G與第一示例性實施方式中的圖像G相同。圖像G包括參照圖3A和圖3B描述的“種子1”和“種子2”。
圖29B示出第一區(qū)域檢測單元13在其中執(zhí)行分割指定區(qū)域的處理的圖像。用圖像G”代表該圖像。如圖29B中所示,圖像G”具有比圖像G小的大小和低的分辨率。這樣可提高通過第一區(qū)域檢測單元13分割指定區(qū)域的處理速度。
圖29C示出第二區(qū)域檢測單元15最終在其上分割指定區(qū)域的正使用的圖像G'。正使用的圖像G'與第一示例性實施方式中的正使用的圖像G'相同。如第一示例性實施方式中一樣,正使用的圖像G'具有比圖像G大的大小和高的分辨率。
在這個示例性實施方式中,通過減小圖像G的大小來創(chuàng)建圖像G”。在這種情況下,用戶給出的種子的大小也減小。在這個示例性實施方式中,通過圖像大小改變單元19執(zhí)行這個處理。圖像大小改變單元19改變用戶用來指明指定區(qū)域的圖像G的圖像大小,并且還按照其圖像大小改變的圖像G的大小來改變種子。注意的是,僅僅圖像G的大小的減小可造成關于種子的位置信息有損。也就是說,期望的是,關于給定種子的位置信息以及關于圖像G的位置信息得以保持。下面,將描述圖像大小改變大小19執(zhí)行的處理。
首先,圖像大小改變單元19將圖29A中示出的編輯圖像分解成圖像G和位置信息圖像Gp。位置信息圖像Gp是指示種子的圖像。
圖30A至圖30C示出將圖29A中示出的編輯圖像分解成圖像G和位置信息圖像Gp。
圖30A示出圖29A中示出的編輯圖像,編輯圖像被分解成圖30B中示出的圖像G和圖30C中示出的位置信息圖像Gp。
然后,圖像G和位置信息圖像Gp的大小減小。重點放在位置信息圖像Gp的大小減小。位置信息圖像Gp由線段構成,種子可根據(jù)大小減小方法而不見。在這個示例性實施方式中,為了解決這個問題,位置信息圖像Gp經受最近鄰映射。當用(i,j)代表位置信息圖像Gp上的各像素的位置時,可使用以下的等式(4)執(zhí)行映射,用(y,x)代表像素映射之后的各像素的位置,用r代表大小改變速率,用P代表大小改變之前的各像素的像素值,用p代表大小改變之后的各像素的像素值。在圖31中示出描繪根據(jù)等式(4)的最近鄰映射的圖像。
p(y,x)=P(i/r,j/r) (4)
由于(y,x)指示像素的位置,因此通過例如向著最近的整數(shù)進行四舍五入,將(y,x)的值均轉換成整數(shù)。每個種子指示標志(ON或OFF)。因此,例如,如果用紅色顯示具有種子1的像素,則像素用(R,G,B)=(255,0,0)來代表,因此被視為在具有標簽1的區(qū)域中。如果用藍色顯示具有種子2的像素,則像素用(R,G,B)=(0,0,255)來代表,因此被視為在具有標簽2的區(qū)域中。使用等式(4)的映射是在沒有插值的情況下進行直接映射,從而導致圖像大小快速減小,而作為標志(ON或OFF)的種子的性質沒有受損。然而,由于通過向著最近整數(shù)進行四舍五入來確定種子位置,因此位置的精度會降低。
為了進一步提高種子位置的精度,可使用諸如線性插值的最近鄰插值處理。在使用線性插值的插值處理中,通過以下的等式(5)確定轉換之后獲得的像素值中的每個。在圖32中示出描繪使用根據(jù)等式(5)的線性插值的插值處理的圖像。
p(y,x)=(1-t)((1-s)P(i,j)+s P(i+1,j))+t((1-s)P(i,j+1)+s P(i+1,j+1))(5)
使用線性插值的插值處理與最近鄰映射的不同之處在于,在不進行四舍五入的情況下使用相鄰像素的像素值為目標像素的像素值賦予權重。
圖33A和圖33B示出代表種子的曲線的一部分的線性插值。圖33A示出線性插值之前的圖像,圖33B示出線性插值之后的圖像。
使用線性插值的插值處理可保持種子位置的精度。在這種情況下,除了種子像素外的像素的像素值被視為是通過(R,G,B)=(0,0,0)給出的。例如,針對種子1,在插值處理之后,用(R,G,B)=(0<R≤255,0,0)給出種子像素的像素值,而在插值處理之前,用(R,G,B)=(255,0,0)給出種子像素的像素值。在圖33A和圖33B中,用黑色顯示用(R,G,B)=(0,0,0)給出其像素值的像素,用白色顯示用(R,G,B)=(255,0,0)給出其像素值的像素,用(對角線)陰影顯示用(R,G,B)=(0<R<255,0,0)給出其像素值的像素。
用(R,G,B)=(0<R<255,0,0)給出其像素值的像素經受閾值處理,以被分割成種子像素和非種子像素。在這個示例性實施方式中,設置閾值θ,并且執(zhí)行處理,使得例如如果R>θ則將R設置成等于255(R=255),否則,將R設置成等于零(R=0)??蓪㈤撝郸仍O置成例如128的值。
圖34A和圖34B示出閾值處理之前的圖像和閾值處理之后的圖像。類似于圖33B,圖34A示出閾值處理之前的圖像。圖34B示出閾值處理之后的圖像。因此,如圖34B中所示,位置信息圖像Gp即代表種子的圖像的大小可精確地減小。
另選地,用(R,G,B)=(0<R<255,0,0)給出其像素值的像素可被分割成固定種子和可變種子。如本文中使用的,術語“固定種子”是指在分割指定區(qū)域期間其標簽沒有改變的像素,術語“可變種子”是指在分割指定區(qū)域期間其標簽可改變的像素??勺兎N子就標簽改變而言與未標記像素相同,但不同于未標記像素,可變種子是具有標簽和標簽強度的初始值的點。
例如,如圖35中一樣,圖34A中示出的像素中的每個被處理,以被分割成固定種子(如果R>θ)或可變種子(如果0<R≤θ)。值θ可被設置成例如128的值。
雖然在一種種子類型的背景下提供了以上描述,但可按類似方式使用兩種或更多種類型的種子。
然后,如圖36中所示,組合圖像G”(即圖像G的大小減小版本)和大小減小位置信息圖像Gps。然后,第一區(qū)域檢測單元13分割指定區(qū)域。也就是說,第一區(qū)域檢測單元13基于改變后的種子,檢測指定區(qū)域。
如上所述,在第二示例性實施方式中,圖像大小改變單元19具有以下特征:將大小適于供用戶編輯的編輯圖像分解成待編輯圖像G和指示種子位置的位置信息圖像Gp,并且將圖像G和位置信息圖像Gp的大小減小成適于圖像處理的大小。換句話講,圖像大小改變單元19將用戶用來指明指定區(qū)域的編輯圖像和位置信息相互分開,并且分別改變編輯圖像和位置信息。
圖28中示出的圖像信息獲得單元11、用戶指令接受單元12、第一區(qū)域檢測單元13、指定區(qū)域放大單元14、第二區(qū)域檢測單元15、區(qū)域切換單元16、圖像處理單元17和圖像信息輸出單元18與第一示例性實施方式中的那些類似。注意的是,第一區(qū)域檢測單元13使用圖像G”即圖像G的大小減小版本替代圖像G。
第三示例性實施方式
接下來,將描述根據(jù)第三示例性實施方式的圖像處理設備10。在第三示例性實施方式中,示出圖像處理設備10的示例功能構造的框圖與圖2中示出的框圖類似。
在第一示例性實施方式中,使用兩個指定區(qū)域。在第三示例性實施方式中,使用三個指定區(qū)域。
圖37示出圖3B中示出的圖像G中提供三個種子的情況。
在圖37中,在頭發(fā)部分、面部部分和除了頭發(fā)部分和面部部分外的部分中分別繪制“種子1”、“種子2”和“種子3”。
第一區(qū)域檢測單元13將“標簽1”分派給對應于“種子1”的像素,將“標簽2”分派給對應于“種子2”的像素,并且將“標簽3”分派給對應于“種子3”的像素,并且使用區(qū)域擴張方法執(zhí)行從圖像G內分割指定區(qū)域的處理。
圖38A至圖38C示出使用區(qū)域擴張方法在圖37中示出的圖像G中分割指定區(qū)域。
圖38A示出其上繪制路徑作為種子的圖37中示出的圖像G。
然后,如圖38B中所示,各個區(qū)域從被繪制為種子的路徑被擴大成指定區(qū)域。然后,如圖38C中所示,最終分割三個指定區(qū)域(即,“第一指定區(qū)域(S1)”、“第二指定區(qū)域(S2)”和“第三指定區(qū)域(S3)”)作為指定區(qū)域。
圖39A至圖39C示出根據(jù)這個示例性實施方式的指定區(qū)域放大單元14執(zhí)行的處理,該處理對應于圖5A和圖5B中示出的根據(jù)第一示例性實施方式的處理。
也就是說,指定區(qū)域放大單元14放大圖39A中示出的分割圖像Gb,其中,分割指定區(qū)域以產生圖39B中示出的放大后的分割圖像Gz。
圖39C示出根據(jù)這個示例性實施方式的第二區(qū)域檢測單元15執(zhí)行的處理。
也就是說,第二區(qū)域檢測單元15重新設置“第一指定區(qū)域(S1)”、“第二指定區(qū)域(S2)”和“第三指定區(qū)域(S3)”的邊界部分中的標簽以得到區(qū)域S0,并且產生標簽重新設置后的圖像Gr。
圖40A和圖40B示出根據(jù)這個示例性實施方式的第二區(qū)域檢測單元15在區(qū)域S0內再次檢測指定區(qū)域的處理。
類似于圖39C,圖40A示出在第二區(qū)域檢測單元15檢測指定區(qū)域之前的標簽重新設置后的圖像Gr。然后,第二區(qū)域檢測單元15在區(qū)域S0內再次檢測指定區(qū)域。結果,如圖40B中所示,再次分割“第一指定區(qū)域(S1)”、“第二指定區(qū)域(S2)”和“第三指定區(qū)域(S3)”,從而導致區(qū)域S0消失并且得到最終分割圖像Gbe。
后續(xù)處理與第一示例性實施方式中的后續(xù)處理類似。
相關技術的曲線圖切割方法使得能夠分割僅僅兩個指定區(qū)域。相比之下,根據(jù)這個示例性實施方式的圖像處理設備10使得能夠分割三個指定區(qū)域。注意的是,根據(jù)這個示例性實施方式的圖像處理設備10可分割不止三個指定區(qū)域。
第四示例性實施方式
接下來,將描述根據(jù)第四示例性實施方式的圖像處理設備10。在第四示例性實施方式中,示出圖像處理設備10的示例功能構造的框圖與圖2中示出的框圖類似。
在第四示例性實施方式中,如果第一區(qū)域檢測單元13無法分割指定區(qū)域,則使用額外種子再次分割指定區(qū)域。
圖41A至圖41E示出將額外種子用于分割指定區(qū)域的情況。
類似于圖3B,圖41A示出其中用戶在面部部分中繪制種子1并且在非面部部分中繪制種子2的圖像G。
在圖41B中,第一區(qū)域檢測單元13將圖像G分割成“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”。圖41B示出第一區(qū)域檢測單元13無法在被圖41B中的虛線圓環(huán)繞的區(qū)域內分割指定區(qū)域的情況。也就是說,應該被分割成“第二指定區(qū)域(S2)”的部分已經被分割成“第一指定區(qū)域(S1)”。應該被分派“標簽1”的此部分已經被分派“標簽2”。
在這種情況下,如圖41C中所示,用戶在這個部分上給出額外種子2,這表明這個部分在“第二指定區(qū)域(S2)”中。也就是說,用戶給出額外位置信息。通過用戶指令接受單元12獲得額外位置信息。
響應于給出的額外種子2,第一區(qū)域檢測單元13重新設置分派給圍繞由額外位置信息指示的位置設置的每個像素的“標簽1”或“標簽2”。也就是說,取消了這個部分中的指定區(qū)域的設置。仍然保持剩余部分中的標簽;“標簽1”或“標簽2”被原樣保持。
在圖41D中,被分派給額外種子2和相鄰像素的標簽已經被重新設置。在圖41D中,用區(qū)域S0指示已經被重新設置標簽的那部分。換句話講,區(qū)域S0中的像素被分派“標簽0”。如圖41D中所示,區(qū)域S0被設置為例如矩形區(qū)域。
后續(xù)處理與第一示例性實施方式中的后續(xù)處理類似。如圖41E中所示,分割“第一指定區(qū)域(S1)”和“第二指定區(qū)域(S2)”。如圖41E中所示,由于使用額外種子2的影響,圖像G被精確分割成“第一指定區(qū)域(S1)”即面部部分和“第二指定區(qū)域(S2)”即非面部部分。
圖42A至圖42C示出額外種子的校正。
在圖42A中,用戶繪制額外種子2。額外種子2被繪制成突出到圖41B中用虛線圓環(huán)繞的區(qū)域內的應該是“第一指定區(qū)域(S1)”的部分中。
在這種情況下,用戶能夠校正曾經被繪制的額外種子2。具體地,種子2被局部擦除并且其突出部分被刪除。實際上,如圖42B中所示,以與當用戶繪制種子時的方式類似的方式,用戶繪制用于擦除不必要種子部分的路徑。通過用戶指令接受單元12獲得用戶用于擦除種子的信息(擦除信息)。這樣使得能夠選擇性擦除額外種子2的至少一部分。圖42C示出其中擦除了額外種子2的突出部分的圖像。
在后續(xù)處理中,第一區(qū)域檢測單元13按照額外種子2檢測指定區(qū)域,額外種子2的至少部分已使用擦除信息擦除。也就是說,第一區(qū)域檢測單元13以圖41D和圖41E中示出的方式,分割指定區(qū)域。
在上述示例中,使用單個額外種子??墒褂枚鄠€額外種子。
圖43示出使用多個額外種子的情況。
在圖43中,使用各自用于種子1和種子2中的一個的額外種子。在圖43中,用額外種子1和額外種子2代表種子。分別針對額外種子1和額外種子2設置矩形區(qū)域S0。可使用用于種子1的多個額外種子并且可使用用于種子2的多個額外種子。
在上述示例中,區(qū)域S0中的每個被設置為矩形區(qū)域。然而,區(qū)域S0不限于這種形狀。
圖44A和圖44B示出用于設置其中給出額外種子的區(qū)域S0的方法。
在圖44A中,區(qū)域S0被設置成具有用于額外種子的矩形形狀,這類似于上述情況。在圖44B中,區(qū)域S0被設置成具有用于額外種子的彎曲形狀。彎曲形狀具有特定寬度并且環(huán)繞額外種子。
另選地,設置的區(qū)域S0可包括已給出的種子。在這種情況下,用于之前給出的種子的標簽沒有被重新設置,而是被原樣保持。
圖45示出設置的區(qū)域S0包括已給出的種子的情況。
在這種情況下,針對額外種子設置的矩形區(qū)域S0包括已給出的種子1。由于對應于種子1的部分顯然被包括在“第一指定區(qū)域(S1)”中,因此用于這個部分的標簽被保持為“標簽1”。用于矩形區(qū)域S0中的剩余部分的標簽被重新設置,從而導致獲得區(qū)域S0。
在第四示例性實施方式中,并非所有圖像經受圖41D中的指定區(qū)域分割。
圖46A和圖46B示出根據(jù)第四示例性實施方式的將經受指定區(qū)域分割的圖像范圍。
圖46A示出圖41D中示出的狀態(tài)下的圖像,其中已設置了區(qū)域S0。如圖46B中所示,可能足夠的是,比設置的區(qū)域S0大預定寬度的矩形區(qū)域被設置并且在該矩形區(qū)域內分割指定區(qū)域。在這種情況下,“第一指定區(qū)域(S1)”中的像素可被作為種子1處理并且“第二指定區(qū)域(S2)”中的像素可被作為種子2處理。
在上述的第一示例性實施方式至第四示例性實施方式的圖像處理設備10中,第一區(qū)域檢測單元13和第二區(qū)域檢測單元15二者使用上述的第一示例至第四示例中的區(qū)域擴張方法中的任一個來分割指定區(qū)域。可能不一定采用這些方法。諸如Grow-Cut(擴張切割)方法的相關技術的區(qū)域擴張方法可提供足夠的處理速度。注意的是,如上所述,第一示例至第四示例中的方法可確保更快速地分割指定區(qū)域。
雖然圖像信息獲得單元11獲得關于兩種類型的圖像(即,圖像G和正使用的圖像G')的圖像信息,但圖像信息獲得單元11可獲得關于正使用的圖像G'的圖像信息并且可減小正使用的圖像G'的大小以創(chuàng)建圖像G。
上述圖像處理設備10首先基于低分辨率圖像G或圖像G”的整體來分割指定區(qū)域。由于圖像G或圖像G”是低分辨率圖像,因此可更快速地分割指定區(qū)域,即使整個圖像G將經受指定區(qū)域分割。指定區(qū)域被放大,直到圖像G的大小與正使用的圖像G'的大小匹配,并且在之前檢測到的指定區(qū)域的邊界部分內再次檢測指定區(qū)域。由于對邊界部分選擇性執(zhí)行分割處理,因此相對小的區(qū)域將經受分割處理。指定區(qū)域的分割沒有涉及再次給出種子并且基于從針對其的指定區(qū)域設置還沒有取消的像素之中選擇的參考像素。因此,即使使用正使用的高分辨率圖像G',也可提高指定區(qū)域的分割精度并且也可實現(xiàn)處理速度的提高。另外,上述的第一示例至第四示例中的區(qū)域擴張方法可提供處理速度的進一步提高。在第四示例性實施方式中,當給出額外種子時,額外種子和額外種子的相鄰像素經受上述的處理。另外,在這種情況下,可進一步提高指定區(qū)域的分割精度并且可實現(xiàn)處理速度的提高。
上述的圖像處理設備10執(zhí)行的處理可被實現(xiàn)為包括位置信息獲得步驟和區(qū)域檢測步驟的圖像處理方法,位置信息獲得步驟獲得指示圖像中的一個或更多個指定區(qū)域的代表位置的位置信息,區(qū)域檢測步驟從位置信息檢測一個或更多個指定區(qū)域,區(qū)域檢測步驟包括取消針對圖像預定部分內的像素的一個或更多個指定區(qū)域的設置,并且基于從還沒有被取消一個或更多個指定區(qū)域的設置的圖像上的像素之中選擇的參考像素,針對預定部分內的像素再次檢測一個或更多個指定區(qū)域。
圖像處理設備的示例硬件構造
接下來,將描述圖像處理設備10的硬件構造。
圖47示出圖像處理設備10的硬件構造。
如上所述,能用個人計算機等實現(xiàn)圖像處理設備10。如圖47中所示,圖像處理設備10包括用作算術單元的中央處理單元(CPU)91和均用作存儲器的主存儲器92和硬盤驅動器(HDD)93。CPU 91執(zhí)行諸如操作系統(tǒng)(OS)和應用軟件的各種程序。主存儲器92是存儲各種程序和用于執(zhí)行這些程序的數(shù)據(jù)等的存儲區(qū),HDD 93是存儲用于各種程序的輸入數(shù)據(jù)和來自各種程序的輸出數(shù)據(jù)等的存儲區(qū)。
圖像處理設備10還包括用于與外部裝置執(zhí)行通信的通信接口(I/F)94。
對程序的描述
根據(jù)上述示例性實施方式的圖像處理設備10執(zhí)行的處理被準備為例如應用軟件等的程序。
因此,根據(jù)本文中公開的示例性實施方式的圖像處理設備10執(zhí)行的處理可被實現(xiàn)為致使計算機實現(xiàn)位置信息獲得功能和區(qū)域檢測功能的程序,位置信息獲得功能用于獲得指示圖像中的一個或更多個指定區(qū)域的代表位置的位置信息,區(qū)域檢測功能用于從位置信息檢測一個或更多個指定區(qū)域,區(qū)域檢測功能取消針對圖像預定部分內的像素進行的一個或更多個指定區(qū)域設置并且基于從還沒有被取消一個或更多個指定區(qū)域的設置的圖像上的像素之中的參考像素,針對預定部分內的像素再次檢測一個或更多個指定區(qū)域。
實現(xiàn)本發(fā)明中公開的示例性實施方式的程序可通過通信單元來提供,或者可被存儲在諸如光盤只讀存儲器(CD-ROM)的記錄介質中并且被提供。
雖然已經描述了示例性實施方式,但本發(fā)明的技術范圍不限于上述示例性實施方式中描述的范圍。根據(jù)隨附權利要求書,應該清楚,以上示例性實施方式的各種變化形式或修改形式還落入本發(fā)明的技術范圍內。
以上對本發(fā)明的示例性實施方式的描述是出于例證和描述的目的提供的。不旨在是排他性的或者將本發(fā)明限于公開的精確形式。顯而易見,本領域的熟練技術人員將清楚許多修改形式和變形形式。選擇描述這些實施方式是為了最佳地說明本發(fā)明的原理及其實踐應用,從而使本領域的其他技術人員能夠理解本發(fā)明的各種實施方式并且當適于預料的特定使用時其具有各種修改形式。本發(fā)明的范圍旨在由隨附權利要求書及其等同物限定。