專利名稱：圖像處理裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置及圖像處理方法。
背景技術(shù)：
眾所周知，在現(xiàn)有技術(shù)下利用照相機等拍攝的拍攝圖像會發(fā)生圖像 劣化的情況。作為該圖像劣化的主要原因，存在拍攝時的晃動、光學系 統(tǒng)的各種像差、鏡頭的偏斜等。
為了矯正拍攝時的晃動，巳知的有移動攝影鏡頭中的規(guī)定的鏡頭的 方法和進行電路處理的方法。例如，作為移動鏡頭的方法，已知的有通 過在拍攝時檢測出晃動，使規(guī)定的鏡頭對應(yīng)于該檢測出的晃動進行移動， 從而進行矯正的方法(參照專利文獻1)。
另外，作為進行電路處理的方法，已知的有利用角加速度傳感器檢 測出照相機光軸的變動，從檢測出的角速度等取得表示拍攝時的模糊狀 態(tài)的傳遞函數(shù)，并對拍攝圖像進行所取得的傳遞函數(shù)的逆變換，從而將
圖像復原的方法(參照專利文獻2)。
專利文獻1:日本公開公報、特開平6-317824號(參照說明書摘要) 專利文獻2:日本公開公報、特開平11-24122號(參照說明書摘要)

發(fā)明內(nèi)容
發(fā)明所要解決的課題
采用專利文獻1記載的晃動矯正的照相機，由于需要電動機等驅(qū)動 鏡頭的硬件的配置空間而導致大型化。另外，由于需要這種硬件自身或 驅(qū)動該硬件的驅(qū)動電路，因此成本增加。
另外，專利文獻2記載的晃動矯正的情況，雖然可以解決上述的問 題點，但是存在以下那樣的問題。即，雖然通過所取得的傳遞函數(shù)的逆 變換進行圖像復原在理論上是成立的，但是作為實際問題，由于以下兩 點理由導致圖像復原是困難的。
第一，取得的傳遞函數(shù)對于噪音或晃動信息誤差等非常弱，這些稍 有變動，傳遞函數(shù)的值便發(fā)生很大的變動。因此，通過逆變換得到的復 原圖像，與在未發(fā)生晃動的狀態(tài)下拍攝的圖像相差甚遠，實際上并不能利用。第二，在進行考慮了噪音等的逆變換的情況下，也可以采用通過 聯(lián)立方程的解的奇異值分解等而推算解的方法，但是用于該推算的計算 值有天文數(shù)字那么大，實際上無法解答的危險性高。
如上所述，本發(fā)明的課題在于提供一種在復原圖像時防止裝置的大 型化，同時，設(shè)有具有現(xiàn)實性的電路處理方法的圖像處理裝置及圖像處 理方法。
解決課題的手段
為了解決上述課題，本發(fā)明的圖像處理裝置，設(shè)有處理彩色圖像的 處理部，該處理部，從作為成為處理對象的原圖像的數(shù)據(jù)的原圖像數(shù)據(jù)， 分離出原圖像亮度數(shù)據(jù)和原圖像色差數(shù)據(jù)，并將原圖像亮度數(shù)據(jù)和原圖 像色差數(shù)據(jù)分別作為處理對象的數(shù)據(jù)，對于原圖像亮度數(shù)據(jù)，通過進行 重復同樣的處理的重復處理，生成作為原圖像變化之前的圖像的基礎(chǔ)圖 像的基礎(chǔ)圖像亮度數(shù)據(jù)、或與基礎(chǔ)圖像亮度數(shù)據(jù)近似的被復原后的復原 圖像亮度數(shù)據(jù)，其中，所述同樣的處理為，利用作為圖像變化主要原因 的數(shù)據(jù)的變化要因數(shù)據(jù)，從作為任意的圖像亮度數(shù)據(jù)的任意圖像亮度數(shù) 據(jù)，生成使該任意圖像亮度數(shù)據(jù)變化后的比較用的比較圖像亮度數(shù)據(jù)， 求出作為將原圖像亮度數(shù)據(jù)和比較圖像亮度數(shù)據(jù)進行比較后的差分的數(shù) 據(jù)的差分亮度數(shù)據(jù)，生成將差分亮度數(shù)據(jù)根據(jù)上述變化要因數(shù)據(jù)分配于 任意圖像亮度數(shù)據(jù)后的復原圖像亮度數(shù)據(jù)，代替任意圖像亮度數(shù)據(jù)而使
用復原圖像亮度數(shù)據(jù)；對于原圖像色差數(shù)據(jù)，通過進行重復同樣的處理 的重復處理，生成作為原圖像變化之前的圖像的基礎(chǔ)圖像的基礎(chǔ)圖像色 差數(shù)據(jù)、或與基礎(chǔ)圖像色差數(shù)據(jù)近似的被復原后的復原圖像色差數(shù)據(jù)， 其中，所述同樣的處理為，利用變化要因數(shù)據(jù)，從作為任意的圖像色差 數(shù)據(jù)的任意圖像色差數(shù)據(jù)，生成使該任意圖像色差數(shù)據(jù)變化后的比較用 的比較圖像色差數(shù)據(jù)，求出作為將原圖像色差數(shù)據(jù)和比較圖像色差數(shù)據(jù) 進行比較后的差分的數(shù)據(jù)的差分色差數(shù)據(jù)，生成將差分色差數(shù)據(jù)根據(jù)上 述變化要因數(shù)據(jù)分配于任意圖像色差數(shù)據(jù)后的復原圖像色差數(shù)據(jù)，代替 任意圖像色差數(shù)據(jù)而使用復原圖像色差數(shù)據(jù)。
在這樣構(gòu)成圖像處理裝置的情況下，由于僅通過利用圖像變化的要 因信息生成規(guī)定的數(shù)據(jù)，而生成與原圖像的亮度數(shù)據(jù)及色差數(shù)據(jù)近似的 復原圖像亮度數(shù)據(jù)及復原圖像色差數(shù)據(jù)，因此硬件上的增加幾乎不存在， 裝置不會大型化。另外，由于是從復原圖像亮度數(shù)據(jù)及復原圖像色差數(shù) 據(jù)分別作成比較亮度數(shù)據(jù)及比較色差數(shù)據(jù)，并重復進行將該比較亮度數(shù)據(jù)與處理對象的原圖像的亮度數(shù)據(jù)進行比較這樣的處理，或重復進行將
比較色差數(shù)據(jù)與處理對象的原圖像的色差數(shù)據(jù)進行比較這樣的的處理，
而逐漸得到與作為原圖像的基礎(chǔ)的變化前的圖像近似的復原圖像亮度數(shù)
據(jù)及復原圖像色差數(shù)據(jù)，因此成為現(xiàn)實的復原處理作業(yè)。因此，在圖像
的復原處理時能夠形成為設(shè)有具有現(xiàn)實性的電路處理方法的圖像處理裝置。
另外，其他的發(fā)明是在上述發(fā)明的基礎(chǔ)上，進行將復原圖像亮度數(shù) 據(jù)與復原圖像色差數(shù)據(jù)合成，生成基礎(chǔ)圖像的基礎(chǔ)圖像數(shù)據(jù)、或與基礎(chǔ) 圖像數(shù)據(jù)近似的被復原后的復原圖像數(shù)據(jù)的處理。
在這樣構(gòu)成圖像處理裝置的情況下，能夠形成為設(shè)有具有現(xiàn)實性的 電路處理方法的圖像處理裝置。
另外，其他的發(fā)明是在上述發(fā)明的基礎(chǔ)上，將原圖像色差數(shù)據(jù)形成 為關(guān)于不同顏色的兩個數(shù)據(jù)，對于各數(shù)據(jù)分別進行重復處理。
在這樣構(gòu)成圖像處理裝置的情況下，由于對不同的顏色分別生成復 原圖像色差數(shù)據(jù)，因此能夠提高復原精度。
另外，其他的發(fā)明是在上述發(fā)明的基礎(chǔ)上，對原圖像色差數(shù)據(jù)進行 壓縮處理，并對被壓縮后的壓縮圖像色差數(shù)據(jù)進行重復處理而生成復原 圖像色差數(shù)據(jù)。
在這樣構(gòu)成圖像處理裝置的情況下，能夠謀求復原處理的高速化。 另外，其他的發(fā)明是在上述發(fā)明的基礎(chǔ)上，原圖像色差數(shù)據(jù)的壓縮 為，將原圖像色差數(shù)據(jù)的數(shù)據(jù)進行間隔剔除的間隔剔除處理。
在這樣構(gòu)成圖像處理裝置的情況下，能夠謀求復原處理的高速化。 另外，其他的發(fā)明是在上述發(fā)明的基礎(chǔ)上，圖像色差數(shù)據(jù)的壓縮為， 將生成復原圖像色差數(shù)據(jù)的處理，以比進行生成復原圖像亮度數(shù)據(jù)的處 理位數(shù)少的位數(shù)進行處理。
在這樣構(gòu)成圖像處理裝置的情況下，能夠謀求復原處理的高速化。 為了解決上述課題，本發(fā)明的圖像處理裝置，在處理彩色圖像的圖 像處理方法中，在執(zhí)行從作為成為處理對象的原圖像的數(shù)據(jù)的原圖像數(shù) 據(jù)，分離出原圖像亮度數(shù)據(jù)和原圖像色差數(shù)據(jù)的步驟之后，將原圖像亮 度數(shù)據(jù)和原圖像色差數(shù)據(jù)分別作為處理對象的數(shù)據(jù)，對于原圖像亮度數(shù) 據(jù)，通過進行重復同樣的處理的重復處理，生成作為原圖像變化之前的 圖像的基礎(chǔ)圖像的基礎(chǔ)圖像亮度數(shù)據(jù)、或與基礎(chǔ)圖像亮度數(shù)據(jù)近似的被 復原后的復原圖像亮度數(shù)據(jù)，其中，所述同樣的處理為，在執(zhí)行利用作 為圖像變化主要原因的數(shù)據(jù)的變化要因數(shù)據(jù)，從作為任意的圖像亮度數(shù)據(jù)的任意圖像亮度數(shù)據(jù)，生成使該任意圖像亮度數(shù)據(jù)變化后的比較用的 比較圖像亮度數(shù)據(jù)的步驟，求出作為將原圖像亮度數(shù)據(jù)和比較圖像亮度 數(shù)據(jù)進行比較后的差分的數(shù)據(jù)的差分亮度數(shù)據(jù)的步驟，以及生成將差分 亮度數(shù)據(jù)根據(jù)上述變化要因數(shù)據(jù)分配于任意圖像亮度數(shù)據(jù)后的復原圖像
亮度數(shù)據(jù)的步驟之后，代替任意圖像亮度數(shù)據(jù)而使用復原圖像亮度數(shù)據(jù)； 對于圖像色差圖像數(shù)據(jù)，通過進行重復同樣的處理的重復處理，生成作 為原圖像變化之前的圖像的基礎(chǔ)圖像的基礎(chǔ)圖像色差數(shù)據(jù)、或與基礎(chǔ)圖 像色差數(shù)據(jù)近似的被復原后的復原圖像色差數(shù)據(jù)，其中，所述同樣的處 理為，在執(zhí)行利用變化要因數(shù)據(jù)，從作為任意的圖像色差數(shù)據(jù)的任意圖 像色差數(shù)據(jù)，生成使該任意圖像色差數(shù)據(jù)變化后的比較用的比較圖像色 差數(shù)據(jù)的步驟，求出作為將原圖像色差數(shù)據(jù)和比較圖像色差數(shù)據(jù)進行比 較后的差分的數(shù)據(jù)的差分色差數(shù)據(jù)的步驟，以及生成將差分色差數(shù)據(jù)根 據(jù)上述變化要因數(shù)據(jù)分配于任意圖像色差數(shù)據(jù)后的復原圖像色差數(shù)據(jù)的 步驟之后，代替任意圖像色差數(shù)據(jù)而使用復原圖像色差數(shù)據(jù)。
采用這樣的圖像處理方法的情況下，由于僅通過利用圖像變化的要 因信息生成規(guī)定的數(shù)據(jù)，而生成與原圖像的亮度數(shù)據(jù)及色差數(shù)據(jù)近似的 復原圖像亮度數(shù)據(jù)及復原圖像色差數(shù)據(jù)，因此硬件上的增加幾乎不存在， 采用了該方法的裝置不會大型化。另外，由于是從復原圖像亮度數(shù)據(jù)及 復原圖像色差數(shù)據(jù)分別作成比較亮度數(shù)據(jù)及比較色差數(shù)據(jù)，并重復進行 將該比較亮度數(shù)據(jù)與處理對象的原圖像的亮度數(shù)據(jù)進行比較這樣的處 理，或重復進行將比較色差數(shù)據(jù)與處理對象的原圖像的色差數(shù)據(jù)進行比 較這樣的處理，而逐漸地得到與成為原圖像的基礎(chǔ)的變化前的圖像近似 的復原圖像亮度數(shù)據(jù)及復原圖像色差數(shù)據(jù)，因此成為現(xiàn)實的復原處理方 法。因此，在圖像的復原處理時能夠形成為具有現(xiàn)實性的圖像處理方法。
發(fā)明效果
采用本發(fā)明的話，能夠形成在復原發(fā)生了劣化的圖像時能夠防止裝 置的大型化，同時，設(shè)有具有現(xiàn)實性的電路處理方法的圖像處理裝置及 圖像處理方法。


圖1是表示本發(fā)明實施形態(tài)涉及的圖像處理裝置的主要構(gòu)成的方框圖。
圖2是表示圖1所示的圖像處理裝置的概要的外觀立體圖，是用于說明角速度傳感器的配置位置的圖。
圖3是用于說明利用圖1所示圖像處理裝置的處理部進行的處理方 法(處理程序)、且為基本觀點的處理流程圖。
圖4是用于說明圖3所示的處理方法的概念的圖。
圖5是以晃動為例子具體地說明圖3所示的處理方法用的圖，是表 示未發(fā)生晃動時的能量集中的表。
圖6是以晃動為例子具體地說明圖3所示的處理方法用的圖，是表 示未發(fā)生晃動時的有關(guān)亮度信息的光能分布的圖。
圖7是以晃動為例子具體地說明圖3所示的處理方法用的圖，是表 示發(fā)生了晃動時的有關(guān)亮度信息的光能能量分散的圖。
圖8是以晃動為例子具體地說明圖3所示的處理方法用的圖，是用 于說明從任意的圖像亮度數(shù)據(jù)生成比較圖像亮度數(shù)據(jù)的狀況的圖。
圖9是以晃動為例子具體地說明圖3所示的處理方法用的圖，是用 于說明將比較圖像亮度數(shù)據(jù)與成為處理對象的模糊原圖像的亮度數(shù)據(jù)進 行比較而生成差分亮度數(shù)據(jù)的狀況的圖。
圖10是以晃動為例子具體地說明圖3所示的處理方法用的圖，是 用于說明通過將差分亮度數(shù)據(jù)分配并添加于任意的圖像亮度數(shù)據(jù)而生成 復原圖像亮度數(shù)據(jù)的狀況的圖。
圖11是以晃動為例子具體地說明圖3所示的處理方法用的圖，是 用于說明由被生成的復原圖像亮度數(shù)據(jù)生成新的比較圖像亮度數(shù)據(jù)，并 將該數(shù)據(jù)與成為處理對象的模糊原圖像的亮度數(shù)據(jù)進行比較而生成差分 亮度數(shù)據(jù)的狀況的圖。
圖12是以晃動為例子具體地說明圖3所示的處理方法用的圖，是 用于說明將新生成的差分亮度數(shù)據(jù)進行分配，生成新的復原圖像亮度數(shù) 據(jù)的狀況的圖。
符號說明 1 4
Img' YImg'
UImg' 、 VImg G
YI0
圖像處理裝置
處理部
原圖像數(shù)據(jù)
原圖像亮度數(shù)據(jù)
原圖像色差數(shù)據(jù)
變化要因數(shù)據(jù)
任意圖像亮度數(shù)據(jù)<formula>formula see original document page 10</formula>
比較圖像亮度數(shù)據(jù) 差分亮度數(shù)據(jù)
<formula>formula see original document page 10</formula>
復原圖像亮度數(shù)據(jù) 基礎(chǔ)圖像亮度數(shù)據(jù) 任意圖像色差數(shù)據(jù) 比較圖像色差數(shù)據(jù) 差分色差數(shù)據(jù)
復原圖像色差數(shù)據(jù) 基礎(chǔ)圖像色差數(shù)據(jù)
具體實施例方式
以下，參照附圖對本發(fā)明第一實施形態(tài)涉及的圖像處理裝置1進行 說明。另外，該圖像處理裝置1是作為在拍攝部使用CCD( Charge Coupled Device)的民用的、所謂的數(shù)碼相機，但是，也可以作為在拍攝部使用 CCD等的攝像器件的監(jiān)視用照相機、電視用照相機用、內(nèi)窺鏡用照相機 等其他用途的照相機，或者也可以適用于顯微鏡用、雙筒望遠鏡用、進 而核磁共振拍攝用等的圖像診斷裝置等、照相機以外的儀器中。另外， 對于圖像處理方法，與圖像處理裝置1一并進行說明。
圖像處理裝置1，設(shè)有拍攝人物等的影像的拍攝部2、驅(qū)動該拍攝 部2的控制系統(tǒng)部3、以及將通過拍攝部2拍攝的圖像進行處理的處理 部4。另外，該實施形態(tài)涉及的圖像處理裝置1，進而設(shè)有記錄被處理部 4處理后的圖像的記錄部5，由角速度傳感器等構(gòu)成、檢測成為被拍攝圖 像的變化(劣化)主要原因的變化要因信息的檢測部6，以及保存使圖 像的劣化等發(fā)生的已知的變化要因信息的要因信息保存部7。
拍攝部2，是設(shè)有將通過了具有鏡頭的攝影光學系統(tǒng)或鏡頭的光轉(zhuǎn) 換為電信號的CCD或CMOS (Complementary Metal Oxide Semiconductor) 等攝像器件的部分。該拍攝部2生成并輸出R(紅)、G(綠)、B(藍) 三色的彩色圖像信號。拍攝部2可以是使用一個將按照RGB區(qū)分的濾光 器層疊排列于拍攝面上的攝像器件的所謂單板式的類型，或者是將通過 了攝影光學系統(tǒng)的攝影光利用二向色棱鏡分離為RGB三色的各色光、對 每個色光都設(shè)置攝像器件的所謂三板式的類型中的、任意一種類型(單 板式/三板式)。控制系統(tǒng)部3，是控制拍攝部2、處理部4、記錄部5、 檢測部6、以及要因信息保存部7等、圖像處理裝置1內(nèi)各部的部分。
處理部4由圖像處理器構(gòu)成，并由ASIC (Application SpecificIntegrated Circuit、專用集成電路)那樣的硬件構(gòu)成。該處理部4中，也 存在保存有成為生成下述比較用圖像的圖像亮度數(shù)據(jù)(以下稱為"比較 圖像亮度數(shù)據(jù)")或比較用圖像的圖像色差數(shù)據(jù)(以下稱為"比較圖像 色差數(shù)據(jù)")時的基礎(chǔ)的圖像的情況。處理部4也可以是利用軟件進行 處理的構(gòu)成，而不是作為ASIC那樣的硬件構(gòu)成。記錄部5由半導體存 儲器構(gòu)成，但是也可以采用硬盤驅(qū)動等的磁記錄手段、或使用DVD等 的光記錄手段等。
檢測部6如圖2所示，是設(shè)有檢測相對于作為圖像處理裝置1的光 軸的Z軸為垂直方向的X軸、Y軸的旋轉(zhuǎn)速度的兩個角速度傳感器的部 分。但是，利用照相機拍攝時的晃動，也會發(fā)生向X方向、Y方向、Z 方向的各方向的移動或圍繞Z軸的轉(zhuǎn)動，相對于各變動所受到的影響最 大的是圍繞Y軸的旋轉(zhuǎn)和圍繞X軸的旋轉(zhuǎn)。這兩種變動僅變動一點點， 拍攝出的圖像便會很模糊。因此，在該實施形態(tài)中，僅配置有圖2的圍 繞X軸和圍繞Y軸的兩個角速度傳感器。但是，為了期望更加完善，也 可以進一步附加圍繞Z軸的角速度傳感器，或者附加檢測向X方向或Y 方向的移動的傳感器。另外，作為使用的傳感器也可以是角加速度傳感 器，而不是角速度傳感器。
要因信息保存部7，保存有作為使拍攝圖像變化的變化要因的信息、 且在開始拍攝前已判斷出的已知的變化要因數(shù)據(jù)。作為已知的變化要因 的信息，例如為光學系統(tǒng)的像差等。另外，在該實施形態(tài)中，要因信息 保存部7中保存有光學系統(tǒng)的像差或鏡頭的偏斜的信息，但是在下述的 晃動的模糊的復原時未利用這些信息。
接下來，對如以上那樣構(gòu)成的圖像處理裝置1的處理部4的處理方 法的概要進行說明。
在處理部4中，首先從作為成為處理對象的拍攝圖像數(shù)據(jù)的原圖像 數(shù)據(jù)Img'中分離YUV( —種顏色編碼方法)的信號。即，從原圖像數(shù)據(jù) Img'中分離作為拍攝圖像的亮度信息的原圖像亮度數(shù)據(jù)YImg'、作為拍 攝圖像的有關(guān)藍色的色差信息的原圖像色差數(shù)據(jù)UImg'、以及作為有關(guān) 紅色的色差信息的原圖像色差數(shù)據(jù)VImg'。在進行相關(guān)分離的處理歩驟 之后，分別對原圖像亮度數(shù)據(jù)YImg'、原圖像色差數(shù)據(jù)UImg'、以及原 圖像色差數(shù)據(jù)VImg'進行圖3所示的復原處理。圖3是對原圖像亮度數(shù) 據(jù)YImg'的處理(復原處理)進行說明的流程圖，但是對于原圖像色差 數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'也進行同樣的復原處理。
在圖3中，"YIo"是作為任意圖像的亮度數(shù)據(jù)的任意圖像亮度數(shù)據(jù)，該任意圖像亮度數(shù)據(jù)YIo事先被保存于處理部4的記錄部。"YV"表 示該任意圖像亮度數(shù)據(jù)YI。的變化圖像的數(shù)據(jù)，是用于比較的圖像亮度 數(shù)據(jù)(以下稱為"比較圖像亮度數(shù)據(jù)")。"G"是成為利用檢測部6 所檢測出的變化要因的信息(-劣化要因的信息(點像函數(shù)))的變化 要因數(shù)據(jù)，是被保存于處理部4的記錄部的數(shù)據(jù)。另外，原圖像亮度數(shù) 據(jù)YImg'是從拍攝圖像數(shù)據(jù)分離出來的數(shù)據(jù)。即，是從由于拍攝時的晃 動等造成的變化要因而變化的原圖像數(shù)據(jù)Img'(拍攝圖像數(shù)據(jù))分離的 亮度數(shù)據(jù)，該原圖像亮度數(shù)據(jù)YImg'也由于變化要因而變化。
"Y5"是作為原圖像亮度數(shù)據(jù)YImg'與比較圖像亮度數(shù)據(jù)YI。'的差 分的數(shù)據(jù)的差分亮度數(shù)據(jù)。"k"是基于變化要因數(shù)據(jù)G的分配比。
"YIQ + n"是將差分亮度數(shù)據(jù)Y5根據(jù)變化要因數(shù)據(jù)分配于任意圖像亮度 數(shù)據(jù)YI。而新生成的復原圖像亮度數(shù)據(jù)。"YImg"是關(guān)于成為原圖像數(shù) 據(jù)Img'的基礎(chǔ)的、發(fā)生變化前的原本的圖像的圖像數(shù)據(jù)(以下稱為"基 礎(chǔ)圖像數(shù)據(jù)")的亮度數(shù)據(jù)(以下稱為"基礎(chǔ)圖像亮度數(shù)據(jù)")。在此， YImg與YImg'的關(guān)系以下面的式(1)表示。
<formula>formula see original document page 12</formula>
"x"為表示疊加積分的算符。
另外，差分亮度數(shù)據(jù)YS也可以為對應(yīng)像素的單純的差分，但是， 一般根據(jù)變化要因數(shù)據(jù)G的不同而不同，以下面的式(2)表示。 YS=f (YImg'， YI0， G) ...... (2)
處理部4的處理程序，首先從將任意圖像亮度數(shù)據(jù)YIo作為初始數(shù) 據(jù)而進行準備開始(步驟S101)。作為該初始數(shù)據(jù)的任意圖像亮度數(shù)據(jù) YIo，可以使用作為拍攝圖像的數(shù)據(jù)的原圖像數(shù)據(jù)Img'的亮度數(shù)據(jù)，另 外也可以使用全黑、全白、全灰、黑白相間的方格花紋等那樣的圖像的 亮度數(shù)據(jù)。在步驟S102中，替代式(1)中的YImg而代入任意圖像亮 度數(shù)據(jù)YIQ，求出該任意圖像亮度數(shù)據(jù)YI。根據(jù)變化要因數(shù)據(jù)G而變化 后的比較圖像亮度數(shù)據(jù)YV。接著，將原圖像亮度數(shù)據(jù)YImg'和比較圖 像亮度數(shù)據(jù)YV進行比較，算出差分亮度數(shù)據(jù)YS (步驟S103)。
接下來，在步驟S104中判斷該差分亮度數(shù)據(jù)YS是否在規(guī)定值以上， 若為規(guī)定值以上，則在步驟S105中進行生成新的任意圖像亮度數(shù)據(jù)(= 復原圖像亮度數(shù)據(jù))Ylo + n的處理。即，根據(jù)變化要因數(shù)據(jù)G將差分亮度數(shù)據(jù)YS分配于任意圖像亮度數(shù)據(jù)YI。，而生成復原圖像亮度數(shù)據(jù)YIo + n。然后，以復原圖像亮度數(shù)據(jù)Yl。+n代替步驟S102中的任意圖像亮度 數(shù)據(jù)YI。，重復步驟S102、 S103、 S104。
在步驟S104中，在差分亮度數(shù)據(jù)Y5小于規(guī)定值時結(jié)束處理(步驟 S106)。然后，將結(jié)束了處理的時點上的復原圖像亮度數(shù)據(jù)Yl。 + n推斷 為正確的亮度數(shù)據(jù)、即未發(fā)生劣化的基礎(chǔ)圖像數(shù)據(jù)Img的亮度數(shù)據(jù)，并 將該亮度數(shù)據(jù)記錄于記錄部5。另外，也可以在記錄部5中預先記錄任 意圖像亮度數(shù)據(jù)YI?；蜃兓驍?shù)據(jù)G，并根據(jù)需要輸送至處理部4。
將以上的處理方法的觀點進行概括的話如下所述。即，在該處理方 法中，不是將處理的解作為逆問題去解決，而是作為求出合理的解的最 佳化問題而進行解決。作為逆問題解決時，也如專利文獻2的記載那樣 理論上是可能的，但作為現(xiàn)實問題是困難的。
作為最佳化問題進行解決，以以下的條件為前提。
艮P， (1)相對于輸入的輸出，規(guī)定為唯一值。
(2) 若輸出相同，則輸入也相同。
(3) 為了使輸出相同，通過在更新輸入的同時進行反復處理， 而使解逐漸收斂。
換句話說，如圖4 (A) 、 (B)所示，如果能夠生成與原圖像亮度 數(shù)據(jù)YImg'近似的比較圖像亮度數(shù)據(jù)YI。' (YIc + n')的話，則成為該生 成的基礎(chǔ)數(shù)據(jù)的任意圖像亮度數(shù)據(jù)YI?；驈驮瓐D像亮度數(shù)據(jù)Yl。+n，成為 與作為原圖像亮度數(shù)據(jù)YImg'的基礎(chǔ)的基礎(chǔ)圖像亮度數(shù)據(jù)YImg近似的 數(shù)據(jù)。
另外，在該實施形態(tài)中，角速度檢測傳感器每隔5Hsec便檢測角速 度。另外，成為差分亮度數(shù)據(jù)Y5的判斷標準的值，在將各數(shù)據(jù)以八位 (0-255)進行表示的情況下，在該實施形態(tài)中為"6" 。 B卩，在小于6、 也就是為5以下時，結(jié)束處理。另外，通過角速度檢測傳感器檢測出的 晃動的原始數(shù)據(jù)，在傳感器自身的校準不充分時，與實際的晃動是不對 應(yīng)的。因此，為了與實際的晃動對應(yīng)，在傳感器未被校準時，必須進行 對通過傳感器檢測出的原始數(shù)據(jù)乘以規(guī)定倍率的矯正。
接下來，根據(jù)圖5、圖6、圖7、圖8、圖9、圖10、圖11以及圖 12，對圖3及圖4所示的處理方法的詳細情況進行說明。 (晃動的復原算法)
在未發(fā)生晃動時，對應(yīng)于規(guī)定像素的光能在曝光時間中集中于該像 素。另外，在拍攝時的曝光時間中由于晃動而圖像處理裝置1發(fā)生了閃動時，光能在曝光時間中分散于晃動的像素中。進而，由于若知道曝光 時間中的晃動的話，便知道曝光時間中的光能的分散方式，因此能夠從 模糊的圖像作出不模糊的圖像。
以下，為了簡便以橫向一維進行說明。將像素從左開始依次設(shè)為…、 n-l、 n、 n+l、 n+2、 n+3、…，并注意某一像素n。由于在未發(fā)生晃動時 曝光時間中的光能集中于該像素，因此光能的集中度為"1.0"。該狀態(tài) 表示于圖5。將此時的各像素的有關(guān)亮度信息的光能分布表示于圖6的 表中。該圖6所示的數(shù)據(jù)，成為不存在因晃動引起的劣化的基礎(chǔ)圖像數(shù) 據(jù)Img的有關(guān)亮度信息的基礎(chǔ)圖像亮度數(shù)據(jù)YImg。另外，各數(shù)據(jù)以八 位(0 255 )的數(shù)據(jù)表示。
曝光時間中存在晃動，且分別為曝光時間中的50%的時間在第11號 的像素中發(fā)生晃動，30%的時間在第n+l號的像素中發(fā)生晃動，20%的 時間在第n+2號的像素中發(fā)生晃動。光能的分散方式如圖7所示的表所 記載。這成為變化要因數(shù)據(jù)G。
由于晃動在所有的像素中都是相同的，因此如果沒有上方晃動(縱 向晃動)的話，晃動的情況如圖8所示的表所記載。圖8中的作為"理 想圖像"而表示的數(shù)據(jù)，是基礎(chǔ)圖像數(shù)據(jù)Img的基礎(chǔ)圖像亮度數(shù)據(jù)YImg， 作為"模糊圖像"而表示的數(shù)據(jù)，成為作為被拍攝圖像的原圖像數(shù)據(jù)Img '的原圖像亮度數(shù)據(jù)YImg'。具體地說，例如"n-3"像素的"120"，按 照有關(guān)作為圖像變化主要原因的晃動的變化要因數(shù)據(jù)G的"0.5" "0.3" "0.2"的分配比，在"n-3"的像素中分散"60" 、 "n-2"的像素中分 散"36" 、 "n-l"的像素中分散"24"。同樣地，作為"n-2"像素的 數(shù)據(jù)"60"，在"n-2"中分散"30" 、 "n-l"中分散"18" 、 "n"中 分散"12"。由該原圖像亮度數(shù)據(jù)YImg'和圖7所示的變化要因數(shù)據(jù)G， 算出不模糊的拍攝圖像。
作為歩驟S101中所示的任意圖像亮度數(shù)據(jù)YIQ，可以采用任意的數(shù) 據(jù)，在進行該說明時使用原圖像亮度數(shù)據(jù)YImg'。即，作為YI^YImg' 而開始進行處理。圖9的表中的"輸入"相當于任意圖像亮度數(shù)據(jù)YI0。 通過步驟S102使變化要因數(shù)據(jù)G作用于該任意圖像亮度數(shù)據(jù)YIC、即原 圖像亮度數(shù)據(jù)YImg'。即，例如任意圖像數(shù)據(jù)YI0的"n-3"像素的"60"， 分別在"n-3"的像素中分配"30" 、 "n-2"的像素中分配"18" 、 "n-l" 的像素中分配"12"。對其他的像素也同樣地分配，生成作為"輸出" 而表示的比較圖像亮度數(shù)據(jù)YI。'。其結(jié)果是，步驟S103的差分亮度數(shù) 據(jù)YS如圖9的最下面一欄所示。在這之后，通過步驟S104判斷差分亮度數(shù)據(jù)YS的大小。具體地說， 在所有差分亮度數(shù)據(jù)Y5的絕對值全變?yōu)椴蛔?時結(jié)束處理，但是，由 于圖9所示的差分亮度數(shù)據(jù)Y5不符合該條件，因此進入步驟S105。艮卩， 使用變化要因數(shù)據(jù)G將差分亮度數(shù)據(jù)Y5分配于任意圖像亮度數(shù)據(jù)YIo， 生成作為圖10中的"下一次輸入"而表示的復原圖像亮度數(shù)據(jù)YI。+n。 此時，由于是第一次，因此在圖10中作為n=l而表示為YI。+1。
差分亮度數(shù)據(jù)Y5的分配是，例如將在"n-3"的像素的數(shù)據(jù)"30" 上乘以作為其自身(="n-3"的像素)分配比的0.5所得的"15"分配 于"n-3"的像素，另外，分配在"n-2"的像素的數(shù)據(jù)"15"上乘以作 為應(yīng)產(chǎn)生于該"n-2"像素的分配比0.3所得的"4.5"，進而，分配在"n-l" 的像素的數(shù)據(jù)"9.2"上乘以作為應(yīng)產(chǎn)生于該"n-l"的像素的分配比0.2 所得的"1.84"。分配于"n-3"的像素中的總量為"21.34"，將該值與 任意圖像亮度數(shù)據(jù)YIQ (在此使用作為拍攝圖像的亮度數(shù)據(jù)的原圖像亮 度數(shù)據(jù)YImg')相加，生成復原圖像亮度數(shù)據(jù)YI。+1。該復原圖像亮度 數(shù)據(jù)Yl。+i是相當于圖IO的表中的"下一次輸入"的數(shù)據(jù)。
如圖11所示，該復原圖像亮度數(shù)據(jù)YIo+,成為步驟S102的輸入圖 像的數(shù)據(jù)(=任意圖像亮度數(shù)據(jù)YIQ)，執(zhí)行步驟S102。圖ll的表中的 "輸入"，相當于復原圖像亮度數(shù)據(jù)YIQ+1。然后，向步驟S103過渡并 得到新的差分亮度數(shù)據(jù)YS。通過步驟S104判斷該新的差分亮度數(shù)據(jù)Y5 的大小，在為規(guī)定值以上時，通過步驟S105將新的差分亮度數(shù)據(jù)Y5分 配于上一次的復原圖像亮度數(shù)據(jù)YIo+1，生成新的復原圖像亮度數(shù)據(jù)YI0 + 2。該復原圖像亮度數(shù)據(jù)YIo+2是相當于圖12的表中的"下一次輸入" 的數(shù)據(jù)。然后，通過步驟S102的執(zhí)行，由復原圖像亮度數(shù)據(jù)YI。 + 2生成 新的比較用圖像亮度數(shù)據(jù)YIQ+2'。這樣，在執(zhí)行步驟S102、 S103之后 進入步驟S104，并通過步驟S104中的判斷向步驟S105前進或向步驟 S106過渡。重復這樣的處理。
在該圖像處理裝置1中，進行處理時，在步驟S104中能夠事先設(shè) 定處理次數(shù)和差分亮度數(shù)據(jù)YS的判斷標準值中的任意一方或雙方。例 如，作為處理次數(shù)，可以設(shè)定二十次、五十次等任意的次數(shù)。另外，能 夠?qū)⑹固幚硗Ｖ沟牟罘至炼葦?shù)據(jù)Y5的值設(shè)定為八位(0 255)中的"5"， 變?yōu)?以下的話使處理結(jié)束，或者設(shè)定為"0.5"，變?yōu)?.5以下的話使 處理結(jié)束。能夠任意地設(shè)定該設(shè)定值。在輸入了處理次數(shù)和判斷標準值 的雙方的情況下，在滿足任意一方時停止處理。另外，在能夠進行雙方 的設(shè)定時，以判斷標準值為優(yōu)先，通過規(guī)定次數(shù)的處理未進入判斷標準值內(nèi)時，也可以再次地重復規(guī)定次數(shù)的處理。
對于原圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'，也分別進行 上述的圖3所示的處理。此時，在對原圖像色差數(shù)據(jù)UImg'進行處理的 情況下，圖3所示的從步驟S101至步驟S105的內(nèi)容如下所示。
首先，在步驟S101中，代替任意圖像亮度數(shù)據(jù)YI。而準備任意圖像 色差數(shù)據(jù)UI。。該任意圖像色差數(shù)據(jù)UI?？梢允孪缺槐４嬗谔幚聿?的記 錄部，在此利用作為原圖像數(shù)據(jù)Img'的色差數(shù)據(jù)的原圖像色差數(shù)據(jù) UImg'。
在步驟S102中，使變化要因數(shù)據(jù)G作用于任意圖像色差數(shù)據(jù)UIo， 求出比較圖像色差數(shù)據(jù)UIQ'。然后，在步驟S103中，將原圖像色差數(shù) 據(jù)UImg'和比較圖像色差數(shù)據(jù)UV進行比較，算出差分色差數(shù)據(jù)U5。
在步驟S104中判斷差分色差數(shù)據(jù)US是否在規(guī)定值以上，若為規(guī)定 值以上，則在步驟S105中進行生成新的任意圖像色差數(shù)據(jù)(-復原圖像 色差數(shù)據(jù))UI。+1的處理。然后，將復原圖像色差數(shù)據(jù)UIe+1作為步驟 S102中的任意圖像色差數(shù)據(jù)UI(j，重復步驟102、步驟103、步驟104。
而且，在步驟S104中，在差分色差數(shù)據(jù)US小于規(guī)定值時結(jié)束處理
(si06)。將在該處理結(jié)束的時點上的復原圖像色差數(shù)據(jù)1;1()+/推斷為
正確的色差數(shù)據(jù)、即未劣化的基礎(chǔ)圖像數(shù)據(jù)Img的有關(guān)藍色的色差信息 的數(shù)據(jù)，并將該復原圖像色差數(shù)據(jù)111()+11'記錄于記錄部5。
接著，說明對原圖像色差數(shù)據(jù)VImg'進行圖3所示的步驟S101至 步驟S105的處理的情況。
首先，在步驟S101中，代替任意圖像亮度數(shù)據(jù)YI。而準備任意圖像 色差數(shù)據(jù)VI。。該任意圖像色差數(shù)據(jù)VI。也可以事先保存于處理部4的記 錄部，在此利用作為原圖像數(shù)據(jù)Img'的色差數(shù)據(jù)的原圖像色差數(shù)據(jù) VImg'。
在步驟S102中，使變化要因數(shù)據(jù)G作用于任意圖像色差數(shù)據(jù)VI0， 求出比較圖像色差數(shù)據(jù)VIo'。然后，在步驟S103中，將原圖像色差數(shù) 據(jù)VImg'和比較圖像數(shù)據(jù)VV進行比較，算出差分色差數(shù)據(jù)V5。
在步驟S104中判斷差分色差數(shù)據(jù)VS是否在規(guī)定值以上，若為規(guī)定 值以上，則在步驟S105中進行生成新的任意圖像色差數(shù)據(jù)(=復原圖像 色差數(shù)據(jù))VI。+1的處理。然后，將復原圖像色差數(shù)據(jù)VI。+1作為步驟 S102中的任意圖像色差數(shù)據(jù)VI。，重復步驟102、步驟103、步驟104。
而且，在步驟S104中，在差分色差數(shù)據(jù)VS小于規(guī)定值時結(jié)束處理 (S106)。將在該處理結(jié)束的時點上的復原圖像色差數(shù)據(jù)VIo化'推斷為正確的色差數(shù)據(jù)、即未劣化的基礎(chǔ)圖像數(shù)據(jù)Img的有關(guān)紅色的色差信息 的數(shù)據(jù)，并將該復原圖像色差數(shù)據(jù)Vl。+n'記錄于記錄部5。
另外，圖3所示處理的變形例、或參照圖4 圖12而進行說明的原 圖像亮度數(shù)據(jù)的處理，可以原封不動地適用于原圖像色差數(shù)據(jù)UImg'及 原圖像色差數(shù)據(jù)VImg'的處理。
通過將如以上那樣被求出且記錄于記錄部5的復原圖像亮度數(shù)據(jù) YI0 + n'、復原圖像色差數(shù)據(jù)UIQ+n'以及復原圖像色差數(shù)據(jù)Vl。 + n'轉(zhuǎn)換為 RGB的信號并進行合成，而生成模糊被消除或大致被消除的復原圖像數(shù) 據(jù)l。 + n'。然后，將該復原圖像數(shù)據(jù)1。+ '推斷為基礎(chǔ)圖像數(shù)據(jù)Img，顯 示于未圖示的顯示器等的顯示部、或者記錄于記錄部5。
但是，YUV的信號(即，原圖像亮度數(shù)據(jù)YImg'、原圖像色差數(shù)據(jù) UImg'以及原圖像色差數(shù)據(jù)VImg')從原圖像數(shù)據(jù)Img'的分離，例如通 過以下的式進行。
YImg'= 0.29891XR十0.58661xG +0.11448xB ... (3) UImg'= -0:16974xR畫0.33126xG十0.50000xB ... (4) VImg'- 0.50000xR-0."869xG十0.08131xB ... (5)
在此，R、 G、 B是原圖像數(shù)據(jù)Img'的有關(guān)R (紅)、G (綠)、B (藍)的顏色成分的光能量(亮度)的數(shù)據(jù)。然后，將通過上述圖3的 處理而被復原的復原圖像亮度數(shù)據(jù)YIQ + n'、復原圖像色差數(shù)據(jù)UIo + Z 以及復原圖像亮度數(shù)據(jù)VI。+n'，例如通過以下的式轉(zhuǎn)換為RGB的信號。
R= YI0+n'+1.40200xVI0+n'... (6)
G= YI0+n'-0.34414xUI0+n'-0.71414xVI0+n' ... (7)
B= YI0+n'+1.77200xUI0+n' ".(8)
然后，通過將利用上述式求出的RGB的信號進行合成，求出復原圖 像1。+/。另外，上述式(3)至(8)為例示，也可以采用其他的轉(zhuǎn)換式。 在此，在作為從RGB信號向"UImg'"以及"VImg'"轉(zhuǎn)換的轉(zhuǎn)換 式的式(4) 、 (5)中，存在進行減法運算的項目。因此，存在"UImg'"、 "VImg'"成為負值的情況。該情況下，將八位設(shè)定為0 255時，圖3 的處理出現(xiàn)障礙。因此，通過將八位的值設(shè)定為-128 127，即使"UImg '"、"VImg'"成為負值也能夠?qū)?yīng)。另外，在原圖像色差數(shù)據(jù)UImg'、原圖像色差數(shù)據(jù)VImg'的復原處理中，對于在重復處理的中途"UIo + n'"或"VI。+n'"超出-128 127的范圍的情況，將超出負值側(cè)(負數(shù)
(minus)側(cè))的部分作為-128而進行處理，相反地，將超出正值側(cè)(正 數(shù)(plus)側(cè))的部分作為127而進行處理。另外，對于"YIG+n'"， 在超過255的值被復原時，也進行限制于255的處理。通過這樣處理， 能夠防止被實施異常的處理或被復原為奇怪的顏色。
另外，在式(6) 、 (7) 、 (8)中，根據(jù)"UIo+n'" 、 "VIo + n'" 的值而存在有在計算式上RGB的值成為負值的情況，但是實際上RGB 的值成為負值的情況是不存在的。此時，對于超出0 255的范圍的部分， 也是將超出負值側(cè)(負數(shù)側(cè))的部分矯正為0后的值作為RGB的值、相 反地，將超出正值側(cè)(正數(shù)側(cè))的部分矯正為255后的值作為RGB的值， 并以該RGB進行處理?；蛘?，進而通過式(3) 、 (4) 、 (5)由矯正 后的RGB的值算出"YImg' " 、 "UImg' " 、 "VImg'"，根據(jù)這些"YImg '"、"UImg'" 、 "VImg'"進行圖3所示的復原處理，并再次通過式
(6)、 (7)、 (8)算出RGB。然后，也可以重復進行RGB的值的矯 正、基于該被矯正后的RGB值的"YImg'" 、 "UImg'" 、"VImg'" 的算出、圖3所示的復原處理、以及接下來的RGB的算出這樣的處理， 直至RGB的值變?yōu)檎禐橹埂?br> 但是，人的眼睛對于顏色變化的感度，相比對于亮度變化的感度要 低。即，看到所拍攝的圖像后的人的感覺，與對于亮度變化的感度相比， 對于顏色變化的感度遲鈍。因此，存在即使減少關(guān)于色差的信息量，人 的視覺也無法辨別的情況。因此，通過對于作為與色差有關(guān)的數(shù)據(jù)的原 圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'，進行壓縮處理使數(shù)據(jù)量 減少，并對被壓縮處理后的原圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù) VImg'進行上述的復原處理，而能夠加快復原處理的處理速度。另外， 由于通過進行壓縮處理數(shù)據(jù)量變少，因此能夠減少記錄部5或處理部4 的記錄部的記錄容量。根據(jù)這樣壓縮后的數(shù)據(jù)而被復原處理后的復原圖 像色差數(shù)據(jù)111() + /及復原圖像亮度數(shù)據(jù)VIQ+n'，成為復原精度低的數(shù) 據(jù)。
但是，對于對人的眼睛敏感的與亮度有關(guān)的原圖像亮度數(shù)據(jù)YImg'， 不實施壓縮處理便進行復原處理。即，復原圖像數(shù)據(jù)Io + n'中的關(guān)于亮度 的成分被高精度地復原。因此，根據(jù)復原圖像數(shù)據(jù)Io+:/而被顯示的影像， 在人的眼睛中能夠作為被良好地復原的圖像而加以認識。
另外，作為壓縮的方法，除了相對于對原圖像數(shù)據(jù)亮度數(shù)據(jù)YImg'以八位進行處理，對原圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'以 六位進行處理這樣的、使數(shù)據(jù)的位數(shù)降低而進行處理的方法之外，還存 在將處理像素進行間隔剔除(例如，使處理像素每隔一個或每隔兩個) 的方法。在將處理像素進行了間隔剔除的情況下，在轉(zhuǎn)換為RGB的信號 后，利用被處理的像素補充未被處理過的像素的RGB的信號。
另外，在步驟S104中，對差分亮度數(shù)據(jù)Y5以及差分色差數(shù)據(jù)U5、 VS設(shè)定有判斷標準值的情況下，對于原圖像色差數(shù)據(jù)UImg'及原圖像色 差數(shù)據(jù)VImg'的復原處理，也可以通過構(gòu)成為，即使對于差分色差數(shù)據(jù) U5、 V5的判斷標準值相比對于差分亮度數(shù)據(jù)Y6的判斷標準值為差分的 數(shù)據(jù)大的值，也使復原處理結(jié)束(步驟S106)，而謀求縮短復原處理的 處理時間。關(guān)于原圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'，由于 是與色差有關(guān)的數(shù)據(jù)，即使沒有像原圖像亮度數(shù)據(jù)YImg'那樣高精度地 復原，根據(jù)復原圖像數(shù)據(jù)I。 + n'而顯示的影像，也能夠在人的眼睛中作為 被良好地復原的圖像而加以認識。因此，例如在上述的說明中構(gòu)成為在 差分亮度數(shù)據(jù)Y5變?yōu)椴蛔?的情況下結(jié)束處理(步驟S106)，但是對 于原圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'的復原處理，也可以 通過構(gòu)成為在差分色差數(shù)據(jù)U5、 VS變?yōu)椴蛔?0的情況下結(jié)束處理(步 驟S106)，而謀求原圖像色差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'的復 原處理的短時間化。
另外，在步驟S104中，事先設(shè)定處理次數(shù)的情況下，相對于對原 圖像亮度數(shù)據(jù)YImg'例如作為處理次數(shù)而設(shè)定為二十次，對于原圖像色 差數(shù)據(jù)UImg'及原圖像色差數(shù)據(jù)VImg'的復原處理，作為處理次數(shù)也可 以設(shè)定為十次。通過這樣構(gòu)成，能夠謀求原圖像色差數(shù)據(jù)UImg'及原圖 像色差數(shù)據(jù)VImg'的復原處理的短時間化，進而，能夠縮短原圖像數(shù)據(jù) Img'的復原處理的時間。另外，也可以使對于兩個原圖像色差數(shù)據(jù)UImg '、VImg'的重復處理回數(shù)不同。
在以上所說明的實施形態(tài)的說明中，未利用保存于要因信息保存部 7的信息，但是也可以使用保存于要因信息保存部7的已知的變化要因、 例如光學像差或鏡頭的偏斜等的數(shù)據(jù)。該情況下，例如在先前的例子(圖 3)的處理方法中，以將晃動的信息和光學像差的信息進行組合而作為一 個變化要因取得并進行處理為佳，但是，也可以在利用晃動的信息進行 的處理結(jié)束后進行利用光學像差的信息的矯正。另外，也可以不設(shè)置該 要因信息保存部7，而僅通過拍攝時的動態(tài)要因、例如晃動而將圖像進 行矯正或復原。以上對本發(fā)明的實施形態(tài)所涉及的圖像處理裝置1進行了說明，但 是只要不脫離本發(fā)明的主旨各種變更實施也是可能的。例如，利用處理
部4進行的處理是由軟件構(gòu)成的，但是也可以利用由分別承擔一部分處 理的部件組成的硬件構(gòu)成。
另外，作為成為處理對象的原圖像除拍攝圖像之外，也可以是將該 拍攝圖像進行補色或傅里葉變換等、實施了加工的圖像。進而，作為比 較用圖像數(shù)據(jù)，除使用變化要因數(shù)據(jù)G生成的數(shù)據(jù)以外，也可以作為對 使用變化要因數(shù)據(jù)G而生成的數(shù)據(jù)施加了補色、或進行了傅里葉變換后 的數(shù)據(jù)。另外，作為變化要因數(shù)據(jù)，除由于晃動引起的圖像劣化的主要 原因的數(shù)據(jù)(信息)之外，也可以為包含有僅使圖像變化的信息、或與 劣化相反地使圖像變好的信息的數(shù)據(jù)。
另外，上述的各處理方法也可以被程序化。另外，也可以將被程序 化的處理方法存入存儲介質(zhì)，例如CD、 DVD、 USB存儲器，并能夠通 過電腦進行讀取。該情況下，圖像處理裝置1具有讀入該存儲介質(zhì)內(nèi)的 程序的讀入手段。進而，也可以將該被程序化的處理方法存入圖像處理 裝置l外部的服務(wù)器，根據(jù)需要下載并使用。該情況下，圖像處理裝置 1具有下載該存儲介質(zhì)內(nèi)的程序的通信手段。
權(quán)利要求
1.一種圖像處理裝置，設(shè)有處理彩色圖像的處理部，其特征在于，所述處理部，從作為成為處理對象的原圖像的數(shù)據(jù)的原圖像數(shù)據(jù)，分離出原圖像亮度數(shù)據(jù)和原圖像色差數(shù)據(jù)，并將所述原圖像亮度數(shù)據(jù)和所述原圖像色差數(shù)據(jù)分別作為處理對象的數(shù)據(jù)，對于所述原圖像亮度數(shù)據(jù)，通過進行重復同樣的處理的重復處理，生成作為所述原圖像變化之前的圖像的基礎(chǔ)圖像的基礎(chǔ)圖像亮度數(shù)據(jù)、或與基礎(chǔ)圖像亮度數(shù)據(jù)近似的被復原后的復原圖像亮度數(shù)據(jù)，其中，所述同樣的處理為，利用作為圖像變化主要原因的數(shù)據(jù)的變化要因數(shù)據(jù)，從作為任意的圖像亮度數(shù)據(jù)的任意圖像亮度數(shù)據(jù)，生成使該任意圖像亮度數(shù)據(jù)變化后的比較用的比較圖像亮度數(shù)據(jù)，求出作為將所述原圖像亮度數(shù)據(jù)和所述比較圖像亮度數(shù)據(jù)進行比較后的差分的數(shù)據(jù)的差分亮度數(shù)據(jù)，生成將所述差分亮度數(shù)據(jù)根據(jù)所述變化要因數(shù)據(jù)分配于所述任意圖像亮度數(shù)據(jù)后的復原圖像亮度數(shù)據(jù)，代替所述任意圖像亮度數(shù)據(jù)而使用所述復原圖像亮度數(shù)據(jù)；對于所述原圖像色差數(shù)據(jù)，通過進行重復同樣的處理的重復處理，生成作為所述原圖像變化之前的圖像的基礎(chǔ)圖像的基礎(chǔ)圖像色差數(shù)據(jù)、或與基礎(chǔ)圖像色差數(shù)據(jù)近似的被復原后的復原圖像色差數(shù)據(jù)，其中，所述同樣的處理為，利用所述變化要因數(shù)據(jù)，從作為任意的圖像色差數(shù)據(jù)的任意圖像色差數(shù)據(jù)，生成使該任意圖像色差數(shù)據(jù)變化后的比較用的比較圖像色差數(shù)據(jù)，求出作為將所述原圖像色差數(shù)據(jù)和所述比較圖像色差數(shù)據(jù)進行比較后的差分的數(shù)據(jù)的差分色差數(shù)據(jù)，生成將所述差分色差數(shù)據(jù)根據(jù)所述變化要因數(shù)據(jù)分配于所述任意圖像色差數(shù)據(jù)后的復原圖像色差數(shù)據(jù)，代替所述任意圖像色差數(shù)據(jù)而使用所述復原圖像色差數(shù)據(jù)。
2. 如權(quán)利要求l所述的圖像處理裝置，其特征在于， 進行將所述復原圖像亮度數(shù)據(jù)與所述復原圖像色差數(shù)據(jù)合成，生成所述基礎(chǔ)圖像的基礎(chǔ)圖像數(shù)據(jù)、或與基礎(chǔ)圖像數(shù)據(jù)近似的被復原后的復 原圖像數(shù)據(jù)的處理。
3. 如權(quán)利要求1或2所述的圖像處理裝置，其特征在于， 將所述原圖像色差數(shù)據(jù)形成為兩個，對兩個所述原圖像色差數(shù)據(jù)分別進行所述重復處理。
4. 如權(quán)利要求1 3中任意一項所述的圖像處理裝置，其特征在于， 對所述原圖像色差數(shù)據(jù)進行壓縮處理，并對被壓縮后的壓縮圖像色差數(shù)據(jù)進行所述重復處理，生成所述復原圖像色差數(shù)據(jù)。
5. 如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述原圖像色差數(shù)據(jù)的壓縮，是將所述原圖像色差數(shù)據(jù)的數(shù)據(jù)進行間隔剔除的間隔剔除處理。
6. 如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述圖像色差數(shù)據(jù)的壓縮，是將生成所述復原圖像色差數(shù)據(jù)的處理，以比進行生成所述復原圖像亮度數(shù)據(jù)的處理位數(shù)少的位數(shù)進行處理。
7. —種圖像處理方法，對彩色圖像進行處理，其特征在于， 在執(zhí)行從作為成為處理對象的原圖像的數(shù)據(jù)的原圖像數(shù)據(jù)，分離出原圖像亮度數(shù)據(jù)和原圖像色差數(shù)據(jù)的歩驟之后，將所述原圖像亮度數(shù)據(jù)和所述原圖像色差數(shù)據(jù)分別作為處理對象的 數(shù)據(jù)，對于所述原圖像亮度數(shù)據(jù)，通過進行重復同樣的處理的重復處理， 生成作為所述原圖像變化之前的圖像的基礎(chǔ)圖像的基礎(chǔ)圖像亮度數(shù)據(jù)、 或與基礎(chǔ)圖像亮度數(shù)據(jù)近似的被復原后的復原圖像亮度數(shù)據(jù)，其中，所 述同樣的處理為，在執(zhí)行利用作為圖像變化主要原因的數(shù)據(jù)的變化要因數(shù)據(jù)，從作為任意的 圖像亮度數(shù)據(jù)的任意圖像亮度數(shù)據(jù)，生成使該任意圖像亮度數(shù)據(jù)變化后 的比較用的比較圖像亮度數(shù)據(jù)的步驟，求出作為將所述原圖像亮度數(shù)據(jù)和所述比較圖像亮度數(shù)據(jù)進行比較 后的差分的數(shù)據(jù)的差分亮度數(shù)據(jù)的步驟，以及生成將所述差分亮度數(shù)據(jù)根據(jù)所述變化要因數(shù)據(jù)分配于所述任 意圖像亮度數(shù)據(jù)后的復原圖像亮度數(shù)據(jù)的歩驟，之后代替所述任意圖像亮度數(shù)據(jù)而使用所述復原圖像亮度數(shù)據(jù)；對于所述圖像色差圖像數(shù)據(jù)，通過進行重復同樣的處理的重復處 理，生成作為所述原圖像變化之前的圖像的基礎(chǔ)圖像的基礎(chǔ)圖像色差數(shù) 據(jù)、或與基礎(chǔ)圖像色差數(shù)據(jù)近似的被復原后的復原圖像色差數(shù)據(jù)，其中，所述同樣的處理為，在執(zhí)行利用所述變化要因數(shù)據(jù)，從作為任意的圖像色差數(shù)據(jù)的任意圖像色 差數(shù)據(jù)，生成使該任意圖像色差數(shù)據(jù)變化后的比較用的比較圖像色差數(shù) 據(jù)的步驟，求出作為將所述原圖像色差數(shù)據(jù)和所述比較圖像色差數(shù)據(jù)進行比較 后的差分的數(shù)據(jù)的差分色差數(shù)據(jù)的步驟，以及生成將所述差分色差數(shù)據(jù)根據(jù)所述變化要因數(shù)據(jù)分配于所述任 意圖像色差數(shù)據(jù)后的復原圖像色差數(shù)據(jù)的步驟，之后代替所述任意圖像色差數(shù)據(jù)而使用所述復原圖像色差數(shù)據(jù)。
全文摘要
為了提供在防止裝置的大型化的同時，具有現(xiàn)實性的、用于圖像復原的電路處理方法，在該圖像處理裝置中，通過重復同樣的處理，而生成變化前(發(fā)生劣化等之前)的基礎(chǔ)圖像的亮度數(shù)據(jù)、或與基礎(chǔ)圖像的亮度數(shù)據(jù)近似的復原圖像亮度數(shù)據(jù)(YI_0+n)；其中，所述同樣的處理為，通過利用成為圖像變化主要原因的變化要因數(shù)據(jù)(G)，從任意圖像亮度數(shù)據(jù)(YI₀)生成比較圖像亮度數(shù)據(jù)(YI₀′)，然后，將成為處理對象的原圖像亮度數(shù)據(jù)(YImg′)和比較圖像亮度數(shù)據(jù)(YI₀′)進行比較，并將得到的差分亮度數(shù)據(jù)(Yδ)根據(jù)變化要因數(shù)據(jù)(G)分配于任意圖像數(shù)據(jù)(YI₀)而生成復原圖像亮度數(shù)據(jù)(YI_0+n)，之后，代替任意圖像亮度數(shù)據(jù)(YI₀)而使用該復原圖像亮度數(shù)據(jù)(YI_0+n)。
文檔編號H04N9/04GK101632309SQ20088000256
公開日2010年1月20日 申請日期2008年1月22日 優(yōu)先權(quán)日2007年1月23日
發(fā)明者小松廣明, 高橋史紀 申請人:日東光學株式會社