專利名稱：圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置。

背景技術(shù)：
眾所周知在現(xiàn)有技術(shù)下利用照相機等拍照時會發(fā)生圖像劣化的情況。作為圖像劣化的主要原因，存在拍照時的晃動、光學系統(tǒng)的各種像差、鏡頭的偏斜等。
為了矯正拍照時的晃動，已知的有移動鏡頭的方法和電路處理方法。例如，作為移動鏡頭的方法，已知的有通過檢測出照相機的晃動而使規(guī)定的鏡頭對應(yīng)于該檢測出的晃動進行移動，從而進行矯正的方法(參照專利文獻1)。
另外，作為電路處理方法，已知的有利用角加速度傳感器檢測照相機光軸的變動，由檢測出的角速度等取得表示拍照時的模糊狀態(tài)的傳遞函數(shù)，并對拍攝圖像進行所取得傳遞函數(shù)的逆變換，從而將圖像復(fù)原的方法(參照專利文獻2)。
專利文獻1日本公開公報、特開平6-317824號(參照說明書摘要)
專利文獻2日本公開公報、特開平11-24122號(參照說明書摘要)

發(fā)明內(nèi)容
發(fā)明所要解決的問題 采用專利文獻1記載的晃動矯正的照相機，由于需要電動機等驅(qū)動鏡頭的硬件的配置空間而導(dǎo)致大型化。另外，由于需要這種硬件自身或驅(qū)動該硬件的驅(qū)動電路，因此成本增加。
另外，專利文獻2記載的晃動矯正的情況下，雖然可以解決上述問題點，但是存在下述的問題。即，雖然在理論上通過所取得的傳遞函數(shù)的逆變換進行圖像復(fù)原是成立的，但是作為實際問題，由于以下兩個理由導(dǎo)致圖像復(fù)原是困難的。
第一，所取得的傳遞函數(shù)對于噪音或晃動信息誤差等非常弱，這些稍有變動，傳遞函數(shù)值便發(fā)生很大的變動。因此，通過逆變換獲得的復(fù)原圖像，與在未發(fā)生晃動的狀態(tài)下拍攝的圖像相差甚遠，實際上并不能利用。第二，在進行考慮了噪音等的逆變換的情況下，也能夠采用通過聯(lián)立方程式的解的奇異值(特殊值)分解等而推算解的方法，但是，用于該推算的計算值有天文數(shù)字那么大，實際上無法解答的危險性高。
如上所述，本發(fā)明的課題在于提供一種在復(fù)原圖像時防止裝置的大型化，同時，設(shè)有具有現(xiàn)實性的電路處理方式的圖像處理裝置。
解決課題的手段 為了解決上述課題，本發(fā)明的圖像處理裝置是，設(shè)有處理圖像的處理部的圖像處理裝置，處理部通過利用成為圖像變化主要原因的變化要因信息的數(shù)據(jù)由任意圖像的數(shù)據(jù)生成比較用數(shù)據(jù)，將成為處理對象的原圖像的數(shù)據(jù)和比較用數(shù)據(jù)進行比較，并按照變化要因信息的數(shù)據(jù)從所得到的差分的數(shù)據(jù)中去除周圍的影響后，所得到的值除以作為變化要因信息的數(shù)據(jù)且不足1的值而作為復(fù)位量，從而生成復(fù)原數(shù)據(jù)，且通過使用該復(fù)原數(shù)據(jù)來代替任意圖像的數(shù)據(jù)并重復(fù)同樣的處理，生成成為原圖像變化前的原圖像、或與變化前原圖像近似的圖像的數(shù)據(jù)的復(fù)原數(shù)據(jù)。
采用該發(fā)明的話，由于僅通過利用圖像變化的要因信息生成規(guī)定的數(shù)據(jù)而生成與原圖像近似的復(fù)原數(shù)據(jù)，因此幾乎沒有硬件上的增加，從而裝置不會大型化。另外，由于重復(fù)進行由復(fù)原數(shù)據(jù)做成比較用數(shù)據(jù)、并將該比較用數(shù)據(jù)和處理對象的原圖像的數(shù)據(jù)進行比較這樣的處理，從而獲得漸漸地與成為原圖像基礎(chǔ)的變化前的影像接近的復(fù)原數(shù)據(jù)，因此成為現(xiàn)實的復(fù)原作業(yè)。另外，由于去除周圍影響后的差分的數(shù)據(jù)除以不足1的值、并將除算值復(fù)位，因此能夠以較少的重復(fù)處理次數(shù)獲得高質(zhì)量的復(fù)原數(shù)據(jù)。因此，在復(fù)原圖像時，能夠形成設(shè)有具有現(xiàn)實性的電路處理方式的圖像處理裝置。
另外，其他發(fā)明的圖像處理裝置是，在設(shè)有處理圖像的處理部的圖像處理裝置中，處理部通過利用成為圖像變化主要原因的變化要因信息的數(shù)據(jù)由任意圖像的數(shù)據(jù)生成比較用數(shù)據(jù)，將成為處理對象的原圖像的數(shù)據(jù)和比較用數(shù)據(jù)進行比較后，所得到的差分的數(shù)據(jù)、或差分的數(shù)據(jù)乘以不足1的值后所得的值除以作為變化要因信息的數(shù)據(jù)且不足1的值而作為復(fù)位量，并作為特定像素的復(fù)原數(shù)據(jù)的值而決定，按照變化要因信息的數(shù)據(jù)從差分的數(shù)據(jù)中去除由于該復(fù)原數(shù)據(jù)的值而引起的周圍影響，從而生成各像素的復(fù)原數(shù)據(jù)，且通過使用該復(fù)原數(shù)據(jù)來代替任意圖像的數(shù)據(jù)并重復(fù)同樣的處理，生成成為原圖像變化前的圖像、或與變化前圖像近似的圖像的數(shù)據(jù)的復(fù)原數(shù)據(jù)。
采用該發(fā)明的話，由于僅通過利用圖像變化的要因信息生成規(guī)定的數(shù)據(jù)而生成與原圖像近似的復(fù)原數(shù)據(jù)，因此幾乎沒有硬件上的增加，從而裝置不會大型化。另外，由于重復(fù)進行由復(fù)原數(shù)據(jù)做成比較用數(shù)據(jù)、并將該比較用數(shù)據(jù)和處理對象的原圖像的數(shù)據(jù)進行比較這樣的處理，從而獲得漸漸地與成為原圖像基礎(chǔ)的變化前的影像接近的復(fù)原數(shù)據(jù)，因此成為現(xiàn)實的復(fù)原作業(yè)。另外，由于去除周圍影響后的差分的數(shù)據(jù)除以不足1的值、并將該除算值復(fù)位，因此能夠以較少的重復(fù)處理次數(shù)獲得高質(zhì)量的復(fù)原數(shù)據(jù)。因此，在復(fù)原圖像時，能夠形成設(shè)有具有現(xiàn)實性的電路處理方式的圖像處理裝置。
進而，其他的發(fā)明是在上述發(fā)明的基礎(chǔ)上，處理部進行的處理為，在進行重復(fù)處理時，在重復(fù)次數(shù)達到規(guī)定次數(shù)時的差分的數(shù)據(jù)為規(guī)定值以下或小于規(guī)定值時停止處理，在超過規(guī)定值或為規(guī)定值以上時，再次重復(fù)規(guī)定次數(shù)的處理。在該發(fā)明中，由于將處理次數(shù)和差分的值組合而進行處理，因此，與僅對處理次數(shù)增加限制或?qū)Σ罘值闹颠M行限制的情況相比較，能夠成為可保持圖像佳和處理時間短之間的平衡的處理。
另外，其他發(fā)明的圖像處理裝置是，在設(shè)有處理圖像的處理部的圖像處理裝置中，處理部進行的處理為，通過利用成為圖像變化主要原因的變化要因信息的數(shù)據(jù)由規(guī)定圖像的數(shù)據(jù)生成比較用數(shù)據(jù)，將成為處理對象的圖像發(fā)生變化后的原圖像的數(shù)據(jù)和比較用數(shù)據(jù)進行比較后，在所得到的差分的數(shù)據(jù)為規(guī)定值以下或小于規(guī)定值時停止處理，并將成為比較用數(shù)據(jù)基礎(chǔ)的規(guī)定的圖像作為原圖像變化前的圖像或與變化前圖像近似的圖像而使用，在差分大于規(guī)定值或為規(guī)定值以上時，按照變化要因信息的數(shù)據(jù)從差分的數(shù)據(jù)中去除周圍的影響后，所得到的值除以作為變化要因信息的數(shù)據(jù)且不足1的值而作為復(fù)位量，從而生成復(fù)原數(shù)據(jù)，并以該復(fù)原數(shù)據(jù)取代規(guī)定的圖像而重復(fù)同樣的處理。
采用該發(fā)明的話，由于利用圖像劣化等的變化要因信息生成比較用數(shù)據(jù)并與原圖像進行比較，且僅在差大的時候生成與原圖像近似的復(fù)原數(shù)據(jù)，因此幾乎沒有硬件上的增加，從而裝置不會大型化。另外，由于重復(fù)進行由復(fù)原數(shù)據(jù)做成比較用數(shù)據(jù)、并將該比較用數(shù)據(jù)和處理對象的原圖像的數(shù)據(jù)進行比較的處理，從而獲得漸漸地與成為原圖像基礎(chǔ)的變化前的影像接近的復(fù)原數(shù)據(jù)，因此成為現(xiàn)實的復(fù)原作業(yè)。另外，由于去除周圍影響后的差分的數(shù)據(jù)除以不足1的值、并將該除算值復(fù)位，因此能夠以較少的重復(fù)處理次數(shù)獲得高質(zhì)量的復(fù)原數(shù)據(jù)。因此，在復(fù)原發(fā)生劣化等的圖像時，能夠形成設(shè)有具有現(xiàn)實性的電路處理方式的圖像處理裝置。
另外，其他發(fā)明的圖像處理裝置是，在設(shè)有處理圖像的處理部的圖像處理裝置中，處理部進行的處理為，通過利用成為圖像變化主要原因的變化要因信息的數(shù)據(jù)由規(guī)定圖像的數(shù)據(jù)生成比較用數(shù)據(jù)，將成為處理對象的圖像發(fā)生變化后的原圖像的數(shù)據(jù)和比較用數(shù)據(jù)進行比較后，在所得到的差分的數(shù)據(jù)為規(guī)定值以下或小于規(guī)定值時停止處理，并將成為比較用數(shù)據(jù)的基礎(chǔ)的規(guī)定圖像作為原圖像變化前的圖像或與變化前圖像近似的圖像而使用，在差分大于規(guī)定值或為規(guī)定值以上時，差分的數(shù)據(jù)、或差分的數(shù)據(jù)乘以不足1的值所得的值除以作為變化要因信息的數(shù)據(jù)且不足1的值而作為復(fù)位量，并作為特定像素的復(fù)原數(shù)據(jù)的值而決定，按照變化要因信息的數(shù)據(jù)從差分的數(shù)據(jù)中去除由于該復(fù)原數(shù)據(jù)的值而引起的周圍的影響，從而生成各像素的復(fù)原數(shù)據(jù)，并以該復(fù)原數(shù)據(jù)取代規(guī)定的圖像而重復(fù)同樣的處理。
采用該發(fā)明的話，由于利用圖像劣化等的變化要因信息生成比較用數(shù)據(jù)并與原圖像進行比較，且僅在差大的時候生成與原圖像近似的復(fù)原數(shù)據(jù)，因此幾乎沒有硬件上的增加，從而裝置不會大型化。另外，由于重復(fù)進行由復(fù)原數(shù)據(jù)做成比較用數(shù)據(jù)、并將該比較用數(shù)據(jù)和處理對象的原圖像的數(shù)據(jù)進行比較的處理，從而獲得漸漸地與成為原圖像基礎(chǔ)的變化前的影像接近的復(fù)原數(shù)據(jù)，因此成為現(xiàn)實的復(fù)原作業(yè)。另外，由于去除周圍影響后的差分的數(shù)據(jù)除以不足1的值、并將該除算值復(fù)位，因此能夠以較少的重復(fù)處理次數(shù)獲得高質(zhì)量的復(fù)原數(shù)據(jù)。因此，在復(fù)原發(fā)生劣化等的圖像時，能夠形成設(shè)有具有現(xiàn)實性的電路處理方式的圖像處理裝置。
另外，其他發(fā)明是在上述發(fā)明的基礎(chǔ)上，處理部進行在重復(fù)處理時，若重復(fù)次數(shù)達到規(guī)定次數(shù)，便停止的處理。采用該構(gòu)成的情況下，由于無論差分是否變?yōu)椤?”都停止處理，因此能夠防止處理的長時間化。另外，由于使處理持續(xù)至規(guī)定次數(shù)，因此復(fù)原數(shù)據(jù)更接近于成為原圖像的基礎(chǔ)的變化前的影像。進而，在有噪音等的情況下，實際上容易發(fā)生差分不變?yōu)椤?”的情況，在這樣的情況下會無限制地重復(fù)進行處理，但是采用該構(gòu)成的話，不會發(fā)生這樣的問題。
進而，其他的發(fā)明是在上述發(fā)明的基礎(chǔ)上，設(shè)有檢測變化要因信息的檢測部和保存已知的變化要因信息的要因信息保存部。采用該構(gòu)成的話，能夠獲得考慮到了圖像變化的外部要因和內(nèi)部要因雙方的、被矯正的復(fù)原數(shù)據(jù)。
另外，以在以變化要因信息的數(shù)據(jù)進行除算時所使用的值為變化要因信息的數(shù)據(jù)中的分量最大的值為佳。采用該構(gòu)成的話，能夠使處理速度更加提高。
進而，以算出復(fù)位量的順序取決于變化要因信息的數(shù)據(jù)的性質(zhì)為佳。采用該構(gòu)成的話，能夠根據(jù)變化要因信息的數(shù)據(jù)的性質(zhì)而選擇最合適的處理方法。
發(fā)明的效果 采用本發(fā)明的話，能夠形成在復(fù)原發(fā)生了劣化等變化的圖像時，可以防止裝置的大型化，同時，設(shè)有具有現(xiàn)實性的電路處理方式的圖像處理裝置。



圖1是表示本發(fā)明第一實施方式涉及的圖像處理裝置的主要構(gòu)成的方框圖。
圖2是表示圖1所示圖像處理裝置的概略的外觀立體圖，是用于說明角速度傳感器的配置位置的圖。
圖3是用于說明利用圖1所示圖像處理裝置的處理部進行的處理方法(處理程序)的基本概念的處理流程圖。
圖4是用于說明圖3所示處理方法的概念的圖。
圖5是以晃動為例子具體地說明圖3所示的處理方法用的圖，是表示未發(fā)生晃動時的能量集中的表。
圖6是以晃動為例子具體地說明圖3所示的處理方法用的圖，是未發(fā)生晃動時的圖像數(shù)據(jù)的示意圖。
圖7是以晃動為例子具體地說明圖3所示的處理方法用的圖，是發(fā)生晃動時的能量分散的示意圖。
圖8是以晃動為例子具體地說明圖3所示的處理方法用的圖，是用于說明由任意的圖像生成比較用數(shù)據(jù)的狀況的圖。
圖9是以晃動為例子具體地說明圖3所示的處理方法用的圖，是用于說明將比較用數(shù)據(jù)和成為處理對象的模糊原圖像進行比較而生成差分的數(shù)據(jù)的狀況的圖。
圖10是以晃動為例子具體地說明圖3所示的處理方法用的圖，是用于說明通過將差分的數(shù)據(jù)進行分配并追加于任意的圖像中而生成復(fù)原數(shù)據(jù)的狀況的圖。
圖11是以晃動為例子具體地說明圖3所示的處理方法用的圖，是用于說明由被生成的復(fù)原數(shù)據(jù)生成新的比較用數(shù)據(jù)，將該數(shù)據(jù)和成為處理對象的模糊原圖像進行比較而生成差分的數(shù)據(jù)的狀況的圖。
圖12是以晃動為例子具體地說明圖3所示的處理方法用的圖，是用于說明將新生成的差分的數(shù)據(jù)進行分配并生成新的復(fù)原數(shù)據(jù)的狀況的圖。
圖13是用于說明圖5～圖12所示處理方法的問題點的圖。
圖14是用于說明圖1所示圖像處理裝置進行的算法的圖，是用于說明采用圖3所示處理方法的觀點、但一部分發(fā)生變更的算法內(nèi)容的圖。
圖15是用于說明本發(fā)明第二實施方式涉及的圖像處理裝置所使用的算法的圖。
符號說明 1、1A圖像處理裝置 2拍攝部 3控制系統(tǒng)部 4處理部 5記錄部 6檢測部 7要因信息保存部 Io 初始圖像的數(shù)據(jù)(任意圖像的數(shù)據(jù)) Io’ 比較用數(shù)據(jù) G變化要因信息的數(shù)據(jù)(劣化要因信息的數(shù)據(jù)) Img’原圖像的數(shù)據(jù)(拍攝的圖像) σ 差分的數(shù)據(jù) k分配比 Io+n 復(fù)原數(shù)據(jù)(復(fù)原圖像的數(shù)據(jù)) Img 未劣化的原正確圖像的數(shù)據(jù)(基礎(chǔ)圖像)
具體實施例方式 以下，參照附圖對本發(fā)明第一實施方式涉及的圖像處理裝置1進行說明。而且，該圖像處理裝置1是作為民用的照相機的，但是，也可以作為監(jiān)視用照相機、電視用照相機、內(nèi)窺鏡照相機等其他用途的照相機，或者也可以使用于顯微鏡、雙筒望遠鏡、進而NMR拍攝等的圖像診斷裝置等、照相機以外的儀器中。
圖像處理裝置1，設(shè)有拍攝人物等的影像的拍攝部2、驅(qū)動該拍攝部2的控制系統(tǒng)部3以及將通過拍攝部2拍攝的圖像進行處理的處理部4。另外，該實施方式涉及的圖像處理裝置1，進而設(shè)有記錄被處理部4處理的圖像的記錄部5，由角速度傳感器等構(gòu)成、檢測成為圖像劣化等變化的主要原因的變化要因信息的檢測部6，以及保存使圖像劣化等發(fā)生的已知的變化要因信息的要因信息保存部7。另外，也可以將由監(jiān)控器等構(gòu)成的顯示部設(shè)置于圖像處理裝置1。
拍攝部2是設(shè)有將通過了具有鏡頭的攝影光學系統(tǒng)或鏡頭的光轉(zhuǎn)換為電信號的CCD(Charge Coupled Devices)或C-MOS(ComplementaryMetal Oxide Semiconductor)等的攝像器件的部分?？刂葡到y(tǒng)部3控制拍攝部2、處理部4、記錄部5、檢測部6以及要因信息保存部7等、圖像處理裝置1內(nèi)的各部。
處理部4由圖像處理器構(gòu)成，并由ASIC(Application Specific Integrated Circuit)那樣的硬件構(gòu)成。該處理部4中，也保存有成為生成下述比較用數(shù)據(jù)時的基礎(chǔ)的圖像。處理部4也可以作為利用軟件進行處理的構(gòu)成，而不是作為ASIC那樣的硬件而構(gòu)成。記錄部5是由半導(dǎo)體存儲器構(gòu)成的，但是也可以采用硬盤驅(qū)動等的磁記錄手段、或使用DVD(DigitalVersatile Disk)等的光記錄手段等。
如圖2所示，檢測部6設(shè)有檢測相對于作為圖像處理裝置1的光軸的Z軸為垂直方向的X軸、Y軸的旋轉(zhuǎn)速度的兩個角速度傳感器。但是，在利用照相機拍照時的晃動也會發(fā)生向X方向、Y方向、Z方向的各方向的移動或圍繞Z軸的轉(zhuǎn)動，相對于各變動所受到的影響最大的是圍繞Y軸的旋轉(zhuǎn)和圍繞X軸的旋轉(zhuǎn)。該兩種變動僅變動一點點，拍攝出的圖像便會很模糊。因此，在該實施方式中，僅配置有圖2的圍繞X軸和圍繞Y軸的兩個角速度傳感器。但是，為了期望更加完善，也可以進一步附加圍繞Z軸的角速度傳感器，或者附加檢測向X方向或Y方向的移動的傳感器。另外，作為所使用的傳感器，也可以不采用角速度傳感器，而采用角加速度傳感器。
要因信息保存部7是保存已知的劣化要因信息等的變化要因信息、例如光學系統(tǒng)的像差等的記錄部。而且，在該實施方式中，在要因信息保存部7中保存有光學系統(tǒng)的像差或鏡頭偏斜的信息，但是在后述的復(fù)原因晃動而發(fā)生的模糊時未利用這些信息。
接著，根據(jù)圖3對成為如以上那樣構(gòu)成的圖像處理裝置1的處理部4的處理方法基礎(chǔ)的概念進行說明。
圖3中，“Io”為任意的初始圖像，是預(yù)先保存于處理部4的記錄部的圖像的數(shù)據(jù)?！癐o’”表示該初始圖像的數(shù)據(jù)Io的劣化圖像的數(shù)據(jù)，是用于進行比較的比較用數(shù)據(jù)?！癎”是通過檢測部6檢測出的變化要因信息(＝劣化要因信息(點像函數(shù)))的數(shù)據(jù)，且被保存于處理部4的記錄部?！癐mg’”指的是拍攝的圖像、即劣化圖像的數(shù)據(jù)，是在該處理中成為處理對象的原圖像的數(shù)據(jù)。
“σ”是原圖像的數(shù)據(jù)Img’與比較用數(shù)據(jù)Io’的差分的數(shù)據(jù)?！発”是基于變化要因信息的數(shù)據(jù)G的分配比?！癐o+n”是將差分的數(shù)據(jù)σ根據(jù)變化要因信息的數(shù)據(jù)G分配于初始圖像的數(shù)據(jù)Io后新生成的復(fù)原圖像的數(shù)據(jù)(復(fù)原數(shù)據(jù))。“Img”是成為未劣化的原正確圖像的數(shù)據(jù)的基礎(chǔ)圖像，其中未劣化的原正確圖像成為作為被拍攝的劣化圖像的原圖像的數(shù)據(jù)Img’的基礎(chǔ)。在此，Img和Img’的關(guān)系以下面的式(1)表示。
Img’＝Img×G…(1) 而且，差分的數(shù)據(jù)σ也可以為對應(yīng)像素的單純的差分，但是，一般根據(jù)變化要因信息的數(shù)據(jù)G的不同而不同，以下面的式(2)表示。
σ＝f(Img’，Img，G)…(2) 處理部4的處理程序，首先從準備任意圖像的數(shù)據(jù)Io(步驟S101)開始。作為該初始圖像的數(shù)據(jù)Io，可以使用被拍攝的劣化圖像的數(shù)據(jù)Img’，另外，也可以使用全黑、全白、全灰、黑白相間的方格花紋等那樣的圖像的數(shù)據(jù)。在步驟S102中，代替(1)式的Img而代入成為初始圖像的任意圖像的數(shù)據(jù)Io，并求出作為劣化圖像的比較用數(shù)據(jù)Io’。接著，將作為被拍攝的劣化圖像的原圖像的數(shù)據(jù)Img’和比較用數(shù)據(jù)Io’進行比較，算出差分的數(shù)據(jù)σ(步驟S103)。
接著，在步驟S104中判斷該差分的數(shù)據(jù)δ是否為規(guī)定值以上，為規(guī)定值以上的話，在步驟S105中進行生成新的復(fù)原圖像的數(shù)據(jù)(＝復(fù)原數(shù)據(jù))的處理。即，根據(jù)變化要因信息的數(shù)據(jù)G將差分的數(shù)據(jù)δ分配于任意圖像的數(shù)據(jù)Io，生成新的復(fù)原數(shù)據(jù)Io+n。然后，重復(fù)步驟S102、S103、S104。
在步驟S104中，在差分的數(shù)據(jù)δ小于規(guī)定值時結(jié)束處理(步驟S106)。然后，將結(jié)束了處理的時點的復(fù)原數(shù)據(jù)Io+n推斷為正確的圖像、即未劣化圖像的數(shù)據(jù)Img，并將該數(shù)據(jù)記錄于記錄部5。而且，也可以在記錄部5中預(yù)先記錄初始圖像的數(shù)據(jù)Io或變化要因信息的數(shù)據(jù)G，從而根據(jù)需要過渡到處理部4。
將以上處理方法的觀點進行概括的話如下所述。即，在該處理方法中，不將處理的解作為逆問題進行解決，而是作為求出合理的解的最佳化問題進行解決。在作為逆問題解決時，也如專利文獻2的記載那樣理論上是可能的，但作為現(xiàn)實問題是困難的。
作為最佳化問題進行解決，以以下的條件為前提。
即，(1)相對于輸入的輸出，規(guī)定為唯一值。
(2)若輸出是相同的，則輸入相同。
(3)為了使輸出相同，通過在更新輸入的同時進行反復(fù)處理而使解收斂。
換言之，如圖4(A)、(B)所示，如果能夠生成與作為被拍攝圖像的原圖像的數(shù)據(jù)Img’近似的比較用數(shù)據(jù)Io’(Io+n’)的話，則成為該生成的基礎(chǔ)數(shù)據(jù)的初始圖像的數(shù)據(jù)Io或復(fù)原數(shù)據(jù)Io+n，為成為原圖像的數(shù)據(jù)Img’的基礎(chǔ)的正確圖像的數(shù)據(jù)Img或與該正確圖像數(shù)據(jù)近似的數(shù)據(jù)。
另外，在該實施方式中，角速度檢測傳感器每隔5μsec便檢測角速度。另外，成為差分的數(shù)據(jù)σ的判定標準的值，在將各數(shù)據(jù)以八位(bit)(0～255)表示的情況下，在該實施方式中形成為“6”。即，在小于6、也就是為5以下時，結(jié)束處理。另外，通過角速度檢測傳感器檢測出的晃動的原始數(shù)據(jù)，在傳感器自身的校準不充分時，與實際的晃動是不對應(yīng)的。因此，為了與實際的晃動對應(yīng)，在傳感器未被校準時，必須進行對通過傳感器檢測出的原始數(shù)據(jù)乘以規(guī)定倍率的矯正。
接著，根據(jù)圖5、圖6、圖7、圖8、圖9、圖10、圖11及圖12對圖3及圖4所示處理方法的具體例子進行說明。
(晃動的復(fù)原算法) 未發(fā)生晃動時，對應(yīng)于規(guī)定像素的光能，在曝光時間中集中于該像素。另外，發(fā)生晃動時，光能在曝光時間中分散于晃動的像素中。進而，如果知道曝光時間中的晃動的話，便知道曝光時間中能量的分散方式，因此能夠由模糊的圖像作出不模糊的圖像。
以下，為簡單化，以橫向一維進行說明。將像素從左開始依次地設(shè)為n-1、n、n+1、n+2、n+3、…，并注意某一像素n。由于在未發(fā)生晃動時曝光時間中的能量集中于該像素，因此能量的集中度為“1.0”。該情況表示于圖5。將此時的拍攝結(jié)果表示于圖6的表中。圖6所示的數(shù)據(jù)成為未發(fā)生劣化時的正確圖像數(shù)據(jù)Img。而且，各數(shù)據(jù)以八位(0～255)的數(shù)據(jù)表示。
曝光時間中有晃動，且分別為曝光時間中的50％的時間在第n號的像素中發(fā)生晃動、30％的時間在第n+1號的像素中發(fā)生晃動、20％的時間在第n+2號的像素中發(fā)生晃動。能量的分散方式如圖7所示的表所記載。這成為變化要因信息的數(shù)據(jù)G。
由于晃動在所有的像素中都是相同的，因此如果沒有上方晃動(縱向晃動)的話，晃動的情況如圖8所示的表所記載。圖8中的作為“拍攝結(jié)果”而表示的數(shù)據(jù)是原正確圖像的數(shù)據(jù)Img，作為“模糊圖像”而表示的數(shù)據(jù)是拍攝的劣化圖像的數(shù)據(jù)Img’。具體地說，例如“n-3”的像素的“120”，按照作為晃動信息的變化要因信息的數(shù)據(jù)G的“0.5”“0.3”“0.2”的分配比，在“n-3”的像素中分散“60”、“n-2”的像素中分散“36”、“n-1”的像素中分散“24”。同樣地，作為“n-2”的像素的數(shù)據(jù)的“60”，在“n-2”的像素中分散“30”、“n-1”的像素中分散“18”、“n”的像素中分散“12”。由該劣化圖像的數(shù)據(jù)Img’和圖7所示的變化要因信息的數(shù)據(jù)G，算出不模糊的拍攝結(jié)果。
作為步驟S101中所示的任意圖像的數(shù)據(jù)Io，可以采用任意的數(shù)據(jù)，在進行該說明時使用拍攝的原圖像的數(shù)據(jù)Img’。即，作為Io＝Img’開始進行處理。圖9的表中的“輸入”相當于初始圖像的數(shù)據(jù)Io。通過步驟S 102，在該數(shù)據(jù)Io、即Img’上乘以變化要因信息的數(shù)據(jù)G。即，例如初始圖像的數(shù)據(jù)Io的“n-3”的像素的“60”，分別在“n-3”的像素中分散“30”、“n-2”的像素中分散“18”、“n-1”的像素中分散“12”。對于其他的像素也同樣地分配，生成作為“輸出Io’”而表示的比較用數(shù)據(jù)Io’。因此，步驟S103的差分的數(shù)據(jù)δ如圖9的最下面一欄所示。
然后，通過步驟S104判斷差分的數(shù)據(jù)δ的大小。具體來說，在所有差分的數(shù)據(jù)σ的絕對值全變?yōu)?以下時結(jié)束處理，但是，圖9所示的差分的數(shù)據(jù)σ不符合該條件，因此進入步驟S105。即，使用變化要因信息的數(shù)據(jù)G將差分的數(shù)據(jù)σ分配到任意圖像的數(shù)據(jù)Io，并生成作為圖10中的“下一次輸入”而表示的復(fù)原數(shù)據(jù)Io+n。此時，由于是第一次，因此在圖10中表示為Io+1。
差分的數(shù)據(jù)σ的分配，例如將在“n-3”的像素的數(shù)據(jù)“30”上乘以作為其自身(＝“n-3”的像素)分配比的0.5所得的“15”分配于“n-3”的像素，另外，分配在“n-2”的像素的數(shù)據(jù)“15”上乘以作為應(yīng)產(chǎn)生于該“n-2”像素中的分配比的0.3所得的“4.5”，進而，分配在“n-1”的像素的數(shù)據(jù)“9.2”上乘以作為應(yīng)產(chǎn)生于該“n-1”像素中的分配比的0.2所得的“1.84”。分配于“n-3”的像素的總量為“21.34”，將該值與初始圖像的數(shù)據(jù)Io(這里使用被拍攝的原圖像的數(shù)據(jù)Img’)相加，生成復(fù)原數(shù)據(jù)Io+1。
如圖11所示，該復(fù)原數(shù)據(jù)Io+1成為步驟S102的輸入圖像的數(shù)據(jù)(＝初始圖像的數(shù)據(jù)Io)，實施步驟S102并向步驟S103過渡，從而得到新的差分的數(shù)據(jù)σ。通過步驟S104判斷該新的差分的數(shù)據(jù)σ的大小，在大于規(guī)定值時，通過步驟S105將新的差分的數(shù)據(jù)σ分配于上一次的復(fù)原數(shù)據(jù)Io+1中，生成新的復(fù)原數(shù)據(jù)Io+2(參照圖12)。然后，通過步驟S102的進行，由復(fù)原數(shù)據(jù)Io+2生成新的比較用數(shù)據(jù)Io+2’。這樣，在實施步驟S102、S103之后進入步驟S104，并通過步驟S104中的判斷向步驟S105前進或向步驟S106過渡。重復(fù)這樣的處理。
本發(fā)明人查明了，采用這樣的算法使反復(fù)次數(shù)為數(shù)萬次而循環(huán)非常多次的話，復(fù)原數(shù)據(jù)Io+n相對于原來的基礎(chǔ)圖像會非常近似。但是，在考慮產(chǎn)品化的情況下，數(shù)萬次的反復(fù)處理是不現(xiàn)實的。必須如此地使反復(fù)處理重復(fù)數(shù)萬次的原因是由于收斂速度非常的慢。
該收斂速度慢的原因認為如下。即，由于以劣化圖像空間進行復(fù)原數(shù)據(jù)Io+n的評價，因此原來的基礎(chǔ)圖像空間中的差分被分散于周圍，從而值也變小。另外，由該差分算出的反饋更新量也利用變化要因信息的數(shù)據(jù)G進行計算，從而成為更加小的值，原來不應(yīng)該反饋的差分也記入更新量中。因此，可以認為由于反饋更新量小、而且反饋更新量中含有誤差部分(不應(yīng)該反饋的量)，從而導(dǎo)致收斂速度非常的慢。
根據(jù)圖13對該情況進行說明。圖13(A)表示變化要因信息的數(shù)據(jù)G為劣化要因信息、像素值“1”在十處各分散“0.1”的例子。圖13(B)是根據(jù)(A)的變化要因信息的數(shù)據(jù)G的像素A的分散情況的示意圖。圖13(C)表示在圖3中的步驟S101中作為任意圖像而代入“0”時的“Io+kσ”中的“kσ”。
觀察圖13(B)中的像素A時，反饋的目標欲為10，但是如圖13(C)所示那樣反饋僅為“1”。另外，相對于周圍的像素B、C…等變化要因信息的數(shù)據(jù)G的擴大范圍，原本作為像素A的影響的差分也向像素B、C…反饋。這樣，在圖5～圖12所示的算法中，相對于目標，反饋量非常小，且對原本不應(yīng)該反饋的區(qū)域也算出了反饋量。
這樣在圖3所示的處理程序中，作為分配比k采用圖5～圖12所示的分配方法的情況下，反饋的量小，因此一旦發(fā)生誤差便很難消除，另外其影響雖然變?nèi)醯菂s不斷地如波紋般向周圍擴散?？梢哉J為這是收斂速度慢的原因，而且是圖像的邊緣附近發(fā)生的被稱為“振鈴(ringing)”現(xiàn)象的原因。
該實施方式的圖像處理裝置1是，利用作為圖3所示處理程序的基礎(chǔ)的重復(fù)處理(循環(huán)處理)、同時使收斂速度飛躍性地提高的裝置。改善的算法是對作為分配量的“kσ”進行研究的算法。
首先，對改善的算法的概要進行說明。圖像的劣化是通過變化要因信息的數(shù)據(jù)G而周圍的數(shù)據(jù)被分配的結(jié)果。因此，劣化圖像的某一像素的數(shù)據(jù)，只要變化要因信息的數(shù)據(jù)G是已知的，便可以大致推斷出其自身在變化要因信息的數(shù)據(jù)中占有多少。因而，由于也可以大致地推斷出差分的數(shù)據(jù)σ中的自身的比例，因此能夠估計出原圖像空間(Img和Img’的空間)中的差分。因此，反饋量成為接近于原圖像空間中的差分的值。另外，由于利用該估計的差分的數(shù)據(jù)σ向自身的像素進行反饋，因此不會發(fā)生對周圍帶來不良影響那樣的反饋。
根據(jù)圖14對以上的概念具體地進行說明。
如圖14(A)所示，變化要因信息的數(shù)據(jù)G由α、β、γ構(gòu)成，且在自身的位置上存在α部分，在下一相鄰的像素中分配有β，在再下一相鄰的像素中分配有γ。在此為“α+β+γ＝1”。
原來的正確圖像數(shù)據(jù)Img的像素ao的數(shù)據(jù)，被分散于劣化圖像的數(shù)據(jù)Img’的像素ao’、a1’、a2’。像素ao’成為ao×α，向像素a1’分配ao×β，向像素a2’分配ao×γ。同樣地，通過在復(fù)原數(shù)據(jù)Io+n中附加變化要因信息的數(shù)據(jù)G而得到的比較用數(shù)據(jù)Io+n’，成為bo’、b 1’、b2’…的像素列。像素bo’成為bo×α，向像素b1’分配bo×β，向像素b2’分配bo×γ。
像素a1的值被分配于各像素a1’、a2’、a3’。向像素a1’分配a1×α，向像素a2’分配a1×β，向像素a3’分配a1×γ。同樣地，像素b 1的值也以α、β、γ的比例被分配于像素b1’、b2’、b3’。像素a2’、a3’、a4’…的值也同樣地被分配，像素b2’、b3’、b4’…的值也同樣地被分配。
差分的數(shù)據(jù)量do成為“ao’-bo’＝ao×α-bo×α＝(ao-bo)×α”。其結(jié)果是，成為ao-bo＝do÷α，并成為ao＝bo+do÷α。即，對像素bo’的復(fù)位量，成為“do÷α”。同樣地，對像素b1的復(fù)位量，如以下那樣進行計算。即，為“d1＝a1’-b1’＝(ao×β+a1×α)-(bo×β+b1×α)＝(ao-bo)×β+(a1-b1)×α”。而且，成為“d1-(ao-bo)β＝(a1-b1)×α”、并成為“a1＝b1+(d1-(ao-bo)×β)÷α”。在此，“ao-bo”視為差分的數(shù)據(jù)量do，并成為“a1＝b1+(d1-do×β)÷α)”，對像素b1的復(fù)位量成為“(d1-do×β)÷α)”。
同樣地，對像素b2的復(fù)位量成為“(d2-d1×β-do×γ)÷α”。將這樣的復(fù)位量一般化的話，對像素bn復(fù)位的復(fù)位量成為“(dn-dn-1×β-dn-2×γ)÷α”。這樣，在圖3所示的處理流程中的步驟S105中，通過作為對上一次的復(fù)原數(shù)據(jù)Io+n的復(fù)位量，采用按照變化要因信息的數(shù)據(jù)G從差分的數(shù)據(jù)σ的差分量去除周圍的影響后，所得到的值除以變化要因信息的數(shù)據(jù)G所得的值，能夠大大減少圖3的處理程序的重復(fù)次數(shù)。根據(jù)本發(fā)明人的實驗可知，采用圖5～圖12的處理算法的話，通過數(shù)十次的反復(fù)處理幾乎是不可能近似于正確的原圖像的，但采用圖14所示的算法的話，通過5～6次的反復(fù)處理便大致收斂。
而且，上述情況下，作為向bn的反饋量(復(fù)位量)，是由差分的數(shù)據(jù)σ所得的值除以作為變化要因信息的數(shù)據(jù)G中的一個的“α”所得的值，采用該方法的話，在α、β、γ中的α為分量最大(比例最大)時能夠有效地進行收斂。例如，在β為分量最大(比例最大)時，以使用作為差分的數(shù)據(jù)量的d1、d2、d3的復(fù)原利用“a1＝b1+(d2-do×γ-d2×α)÷β”的算式，向像素b 1的復(fù)位量為“(d2-do×γ-d2×α)÷β”為佳。將其一般化的話，對像素bn復(fù)位的復(fù)位量為“(dn+1-dn-1×γ-dn+1×α)÷β”。同樣地，在γ為分量最大(比例最大)時，對像素bn復(fù)位的復(fù)位量為“(dn+2-dn+2×α-dn+1×β)÷γ”。另外，在不怎么考慮有效處理的情況下，也可以不以分量最大(比例最大)的進行除算。
在上述例子中，變化要因信息的數(shù)據(jù)G為α、β、γ的三個，但是只要其為兩個以上的話，也可以為五個、七個或十個。如將α表示為Psfo、β作為Psf1進行表示那樣將各值一般化而進行表示的話，成為Psfn(n為0以上的整數(shù)值)。在這樣一般化的情況下，也可以使用上述觀點而計算復(fù)位量。
如以上那樣，在該第一實施方式涉及的圖像處理裝置1中，由于差分的數(shù)據(jù)σ除以“1”以下的變化要因信息的數(shù)據(jù)G，因此復(fù)位量成為非常大的值。因此，即使是微小的噪音復(fù)位量也擴大。為了對應(yīng)該問題，在該實施方式中去除包含于特定差分的數(shù)據(jù)量中的周圍影響后，該去除后的數(shù)據(jù)除以變化要因信息的數(shù)據(jù)G(實際情況下為其中的一個)而進行反饋。
而且，在這種對應(yīng)的基礎(chǔ)上，也可以通過與數(shù)據(jù)的可靠性的關(guān)系對利用上述觀點得到的復(fù)位量乘以0.3或0.5或0.7等規(guī)定的比例而使復(fù)位量減少。這樣乘以不足1的值的話，收斂速度變慢，但是能夠更確實地復(fù)原。另一方面，對得到的復(fù)位量乘以超過1的值的話，能夠使收斂速度進一步提高。
接著，根據(jù)圖15對第二實施方式涉及的圖像處理裝置進行說明。該圖像處理裝置與第一實施方式涉及的圖像處理裝置1在部件構(gòu)成或處理程序上基本相同，不同點僅在于上述的算法(如何計算復(fù)位量)。因此，在進行以下的說明時，對于與第一實施方式相同的部件標以相同的符號而進行說明。另外，對于第二實施方式涉及的裝置賦予“1A”的符號，但該符號“1A”未表示于圖上。
第二實施方式涉及的圖像處理裝置1A，使用作為圖3所示處理程序的基礎(chǔ)的重復(fù)處理(循環(huán)處理)。但是，該處理時的復(fù)位量(在圖3中為kσ)如以下所示。即，在變化要因信息的數(shù)據(jù)G中觀察分量最大處(在之前的例子中為比例最大的地方)，信用該差分或信用該差分的某比例后，該值除以變化要因信息的數(shù)據(jù)G。然后，將該除算值作為向復(fù)原數(shù)據(jù)Io+n的復(fù)位量。其后，按照變化要因信息的數(shù)據(jù)G從該差分的數(shù)據(jù)量(復(fù)位量)中去除由于被復(fù)原的值而引起的對周圍的影響，向接下來的像素的處理過渡。通過該重復(fù)，得到全體像素的一次的復(fù)原數(shù)據(jù)Io+n。
以下具體地進行說明。假定圖15(A)那樣的變化要因信息的數(shù)據(jù)G的話，得到圖15(B)所示的數(shù)據(jù)關(guān)系。在這樣的關(guān)系中，假設(shè)成為比較用數(shù)據(jù)Io+n’的基礎(chǔ)的初期值為“0”的話，Io’也為“0”。這樣，成為σ＝Img’。對圖15(B)所示的四個像素進行研究的話，成為“do＝ao×α”、且成為“d1＝ao×β+a1×α”、“d2＝ao×γ+a1×β+a2×α”。d3成為“a1×γ+a2×β+a3×α”。
其結(jié)果是，由劣化圖像的數(shù)據(jù)Img’至原來的正確圖像數(shù)據(jù)Img的關(guān)系，成為“ao＝do÷α”、“a1＝(d1-ao×β)÷α”、“a2＝(d2-a1×β-ao×γ)÷α”、“a3＝(d3-a2×β-a1×γ)÷α”。計算具體復(fù)位量的情況下，首先由“do”和“α”(均為已知)算出“ao”，因此將“do÷α”作為復(fù)位量。接著，考慮“a1＝(d1-ao×β)÷α”，此時“d1”“α”“β”為已知、且“ao”在前一個中被求出，因此通過將該被求出的值代入而求出“a1”。因此，將該“a1”的值作為復(fù)位量。該值中的“d1-ao×β”是，從作為差分的數(shù)據(jù)量的d1中去除作為由于被前一個求出的復(fù)原數(shù)據(jù)“ao”而引起的影響的“ao×β”后的值。
接著，求出相鄰的像素a2(即b2)。如上述那樣為“a2＝(d2-a1×β-ao×γ)÷α”，其中“d2”、“α”、“β“、“γ”是已知的。而且，由于通過之前的兩個處理“ao”、“a1”的值也已被求出，因此能夠求出“a2”。在此，“d2-a1×β-ao×γ”是，從作為差分的數(shù)據(jù)量的d2中去除“ao×γ”和“ao×β”后的值，其中，“ao×γ”是由于作為提前兩個被求出的復(fù)原數(shù)據(jù)的“ao”而受到的影響，“ao×β”是由于作為前一個被求出的復(fù)原數(shù)據(jù)的“a1”而受到的影響。
同樣地，由“a3＝(d3-a2×β-a1×γ)÷α”求出“a3”。這樣，復(fù)原數(shù)據(jù)Io+n的各像素值被依次地求出。在下一次的循環(huán)中，將比較用數(shù)據(jù)Io+n’和劣化圖像(原圖像)的數(shù)據(jù)Img’進行比較，求出新的差分的數(shù)據(jù)σ。另外，若α、β、γ正確，且do、d1…、或ao、a1、…也為正確值的話，則通過一次的復(fù)原處理成為Io+1＝Img，但是由于各值中含有誤差，因此不會成立。因而，進行與圖3相同的重復(fù)處理。
作為比較用數(shù)據(jù)Io+1’(一般化的話為Io+n’)和劣化圖像(原圖像)的數(shù)據(jù)Img’的差分的數(shù)據(jù)量的do，如上述那樣成為“(ao-bo)×α”。因此，成為“ao＝bo+do÷α”，對已知的像素bo的復(fù)位量成為“do÷α”。同樣地，對像素b1的復(fù)位量，如上述那樣成為“(d1-(ao-bo)×β)÷α”。在此，“d1”、“α”、“β”、“bo”是已知的，而且通過前一個的處理“ao”也成為已知的，因此對像素b1的復(fù)位量被求出。該復(fù)位量和像素b1的量的合計值，成為像素a1的值。
同樣地，對像素b2的復(fù)位量，如說明第一實施方式時所說明的那樣，成為“(d2-(a1-b1)×β-(ao-bo)×γ)÷α”。在此，“d2”、“α”、“β”、“γ”、“ao”、“bo”、“b1”是已知的，而且通過前一個處理“a1”也成為已知的，因此對像素b2的復(fù)位量被求出。該復(fù)位量的值中的“d2-(a1-b1)×β-(ao-bo)×γ”是，從作為差分的數(shù)據(jù)量的d2中去除兩個前的像素的影響和前一個像素的影響后的值。這樣，利用通過前一個處理所得的值、且去除基于來自其他像素的變化要因信息的數(shù)據(jù)G的影響、從而決定更正確的反饋量，是該第二實施方式涉及的圖像處理裝置1A的算法。而且，與第一實施方式相同地，反饋量是以變化要因信息的數(shù)據(jù)G進行除算，復(fù)位量變大，循環(huán)次數(shù)變少，收斂速度變快。
在上述說明中，例如設(shè)為ao＝do÷α、并將計算上的所有值進行反饋，但是也可以利用與“do”的值的信用度的關(guān)系將復(fù)位量如“(do÷α)×0.5”那樣設(shè)為一半、或為60％、或為30％，從而使復(fù)原的可靠性提高。另外，在上述說明中，未說明“α”、“β”、“γ”的大小，但在自身位置的分量大(比例大)時，即α大于β或γ時，特別是在α＞β＞γ時，上述算法(以α進行除算)是最合適的，但是與第一實施方式相同地，在β或γ大于α時，也可以利用以α進行除算的算法。
在該圖像處理裝置1、1A中，進行處理時，在步驟S104中可以事先設(shè)定處理次數(shù)和差分的數(shù)據(jù)σ的判斷標準值中的任意一方或雙方。例如，作為處理次數(shù)，可以設(shè)定為三次、十次等任意的次數(shù)。另外，可以將使處理停止的差分的數(shù)據(jù)σ的值設(shè)定為八位(0～255)中的“5”，并在變?yōu)?以下時結(jié)束處理，或者設(shè)定為“0.5”并在變?yōu)椤?.5”以下時結(jié)束處理。能夠任意地設(shè)定該設(shè)定值。在輸入了處理次數(shù)和判斷標準值的雙方的情況下，在滿足任意一方時便停止處理。另外，在雙方的設(shè)定都為可能時，以判斷標準值為優(yōu)先，通過規(guī)定次數(shù)的處理未進入判斷標準值內(nèi)時，也可以再次重復(fù)規(guī)定次數(shù)的處理。
在該各實施方式的說明中，未利用保存于要因信息保存部7的信息，但是也可以使用保存于要因信息保存部7中的已知的劣化要因、例如光學像差或鏡頭的偏斜等的數(shù)據(jù)。該情況下，例如在圖3的處理方法中，以將晃動的信息和光學像差的信息進行組合而作為一個劣化要因進行處理為佳，但是，也可以在利用晃動信息的處理結(jié)束后進行利用光學像差的信息的矯正。另外，也可以不設(shè)置該要因信息保存部7，而僅通過拍攝時的動態(tài)要因、例如僅通過晃動將圖像進行修正或復(fù)原。
以上，對本發(fā)明各實施方式涉及的圖像處理裝置1、1A進行了說明，但是只要不脫離本發(fā)明的主旨可以實施各種變更。例如，利用處理部4進行的處理是由軟件構(gòu)成的，但是，也可以通過由分別承擔一部分處理的部件組成的硬件構(gòu)成。
另外，在上述各實施方式中是從左端向右端依次地進行復(fù)原處理的，但是，例如在變化要因信息的數(shù)據(jù)G為在從右端向左端的方向上流通的數(shù)據(jù)的情況下，以從右端向左端依次地進行處理為佳。另外同樣地，即使變化要因信息的數(shù)據(jù)G的方向為從右向左，在α＜β＜γ的情況下，也以使用γ而進行從左向右依次進行處理為佳。這樣，以根據(jù)變化要因信息的數(shù)據(jù)G的性質(zhì)而決定處理順序為佳。
另外，作為成為處理對象的原圖像，除拍攝圖像之外，也可以為對該拍攝圖像進行補色、或進行傅里葉變換等、實施了加工的圖像。進而，作為比較用數(shù)據(jù)，除使用變化要因信息的數(shù)據(jù)G生成的數(shù)據(jù)之外，也可以為對使用變化要因信息的數(shù)據(jù)G而生成的數(shù)據(jù)施加補色、或進行傅里葉變換后的數(shù)據(jù)。另外，作為變化要因信息的數(shù)據(jù)，不僅僅為劣化要因信息的數(shù)據(jù)，也可以為含有僅使圖像變化的信息、或與劣化相反地使圖像變好的信息的數(shù)據(jù)。
另外，在處理的反復(fù)次數(shù)在圖像處理裝置1、1A側(cè)自動地或固定地被設(shè)定的情況下，也可以通過變化要因信息的數(shù)據(jù)G變更該設(shè)定的次數(shù)。例如，也可以在某像素的數(shù)據(jù)由于晃動而分散于多個像素的情況下增加反復(fù)次數(shù)，在分散少的情況下減少反復(fù)次數(shù)。
進而，在反復(fù)處理中，也可以在差分的數(shù)據(jù)σ發(fā)散時、即變大時便使處理中止。關(guān)于是否發(fā)散，例如可以采用觀察差分的數(shù)據(jù)σ的平均值后如果該平均值變得大于上一次的話便判斷為發(fā)散的方法。另外，可以在發(fā)散發(fā)生一次后立即中止處理，但是也可以采用發(fā)散連續(xù)兩次發(fā)生后中止處理的方法、或發(fā)散持續(xù)規(guī)定次數(shù)后中止處理的方法。另外，在反復(fù)處理中，也可以在欲將輸入變更為異常值時使處理中止。例如，在八位的情況下，在欲被變更的值為超過255的值時，使處理中止。另外，反復(fù)處理中，在欲將作為新數(shù)據(jù)的輸入變更為異常的值時，也可以不使用該值，而形成正常的值。例如，在八位的0～255中，在欲將超過255的值作為輸入數(shù)據(jù)時，作為極大值255進行處理。即，在復(fù)原數(shù)據(jù)中含有容許數(shù)值(在上述例子中為0～255)以外的異常數(shù)值(在上述例子中為超過255的值)時，能夠中止該處理，或者，在復(fù)原數(shù)據(jù)中含有容許數(shù)值以外的異常數(shù)值時，能夠使該異常數(shù)值變更為容許數(shù)值并繼續(xù)進行處理。
另外，在生成成為輸出圖像的復(fù)原數(shù)據(jù)時，存在由于變化要因信息的數(shù)據(jù)G的不同而發(fā)生超出欲復(fù)原的圖像區(qū)域的數(shù)據(jù)的情況。該情況下，超出區(qū)域的數(shù)據(jù)被輸入相反側(cè)。另外，在存在應(yīng)從區(qū)域外輸入的數(shù)據(jù)的情況下，以從相反側(cè)取入該數(shù)據(jù)為佳。例如，在由位于區(qū)域內(nèi)的最下方的像素XN1(N行1列)的數(shù)據(jù)發(fā)生分配于更下方的像素的數(shù)據(jù)的情況下，該位置處于區(qū)域之外。因此，該數(shù)據(jù)進行在像素XN1的正上方分配于位于最上面的像素X11(1行1列)的處理。對于像素XN1的相鄰的像素XN2(N行2列)，也同樣地在正上方分配于最上欄的像素X12(＝像素X11的旁邊的1行2列)。這樣，在生成復(fù)原數(shù)據(jù)時發(fā)生成為復(fù)原對象區(qū)域外的數(shù)據(jù)的情況下，配置于該數(shù)據(jù)發(fā)生位置的縱向、橫向、或斜向中的任意一方向的相反側(cè)位置的復(fù)原對象區(qū)域內(nèi)的話，對于欲復(fù)原的對象區(qū)域能夠進行確實的復(fù)原。
另外，也可以將上述的各種算法、例如向相反方向的處理、乘以一定比例的處理等各種算法的任意多個保存于處理部4中，從而能夠根據(jù)使用者的選擇或圖像的種類或變化要因信息的數(shù)據(jù)G的性質(zhì)而自動地或手動地選擇處理方法。另外，也可以選擇這些方法中的任意多個，在每一個程序中交替地或依次地利用，或者最初的數(shù)次以某一方式進行處理，然后以其他方式進行處理。而且，圖像處理裝置1、1A除上述的各種算法的任意一個或多個之外，也可以具有與它們不同的處理方法。
另外，上述各處理方法也可以被程序化。另外，也可以將被程序化的處理方法存入記錄媒體、例如CD(Compact Disc)、DVD、USB(UniversalSerial Bus)存儲器，并能夠通過電腦進行讀取。該情況下，圖像處理裝置1具有讀入該記錄媒體內(nèi)的程序的讀入手段。進而，也可以將該程序化的處理方法存入圖像處理裝置1外部的服務(wù)器，根據(jù)需要下載并使用。該情況下，圖像處理裝置1具有將該記錄媒體內(nèi)的程序下載的通信手段。
權(quán)利要求
1.一種圖像處理裝置，設(shè)有處理圖像的處理部，其特征在于，上述處理部進行的處理為，通過利用成為圖像變化主要原因的變化要因信息的數(shù)據(jù)由任意圖像的數(shù)據(jù)生成比較用數(shù)據(jù)，將成為處理對象的原圖像的數(shù)據(jù)和上述比較用數(shù)據(jù)進行比較，并按照上述變化要因信息的數(shù)據(jù)從所得到的差分的數(shù)據(jù)中去除周圍的影響后，所得到的值除以作為上述變化要因信息的數(shù)據(jù)且不足1的值而作為復(fù)位量，從而生成復(fù)原數(shù)據(jù)，且通過使用該復(fù)原數(shù)據(jù)來代替上述任意圖像的數(shù)據(jù)并重復(fù)同樣的處理，從而生成成為上述原圖像變化前的圖像、或與變化前圖像近似的圖像的數(shù)據(jù)的復(fù)原數(shù)據(jù)。
2.一種圖像處理裝置，設(shè)有處理圖像的處理部，其特征在于，上述處理部進行的處理為，通過利用成為圖像變化主要原因的變化要因信息的數(shù)據(jù)由任意圖像的數(shù)據(jù)生成比較用數(shù)據(jù)，將成為處理對象的原圖像的數(shù)據(jù)和上述比較用數(shù)據(jù)進行比較后，所得到的差分的數(shù)據(jù)、或差分的數(shù)據(jù)乘以不足1的值后所得的值除以作為上述變化要因信息的數(shù)據(jù)且不足1的值而作為復(fù)位量，并作為特定像素的復(fù)原數(shù)據(jù)的值而決定，按照上述變化要因信息的數(shù)據(jù)從上述差分的數(shù)據(jù)中去除由于該復(fù)原數(shù)據(jù)的值而引起的周圍影響，從而生成各像素的復(fù)原數(shù)據(jù)，且通過使用該復(fù)原數(shù)據(jù)來代替上述任意圖像的數(shù)據(jù)并重復(fù)同樣的處理，從而生成成為上述原圖像變化前的圖像、或與變化前圖像近似的圖像的數(shù)據(jù)的復(fù)原數(shù)據(jù)。
3.如權(quán)利要求1或2所述的圖像處理裝置，其特征在于，所說的處理部進行的處理為，在進行上述重復(fù)處理時，重復(fù)次數(shù)達到規(guī)定次數(shù)時的上述差分的數(shù)據(jù)為規(guī)定值以下或小于規(guī)定值時停止處理，在超過規(guī)定值或為規(guī)定值以上時，再次重復(fù)規(guī)定次數(shù)的處理。
4.一種圖像處理裝置，設(shè)有處理圖像的處理部，其特征在于，上述處理部進行的處理為，通過利用成為圖像變化主要原因的變化要因信息的數(shù)據(jù)由規(guī)定圖像的數(shù)據(jù)生成比較用數(shù)據(jù)，將成為處理對象的圖像發(fā)生變化后的原圖像數(shù)據(jù)和上述比較用數(shù)據(jù)進行比較后，在所得到的差分的數(shù)據(jù)為規(guī)定值以下或小于規(guī)定值時停止處理，并將成為上述比較用數(shù)據(jù)基礎(chǔ)的上述規(guī)定的圖像作為上述原圖像變化前的圖像或與變化前圖像近似的圖像而使用，在上述差分大于規(guī)定值或為規(guī)定值以上時，按照上述變化要因信息的數(shù)據(jù)從上述差分的數(shù)據(jù)中去除周圍的影響后，所得到的值除以作為上述變化要因信息的數(shù)據(jù)且不足1的值而作為復(fù)位量，從而生成復(fù)原數(shù)據(jù)，并以該復(fù)原數(shù)據(jù)取代上述規(guī)定的圖像而重復(fù)同樣的處理。
5.一種圖像處理裝置，設(shè)有處理圖像的處理部，其特征在于，上述處理部進行的處理為，通過利用成為圖像變化主要原因的變化要因信息的數(shù)據(jù)由規(guī)定圖像的數(shù)據(jù)生成比較用數(shù)據(jù)，將成為處理對象的圖像發(fā)生變化后的原圖像數(shù)據(jù)和上述比較用數(shù)據(jù)進行比較后，在所得到的差分的數(shù)據(jù)為規(guī)定值以下或小于規(guī)定值時停止處理，并將成為上述比較用數(shù)據(jù)基礎(chǔ)的上述規(guī)定的圖像作為上述原圖像變化前的圖像或與變化前圖像近似的圖像而使用，在上述差分大于規(guī)定值或為規(guī)定值以上時，上述差分的數(shù)據(jù)、或差分的數(shù)據(jù)乘以不足1的值后所得的值除以作為上述變化要因信息的數(shù)據(jù)且不足1的值而作為復(fù)位量，并作為特定像素的復(fù)原數(shù)據(jù)的值而決定，按照上述變化要因信息的數(shù)據(jù)從上述差分的數(shù)據(jù)中去除由于該復(fù)原數(shù)據(jù)的值而引起的周圍影響，從而生成各像素的復(fù)原數(shù)據(jù)，并以該復(fù)原數(shù)據(jù)取代上述規(guī)定的圖像而重復(fù)同樣的處理。
6.如權(quán)利要求4或5所述的圖像處理裝置，其特征在于，所說的處理部進行上述重復(fù)處理時，若重復(fù)次數(shù)達到規(guī)定次數(shù)，便停止的處理。
7.如權(quán)利要求1～6中的任意一項所述的圖像處理裝置，其特征在于，設(shè)有檢測上述變化要因信息的檢測部和保存已知的變化要因信息的要因信息保存部。
8.如權(quán)利要求1～7中的任意一項所述的圖像處理裝置，其特征在于，以上述變化要因信息的數(shù)據(jù)進行除算時所使用的值，為上述變化要因信息的數(shù)據(jù)中的分量最大的值。
9.如權(quán)利要求1～8中的任意一項所述的圖像處理裝置，其特征在于，算出上述復(fù)位量的順序取決于上述變化要因信息的數(shù)據(jù)的性質(zhì)。
全文摘要
本發(fā)明的目的在于提供一種在復(fù)原圖像時防止裝置的大型化，同時，具有現(xiàn)實性的電路處理方式；該圖像處理裝置設(shè)有處理圖像的處理部；該處理部進行的處理為，通過利用成為圖像變化主要原因的變化要因信息的數(shù)據(jù)G由任意圖像的數(shù)據(jù)Io生成比較用數(shù)據(jù)Io’，將成為處理對象的原圖像的數(shù)據(jù)Img’和比較用數(shù)據(jù)Io’進行比較后，按照變化要因信息的數(shù)據(jù)G從所得到的差分的數(shù)據(jù)σ中去除周圍的影響，所得到的值除以作為變化要因信息的數(shù)據(jù)G且不足1的值而作為復(fù)位量，從而生成復(fù)原數(shù)據(jù)Io+n，且通過使用該復(fù)原數(shù)據(jù)Io+n來代替任意圖像的數(shù)據(jù)Io并重復(fù)同樣的處理，生成成為原圖像變化前的圖像、或與變化前圖像近似的圖像的數(shù)據(jù)的復(fù)原數(shù)據(jù)Io+n；另外，復(fù)位量的計算也可以采用其他方法。
文檔編號G06T5/20GK101310520SQ200680042589
公開日2008年11月19日 申請日期2006年9月6日 優(yōu)先權(quán)日2005年12月1日
發(fā)明者高橋史紀 申請人:日東光學株式會社