專利名稱：圖像處理裝置、學(xué)習(xí)裝置和系數(shù)生成裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置、學(xué)習(xí)裝置和系數(shù)生成裝置及方法。具體地說，為了從相對于關(guān)注圖像的周圍圖像提取主要包含產(chǎn)生了運(yùn)動模糊的運(yùn)動對象中的關(guān)注圖像內(nèi)的關(guān)注像素的成分的主要項(xiàng)，至少提取與關(guān)注像素的空間位置大致相同的周圍圖像內(nèi)的像素的像素值，從根據(jù)關(guān)注像素的運(yùn)動方向而設(shè)定的處理系數(shù)和提取的像素值來生成除去運(yùn)動模糊后的關(guān)注像素的像素值。另外，學(xué)習(xí)該處理系數(shù)。
背景技術(shù)：
目前，使用傳感器對現(xiàn)實(shí)世界的事項(xiàng)進(jìn)行數(shù)據(jù)化。使用該傳感器獲取的數(shù)據(jù)是將現(xiàn)實(shí)世界的信息(例如，光)投影到比現(xiàn)實(shí)世界低維的時(shí)間空間而得到的信息。因此，投影得到的信息具有由投影而產(chǎn)生的失真。例如，在用攝像機(jī)拍攝在靜止背景前移動的物體，作為圖像信號，進(jìn)行數(shù)據(jù)化時(shí)，對現(xiàn)實(shí)世界的信息進(jìn)行采樣，并進(jìn)行數(shù)據(jù)化，所以，在根據(jù)圖像信號顯示的圖像中，作為由投影而產(chǎn)生的失真，會產(chǎn)生運(yùn)動的物體變模糊的運(yùn)動模糊。
因此，如日本特開2001-250119號公報(bào)(對應(yīng)美國專利申請編號09/830858，對應(yīng)歐洲專利公開編號EP 1164545)所公開那樣，例如，通過檢測與輸入圖像中包含的前景的對象對應(yīng)的圖像對象的輪廓，粗略提取與前景的對象對應(yīng)的圖像對象，檢測與該粗略提取的前景的對象對應(yīng)的圖像對象的運(yùn)動向量，使用檢測出的運(yùn)動向量及運(yùn)動向量的位置信息，進(jìn)行運(yùn)動模糊除去。

發(fā)明內(nèi)容
此外，在這種以往的運(yùn)動模糊除去中，通過進(jìn)行與輸入信號中的產(chǎn)生了運(yùn)動模糊的部分的模糊量對應(yīng)的空間處理來進(jìn)行模糊除去。但是，對于運(yùn)動圖像也進(jìn)行同樣的在空間上結(jié)束了的處理，因此，運(yùn)動模糊除去處理的精度受運(yùn)動向量估計(jì)的精度的影響很大。即，在估計(jì)的運(yùn)動向量產(chǎn)生偏差時(shí)，在運(yùn)動模糊除去中使用的處理區(qū)域、處理系數(shù)會發(fā)生變化，運(yùn)動模糊除去處理后的圖像有可能會產(chǎn)生破綻。另外，即使要使用時(shí)間信息，由于會更增加估計(jì)的運(yùn)動向量的偏差，因此，無法有意義地使用時(shí)間方向的信息并活用在處理中。
本發(fā)明涉及的圖像處理裝置具備關(guān)注像素設(shè)定部，其設(shè)定預(yù)測的關(guān)注圖像內(nèi)的關(guān)注像素；運(yùn)動方向檢測部，其檢測與關(guān)注像素對應(yīng)的運(yùn)動方向；像素值提取單元部，其為了從相對于關(guān)注圖像的周圍圖像提取主要包含該周圍圖像內(nèi)的產(chǎn)生了運(yùn)動模糊的運(yùn)動對象中的關(guān)注像素的成分的主要項(xiàng)，至少提取與關(guān)注像素的空間位置大致相同的周圍圖像內(nèi)的像素的像素值；處理系數(shù)設(shè)定部，其根據(jù)由運(yùn)動方向檢測部檢測出的運(yùn)動方向，設(shè)定運(yùn)動模糊除去用的處理系數(shù)，或者設(shè)定特定的運(yùn)動模糊除去用的處理系數(shù)；以及像素值生成部，其根據(jù)由像素值提取部所提取的像素值和由處理系數(shù)設(shè)定部設(shè)定的運(yùn)動模糊除去用的處理系數(shù)，生成與關(guān)注像素對應(yīng)的像素值，或者，根據(jù)運(yùn)動方向，根據(jù)所提取的像素值新生成處理用的像素值，并且根據(jù)該處理用的像素值和特定的運(yùn)動模糊除去用的處理系數(shù)，生成與關(guān)注像素對應(yīng)的像素值。
本發(fā)明涉及的圖像處理方法具備以下工序關(guān)注像素設(shè)定工序，設(shè)定預(yù)測的關(guān)注圖像內(nèi)的關(guān)注像素；運(yùn)動方向檢測工序，檢測與關(guān)注像素對應(yīng)的運(yùn)動方向；類決定工序，對應(yīng)運(yùn)動方向，決定關(guān)注像素的類；像素值提取工序，為了從相對于關(guān)注圖像的周圍圖像提取主要包含該周圍圖像內(nèi)的產(chǎn)生了運(yùn)動模糊的運(yùn)動對象中的關(guān)注像素的成分的主要項(xiàng)，至少提取與關(guān)注像素的空間位置大致相同的周圍圖像內(nèi)的像素的像素值；處理系數(shù)設(shè)定工序，根據(jù)由運(yùn)動方向檢測工序檢測出的運(yùn)動方向，設(shè)定運(yùn)動模糊除去用的處理系數(shù)，或者設(shè)定特定的運(yùn)動模糊除去用的處理系數(shù)；以及像素值生成工序，根據(jù)由像素值提取工序所提取的像素值和由處理系數(shù)設(shè)定工序設(shè)定的運(yùn)動模糊除去用的處理系數(shù)，生成與關(guān)注像素對應(yīng)的像素值，或者，根據(jù)運(yùn)動方向，從所提取的像素值新生成處理用的像素值，并且根據(jù)該處理用的像素值和特定的運(yùn)動模糊除去用的處理系數(shù)，生成與關(guān)注像素對應(yīng)的像素值。
本發(fā)明涉及的學(xué)習(xí)裝置具備運(yùn)動量設(shè)定部，其設(shè)定運(yùn)動量；運(yùn)動方向設(shè)定部，其設(shè)定運(yùn)動方向；學(xué)生圖像生成部，其根據(jù)由運(yùn)動量設(shè)定部設(shè)定的運(yùn)動量和由運(yùn)動方向設(shè)定部設(shè)定的運(yùn)動方向，在教師圖像中附加運(yùn)動模糊，生成學(xué)生圖像；預(yù)測抽頭提取部，其為了提取主要包含學(xué)生圖像內(nèi)的產(chǎn)生了運(yùn)動模糊的運(yùn)動對象中的關(guān)注像素的成分的主要項(xiàng)，至少提取與教師圖像內(nèi)的關(guān)注像素的空間位置大致相同的學(xué)生圖像內(nèi)的像素的像素值；以及處理系數(shù)生成部，其至少對每個(gè)運(yùn)動方向，生成根據(jù)預(yù)測抽頭提取部所提取的像素的像素值預(yù)測教師圖像內(nèi)的關(guān)注像素的處理系數(shù)，或者，生成與特定的運(yùn)動量和運(yùn)動方向?qū)?yīng)的單一的處理系數(shù)。
本發(fā)明涉及的學(xué)習(xí)方法具備以下工序運(yùn)動量設(shè)定工序，設(shè)定運(yùn)動量；運(yùn)動方向設(shè)定工序，設(shè)定運(yùn)動方向；學(xué)生圖像生成工序，根據(jù)由運(yùn)動量設(shè)定工序設(shè)定的運(yùn)動量和由運(yùn)動方向設(shè)定工序設(shè)定的運(yùn)動方向，在教師圖像中附加運(yùn)動模糊，生成學(xué)生圖像；預(yù)測抽頭提取工序，為了提取主要包含學(xué)生圖像內(nèi)的產(chǎn)生了運(yùn)動模糊的運(yùn)動對象中的關(guān)注像素的成分的主要項(xiàng)，至少提取與教師圖像內(nèi)的關(guān)注像素的空間位置大致相同的學(xué)生圖像內(nèi)的像素的像素值；以及處理系數(shù)生成工序，至少對每個(gè)運(yùn)動方向，生成根據(jù)由預(yù)測抽頭提取工序所提取的像素的像素值預(yù)測教師圖像內(nèi)的關(guān)注像素的處理系數(shù)，或者，生成與特定的運(yùn)動量和運(yùn)動方向?qū)?yīng)的單一的處理系數(shù)。
本發(fā)明涉及的系數(shù)生成裝置具備運(yùn)動量設(shè)定部，其設(shè)定運(yùn)動量；運(yùn)動方向設(shè)定部，其設(shè)定運(yùn)動方向；處理系數(shù)生成部，其根據(jù)由運(yùn)動量設(shè)定部設(shè)定的運(yùn)動量和由運(yùn)動方向設(shè)定部設(shè)定的運(yùn)動方向，構(gòu)筑由在圖像中附加了運(yùn)動模糊的至少2個(gè)圖像構(gòu)成的模型，根據(jù)與位于2個(gè)圖像之間的關(guān)注像素的空間位置大致相同的2個(gè)圖像內(nèi)的周圍像素的像素值的累加特性和使相鄰像素差＝0的限制來生成矩陣，求出在通過基于該矩陣的運(yùn)算求出從發(fā)生了運(yùn)動模糊的周圍像素中除去模糊后的關(guān)注像素時(shí)、與發(fā)生了運(yùn)動模糊的周圍像素相乘的系數(shù)，作為處理系數(shù)。
本發(fā)明涉及的系數(shù)生成方法具備以下工序運(yùn)動量設(shè)定工序，設(shè)定運(yùn)動量；運(yùn)動方向設(shè)定工序，設(shè)定運(yùn)動方向；處理系數(shù)生成工序，根據(jù)由運(yùn)動量設(shè)定工序設(shè)定的運(yùn)動量和由運(yùn)動方向設(shè)定工序設(shè)定的運(yùn)動方向，構(gòu)筑由在圖像中附加了運(yùn)動模糊的至少2個(gè)圖像構(gòu)成的模型，根據(jù)與位于2個(gè)圖像之間的關(guān)注像素的空間位置大致相同的2個(gè)圖像內(nèi)的周圍像素的像素值的累加特性和使相鄰像素差＝0的限制來生成矩陣，求出在通過基于該矩陣的運(yùn)算求出從發(fā)生了運(yùn)動模糊的周圍像素中除去模糊后的關(guān)注像素時(shí)、與發(fā)生了運(yùn)動模糊的周圍像素相乘的系數(shù)，作為處理系數(shù)。
在本發(fā)明中，設(shè)定預(yù)測的關(guān)注圖像內(nèi)的關(guān)注像素，為了從與該關(guān)注像素對應(yīng)的周圍圖像提取主要包含周圍圖像內(nèi)的產(chǎn)生了運(yùn)動模糊的運(yùn)動對象中的關(guān)注像素的成分的主要項(xiàng)，至少提取與關(guān)注像素的空間位置大致相同的周圍圖像內(nèi)的像素的像素值。在該像素值的提取中，在周圍圖像是隔行掃描格式時(shí)，提取周圍圖像內(nèi)的第1多個(gè)像素的像素值，在周圍圖像是逐行掃描格式時(shí)，提取周圍圖像內(nèi)的第2多個(gè)像素的像素值。根據(jù)該所提取的像素值和運(yùn)動模糊除去用的處理系數(shù)，生成與關(guān)注像素對應(yīng)的像素值?；蛘?，根據(jù)運(yùn)動方向從所提取的像素值新生成處理用的像素值，根據(jù)該像素值和特定的運(yùn)動模糊除去用的處理系數(shù)，生成與關(guān)注像素對應(yīng)的像素值。或者，根據(jù)提取的像素值和與運(yùn)動方向?qū)?yīng)的運(yùn)動模糊除去用的處理系數(shù)，生成與關(guān)注像素對應(yīng)的像素值。另外，根據(jù)周圍圖像內(nèi)的像素的像素值的活度決定關(guān)注像素的類，使用與該所決定的類對應(yīng)的處理系數(shù)。
另外，通過學(xué)習(xí)生成處理系數(shù)。在處理系數(shù)的學(xué)習(xí)中，為了提取主要包含在教師圖像中附加運(yùn)動模糊而生成的學(xué)生圖像內(nèi)的產(chǎn)生了運(yùn)動模糊的運(yùn)動對象中的關(guān)注像素的成分的主要項(xiàng)，至少提取與教師圖像內(nèi)的關(guān)注像素的空間位置大致相同的學(xué)生圖像內(nèi)的像素的像素值，生成根據(jù)提取的像素的像素值預(yù)測教師圖像內(nèi)的關(guān)注像素的預(yù)測系數(shù)作為處理系數(shù)。
或者，構(gòu)筑在圖像中附加了運(yùn)動模糊的模型，根據(jù)該累加特性和使相鄰像素差＝0的限制來生成矩陣，求出在通過基于該矩陣的運(yùn)算求出從發(fā)生了運(yùn)動模糊的像素中除去模糊后的關(guān)注像素時(shí)、與發(fā)生了運(yùn)動模糊的像素相乘的系數(shù)作為處理系數(shù)。
發(fā)明的效果根據(jù)本發(fā)明，設(shè)定預(yù)測的關(guān)注圖像內(nèi)的關(guān)注像素，為了從相對于關(guān)注像素的周圍圖像提取主要包含周圍圖像內(nèi)的產(chǎn)生了運(yùn)動模糊的運(yùn)動對象中的關(guān)注像素的成分的主要項(xiàng)，至少提取與關(guān)注像素的空間位置大致相同的周圍圖像內(nèi)的像素的像素值。根據(jù)該提取的像素值和運(yùn)動模糊除去用的處理系數(shù)，生成與關(guān)注像素對應(yīng)的像素值。
這樣一來，為了從周圍圖像提取主要項(xiàng)，至少提取與關(guān)注像素的空間位置大致相同的周圍圖像內(nèi)的像素的像素值，用于與關(guān)注像素對應(yīng)的像素值的生成，因此，例如，即使在運(yùn)動向量的檢測中產(chǎn)生了誤差，提取的像素值的變動也很小，可以對運(yùn)動向量的檢測誤差進(jìn)行非常強(qiáng)力的運(yùn)動模糊除去。
另外，在周圍圖像是隔行掃描格式時(shí)，提取周圍圖像內(nèi)的第1多個(gè)像素的像素值，在周圍圖像是逐行掃描格式時(shí)，提取周圍圖像內(nèi)的第2多個(gè)像素的像素值，因此，可以與周圍圖像的格式無關(guān)地進(jìn)行運(yùn)動模糊除去。進(jìn)而，根椐與關(guān)注圖像內(nèi)的關(guān)注像素對應(yīng)的周圍圖像內(nèi)的像素的像素值的活度來決定關(guān)注像素的類，由此，使用與關(guān)注像素的空間相關(guān)對應(yīng)的處理系數(shù)，可以更高精度地進(jìn)行運(yùn)動模糊除去。
另外，通過使用教師圖像和學(xué)生圖像進(jìn)行學(xué)習(xí)生成處理系數(shù)，因此，通過使用希望的圖像格式的教師圖像和學(xué)生圖像，可以與圖像格式無關(guān)地生成適合于運(yùn)動模糊除去的處理系數(shù)。


圖1是表示系統(tǒng)的結(jié)構(gòu)的圖。
圖2是用于說明通過圖像傳感器進(jìn)行的攝像的圖。
圖3A和圖3B是用于說明攝像圖像的圖。
圖4是表示像素值的時(shí)間方向分割動作的圖。
圖5A和圖5B是用于說明關(guān)注像素的像素值的算出動作的圖。
圖6是表示處理區(qū)域的圖。
圖7A和圖7B是表示處理區(qū)域的設(shè)定例的圖。
圖8是用于說明處理區(qū)域中的現(xiàn)實(shí)世界變量的時(shí)間混合(運(yùn)動量v＝5的情況下)的圖。
圖9A和圖9B是用于說明處理區(qū)域中的現(xiàn)實(shí)世界變量的時(shí)間混合(運(yùn)動量v＝4的情況下)的圖。
圖10是表示空間方向的主要項(xiàng)的位置的圖。
圖11是表示使空間方向的相位一致時(shí)的處理系數(shù)的圖。
圖12是表示時(shí)間方向的主要項(xiàng)的位置的圖。
圖13A和圖13B是用于說明使用空間方向的主要項(xiàng)的情況下的運(yùn)動向量的偏差與主要項(xiàng)的位置偏差的關(guān)系的圖。
圖14是用于說明使用時(shí)間方向的主要項(xiàng)的情況下的運(yùn)動向量的偏差與主要項(xiàng)的位置偏差的關(guān)系的圖。
圖15是圖像處理裝置的功能框圖。
圖16是表示使用軟件時(shí)的圖像處理裝置的結(jié)構(gòu)的圖。
圖17是用于說明像素值的算出方法的圖。
圖18是圖像處理裝置的其他功能框圖。
圖19是表示運(yùn)動量與處理系數(shù)的關(guān)系的圖。
圖20是表示圖像處理的流程圖。
圖21是系數(shù)生成裝置的功能框圖。
圖22是表示系數(shù)生成處理的流程圖。
圖23是圖像處理裝置的其他功能框圖。
圖24A和圖24B是表示類抽頭的圖。
圖25是用于說明活度的算出的圖。
圖26A和圖26B是表示預(yù)測抽頭的圖。
圖27是表示圖像處理(進(jìn)行類決定時(shí))的流程圖。
圖28是表示通過學(xué)習(xí)求得處理系數(shù)來進(jìn)行運(yùn)動模糊除去處理的情況下的結(jié)構(gòu)的圖。
圖29是學(xué)習(xí)裝置的功能框圖。
圖30是表示學(xué)習(xí)處理的流程圖。
具體實(shí)施例方式
下面參照

本發(fā)明的一個(gè)實(shí)施方式。圖1是表示適用本發(fā)明的系統(tǒng)的結(jié)構(gòu)的框圖。圖像傳感器10生成拍攝了現(xiàn)實(shí)社會的圖像信號DVa，提供給圖像處理裝置20。圖像處理裝置20對所提供的輸入圖像的圖像信號DVa中包含的信息進(jìn)行提取，生成并輸出提取了包含的信息的圖像信號。此外，圖像處理裝置20也可以使用從外部提供的各種信息ET，對圖像信號DVa中包含的信息進(jìn)行提取。
圖像傳感器10由具備作為固體攝像元件的CCD(Charge-Coupled Device電荷耦合器件)區(qū)域傳感器、MOS區(qū)域傳感器的攝像機(jī)等構(gòu)成，拍攝現(xiàn)實(shí)社會。例如，如圖2所示，在圖像傳感器10和與背景對應(yīng)的對象OBb之間，與前景對應(yīng)的運(yùn)動對象OBf沿著箭頭A方向移動時(shí)，圖像傳感器10將與前景對應(yīng)的運(yùn)動對象OBf和與背景對應(yīng)的對象OBb一起拍攝。
該圖像傳感器10的檢測元件將與曝光時(shí)間對應(yīng)的期間所輸入的光轉(zhuǎn)換為電荷，積蓄光電轉(zhuǎn)換后的電荷。電荷的量與輸入的光的強(qiáng)度和光輸入的時(shí)間大致成比例。檢測元件在與曝光時(shí)間對應(yīng)的期間內(nèi)，將從輸入的光轉(zhuǎn)換后的電荷加入已經(jīng)積蓄的電荷中。即，檢測元件在與曝光時(shí)間對應(yīng)的期間內(nèi)對輸入的光進(jìn)行積分，積蓄與積分后的光對應(yīng)的量的電荷。檢測元件也可以說對時(shí)間具有積分效果。這樣，由圖像傳感器進(jìn)行光電轉(zhuǎn)換，將輸入的光以像素單位轉(zhuǎn)換為電荷，以曝光時(shí)間單位積蓄。根據(jù)該積蓄的電荷量生成像素信號，使用該像素信號生成所希望的幀速率的圖像信號，提供給圖像處理裝置。此外，圖像傳感器的曝光時(shí)間是圖像傳感器如上所述將輸入的光轉(zhuǎn)換為電荷、并將該電荷積蓄到檢測元件中的期間，在沒有進(jìn)行快門動作時(shí)，與圖像時(shí)間間隔(1幀期間)相等。另外，在進(jìn)行快門動作時(shí)，與快門打開時(shí)間相等。
圖3A和圖3B是用于說明用圖像信號表示的攝像圖像的圖。圖3A表示拍攝與運(yùn)動的前景對應(yīng)的運(yùn)動對象OBf和與靜止的背景對應(yīng)的對象OBb而得到的圖像。此外，設(shè)為與前景對應(yīng)的運(yùn)動對象OBf沿著箭頭A方向水平移動。
如圖3A所示圖3B表示沿著箭頭A方向延伸的線L(用虛線表示)的位置上的圖像與時(shí)間的關(guān)系。運(yùn)動對象OBf在線L上的移動方向的長度例如是9像素，在1曝光期間中移動5像素的情況下，在幀期間開始時(shí)位于像素位置P21的前端和位于像素位置P13的后端分別在像素位置P25、P17結(jié)束曝光期間。另外，在沒有進(jìn)行快門動作時(shí)，1幀中的曝光期間與1幀期間相等，所以，在下個(gè)幀期間開始時(shí)，前端成為像素位置P26，后端成為像素位置P18。
因此，在線L的幀期間中，像素位置P12以前和像素位置P26以后成為只有背景成分的背景區(qū)域。另外，像素位置P17～P21成為只有前景成分的前景區(qū)域。像素位置P13～P16和像素位置P22～P25成為背景成分與前景成分混合的混合區(qū)域。混合區(qū)域分類為與時(shí)間的經(jīng)過對應(yīng)、背景成分被前景覆蓋的被覆蓋的背景區(qū)域，以及與時(shí)間的經(jīng)過對應(yīng)、呈現(xiàn)背景成分的不被覆蓋的背景區(qū)域。另外，在圖3B中，位于前景的對象OBf的前進(jìn)方向前端側(cè)的混合區(qū)域成為被覆蓋的背景區(qū)域，位于后端側(cè)的混合區(qū)域成為不被覆蓋的背景區(qū)域。這樣，在圖像信號中就包含了包括前景區(qū)域、背景區(qū)域、或被覆蓋的背景區(qū)域、或者不被覆蓋的背景區(qū)域的圖像。
在此，假設(shè)圖像時(shí)間間隔較短，與前景對應(yīng)的運(yùn)動對象OBf是固體，進(jìn)行勻速移動，如圖4所示進(jìn)行線L上的像素值的時(shí)間方向分割動作。在該時(shí)間方向分割動作中，沿時(shí)間方向展開像素值，用虛擬分割數(shù)以相等時(shí)間間隔進(jìn)行分割。此外，在圖4中，縱方向與時(shí)間對應(yīng)，圖中從上到下表示時(shí)間的經(jīng)過。
虛擬分割數(shù)對應(yīng)于與前景對應(yīng)的運(yùn)動對象的圖像時(shí)間間隔中的運(yùn)動量v等而進(jìn)行設(shè)定。例如，1幀期間內(nèi)的運(yùn)動量v如上所述是5像素時(shí)，與運(yùn)動量v對應(yīng)將虛擬分割數(shù)設(shè)定為“5”，將1幀期間以相等時(shí)間間隔分割為5份。
另外，將拍攝與背景對應(yīng)的對象OBb時(shí)得到的像素位置Px的1幀期間的像素值設(shè)為Bx，將使與線L中的長度為9像素的前景對應(yīng)的運(yùn)動對象OBf靜止并進(jìn)行拍攝時(shí)由各像素得到的像素值設(shè)為F09(前端側(cè))～F01(后端側(cè))。
在這種情況下，例如，像素位置P14的像素值DP14用公式(1)表示。
DP14＝B14/v+B14/v+B14/v+F01/v+F02/v...(1)在該像素位置P14中，包含3虛擬分割時(shí)間(幀期間/v)的背景成分，包含2虛擬分割時(shí)間的前景成分，因此，相對于像素值的背景成分的混合比α成為(3/5)。同樣地，例如，在像素位置P22中，包含1虛擬分割時(shí)間的背景成分，包含4虛擬分割時(shí)間的前景成分，所以，混合比α成為(1/5)。
這樣，由于前景成分移動，因此，在1曝光時(shí)間中不同的前景成分相加，所以與運(yùn)動對象對應(yīng)的前景區(qū)域成為包含運(yùn)動模糊的內(nèi)容。因此，在圖像處理裝置20中，提取圖像信號DVa中包含的有效信息，生成除去了與前景對應(yīng)的運(yùn)動對象OBf的運(yùn)動模糊后的圖像信號DVout。
在此，使用圖5A及圖5B說明圖像上的關(guān)注像素的像素值的算出動作。例如，在求運(yùn)動對象OBf內(nèi)的關(guān)注像素的像素值F29的情況下，在將包含關(guān)注像素的成分F29/v的像素位置P47設(shè)為是處理對象像素的關(guān)注像素時(shí)，如虛線所示，對于最初出現(xiàn)關(guān)注像素的成分F29/v的像素位置P45及與像素位置P45相鄰、不具有關(guān)注像素的成分F29/v的像素位置P44，公式(2)成立。
F29-F24＝(DP45-DP44)×v ...(2)同樣地，如虛線所示，對于最后出現(xiàn)關(guān)注像素的成分F29/v的像素位置P49、及與像素位置P49相鄰、不具有關(guān)注像素的成分F29/v的像素位置P50，公式(3)成立。
F34-F29＝(DP50-DP49)×v ...(3)即，關(guān)注像素的像素值F29可以使用像素位置P44、P45的像素值DP44、DP45和像素值F24來計(jì)算，或者也可以使用像素位置P49、P50的像素值DP49、DP50和像素值F34來計(jì)算。
進(jìn)而，在考慮與關(guān)注像素的像素值F29同樣地求像素值F24時(shí)，如虛線所示，對于最初出現(xiàn)關(guān)注像素的成分F24/v的像素位置P40、及與像素位置P40相鄰、不具備關(guān)注像素的成分F24/v的像素位置P39，公式(4)成立。
F24-F19＝(DP40-DP39)×v ...(4)因此，可以使用像素位置P39、P40、P44、P45的像素值DP39、DP40、DP44、DP45和像素值F19來算出像素值F24。另外，也可以同樣求得像素值F34。
如以上所考慮的那樣，求差分的像素的位置以運(yùn)動量v的間隔重復(fù)出現(xiàn)。即，可以使用如上所述在差分的算出中使用的像素位置...、P39、P40、P44、P45、P49、P50、...的像素值來算出關(guān)注像素的像素值F29。
另外，說明根據(jù)模型式計(jì)算關(guān)注像素的像素值的情況。在此，如圖6所示，以關(guān)注像素Pna為中心，在運(yùn)動方向上設(shè)定(2N+1)像素的處理區(qū)域。圖7A及圖7B表示了處理區(qū)域的設(shè)定例，在運(yùn)動向量的方向例如是由箭頭A所示的水平方向的情況下，如圖7A所示，相對于要除去運(yùn)動模糊的運(yùn)動對象OBf的像素在水平方向上設(shè)定處理區(qū)域WA。另外，在運(yùn)動向量的方向是斜方向的情況下，如圖7B所示，在對應(yīng)的角度方向上設(shè)定處理區(qū)域WA。但是，在傾斜方向上設(shè)定處理區(qū)域時(shí)，通過插值等求出與處理區(qū)域的像素位置相當(dāng)?shù)南袼刂怠?br> 在此，在處理區(qū)域內(nèi)，如圖8所示，對現(xiàn)實(shí)世界變量(Y-8...，Y0...，Y8)進(jìn)行了時(shí)間混合。此外，圖8是運(yùn)動量v為“v＝5”、將處理區(qū)域置為13像素(N＝6N是針對關(guān)注像素的處理寬度的像素?cái)?shù))的情況。
在模糊除去處理中，對該處理區(qū)域進(jìn)行現(xiàn)實(shí)世界估計(jì)，將與所估計(jì)的現(xiàn)實(shí)世界的中心像素變量Y0對應(yīng)的像素值DQ0作為進(jìn)行了運(yùn)動模糊除去的關(guān)注像素的像素值。
在此，在將構(gòu)成處理區(qū)域的像素的像素值設(shè)為X-N、X-N+1、...X0、...、XN-1、XN時(shí)，公式(5)所示的(2N+1)個(gè)的混合式成立。此外，像素值Xt表示像素位置Pt的像素值。常數(shù)h表示將運(yùn)動量乘以1/2倍時(shí)的整數(shù)部分的值(舍去小數(shù)部分的值)。
Σi=t-ht+h(Yi/v)=Xt,(t=-N,..,0,..,N)---(5)]]>但是，要求解的現(xiàn)實(shí)世界變量(Y-N-h...，Y0，...，YN+h)有(2N+v)個(gè)。即，公式的個(gè)數(shù)少于變量的個(gè)數(shù)，因此無法根據(jù)公式(5)求得現(xiàn)實(shí)世界變量(Y-N-h，...，Y0，...，YN+h)。
因此，如公式(6)所示，通過使用利用了設(shè)為相鄰像素差＝0的空間相關(guān)的限制式來與現(xiàn)實(shí)世界變量相比增加公式的個(gè)數(shù)，使用最小二乘法來求現(xiàn)實(shí)世界變量的值。
Yt-Yt+1＝0 (t＝-N-h，...，0，...，N+h-1)...(6)即，使用將由公式(5)表示的(2N+1)個(gè)的混合式與由公式(6)表示的(2N+v-1)個(gè)限制式合成得到的(4N+v)個(gè)公式，求出(2N+v)個(gè)作為未知變量的現(xiàn)實(shí)世界變量(Y-N-h，...，Y0，...，YN+h)。
在此，通過進(jìn)行使各公式中產(chǎn)生的誤差的乘方和最小的估計(jì)，能夠在進(jìn)行運(yùn)動模糊除去圖像生成處理的同時(shí)，減小現(xiàn)實(shí)世界中的像素值的變動。
公式(7)表示了如圖8所示設(shè)定了處理區(qū)域的情況，是在公式(5)和公式(6)中加上了由各自的公式產(chǎn)生的誤差后的內(nèi)容。
該公式(7)可以表示為公式(8)，作為公式(10)求得使公式(9)所示的誤差的乘方和E為最小的Y(＝Y(jié)i)。此外，在公式(10)中，T表示是轉(zhuǎn)置矩陣。
AY＝X+e ...(8)E＝|e|2＝∑emi2+∑ebi2...(9)Y＝(ATA)-1ATX ...(10)在此，誤差的乘方和成為由公式(11)示出的內(nèi)容，對該誤差的乘方和進(jìn)行偏微分，如果如公式(12)所示，偏微分值為0，則可以求出誤差的乘方和最小的公式(10)。
E＝(AY-X)T(AY-X)＝Y(jié)TATAY-2YTATX+XTX...(11)E/Y＝2(ATAY-ATX)＝0...(12)通過進(jìn)行該公式(10)的線性結(jié)合，可以分別求得現(xiàn)實(shí)世界變量(Y-N-h，...，Y0，...，YN+h)，中心像素變量Y0的像素值成為關(guān)注像素的像素值。
在上述中， 用最小二乘法求得現(xiàn)實(shí)世界變量(Y-N-h，...，Y0，...，YN+h)使得AY＝X+e中的誤差的乘方和E最小，但是也可以制作公式使得公式的個(gè)數(shù)＝變量的個(gè)數(shù)。在AY＝X時(shí)將該公式變形為Y＝A-1X，由此可以求得現(xiàn)實(shí)世界變量(Y-N-h，...，Y0，...，YN+h)。
在此，在設(shè)為將圖5A示出的像素位置P47作為關(guān)注像素而求出像素值F29時(shí)，對各像素使用的處理系數(shù)成為表示圖5B的形狀的內(nèi)容。即，針對在差分計(jì)算中使用的像素位置的像素的處理系數(shù)的絕對值大于針對其他像素的系數(shù)。將這樣的用于差分計(jì)算的像素位置的像素作為主要項(xiàng)。
此外，在運(yùn)動量v是奇數(shù)像素?cái)?shù)時(shí)，如圖8所示，中心像素變量Y0的相位在時(shí)間上成為中央。但是，在運(yùn)動量v是偶數(shù)像素?cái)?shù)時(shí)，如圖9A所示，中心像素變量Y0的相位在時(shí)間上不成為中央，而會產(chǎn)生相位差。因此，將虛擬分割數(shù)乘以2，如圖9B所示，將1幀期間以等時(shí)間間隔分割為8份。進(jìn)而，通過將Y0a和Y1b相加，與運(yùn)動量v是奇數(shù)像素?cái)?shù)時(shí)的中心像素變量Y0同樣地，可以得到相位在時(shí)間上是中央的值。
如圖10所示，空間方向的主要項(xiàng)的位置成為以關(guān)注像素Pna為基準(zhǔn)、在運(yùn)動方向上與運(yùn)動量對應(yīng)的像素位置。另外，主要項(xiàng)MCa1表示相對于關(guān)注像素Pna，在運(yùn)動方向上最接近的主要項(xiàng)，主要項(xiàng)MCb1表示在運(yùn)動方向的反方向上最接近的主要項(xiàng)。
另外，在考慮到空間相位時(shí)，如圖5A及圖5B所示，運(yùn)動量為奇數(shù)像素?cái)?shù)的情況下的主要項(xiàng)在2個(gè)連續(xù)的像素單位中系數(shù)變化較大。因此，在使用主要項(xiàng)求關(guān)注像素Pna的情況下，關(guān)注像素Pna的相位成為2個(gè)像素的中央。即，運(yùn)動模糊除去后的圖像成為相對于(t-1)幀及(t)幀的圖像，相位偏差1/2像素的圖像。
另外，在防止1/2像素的相位偏差的情況下，如圖11所示，使用處理系數(shù)KC即可，該處理系數(shù)KC是將針對中心像素變量Y0的處理系數(shù)KC-y0和針對變量Y1(或Y-1)的處理系數(shù)KC-y1相加并除以2而得到的。此外，在圖11中，圓圈標(biāo)記表示像素位置。在這樣生成處理系數(shù)KC時(shí)，主要項(xiàng)成為3像素單位，因此，通過使用處理系數(shù)KC，關(guān)注像素Pna的相位與(t-1)幀及(t)幀的圖像的像素相等，可以得到與(t-1)幀及(t)幀的圖像與相位相等的運(yùn)動模糊除去圖像。如圖9B所示，在運(yùn)動量v為偶數(shù)像素?cái)?shù)的情況下，將虛擬分割數(shù)乘以2，因此變量Y0a是變量Y0的1/2倍，變量Y1b是變量Y1的1/2倍，通過對變量Y0a和變量Y1b相加，成為與將針對中心像素變量Y0的處理系數(shù)KC-y0和針對變量Y1的處理系數(shù)KC-y1相加并除以2所得的結(jié)果相同的內(nèi)容，運(yùn)動量v為偶數(shù)像素?cái)?shù)時(shí)的主要項(xiàng)成為3像素單位。
如圖12所示，時(shí)間方向的主要項(xiàng)的位置是重疊在多個(gè)圖像上的相同像素位置。另外，在關(guān)注上述主要項(xiàng)MCa1、MCb1時(shí)，(t-1)幀的圖像上的主要項(xiàng)MCa1的位置成為(t)幀的圖像上的主要項(xiàng)MCb1的位置。因此，作為(t-1)幀和(t)幀的正中的相位，與主要項(xiàng)MCa1、MCb1大致相同的像素位置與關(guān)注像素Pna相當(dāng)。即，在運(yùn)動量為“v＝5”時(shí)，主要項(xiàng)MCa1是像素值X-3、X-2的圖像，主要項(xiàng)MCb1是像素值X2、X3的像素，因此，關(guān)注像素Pna的空間位置與像素值X-3的像素和像素值X-2的像素之間的中間位置相當(dāng)，或者與像素值X2的像素和像素值X3的像素之間的中間位置相當(dāng)。另外，如上所述，在運(yùn)動量v是偶數(shù)像素?cái)?shù)時(shí)、在運(yùn)動量是奇數(shù)像素?cái)?shù)時(shí)將主要項(xiàng)轉(zhuǎn)換為3像素單位時(shí)，可以設(shè)為與(t-1)幀和(t)幀的像素大致相同的像素位置。
在此，如圖13A所示，只使用空間方向的主要項(xiàng)、將空間方向上存在的位于主要項(xiàng)MCa1與主要項(xiàng)MCb1的正中的像素位置作為運(yùn)動模糊除去后的關(guān)注像素Pna的輸出位置的情況下，在沒有以高精度檢測關(guān)注像素Pna的運(yùn)動向量時(shí)，如虛線所示，會導(dǎo)致主要項(xiàng)MCa1、MCb1等位置變動很大，從而無法高精度地除去關(guān)注像素Pna的運(yùn)動模糊。
另外，如圖13B所示，只使用空間方向的主要項(xiàng)，將幀間的正中作為運(yùn)動模糊除去后的關(guān)注像素Pna的輸出相位的情況下，主要項(xiàng)MCb1的位置受運(yùn)動向量的檢測精度的影響小，但是剩下的主要項(xiàng)MCa1等位置如虛線所示，受運(yùn)動向量的檢測精度的影響大，因此，在沒有以高精度檢測關(guān)注像素Pna的運(yùn)動向量時(shí)，就會導(dǎo)致無法高精度地除去關(guān)注像素Pna的運(yùn)動模糊。
另外，即使在使用時(shí)間方向的主要項(xiàng)的情況下，與圖13A同樣地，將位于主要項(xiàng)MCa1與主要項(xiàng)MCb1的正中的像素位置作為運(yùn)動模糊除去后的關(guān)注像素Pna的輸出位置的情況下，在沒有以高精度檢測關(guān)注像素Pna的運(yùn)動向量時(shí)，時(shí)間方向的主要項(xiàng)的位置就會發(fā)生變動，因此無法高精度地除去運(yùn)動模糊。
因此，如圖14所示，使用時(shí)間方向的主要項(xiàng)，將幀間的正中作為運(yùn)動模糊除去后的關(guān)注像素Pna的輸出相位，生成關(guān)注像素Pna的運(yùn)動模糊除去后的像素值。即，使用圖12示出的(t-1)幀的圖像上的主要項(xiàng)MCa1和(t)幀的圖像上的主要項(xiàng)MCb1，將(t-1)幀與(t)幀的正中的相位的、與主要項(xiàng)MCa1、MCb1的空間位置大致相同的像素作為關(guān)注圖像的關(guān)注像素Pna，生成運(yùn)動模糊除去后的像素值。這樣，將運(yùn)動模糊除去后的關(guān)注像素Pna的輸出相位設(shè)為(t-1)幀與(t)幀的正中時(shí)，時(shí)間方向的主要項(xiàng)的位置受運(yùn)動向量的檢測精度的影響小，因此，即使無法精確檢測運(yùn)動向量，主要項(xiàng)的位置也不會變化很大，不會受運(yùn)動向量的檢測精度較大影響而可以良好地進(jìn)行運(yùn)動模糊除去。
另外，如從圖12可知，(t-1)幀和(t)幀的主要項(xiàng)的系數(shù)的形狀是相對于關(guān)注像素Pna的位置在時(shí)間方向上分別正負(fù)交替的系數(shù)。因此，在時(shí)間上前后的像素值大致相同、空間上相關(guān)也很強(qiáng)的靜止背景的情況下，前后的大系數(shù)之間相互抵消，結(jié)果與分配了較小系數(shù)時(shí)相同。因此，能夠?qū)崿F(xiàn)即使對靜止背景等進(jìn)行針對運(yùn)動量較大的對象的運(yùn)動模糊除去也很難產(chǎn)生圖像的破綻。
圖15表示這樣使用時(shí)間空間方向的主要項(xiàng)來進(jìn)行將幀間的正中作為運(yùn)動模糊除去后的關(guān)注像素Pna的輸出相位的運(yùn)動模糊除去的圖像處理裝置的功能框圖。此外，圖像處理裝置的各功能當(dāng)然可以或者通過硬件實(shí)現(xiàn)，或者通過軟件實(shí)現(xiàn)。也就是說，圖15的功能塊可以通過硬件實(shí)現(xiàn)，也可以通過軟件實(shí)現(xiàn)。
在此，例如圖16示出了使用軟件時(shí)的圖像處理裝置20的結(jié)構(gòu)。CPU(Central Processing Unit中央處理器)201按照ROM(Read OnlyMemory只讀存儲器)202或存儲部208中存儲的程序來執(zhí)行各種處理，在ROM202或存儲部208中存儲實(shí)現(xiàn)圖像處理裝置的各功能的程序。在RAM(Random Access Memory隨機(jī)存取存儲器)203中適當(dāng)存儲CPU201所執(zhí)行的程序、數(shù)據(jù)等。這些CPU201、ROM202及RAM203通過總線204相互連接。
另外，輸入輸出接口205通過總線204連結(jié)在CPU201上。由鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成的輸入部206、由顯示器、揚(yáng)聲器等構(gòu)成的輸出部207連接在輸入輸出接口205上。CPU201根據(jù)從輸入部206輸入的指令執(zhí)行各種處理。然后，CPU201將處理結(jié)果得到的圖像、聲音等輸出到輸出部207。
連接在輸入輸出接口205上的存儲部208例如由硬盤等構(gòu)成，存儲CPU201所執(zhí)行的程序、各種數(shù)據(jù)。通信部209通過互聯(lián)網(wǎng)、其他網(wǎng)絡(luò)與外部裝置進(jìn)行通信。該例的情況下，通信部209作為取入傳感器的輸出的獲取部而運(yùn)行。另外，也可以通過通信部209獲取程序，存儲到存儲部208中。
連接在輸入輸出接口205上的驅(qū)動部210在安裝有磁盤、光盤、光磁盤或半導(dǎo)體存儲器等記錄介質(zhì)時(shí)，驅(qū)動這些記錄介質(zhì)，獲取記錄介質(zhì)中記錄的程序、數(shù)據(jù)等。將所獲取的程序、數(shù)據(jù)根據(jù)需要傳輸?shù)酱鎯Σ?08并進(jìn)行存儲。
如圖15所示，被提供給圖像處理裝置20的圖像信號Dva被提供給運(yùn)動方向檢測部32的方向檢測處理部321、周圍圖像保持部33的第1圖像保持部331和第2圖像保持部332。
關(guān)注像素設(shè)定部31進(jìn)行預(yù)測的關(guān)注圖像內(nèi)的關(guān)注像素Pna的設(shè)定。在此，如使用上述圖12、圖14等進(jìn)行的說明，通過使用(t-1)幀的圖像上的主要項(xiàng)MCa1和(t)幀的圖像上的主要項(xiàng)MCb1，可以求得關(guān)注像素Pna的運(yùn)動模糊除去后的像素值，該關(guān)注像素Pna是相位在(t-1)幀與(t)幀之間的正中、像素位置與主要項(xiàng)MCa1、MCb1大致相同的像素。因此，在圖像信號DVa是逐行掃描格式的信號時(shí)，關(guān)注像素設(shè)定部31將預(yù)測的關(guān)注圖像作為(t-1)幀與(t)幀之間的正中的相位的圖像，來進(jìn)行該關(guān)注圖像內(nèi)的關(guān)注像素Pna的設(shè)定。另外，將(t-1)幀和(t)幀的圖像設(shè)為周圍圖像。在圖像信號DVa是隔行掃描格式的信號時(shí)，關(guān)注像素設(shè)定部31將預(yù)測的關(guān)注圖像作為(t-1)場與(t)場之間的正中的相位的圖像，進(jìn)行該關(guān)注圖像內(nèi)的關(guān)注像素Pna的設(shè)定。另外，將(t-1)場和(t)場的圖像設(shè)為周圍圖像。
方向檢測處理部321根據(jù)圖像信號DVa進(jìn)行每個(gè)像素的運(yùn)動向量檢測，將表示由關(guān)注像素設(shè)定部31設(shè)定的關(guān)注圖像的運(yùn)動方向的運(yùn)動方向信息vda提供給運(yùn)動方向選擇部322。在該方向檢測處理部321中，可以通過使用塊匹配法、梯度法等方法來檢測每個(gè)像素的運(yùn)動向量。
可以從外部作為信息ET將表示運(yùn)動方向的運(yùn)動方向信息vdb輸入到運(yùn)動方向選擇部322，選擇從方向檢測處理部321提供的運(yùn)動方向信息vda、或從外部輸入的運(yùn)動方向信息vdb中的任意一個(gè)，將所選擇的運(yùn)動方向信息vd提供給像素值生成部38a。
周圍圖像保持部33的第1圖像保持部331和第2圖像保持部332用存儲器構(gòu)成，第1圖像保持部331保持作為周圍圖像的(t-1)幀的圖像。另外，第2圖像保持部332保持作為周圍圖像的(t)幀的圖像。
像素值提取部36為了提取主要包含關(guān)注像素的成分的主要項(xiàng)，至少從第1圖像保持部331及第2圖像保持部332所保持的周圍圖像提取與關(guān)注像素Pna的空間位置大致相同的位置的像素，提供給像素值生成部38a。
處理系數(shù)設(shè)定部37a預(yù)先存儲用于模糊除去處理的處理系數(shù)，將所存儲的處理系數(shù)提供給像素值生成部38a。另外，處理系數(shù)設(shè)定部37a在從外部作為信息ET提供可以進(jìn)行運(yùn)動模糊的調(diào)整的調(diào)整信息BS時(shí)，根據(jù)該調(diào)整信息BS，通過切換提供給像素值生成部38a的處理系數(shù)來調(diào)整運(yùn)動模糊除去效果。例如，即使在用最初提供的處理系數(shù)不能最佳地進(jìn)行運(yùn)動模糊除去的情況下，通過切換處理系數(shù)也可以最佳地除去運(yùn)動模糊。另外，通過切換處理系數(shù)可以有意識地保留運(yùn)動模糊。
在處理系數(shù)設(shè)定部37a中預(yù)先存儲了特定的處理系數(shù)的情況下，像素值生成部38a根據(jù)像素值提取部36從第1圖像保持部331提取的像素值和運(yùn)動方向信息vd，新生成處理用的像素值，對該所生成的處理用的像素值和特定的處理系數(shù)進(jìn)行積和運(yùn)算，生成像素值。另外，根據(jù)像素值提取部36從第2圖像保持部332提取的像素值和運(yùn)動方向信息vd，新生成處理用的像素值，對該所生成的處理用的像素值和特定的處理系數(shù)進(jìn)行積和運(yùn)算，生成像素值。通過對這樣生成的2個(gè)像素值進(jìn)行綜合來生成關(guān)注像素的像素值，作為圖像信號Dvout而輸出。
在此，如下進(jìn)行處理用的像素值的生成。即，在生成用于模糊除去處理的處理系數(shù)時(shí)，將運(yùn)動方向設(shè)定為特定方向，將此時(shí)所得到的處理系數(shù)作為特定的處理系數(shù)而存儲到處理系數(shù)設(shè)定部37a中。像素值生成部38a在以運(yùn)動方向信息vd表示的運(yùn)動方向相對于生成處理系數(shù)時(shí)的特定方向具有角度差θ的情況下，例如如圖17所示，在生成處理系數(shù)時(shí)所設(shè)定的運(yùn)動方向是水平方向，在以運(yùn)動方向信息vd表示的運(yùn)動方向具有角度差θ的情況下，從關(guān)注像素Pna出發(fā)，與由運(yùn)動方向信息vd表示的運(yùn)動方向的處理系數(shù)對應(yīng)的像素位置成為以三角型標(biāo)記表示的位置Pwa、Pwb。因此，使用周圍的像素位置Pw1、Pw2、Pw3、Pw4的像素值，根據(jù)公式(13)算出位置Pwa的像素值DPw。另外，同樣算出與位置Pwa反方向的位置Pwb的像素值DPwb。
DPwa＝(1-βh)×(1-βv)×DPw1+βh×(1-βv)×DPw2+(1-βh)×βv×DPw3+βh×βv×DPw4...(13)此外，在公式(13)中，βh＝cosθ，βv＝sinθ，DPw1是像素位置Pw1的像素值，DPw2～DPw4是像素位置Pw2～Pw4的像素值。
像素值生成部38a將這樣算出的像素值作為處理用的像素值，對該處理用的像素值與從處理系數(shù)設(shè)定部37a提供的處理系數(shù)進(jìn)行積和運(yùn)算，通過生成并綜合像素值來生成圖像信號DVout。
此外，預(yù)先存儲的處理系數(shù)不限于特定的處理系數(shù)，也可以是對每個(gè)運(yùn)動方向存儲的處理系數(shù)。圖18表示了對處理系數(shù)設(shè)定部預(yù)先存儲了與運(yùn)動方向?qū)?yīng)的處理系數(shù)的情況下的圖像處理裝置的結(jié)構(gòu)。此外，在圖18中，對與圖15對應(yīng)的部分附加相同附圖標(biāo)記，省略詳細(xì)說明。
將由運(yùn)動方向選擇部322選擇的運(yùn)動方向信息vd提供給處理系數(shù)設(shè)定部37b。在處理系數(shù)設(shè)定部37b中，將在上述公式(13)中與像素值DPw1、DPw2、DPw3、DPw4相乘的各系數(shù)((1-α)×(1-β))、(α×(1-β))、((1-α)×β)、(α×β)對每個(gè)角度差θ分別乘以特定的處理系數(shù)da，將各相乘結(jié)果作為每個(gè)運(yùn)動方向的處理系數(shù)db進(jìn)行存儲。該處理系數(shù)設(shè)定部37b將對應(yīng)于由從運(yùn)動方向選擇部322提供的運(yùn)動方向信息vd所表示的運(yùn)動方向的處理系數(shù)提供給像素值生成部38b。
像素值生成部38b對像素值提取部36從第1圖像保持部331提取的像素的像素值和從處理系數(shù)設(shè)定部37b提供的處理系數(shù)db進(jìn)行積和運(yùn)算，即，通過對像素位置Pw1、Pw2、Pw3、Pw4的像素值和與運(yùn)動方向?qū)?yīng)的處理系數(shù)進(jìn)行積和運(yùn)算而生成像素值。另外，對從第2圖像保持部332提取的像素的像素值和從處理系數(shù)設(shè)定部37b提供的處理系數(shù)進(jìn)行積和運(yùn)算來生成像素值。通過綜合這2個(gè)像素值來生成關(guān)注像素的像素值，作為圖像信號Dvout進(jìn)行輸出。
另外，如圖19所示，處理系數(shù)在運(yùn)動量小時(shí)，如虛線所示那樣，值變??；在運(yùn)動量大時(shí)，如點(diǎn)劃線所示那樣，值變大。因此，在處理系數(shù)設(shè)定部37a、37b中預(yù)先存儲與運(yùn)動量對應(yīng)的處理系數(shù)，而不僅限于特定的處理系數(shù)或每個(gè)運(yùn)動方向的處理系數(shù)，運(yùn)動方向選擇部322也將在運(yùn)動方向信息vd中包含的運(yùn)動量而不僅限于運(yùn)動方向提供給處理系數(shù)設(shè)定部37a、37b。進(jìn)而，處理系數(shù)設(shè)定部37a、37b也可以將與由運(yùn)動方向信息vd所表示的運(yùn)動量對應(yīng)的處理系數(shù)提供給像素值生成部38a、38b。此外，在圖19中，圓圈標(biāo)記表示像素位置。
像素值生成部38a、38b如上述那樣對所提取的像素的像素值和從處理系數(shù)設(shè)定部37b提供的處理系數(shù)進(jìn)行積和運(yùn)算，通過生成像素值并進(jìn)行綜合來生成關(guān)注像素的像素值，作為圖像信號Dvout進(jìn)行輸出。這樣，如果也使用運(yùn)動量來設(shè)定處理系數(shù)，可以更高精度地進(jìn)行運(yùn)動模糊除去。
另外，無論運(yùn)動量v是偶數(shù)像素?cái)?shù)或奇數(shù)像素?cái)?shù)，在將主要項(xiàng)作為3像素單位來設(shè)定處理系數(shù)時(shí)，3像素單位中的中央像素與關(guān)注像素Pna的相位一致。因此，也可以求得與關(guān)注像素Pna對應(yīng)的運(yùn)動向量，根據(jù)該運(yùn)動向量來決定運(yùn)動方向。在這種情況下，例如，在關(guān)注像素Pna周圍的像素的(t-1)幀與(t)幀之間求得運(yùn)動向量，根據(jù)該運(yùn)動向量來決定穿過關(guān)注像素Pna的候選向量。進(jìn)而，對該候選向量進(jìn)行平均化來作為關(guān)注像素Pna的運(yùn)動向量。這樣一來，如果求得關(guān)注像素Pna的運(yùn)動向量而決定運(yùn)動方向，則即使在與(t-1)幀中的關(guān)注像素Pna對應(yīng)的位置的運(yùn)動方向和與(t)幀中的關(guān)注像素Pna對應(yīng)的位置的運(yùn)動方向不同的情況下，也可以生成正確除去了運(yùn)動模糊的圖像。
圖20表示了通過軟件進(jìn)行圖像處理的情況下的流程圖。在步驟ST1中，CPU201設(shè)定進(jìn)行運(yùn)動模糊除去的關(guān)注像素，進(jìn)入步驟ST2。在步驟ST2中，CPU201檢測關(guān)注像素的運(yùn)動方向，進(jìn)入步驟ST3。在步驟ST3中，CPU201進(jìn)行像素值提取，至少提取與關(guān)注像素的空間位置大致相同的周圍圖像內(nèi)的像素的像素值。即，CPU201為了提取主要包含運(yùn)動對象中的關(guān)注像素的成分的主要項(xiàng)，至少將與關(guān)注像素空間位置大致相同的周圍圖像內(nèi)的像素作為預(yù)測抽頭，提取該預(yù)測抽頭的像素值。
在步驟ST4中，CPU201設(shè)定處理系數(shù)，進(jìn)入步驟ST5。在該處理系數(shù)的設(shè)定中，設(shè)定特定的處理系數(shù)或與在步驟ST2中檢測出的運(yùn)動方向?qū)?yīng)的處理系數(shù)。在步驟ST5中，CPU201對各幀進(jìn)行模糊除去處理。即，CPU201根據(jù)在步驟ST3中提取的預(yù)測抽頭的像素值和與在步驟ST4中設(shè)定的運(yùn)動方向?qū)?yīng)的運(yùn)動模糊除去用的處理系數(shù)，生成與關(guān)注像素對應(yīng)的像素值。或者，從根據(jù)運(yùn)動方向提取的像素值新生成處理用的像素值，并且，根據(jù)該處理用的像素值和在步驟ST4中設(shè)定的特定的運(yùn)動模糊除去用的處理系數(shù)，算出與關(guān)注像素對應(yīng)的像素值，進(jìn)入步驟ST6。
在步驟ST6中，CPU201判斷是否對全畫面完成了模糊除去處理，在存在沒有進(jìn)行模糊除去處理的像素時(shí)，返回到步驟ST1，在對全畫面完成了模糊除去時(shí)，結(jié)束處理。
可以使用上述模型式求得存儲在處理系數(shù)設(shè)定部中的處理系數(shù)。即，如公式(6)所示，導(dǎo)入使相鄰像素差分＝0的限制，通過利用公式(7)所示的累加特性，在包含與現(xiàn)實(shí)世界變量對應(yīng)的靜止圖像內(nèi)的關(guān)注像素的第1區(qū)域的像素(相當(dāng)于公式(7)所示的Y8～Y-8)和包含與關(guān)注像素的空間位置相同的產(chǎn)生了運(yùn)動模糊的圖像內(nèi)的像素的第2區(qū)域的像素(相當(dāng)于公式(7)所示的X6～X-6)之間進(jìn)行矩陣運(yùn)算，將在與關(guān)注像素相當(dāng)?shù)闹行南袼刈兞縔0的計(jì)算中使用的系數(shù)作為處理系數(shù)，存儲到處理系數(shù)設(shè)定部37a(37b)。這樣，如果將在中心像素變量Y0的計(jì)算中使用的系數(shù)作為處理系數(shù)，則可以使用周圍圖像的像素值來算出除去了運(yùn)動模糊的像素值。
圖21是使用模型式進(jìn)行處理系數(shù)生成的系數(shù)生成裝置的功能框圖。運(yùn)動設(shè)定部71進(jìn)行運(yùn)動方向的設(shè)定、運(yùn)動量的設(shè)定，將表示設(shè)定好的運(yùn)動方向、運(yùn)動量的運(yùn)動信息MH提供給矩陣生成部751。
處理系數(shù)生成部75的矩陣生成部751根據(jù)運(yùn)動信息MH，構(gòu)筑由在圖像中附加了運(yùn)動模糊的至少2個(gè)圖像而構(gòu)成的模型，通過2個(gè)圖像內(nèi)的周圍像素的像素值的累加特性和相鄰像素差分＝0的限制，生成矩陣。該2個(gè)圖像是例如，(t-1)幀和(t)幀的圖像，或者，與位于(t-1)場和(t)場的圖像間的關(guān)注像素的空間位置大致相同的2個(gè)圖像。
在此，說明例如運(yùn)動量v＝5的情況下的處理系數(shù)的生成方法。在這種情況下，構(gòu)筑圖6所示的模型來生成矩陣。主要項(xiàng)與像素值X-3、X-2、X2、X3的像素相當(dāng)，因此矩陣可以作為公式(14)表示。
由此，可以通過公式(10)唯一地求得用于求解Y0的矩陣。即，可以求得線性結(jié)合到運(yùn)動量v＝5的主要項(xiàng)的像素值X-3、X-2、X2、X3中的處理系數(shù)(矩陣)。在上述公式中追加了限制式使得未知數(shù)Y與公式的個(gè)數(shù)一致，但是也可以如公式(7)所示進(jìn)一步追加限制式，作為未知數(shù)Y＜公式的個(gè)數(shù)，使用最小二乘法以最小二乘法求得處理系數(shù)。由此，矩陣生成部751可以對每個(gè)運(yùn)動量如上述那樣生成矩陣，系數(shù)決定部752可以對每個(gè)運(yùn)動量求得處理系數(shù)。另外，在運(yùn)動量v＝4的情況下，主要項(xiàng)的像素值成為X-3、X-2、X-1、X1、X2、X3，因此矩陣就成為公式(15)。

此外，在運(yùn)動量v為偶數(shù)像素?cái)?shù)，如圖9B所示，將虛擬分割數(shù)乘以2的情況下，求得不僅針對Y0的處理系數(shù)、也求得針對Y1的處理系數(shù)并存儲到處理系數(shù)設(shè)定部，由此，可以得到在時(shí)間上相位為中央的值。
圖22是表示使用了模型式的系數(shù)生成處理的流程圖。在步驟ST11中，設(shè)定生成的處理系數(shù)的運(yùn)動方向和運(yùn)動量。
在步驟ST12中，進(jìn)行矩陣的生成。矩陣的生成如上述那樣構(gòu)筑在圖像中附加了運(yùn)動模糊的模型，導(dǎo)入使相鄰像素的差分為“0”的限制，生成表示累加特性的矩陣。在步驟ST13中，根據(jù)在步驟ST12中生成的矩陣及運(yùn)動方向，生成用于關(guān)注像素的計(jì)算的系數(shù)作為處理系數(shù)。
下面，說明通過學(xué)習(xí)求得處理系數(shù)，使用該通過學(xué)習(xí)得到的處理系數(shù)進(jìn)行運(yùn)動模糊除去的情況。圖23表示了使用通過學(xué)習(xí)得到的處理系數(shù)進(jìn)行運(yùn)動模糊除去的圖像處理裝置20的結(jié)構(gòu)。此外，在圖23中，對與圖15、圖18對應(yīng)的部分附加相同附圖標(biāo)記，省略詳細(xì)說明。
類決定部35的類抽頭提取部351以與關(guān)注像素對應(yīng)的空間位置為基準(zhǔn)，從保持在第1圖像保持部331及第2圖像保持部332中的周圍圖像提取類抽頭，將所提取的類抽頭TPa提供給類分類部352。
圖24A及圖24B表示類抽頭。在圖像信號DVa是逐行掃描格式時(shí)，類抽頭提取部351從作為周圍圖像的(t-1)幀和(t)幀的圖像中，如圖24A所示，以與關(guān)注像素Pna對應(yīng)的空間位置為基準(zhǔn)，例如，將包括與關(guān)注像素Pna對應(yīng)的空間位置的像素及與該像素相鄰的像素的9像素作為類抽頭進(jìn)行提取。在圖像信號DVa是隔行掃描格式時(shí)，類抽頭提取部351如圖24B所示，以與關(guān)注像素Pna對應(yīng)的空間位置為基準(zhǔn)，例如，從作為周圍圖像的(t)場的圖像中，將包括與關(guān)注像素Pna對應(yīng)的空間位置的像素及與該像素相鄰的像素的9像素作為類抽頭進(jìn)行提取。另外，從作為周圍圖像的(t-1)場的圖像中，將包括與關(guān)注像素Pna對應(yīng)的空間位置重疊的像素及與該像素相鄰的像素的12像素作為類抽頭進(jìn)行提取。
類分類部352根據(jù)運(yùn)動方向檢測部32提供的運(yùn)動方向信息vd及類抽頭提取部351提取的類抽頭TPa，進(jìn)行類分類，決定類編碼KA，提供給處理系數(shù)設(shè)定部37c。
在此，在使用由類抽頭提取部351提取的類抽頭TPa進(jìn)行類分類的情況下，根據(jù)從類抽頭TPa計(jì)算出來的活度來進(jìn)行類分類。
所謂活度是相鄰的像素間的差分值的和，表示空間相關(guān)。在此，如圖24A所示，在選擇了類抽頭時(shí)，3像素×3像素的合計(jì)9像素的相鄰的像素間的差分是活度。另外，如圖24B的(t-1)場所示，在選擇了類抽頭時(shí)，4像素×3像素的合計(jì)12像素的相鄰的像素間的差分是活度。例如，如圖25所示，在提取類抽頭時(shí)，如果將表示像素的分量中所記載的文字作為像素值，則可以根據(jù)公式(16)算出活度AC。此外，在空間相關(guān)高的情況下，活度AC的值變小，在空間相關(guān)低的情況下，活度AC的值變大。
AC＝|DPL-U-DPC-U|+|DPC-U-DPL-U|+|DPL-DPC|+|DPC-DPR|+|DPL-L-DPC-L|+|DPC-L-DPR-L|+|DPL-U-DPL|+|DPL-DPL-L|+|DPC-U-DPC|+|DPC-DPC-L|+|DPR-U-DPR|+|DPR-DPR-L|... (16)這樣一來，使用根據(jù)從保持在第1圖像保持部331中的周圍圖像提取的類抽頭計(jì)算出來的活度ACt-1和根據(jù)從保持在第2圖像保持部332的周圍圖像提取的類抽頭計(jì)算出來的活度ACt，如公式(17)所示，決定活度類AL。
活度類AL＝ACt/(ACt-1+ACt)×100 ...(17)
進(jìn)而，根據(jù)運(yùn)動方向信息vd和活度類AL，決定類編碼KA。
像素值提取部36為了提取主要包含關(guān)注像素的成分的主要項(xiàng)，從第1圖像保持部331及第2圖像保持部332所保持的周圍圖像中至少提取與關(guān)注像素Pna的空間位置大致相同位置的像素，作為預(yù)測抽頭Ca提供給像素值生成部38c。
圖26A及圖26B表示了預(yù)測抽頭Ca。在圖像信號DVa是逐行掃描格式時(shí)，像素值提取部36從作為周圍圖像的(t-1)幀和(t)幀的圖像中，如圖26A所示，以與關(guān)注像素Pna的空間位置大致相同的位置的像素為基準(zhǔn)，例如，將21像素作為預(yù)測抽頭提取。在圖像信號DVa是隔行掃描格式時(shí)，類抽頭提取部351如圖26B所示，以與關(guān)注像素Pna的空間位置相同的位置的像素為基準(zhǔn)，從作為周圍圖像的(t)場的圖像中將21像素作為預(yù)測抽頭提取，從作為周圍圖像的(t-1)場的圖像中，以與關(guān)注像素Pna的空間位置相同的位置為基準(zhǔn)，將17像素作為預(yù)測抽頭提取。
處理系數(shù)設(shè)定部37c至少對每個(gè)類編碼預(yù)先存儲用于模糊除去處理的處理系數(shù)。即，對每個(gè)類編碼預(yù)先存儲特定的處理系數(shù)或與運(yùn)動方向?qū)?yīng)的處理系數(shù)。另外，處理系數(shù)設(shè)定部37c至少選擇與從類分類部352提供的類編碼KA對應(yīng)的處理系數(shù)dc，提供給像素生成部38c。另外，處理系數(shù)設(shè)定部37c在從外部作為信息ET，接收到可以調(diào)整運(yùn)動模糊的調(diào)整信息BS時(shí)，根據(jù)該調(diào)整信息BS，切換選擇的處理系數(shù)，由此調(diào)整運(yùn)動模糊除去效果。例如，即使在使用了與類編碼KA對應(yīng)的處理系數(shù)dc時(shí)不能最佳地進(jìn)行運(yùn)動模糊除去的情況下，通過切換處理系數(shù)也可以最佳地除去運(yùn)動模糊。另外，通過切換處理系數(shù)，可以有意識地保留運(yùn)動模糊。
像素值生成部38c對從像素值提取部36提供的預(yù)測抽頭Ca和從處理系數(shù)設(shè)定部37c提供的處理系數(shù)dc進(jìn)行運(yùn)算處理，生成關(guān)注圖像內(nèi)的關(guān)注像素的像素值。例如，對從第1圖像保持部331所保持的周圍圖像提取的預(yù)測抽頭和處理系數(shù)進(jìn)行積和運(yùn)算，生成像素值。另外，對從第2圖像保持部332所保持的周圍圖像提取的預(yù)測抽頭和處理系數(shù)進(jìn)行積和運(yùn)算，生成像素值。通過綜合這2個(gè)像素值來生成關(guān)注像素的像素值，作為圖像信號DVout進(jìn)行輸出。在此，在將與類編碼對應(yīng)的特定的處理系數(shù)提供給像素值生成部38c時(shí)，與圖15同樣地，將運(yùn)動方向信息vd提供給像素值生成部38c，與像素值生成部38a同樣地進(jìn)行處理用的像素值的生成。另外，在對每個(gè)類編碼將與運(yùn)動方向?qū)?yīng)的處理系數(shù)存儲在處理系數(shù)設(shè)定部37c中時(shí)，將運(yùn)動方向信息vd提供給處理系數(shù)設(shè)定部37c，將由運(yùn)動方向信息vd所表示的運(yùn)動方向和與類編碼對應(yīng)的處理系數(shù)提供給像素值生成部38c。
這樣，通過使用多個(gè)周圍圖像的主要項(xiàng)的像素值來生成關(guān)注圖像內(nèi)的關(guān)注像素的像素值，即使發(fā)生了無法高精度地檢測關(guān)注像素的運(yùn)動向量的情況，也可以減少運(yùn)動模糊除去的性能下降，因此可以對運(yùn)動向量的檢測偏差進(jìn)行非常強(qiáng)力的運(yùn)動模糊除去。
圖27表示通過軟件進(jìn)行圖像處理的情況下的流程圖。在步驟ST21中，CPU201設(shè)定進(jìn)行運(yùn)動模糊除去的關(guān)注像素，進(jìn)入步驟ST22。在步驟ST22中，CPU201檢測關(guān)注像素的運(yùn)動方向，進(jìn)入步驟ST23。在步驟ST23中，CPU201進(jìn)行關(guān)注像素的類決定。在該類決定中，根據(jù)以關(guān)注像素的運(yùn)動方向、關(guān)注像素的空間位置為基準(zhǔn)在周圍圖像中設(shè)定的類抽頭的像素值，來進(jìn)行類分類，決定類編碼。在步驟ST24中，CPU201進(jìn)行像素值提取，提取在周圍圖像中設(shè)定的預(yù)測抽頭的像素值。即，CPU201為了提取主要包含運(yùn)動對象中的關(guān)注像素的成分的主要項(xiàng)，至少將空間位置與關(guān)注像素大致相同的周圍圖像內(nèi)的像素作為預(yù)測抽頭，提取該預(yù)測抽頭的像素值。
在步驟ST25中，CPU201設(shè)定與類編碼對應(yīng)的處理系數(shù)，進(jìn)入步驟ST26。在該處理系數(shù)的設(shè)定中，設(shè)定與類編碼對應(yīng)的特定的處理系數(shù)或與類編碼及在步驟ST22中檢測出的運(yùn)動方向?qū)?yīng)的處理系數(shù)。
在步驟ST26中，CPU201對各幀進(jìn)行模糊除去處理。即，CPU201根據(jù)在步驟ST24中提取的預(yù)測抽頭的像素值和與在步驟ST25中設(shè)定的運(yùn)動方向及類編碼對應(yīng)的運(yùn)動模糊除去用的處理系數(shù)，生成與關(guān)注像素對應(yīng)的像素值?；蛘撸瑥母鶕?jù)運(yùn)動方向提取的像素值，新生成處理用的像素值，并且，根據(jù)該處理用的像素值和與在步驟ST25中設(shè)定的類編碼對應(yīng)的特定的運(yùn)動模糊除去用的處理系數(shù)，來算出與關(guān)注像素對應(yīng)的像素值，進(jìn)入步驟ST27。
在步驟ST27中，CPU201判斷是否對全畫面完成了模糊除去處理，在存在沒有進(jìn)行模糊除去處理的像素時(shí)，返回到步驟ST21，在對全畫面完成了模糊除去時(shí)，結(jié)束處理。
下面，對通過學(xué)習(xí)求得存儲在處理系數(shù)設(shè)定部中的處理系數(shù)來進(jìn)行模糊除去處理的情況進(jìn)行說明。
圖28是表示通過學(xué)習(xí)求得處理系數(shù)來進(jìn)行模糊除去處理的情況的結(jié)構(gòu)的圖。學(xué)習(xí)裝置60使用教師圖像和在教師圖像中附加了運(yùn)動模糊的學(xué)生圖像來執(zhí)行學(xué)習(xí)處理，將通過該學(xué)習(xí)得到的處理系數(shù)存儲到圖像處理裝置20的處理系數(shù)設(shè)定部中。圖像處理裝置20從作為輸入圖像的包含運(yùn)動模糊的圖像中選擇預(yù)測抽頭，使得至少包含位置與關(guān)注像素的空間位置大致相同的像素，使用該預(yù)測抽頭的像素值和處理系數(shù)設(shè)定部中所存儲的處理系數(shù)來進(jìn)行運(yùn)算處理，求得進(jìn)行了模糊除去的關(guān)注像素的像素值。教師圖像使用利用高速攝像機(jī)拍攝的圖像、靜止圖像。另外，學(xué)生圖像將利用高速攝像機(jī)拍攝的圖像作為靜止圖像，通過對該圖像進(jìn)行時(shí)間積分而生成?；蛘?，設(shè)定運(yùn)動方向、運(yùn)動量，將與該設(shè)定的運(yùn)動方向及運(yùn)動量對應(yīng)的運(yùn)動模糊和噪音附加到靜止圖像中所得到的圖像作為學(xué)生圖像。另外，通過將學(xué)習(xí)源變化為HD格式、SD格式的圖像信號等，可以生成與各圖像格式對應(yīng)的最佳的系數(shù)。
圖29表示學(xué)習(xí)裝置60的功能框圖。運(yùn)動設(shè)定部61進(jìn)行運(yùn)動方向的設(shè)定、運(yùn)動量的設(shè)定，將表示設(shè)定好的運(yùn)動方向、運(yùn)動量的運(yùn)動信息MH提供給學(xué)生圖像生成部62。
學(xué)生圖像生成部62的運(yùn)動模糊附加部621根據(jù)由運(yùn)動信息MH表示的運(yùn)動量對教師圖像附加運(yùn)動模糊，并提供給全畫面移動部622。全畫面移動部622根據(jù)運(yùn)動信息MH，對附加了運(yùn)動模糊的教師圖像進(jìn)行全畫面移動，生成2個(gè)學(xué)生圖像。在此，生成2個(gè)學(xué)生圖像，使得2個(gè)學(xué)生圖像的正中的相位是教師圖像。即，使附加了運(yùn)動模糊的教師圖像向由運(yùn)動信息MH表示的運(yùn)動方向的反方向移動運(yùn)動量的1/2，生成例如與(t-1)幀的圖像相當(dāng)?shù)牡?學(xué)生圖像。另外，將附加了運(yùn)動模糊的教師圖像向由運(yùn)動信息MH所表示的運(yùn)動方向移動運(yùn)動量的1/2，生成例如與(t)幀的圖像相當(dāng)?shù)牡?學(xué)生圖像。按照這種方式生成學(xué)生圖像時(shí)，教師圖像與關(guān)注圖像相當(dāng)，學(xué)生圖像與周圍圖像相當(dāng)。將由全畫面移動部622生成的第1學(xué)生圖像存儲到第1圖像保持部623。另外，將由全畫面移動部622生成的第2學(xué)生圖像存儲到第2圖像保持部624。
噪音成分附加部625、626適用于將重疊在圖像信號DVa中的噪音NZ預(yù)先疊加到第1及第2學(xué)生圖像中來學(xué)習(xí)處理系數(shù)的附加部，使得即使在圖像信號DVa中疊加有噪音，也可以不受該噪音的影響而進(jìn)行運(yùn)動模糊除去處理。這樣，通過設(shè)置噪音成分附加部625、626而進(jìn)行學(xué)習(xí)，與不設(shè)定噪音成分附加部625、626而進(jìn)行學(xué)習(xí)的情況相比，可以受噪音的影響較少、高精度地進(jìn)行運(yùn)動模糊除去處理。
類決定部63與上述類決定部35同樣，在像素中決定類編碼KB，提供給處理系數(shù)生成部65的正規(guī)方程式生成部651。
預(yù)測抽頭提取部64與上述像素值提取部36同樣，從由學(xué)生圖像生成部62生成的第1及第2學(xué)生圖像中提取預(yù)測抽頭Ca，將預(yù)測抽頭的像素值提供給正規(guī)方程式生成部651。
處理系數(shù)生成部65的正規(guī)方程式生成部651根據(jù)由預(yù)測抽頭提取部64提取的預(yù)測抽頭Ca的像素值和教師圖像的像素值，對每個(gè)類編碼生成正規(guī)方程式，提供給系數(shù)決定部652。系數(shù)決定部652根據(jù)從正規(guī)方程式生成部651提供的正規(guī)方程式對每個(gè)學(xué)生圖像運(yùn)算處理系數(shù)，將得到的每個(gè)學(xué)生圖像的處理系數(shù)存儲到處理系數(shù)設(shè)定部37c。在此，在特定了運(yùn)動量和運(yùn)動方向而生成學(xué)生圖像時(shí)，將與類編碼對應(yīng)的特定的處理系數(shù)存儲到處理系數(shù)設(shè)定部37c中。另外，在切換運(yùn)動方向而生成學(xué)生圖像時(shí)，至少將與運(yùn)動方向及類編碼對應(yīng)的處理系數(shù)存儲到處理系數(shù)設(shè)定部37c。
下面說明正規(guī)方程式生成部651和系數(shù)決定部652。上述像素值生成部38c使用由像素值提取部36提取的預(yù)測抽頭的像素值和從處理系數(shù)設(shè)定部37c提供的處理系數(shù)，例如，進(jìn)行公式(18)所示的線性結(jié)合，對每個(gè)周圍圖像生成模糊除去處理后的像素值。
q′=Σi=0ndi×ci---(18)]]>此外，在公式(18)中，q’表示進(jìn)行了模糊除去的像素的像素值。ci(i是1至n的整數(shù)值，表示處理范圍的各像素)表示處理區(qū)域的像素值。另外，di表示處理系數(shù)。
在該公式(18)中，學(xué)習(xí)前各處理系數(shù)di是未定系數(shù)。通過輸入多個(gè)教師圖像(靜止圖像)的像素來進(jìn)行處理系數(shù)的學(xué)習(xí)。在存在m個(gè)教師圖像的像素、將m個(gè)像素的像素?cái)?shù)據(jù)描述為“qk(k是1至m的整數(shù)值)”的情況下，根據(jù)公式(18)設(shè)定下面的公式(19)。

在此，公式(19)通過進(jìn)行右邊的運(yùn)算，可以得到與沒有運(yùn)動模糊的實(shí)際的像素值qk大致相等的模糊除去后的像素值qk’。另外，之所以在公式(19)中不是等于而是約等于，是因?yàn)榘`差。即，作為右邊的運(yùn)算結(jié)果的模糊除去后的像素值在嚴(yán)格意義上與沒有運(yùn)動模糊的實(shí)際的圖像中的關(guān)注像素的像素值不一致，是因?yàn)榘?guī)定的誤差。
在該公式(19)中，如果通過學(xué)習(xí)求得使誤差的乘方和最小的處理系數(shù)di，則認(rèn)為該處理系數(shù)di是用于使模糊除去后的像素值qk接近沒有運(yùn)動模糊的像素值的最佳系數(shù)。因此，例如，使用通過學(xué)習(xí)收集的m個(gè)(m是大于n的整數(shù))像素值qk，通過最小二乘法決定最佳處理系數(shù)di。
通過最小二乘法求得公式(19)的右邊的處理系數(shù)di的情況下的正規(guī)方程式可以表示為公式(20)。
Σk=1mc1k×c1kΣk=1mc1k×c2k····Σk=1mc1k×cnkΣk=1mc2k×c1kΣk=1mc2k×c2k····Σk=1mc2k×cnk············Σk=1mcnk×c1kΣk=1mcnk×c2k····Σk=1mcnk×cnkd1d2···dn=Σk=1mc1k×qkΣk=1mc2k×qk···Σk=1mcnk×qk---(20)]]>因此，可以通過求解公式(20)所示的正規(guī)方程式來決定處理系數(shù)di。具體地說，如下面的公式(21)至公式(23)那樣定義公式(20)所示的正規(guī)方程式的各矩陣時(shí)，正規(guī)方程式表示為公式(24)那樣。
CMAT=Σk=1mc1k×c1kΣk=1mc1k×c2k····Σk=1mc1k×cnkΣk=1mc2k×c1kΣk=1mc2k×c2k····Σk=1mc2k×cnk···········Σk=1mcnk×c1kΣk=1mcnk×c2k····Σk=1mcnk×cnk---(21)]]>
DMAT=d1d2··dn---(22)]]>QMAT=Σk=1mc1k×qkΣk=1mc2k×qk··Σk=1mcnk×qk---(23)]]>CMATDMAT＝QMAT...(24)如公式(22)所示，矩陣DMAT的各成分是想要求解的處理系數(shù)di。因此，在公式(24)中，只要決定左邊的矩陣CMAT和右邊的矩陣QMAT，就可以通過矩陣解法算出矩陣DMAT(即，處理系數(shù)di)。具體地說，如公式(21)所示，矩陣CMAT的各成分只要已知預(yù)測抽頭cik就可以運(yùn)算。預(yù)測抽頭cik由預(yù)測抽頭提取部64提取，因此，正規(guī)方程式生成部651可以使用從預(yù)測抽頭提取部64提供的各預(yù)測抽頭cik來運(yùn)算矩陣CMAT的各成分。
另外，如公式(23)所示，只要已知預(yù)測抽頭cik和靜止圖像的像素值qk就可以計(jì)算矩陣QMAT的各成分。預(yù)測抽頭cik與矩陣CMAT的各成分中所包含的內(nèi)容相同，另外，像素值qk是針對預(yù)測抽頭cik中所包含的關(guān)注像素(學(xué)生圖像的像素)的教師圖像的像素。因此，正規(guī)方程式生成部651可以使用由預(yù)測抽頭提取部64提供的預(yù)測抽頭cik和教師圖像來運(yùn)算矩陣QMAT的各成分。
這樣一來，正規(guī)方程式生成部651運(yùn)算矩陣CMAT和矩陣QMAT的各成分，將該運(yùn)算結(jié)果提供給系數(shù)決定部652。
系數(shù)決定部652運(yùn)算作為上述公式(22)的矩陣DMAT的各成分的處理系數(shù)di。具體地說，上述公式(24)的正規(guī)方程式可以如下面的公式(25)那樣變形。
DMAT＝CMAT-1QMAT...(25)在公式(25)中，左邊的矩陣DMAT的各成分是要求解的處理系數(shù)di。另外，矩陣CMAT和矩陣QMAT的各成分由正規(guī)方程式生成部651提供。因此，系數(shù)決定部652在由正規(guī)方程式生成部651提供了矩陣CMAT和矩陣QMAT的各成分時(shí)，通過進(jìn)行公式(25)的右邊的矩陣運(yùn)算來運(yùn)算矩陣DMAT，將該運(yùn)算結(jié)果(處理系數(shù)di)存儲到處理系數(shù)設(shè)定部37c。另外，如果在運(yùn)動設(shè)定部61中改變運(yùn)動方向、運(yùn)動量而進(jìn)行上述學(xué)習(xí)，則可以將與運(yùn)動方向、運(yùn)動量對應(yīng)的處理系數(shù)存儲到處理系數(shù)設(shè)定部。
另外，根據(jù)由學(xué)生圖像生成部附加的噪音，將處理系數(shù)進(jìn)行類分類，存儲到處理系數(shù)設(shè)定部37。如果這樣根據(jù)噪音對處理系數(shù)進(jìn)行類分類，則可以如上述那樣，能夠根據(jù)調(diào)整信息BS變更類，切換選擇的處理系數(shù)。
圖30是表示學(xué)習(xí)裝置所執(zhí)行的學(xué)習(xí)處理的流程圖。在步驟ST31中，設(shè)定生成的處理系數(shù)的運(yùn)動量和運(yùn)動方向。
在步驟ST32中，附加運(yùn)動模糊，根據(jù)由步驟ST31設(shè)定的運(yùn)動量及運(yùn)動方向，在教師圖像中附加運(yùn)動模糊。
在步驟ST33中，進(jìn)行全畫面移動，根據(jù)由步驟ST31設(shè)定的運(yùn)動量及運(yùn)動方向，對在步驟ST32中附加了運(yùn)動模糊的教師圖像進(jìn)行全畫面移動，生成與周圍圖像對應(yīng)的學(xué)生圖像。
在步驟ST34中，進(jìn)行噪音附加處理，在學(xué)生圖像中附加噪音。在步驟ST35中，進(jìn)行類決定處理，使用附加了噪音的學(xué)生圖像對每個(gè)像素決定類編碼。
在步驟ST36中，從附加了噪音的學(xué)生圖像中提取預(yù)測抽頭。在步驟ST37中，使用教師圖像和提取的預(yù)測抽頭，對每個(gè)類生成正規(guī)方程式。在步驟ST38中，求解正規(guī)方式，生成處理系數(shù)。
在步驟ST39中，判斷是否對全畫面實(shí)施了處理，在沒有對全畫面實(shí)施處理時(shí)，對新像素重復(fù)從步驟ST31開始的處理，在全部像素的處理結(jié)束時(shí)，結(jié)束學(xué)習(xí)處理。這樣一來，可以生成至少與運(yùn)動方向和類對應(yīng)的運(yùn)動模糊除去用的處理系數(shù)。另外，通過特定運(yùn)動方向、運(yùn)動量，可以生成與類對應(yīng)的特定的處理系數(shù)。
此外，在通過用圖29、圖30說明的學(xué)習(xí)而進(jìn)行的處理系數(shù)的生成中，進(jìn)行類決定，生成與類對應(yīng)的處理系數(shù)。但是，在處理系數(shù)的生成中，也可以移動教師圖像生成學(xué)生圖像，不進(jìn)行類決定，而是通過學(xué)習(xí)生成針對特定的運(yùn)動方向的處理系數(shù)、每個(gè)運(yùn)動方向的處理系數(shù)、或包括運(yùn)動量在內(nèi)的處理系數(shù)。另外，在使用模型式生成處理系數(shù)的情況下，不只是對特定的運(yùn)動方向、每個(gè)運(yùn)動方向生成處理系數(shù)、或包括運(yùn)動量在內(nèi)生成處理系數(shù)，也可以進(jìn)行類決定來對每個(gè)類生成處理系數(shù)。
工業(yè)上的可利用性綜上所述，本發(fā)明涉及的圖像處理裝置、學(xué)習(xí)裝置、系數(shù)生成裝置及其方法在提取使用圖像傳感器拍攝現(xiàn)實(shí)社會而得到的圖像信號中所包含的信息時(shí)很有用，適合于得到除去了運(yùn)動模糊的圖像的情況。
權(quán)利要求
1.一種圖像處理裝置，其特征在于，具備關(guān)注像素設(shè)定部，其設(shè)定預(yù)測的關(guān)注圖像內(nèi)的關(guān)注像素；運(yùn)動方向檢測部，其檢測與所述關(guān)注像素對應(yīng)的運(yùn)動方向；像素值提取單元部，其為了從相對于所述關(guān)注圖像的周圍圖像提取主要包含該周圍圖像內(nèi)的產(chǎn)生了運(yùn)動模糊的運(yùn)動對象中的所述關(guān)注像素的成分的主要項(xiàng)，至少提取與所述關(guān)注像素的空間位置大致相同的周圍圖像內(nèi)的像素的像素值；處理系數(shù)設(shè)定部，其根據(jù)由所述運(yùn)動方向檢測部檢測出的運(yùn)動方向，設(shè)定運(yùn)動模糊除去用的處理系數(shù)，或者設(shè)定特定的運(yùn)動模糊除去用的處理系數(shù)；以及像素值生成部，其根據(jù)由所述像素值提取部所提取的像素值和由所述處理系數(shù)設(shè)定部設(shè)定的運(yùn)動模糊除去用的處理系數(shù)，生成與所述關(guān)注像素對應(yīng)的像素值，或者根據(jù)所述運(yùn)動方向，從所述提取的像素值新生成處理用的像素值，并且根據(jù)該處理用的像素值和所述特定的運(yùn)動模糊除去用的處理系數(shù)，生成與所述關(guān)注像素對應(yīng)的像素值。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，具備類決定部，該類決定部根據(jù)所述運(yùn)動方向決定所述關(guān)注像素的類，所述處理系數(shù)設(shè)定部設(shè)定與由所述類決定部決定的類對應(yīng)的運(yùn)動模糊除去用的處理系數(shù)。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述像素值提取部在所述周圍圖像是隔行掃描格式時(shí)，提取所述周圍圖像內(nèi)的第1多個(gè)像素的像素值，在所述周圍圖像是逐行掃描格式時(shí)，提取所述周圍圖像內(nèi)的第2多個(gè)像素的像素值。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，所述類決定部根據(jù)與所述關(guān)注圖像內(nèi)的關(guān)注像素對應(yīng)的所述周圍圖像內(nèi)的像素的像素值的活度，決定所述關(guān)注像素的類。
5.一種圖像處理方法，其特征在于，具備以下工序關(guān)注像素設(shè)定工序，設(shè)定預(yù)測的關(guān)注圖像內(nèi)的關(guān)注像素；運(yùn)動方向檢測工序，檢測與所述關(guān)注像素對應(yīng)的運(yùn)動方向；像素值提取工序，為了從相對于所述關(guān)注圖像的周圍圖像提取主要包含該周圍圖像內(nèi)的產(chǎn)生了運(yùn)動模糊的運(yùn)動對象中的所述關(guān)注像素的成分的主要項(xiàng)，至少提取與所述關(guān)注像素的空間位置大致相同的周圍圖像內(nèi)的像素的像素值；處理系數(shù)設(shè)定工序，根據(jù)由所述運(yùn)動方向檢測工序檢測出的運(yùn)動方向，設(shè)定運(yùn)動模糊除去用的處理系數(shù)，或者設(shè)定特定的運(yùn)動模糊除去用的處理系數(shù)；以及像素值生成工序，根據(jù)由所述像素值提取工序所提取的像素值和由所述處理系數(shù)設(shè)定工序設(shè)定的運(yùn)動模糊除去用的處理系數(shù)，生成與所述關(guān)注像素對應(yīng)的像素值，或者，根據(jù)所述運(yùn)動方向，從所述提取的像素值新生成處理用的像素值，并且根據(jù)該處理用的像素值和所述特定的運(yùn)動模糊除去用的處理系數(shù)，生成與所述關(guān)注像素對應(yīng)的像素值。
6.根據(jù)權(quán)利要求5所述的圖像處理方法，其特征在于，具備類決定工序，在該類決定工序中，根據(jù)所述運(yùn)動方向決定所述關(guān)注像素的類，在所述處理系數(shù)設(shè)定工序中，設(shè)定與由所述類決定工序所決定的類對應(yīng)的運(yùn)動模糊除去用的處理系數(shù)。
7.根據(jù)權(quán)利要求5所述的圖像處理方法，其特征在于，在所述像素值提取工序中，在所述周圍圖像是隔行掃描格式時(shí)，提取所述周圍圖像內(nèi)的第1多個(gè)像素的像素值，在所述周圍圖像是逐行掃描格式時(shí)，提取所述周圍圖像內(nèi)的第2多個(gè)像素的像素值。
8.根據(jù)權(quán)利要求6所述的圖像處理方法，其特征在于，在所述類決定工序中，根據(jù)與所述關(guān)注圖像內(nèi)的關(guān)注像素對應(yīng)的所述周圍圖像內(nèi)的像素的像素值的活度，決定所述關(guān)注像素的類。
9.一種學(xué)習(xí)裝置，其特征在于，具備運(yùn)動量設(shè)定部，其設(shè)定運(yùn)動量；運(yùn)動方向設(shè)定部，其設(shè)定運(yùn)動方向；學(xué)生圖像生成部，其根據(jù)由所述運(yùn)動量設(shè)定部設(shè)定的運(yùn)動量和由所述運(yùn)動方向設(shè)定部設(shè)定的運(yùn)動方向，在教師圖像中附加運(yùn)動模糊，生成學(xué)生圖像；預(yù)測抽頭提取部，其為了提取主要包含所述學(xué)生圖像內(nèi)的產(chǎn)生了運(yùn)動模糊的運(yùn)動對象中的所述關(guān)注像素的成分的主要項(xiàng)，至少提取與所述教師圖像內(nèi)的關(guān)注像素的空間位置大致相同的所述學(xué)生圖像內(nèi)的像素的像素值；以及處理系數(shù)生成部，其至少對每個(gè)所述運(yùn)動方向，生成根據(jù)所述預(yù)測抽頭提取部所提取的像素的像素值預(yù)測所述教師圖像內(nèi)的關(guān)注像素的處理系數(shù)，或者，生成與特定的運(yùn)動量和運(yùn)動方向?qū)?yīng)的單一的處理系數(shù)。
10.根據(jù)權(quán)利要求9所述的學(xué)習(xí)裝置，其特征在于，具備類決定部，該類決定部根據(jù)所述運(yùn)動方向決定所述關(guān)注像素的類，所述處理系數(shù)生成部生成與由所述類決定部決定的類對應(yīng)的所述處理系數(shù)。
11.根據(jù)權(quán)利要求9所述的學(xué)習(xí)裝置，其特征在于，所述學(xué)生圖像生成部在所述學(xué)生圖像中還附加噪音。
12.根據(jù)權(quán)利要求9所述的學(xué)習(xí)裝置，其特征在于，所述預(yù)測抽頭提取部在所述學(xué)生圖像是隔行掃描格式時(shí)，提取所述學(xué)生圖像內(nèi)的第1多個(gè)像素的像素值，在所述學(xué)生圖像是逐行掃描格式時(shí)，提取所述學(xué)生圖像內(nèi)的第2多個(gè)像素的像素值。
13.根據(jù)權(quán)利要求10所述的學(xué)習(xí)裝置，其特征在于，所述類決定部根據(jù)與所述教師圖像內(nèi)的關(guān)注像素對應(yīng)的所述學(xué)生圖像內(nèi)的像素的像素值的活度，決定所述關(guān)注像素的類。
14.一種學(xué)習(xí)方法，其特征在于，具備以下工序運(yùn)動量設(shè)定工序，設(shè)定運(yùn)動量；運(yùn)動方向設(shè)定工序，設(shè)定運(yùn)動方向；學(xué)生圖像生成工序，根據(jù)由所述運(yùn)動量設(shè)定工序設(shè)定的運(yùn)動量和由所述運(yùn)動方向設(shè)定工序設(shè)定的運(yùn)動方向，在教師圖像中附加運(yùn)動模糊，生成學(xué)生圖像；預(yù)測抽頭提取工序，為了提取主要包含所述學(xué)生圖像內(nèi)的產(chǎn)生了運(yùn)動模糊的運(yùn)動對象中的所述關(guān)注像素的成分的主要項(xiàng)，至少提取與所述教師圖像內(nèi)的關(guān)注像素的空間位置大致相同的所述學(xué)生圖像內(nèi)的像素的像素值；以及處理系數(shù)生成工序，至少對每個(gè)所述運(yùn)動方向，生成根據(jù)由所述預(yù)測抽頭提取工序所提取的像素的像素值預(yù)測所述教師圖像內(nèi)的關(guān)注像素的處理系數(shù)，或者，生成與特定的運(yùn)動量和運(yùn)動方向?qū)?yīng)的單一的處理系數(shù)。
15.根據(jù)權(quán)利要求14所述的學(xué)習(xí)方法，其特征在于，具備類決定工序，在該類決定工序中，根據(jù)所述運(yùn)動方向決定所述關(guān)注像素的類，在所述處理系數(shù)生成工序中，對由每個(gè)所述類決定工序所決定的類，根據(jù)由所述預(yù)測抽頭提取工序所提取的像素的像素值生成所述處理系數(shù)。
16.根據(jù)權(quán)利要求14所述的學(xué)習(xí)方法，其特征在于，在所述學(xué)生圖像生成工序中，在所述學(xué)生圖像中還附加噪音。
17.根據(jù)權(quán)利要求14所述的學(xué)習(xí)方法，其特征在于，在所述預(yù)測抽頭提取工序中，在所述學(xué)生圖像是隔行掃描格式時(shí)，提取所述學(xué)生圖像內(nèi)的第1多個(gè)像素的像素值，在所述學(xué)生圖像是逐行掃描格式時(shí)，提取所述學(xué)生圖像內(nèi)的第2多個(gè)像素的像素值。
18.根據(jù)權(quán)利要求15所述的學(xué)習(xí)方法，其特征在于，在所述類決定工序中，根據(jù)與所述教師圖像內(nèi)的關(guān)注像素對應(yīng)的所述學(xué)生圖像內(nèi)的像素的像素值的活度，決定所述關(guān)注像素的類。
19.一種系數(shù)生成裝置，其特征在于，具備運(yùn)動量設(shè)定部，其設(shè)定運(yùn)動量；運(yùn)動方向設(shè)定部，其設(shè)定運(yùn)動方向；以及處理系數(shù)生成部，其根據(jù)由所述運(yùn)動量設(shè)定部設(shè)定的運(yùn)動量和由所述運(yùn)動方向設(shè)定部設(shè)定的運(yùn)動方向，構(gòu)筑由在圖像中附加了運(yùn)動模糊的至少2個(gè)圖像構(gòu)成的模型，根據(jù)與位于所述2個(gè)圖像之間的關(guān)注像素的空間位置大致相同的2個(gè)圖像內(nèi)的周圍像素的像素值的累加特性和使相鄰像素差＝0的限制來生成矩陣，求出在通過基于該矩陣的運(yùn)算求出從發(fā)生了運(yùn)動模糊的周圍像素中除去模糊后的所述關(guān)注像素時(shí)、與發(fā)生了運(yùn)動模糊的周圍像素相乘的系數(shù)，作為處理系數(shù)。
20.一種系數(shù)生成方法，其特征在于，具備以下工序運(yùn)動量設(shè)定工序，設(shè)定運(yùn)動量；運(yùn)動方向設(shè)定工序，設(shè)定運(yùn)動方向；以及處理系數(shù)生成工序，根據(jù)由所述運(yùn)動量設(shè)定工序設(shè)定的運(yùn)動量和由所述運(yùn)動方向設(shè)定工序設(shè)定的運(yùn)動方向，構(gòu)筑由在圖像中附加了運(yùn)動模糊的至少2個(gè)圖像構(gòu)成的模型，根據(jù)與位于所述2個(gè)圖像之間的關(guān)注像素的空間位置大致相同的2個(gè)圖像內(nèi)的周圍像素的像素值的累加特性和使相鄰像素差＝0的限制來生成矩陣，求出在通過基于該矩陣的運(yùn)算求出從發(fā)生了運(yùn)動模糊的周圍像素中除去模糊后的所述關(guān)注像素時(shí)、與發(fā)生了運(yùn)動模糊的周圍像素相乘的系數(shù)，作為處理系數(shù)。
全文摘要
關(guān)注像素設(shè)定部(31)設(shè)定預(yù)測的關(guān)注圖像內(nèi)的關(guān)注像素。運(yùn)動方向檢測部(32)檢測與關(guān)注像素對應(yīng)的運(yùn)動方向。像素值提取部(36)為了從相對于關(guān)注圖像的周圍圖像提取主要包含該周圍圖像內(nèi)的產(chǎn)生了運(yùn)動模糊的運(yùn)動對象中的關(guān)注像素的成分的主要項(xiàng)，至少提取與關(guān)注像素的空間位置大致相同的周圍圖像內(nèi)的像素的像素值。處理系數(shù)設(shè)定部(37a)設(shè)定特定的運(yùn)動模糊除去用的處理系數(shù)。像素值生成部(38a)根據(jù)運(yùn)動方向從由像素值提取部(36)提取的像素值新生成處理用的像素值，根據(jù)該處理用的像素值和特定的運(yùn)動模糊除去用的處理系數(shù)來生成與上述關(guān)注像素對應(yīng)的像素值。可以對運(yùn)動向量的偏差進(jìn)行可靠的運(yùn)動模糊除去處理。
文檔編號H04N5/21GK101084672SQ20058004402
公開日2007年12月5日 申請日期2005年12月21日 優(yōu)先權(quán)日2004年12月21日
發(fā)明者永野隆浩, 近藤哲二郎, 渡邊勉, 石橋淳一, 白木壽一, 藤原直樹, 金丸昌憲, 金子慎一郎, 周藤泰廣 申請人:索尼株式會社