動(dòng)信息，并且將運(yùn)動(dòng)信息提供給合成單元83。
[0083] 在步驟S15中，合成單元83合成從運(yùn)動(dòng)估計(jì)單元81提供的運(yùn)動(dòng)信息和從運(yùn)動(dòng)估 計(jì)單元82提供的運(yùn)動(dòng)信息，并且將合成的運(yùn)動(dòng)信息提供給相機(jī)模糊校正單元84。
[0084] 具體地，例如，在上述的步驟S13至步驟S15中執(zhí)行下面的處理。
[0085] 即，如圖5的箭頭A21所指示，可以假設(shè)獲得多個(gè)圖像的組（S卩，包括各個(gè)幀的圖 像的運(yùn)動(dòng)圖像）作為外圖像。這里，由箭頭A21所指示的每個(gè)矩形表示外圖像的每個(gè)幀。
[0086]當(dāng)獲得包括多個(gè)幀的外圖像時(shí)，運(yùn)動(dòng)估計(jì)單元81將外圖像劃分成多個(gè)局部區(qū)域， 并且獲得每個(gè)局部區(qū)域的運(yùn)動(dòng)向量，如箭頭A22所指示。由箭頭A22所指示的一個(gè)矩形表 示外圖像，并且外圖像中的每個(gè)矩形表示外圖像上的局部區(qū)域。另外，在每個(gè)局部區(qū)域中描 繪的箭頭指示該局部區(qū)域的運(yùn)動(dòng)向量。
[0087] 在計(jì)算局部區(qū)域的運(yùn)動(dòng)向量中，例如使用例如模板匹配方法通過(guò)相應(yīng)時(shí)間（幀） 的圖像之間的相似度來(lái)獲得被攝體的移動(dòng)量的方法。從而，當(dāng)獲得外圖像的每個(gè)局部區(qū)域 的運(yùn)動(dòng)向量時(shí)，運(yùn)動(dòng)估計(jì)單元81基于每個(gè)時(shí)間的外圖像的每個(gè)局部區(qū)域的運(yùn)動(dòng)向量來(lái)計(jì) 算圖像處理設(shè)備11的運(yùn)動(dòng)向量A作為運(yùn)動(dòng)信息。
[0088] 例如，根據(jù)諸如牛頓（Newton)方法的仿射參數(shù)估計(jì)這樣的方法來(lái)計(jì)算圖像處理 設(shè)備11的運(yùn)動(dòng)向量A。
[0089] 在外圖像的情況下，還計(jì)算基于內(nèi)圖像的運(yùn)動(dòng)信息。即，當(dāng)獲得由箭頭A23所指示 的圖像的組作為內(nèi)圖像時(shí)，運(yùn)動(dòng)估計(jì)單元82將內(nèi)圖像劃分成多個(gè)局部區(qū)域，如箭頭A24所 指示，并且通過(guò)模板匹配等獲得每個(gè)局部區(qū)域的運(yùn)動(dòng)向量。
[0090] 箭頭A23所指示的每個(gè)矩形表示內(nèi)圖像的每個(gè)幀。箭頭A24所指示的一個(gè)矩形表 示內(nèi)圖像，并且內(nèi)圖像中的每個(gè)矩形表示內(nèi)圖像上的局部區(qū)域。另外，在每個(gè)局部區(qū)域中描 繪的箭頭指示該局部區(qū)域的運(yùn)動(dòng)向量。
[0091]運(yùn)動(dòng)估計(jì)單元82基于每個(gè)時(shí)間的內(nèi)圖像的每個(gè)局部區(qū)域的運(yùn)動(dòng)向量，通過(guò)牛頓 方法等計(jì)算圖像處理設(shè)備11的運(yùn)動(dòng)向量B作為運(yùn)動(dòng)信息。
[0092]以此方式從內(nèi)圖像獲得的運(yùn)動(dòng)向量B的右、左、上和下部分相對(duì)于從外圖像獲得 的運(yùn)動(dòng)向量A是反向的，如圖6所示。
[0093] S卩，如圖6所示，垂直于圖像處理設(shè)備11的前表面的方向（S卩，平行于外圖像捕獲 單元23的拍攝方向的方向）被稱為Z軸方向，并且垂直于Z軸的軸被稱為X軸和Y軸。這 里，X軸是圖像處理設(shè)備11的水平方向（即，平行于水平面的方向）上的軸，而Y軸是平行 于垂直方向的方向上的軸。
[0094] 當(dāng)分別使用外圖像和內(nèi)圖像計(jì)算出運(yùn)動(dòng)向量A和運(yùn)動(dòng)向量B，并且例如圖像處理 設(shè)備11的運(yùn)動(dòng)僅是圍繞用作旋轉(zhuǎn)軸的Y軸的旋轉(zhuǎn)運(yùn)動(dòng)時(shí)，如圖的上側(cè)所示，運(yùn)動(dòng)向量A和 運(yùn)動(dòng)向量B為相同方向。
[0095] 另一方面，當(dāng)圖像處理設(shè)備11的運(yùn)動(dòng)僅為圍繞用作旋轉(zhuǎn)軸的X軸的旋轉(zhuǎn)運(yùn)動(dòng)以及 圍繞用作旋轉(zhuǎn)軸的Z軸的旋轉(zhuǎn)運(yùn)動(dòng)時(shí)，如圖的下側(cè)所示，運(yùn)動(dòng)向量A和運(yùn)動(dòng)向量B的右、左、 上和下部分是反向的，使得其方向被翻轉(zhuǎn)為相對(duì)的方向。
[0096] 圖的右側(cè)的一個(gè)矩形表示外圖像或內(nèi)圖像，并且圖像中的箭頭表示圖像的運(yùn)動(dòng)向 量。
[0097] 當(dāng)以此方式獲得運(yùn)動(dòng)向量A和運(yùn)動(dòng)向量B作為運(yùn)動(dòng)信息時(shí)，合成單元83將運(yùn)動(dòng)向 量A和運(yùn)動(dòng)向量B合成以生成運(yùn)動(dòng)向量C。所獲得的運(yùn)動(dòng)向量C被假設(shè)為圖像處理設(shè)備11 的最終運(yùn)動(dòng)信息。
[0098] 具體地，例如，合成單元83通過(guò)計(jì)算下面的式（1)來(lái)計(jì)算運(yùn)動(dòng)向量C。
[0099][數(shù)學(xué)式1]
[0100] C = al ? A+bl ? B... (1)
[0101] 在式（1)中，al和bl分別指示作為運(yùn)動(dòng)向量A和運(yùn)動(dòng)向量B的權(quán)重的系數(shù)，并且 被確定為使得滿足"al+bl = 1.0"。
[0102] 例如，外圖像捕獲單元23和內(nèi)圖像捕獲單元22可以進(jìn)行拍攝，使得曝光時(shí)間不 同，并且可以對(duì)從曝光時(shí)間較短的圖像獲得的運(yùn)動(dòng)向量給出較大的權(quán)重，使得根據(jù)運(yùn)動(dòng)估 計(jì)的精確度來(lái)確定系數(shù)al和bl。這里，對(duì)從曝光時(shí)間較短的圖像獲得的運(yùn)動(dòng)向量給出較大 的權(quán)重的原因是：在拍攝圖像時(shí)曝光時(shí)間較短的圖像具有較少的由于移動(dòng)的被攝體或相機(jī) 抖動(dòng)所造成的模糊，并且可以精確地進(jìn)行運(yùn)動(dòng)估計(jì)。
[0103] 具體地，在很多情況下，在外圖像捕獲單元23和內(nèi)圖像捕獲單元22中，對(duì)于拍攝 作為拍攝者的用戶的內(nèi)圖像捕獲單元22,到被攝體的距離較短。因此，在內(nèi)圖像中，由于相 機(jī)抖動(dòng)所造成的模糊（抖動(dòng)）比在外圖像中更少，并且可以以更高的精確度進(jìn)行運(yùn)動(dòng)估計(jì)。 因此，在將內(nèi)圖像的曝光時(shí)間設(shè)置成比外圖像的曝光時(shí)間更短、并且將系數(shù)bl設(shè)置成具有 比系數(shù)al更大的值時(shí)，可以獲取更高的效率。
[0104] 返回參照?qǐng)D4的流程圖以進(jìn)行描述，當(dāng)在步驟S15的處理中將圖像處理設(shè)備11的 運(yùn)動(dòng)信息計(jì)算為用于相機(jī)模糊校正的控制信息時(shí)，隨后進(jìn)行步驟S16的處理。
[0105] 在步驟S16中，相機(jī)模糊校正單元84基于從合成單元83提供的運(yùn)動(dòng)信息對(duì)從外 圖像捕獲單元23提供的外圖像進(jìn)行相機(jī)模糊校正，并且將作為結(jié)果獲得的外圖像提供給 記錄單元54 〇
[0106]例如，相機(jī)模糊校正單元84基于作為從合成單元83提供的運(yùn)動(dòng)信息的運(yùn)動(dòng)向量C 來(lái)計(jì)算外圖像上的每個(gè)局部區(qū)域內(nèi)部的特征點(diǎn)的移動(dòng)量，并且基于該移動(dòng)量來(lái)計(jì)算仿射參 數(shù)。
[0107]更具體地，如圖7的上側(cè)所示，假設(shè)在時(shí)間t(幀t)時(shí)的外圖像APll中獲得每個(gè) 局部區(qū)域的運(yùn)動(dòng)向量作為圖像處理設(shè)備11的運(yùn)動(dòng)信息。外圖像APll中的每個(gè)矩形表示局 部區(qū)域，并且每個(gè)局部區(qū)域中的箭頭表示該局部區(qū)域的運(yùn)動(dòng)向量。
[0108] 現(xiàn)在，如圖的下側(cè)所示，假設(shè)針對(duì)外圖像APll的每個(gè)局部區(qū)域獲得特征點(diǎn)。在圖 的下側(cè)，一個(gè)圓圈（更具體地，沒(méi)有斜紋的圓圈）表示時(shí)間t時(shí)的一個(gè)特征點(diǎn)，并且具有斜 紋的圓圈表示時(shí)間t+1時(shí)的特征點(diǎn)。
[0109] 在該情況下，相機(jī)模糊校正單元84獲得運(yùn)動(dòng)向量C作為運(yùn)動(dòng)信息，即每個(gè)局部區(qū) 域的運(yùn)動(dòng)向量，并且基于時(shí)間t時(shí)的每個(gè)特征點(diǎn)的位置來(lái)獲得時(shí)間t+1時(shí)的特征點(diǎn)的位置。 然后，相機(jī)模糊校正單元84獲得滿足下面的式（2)和式（3)的變形參數(shù)a至1作為仿射參 數(shù)。這里，假設(shè)在外圖像APll上有P個(gè)特征點(diǎn)。
[0114]在式⑵中，具有元素s、t和u的向量指示時(shí)間t時(shí)的外圖像APll的特征點(diǎn)的坐 標(biāo)。即，具有元素s、t和u的向量指示在圖7中用沒(méi)有斜紋的圓圈表示的特征點(diǎn)的坐標(biāo)。
[0115] 在式（3)中，具有元素X、Y和Z的向量指示根據(jù)運(yùn)動(dòng)信息獲得的在時(shí)間t+1時(shí)的 外圖像APll的特征點(diǎn)的坐標(biāo)。即，具有元素X、Y和Z的向量指示在圖7中用具有斜紋的圓 圈表示的特征點(diǎn)的坐標(biāo)。
[0116] 式（3)指示圖7中的時(shí)間t+1時(shí)的特征點(diǎn)與時(shí)間t時(shí)的特征點(diǎn)重疊的圖像變形， 即仿射變換的變形表示。相應(yīng)地，在式（2)和式（3)中具有元素x、y和z的向量指示在使 用仿射參數(shù)對(duì)時(shí)間t+1時(shí)的外圖像APll的特征點(diǎn)的坐標(biāo)進(jìn)行圖像變形的情況下的變形后 的特征點(diǎn)的坐標(biāo)。
[0117] 當(dāng)計(jì)算出變形參數(shù)a至1時(shí)，如式（2)所示，獲得相互匹配的P個(gè)特征點(diǎn)的變形參 數(shù)a至1，使得變形之后的t+1時(shí)的特征點(diǎn)的位置與時(shí)間t時(shí)的特征點(diǎn)的位置之間的差異 (即，變換誤差）最小。
[0118]當(dāng)以此方式獲得仿射參數(shù)時(shí)，相機(jī)模糊校正單元84通過(guò)使用所獲得的仿射參數(shù) 進(jìn)行在前面的式（3)中所指示的圖像變形、以及使從外圖像捕獲單元23提供的時(shí)間t+1時(shí) 的實(shí)際的外圖像變形來(lái)進(jìn)行運(yùn)動(dòng)校正。即，從外圖像中除去相機(jī)抖動(dòng)分量，進(jìn)行相機(jī)模糊校 正，并且將作為結(jié)果獲得的外圖像提供給記錄單元54。在通過(guò)式（3)中所指示的圖像變形 (圖像變換）進(jìn)行的相機(jī)模糊校正中，可以處理平移、擴(kuò)張和收縮、旋轉(zhuǎn)以及失真的運(yùn)動(dòng)。
[0119] 返回參考圖4的流程圖以進(jìn)行描述，當(dāng)在步驟S16中對(duì)外圖像進(jìn)行相機(jī)模糊校正 時(shí)，處理進(jìn)行到步驟S17。
[0120] 在步驟S17中，記錄單元54在控制單元52的控制下記錄從相機(jī)模糊校正單元84 提供的外圖像，然后拍攝處理結(jié)束。
[0121] 如上所述，圖像處理設(shè)備11基于通過(guò)使用外圖像和內(nèi)圖像獲得圖像處理設(shè)備11 的運(yùn)動(dòng)信息所獲取的運(yùn)動(dòng)信息，對(duì)外圖像進(jìn)行相機(jī)模糊校正。
[0122] 從而，可以使用外圖像和內(nèi)圖像這兩者以較高的精確度來(lái)估計(jì)圖像處理設(shè)備11 的運(yùn)動(dòng)。從而，即使當(dāng)圖像處理設(shè)備11在拍攝外圖像時(shí)更復(fù)雜地移動(dòng)，也可以以較高的精 確度除去在圖像處理設(shè)備11的運(yùn)動(dòng)中出現(xiàn)的抖動(dòng)分量。即，可以獲得具有高質(zhì)量和較高銳 度的外圖像。
[0123] 換言之，在圖像處理設(shè)備11中，通過(guò)使用關(guān)于通過(guò)在兩個(gè)不同方向上的拍攝而獲 得的圖像的信息對(duì)圖像進(jìn)行拍攝控制，相比于拍攝一個(gè)圖像的情況，可以使用更多信息來(lái) 進(jìn)行拍攝控制。因此，可以獲得具有更高質(zhì)量的外圖像。
[0124] 以上已經(jīng)描述了對(duì)外圖像進(jìn)行相機(jī)模糊校正的示例。然而，可以通過(guò)相同的處理 對(duì)內(nèi)圖像進(jìn)行相機(jī)模糊校正，并且可以記錄作為結(jié)果獲得的內(nèi)圖像。
[0125](第一實(shí)施例的修改示例1)
[0126](圖像處理設(shè)備的配置示例2)
[0127] 如上所述，通過(guò)合成從外圖像獲得的運(yùn)動(dòng)向量A和從內(nèi)圖像獲得的運(yùn)動(dòng)向量B，獲 得了運(yùn)動(dòng)向量C。然而，除了所述運(yùn)動(dòng)向量之外，還可以合成通過(guò)傳感器獲得的運(yùn)動(dòng)向量。
[0128] 在該情況下，圖像處理設(shè)備11具有例如在圖8中所示的配置。在圖8中，對(duì)與在 圖2中所示的構(gòu)成元件相對(duì)應(yīng)的構(gòu)成元件給出相同的標(biāo)號(hào)，并且將適當(dāng)?shù)厥÷云涿枋觥?br>[0129] 在圖8中所示的圖像處理設(shè)備11被配置為使得在圖2中的圖像處理設(shè)備11中還 安裝運(yùn)動(dòng)檢測(cè)單元111。
[0130] 運(yùn)動(dòng)檢測(cè)單元111包括例如加速度傳感器或陀螺儀傳感器，檢測(cè)圖像處理設(shè)備11 的運(yùn)動(dòng)，并且向信號(hào)處理單元53的合成單元83提供作為運(yùn)動(dòng)信息的指示檢測(cè)結(jié)果的運(yùn)動(dòng) 向量D。
[0131] 這里，圖8中的圖像處理設(shè)備11的信號(hào)處理單元53具有在圖3中所示的信號(hào)處 理單元53的配置。信號(hào)處理單元53的合成單元83合成從運(yùn)動(dòng)估計(jì)單元81提供的運(yùn)動(dòng)信 息、從運(yùn)動(dòng)估計(jì)單元82提供的運(yùn)動(dòng)信息以及從運(yùn)動(dòng)檢測(cè)單元111提供的運(yùn)動(dòng)信息，并且向 相機(jī)模糊校正單元84提供合成的運(yùn)動(dòng)信息。
[0132][拍攝處理的描述2]
[0133] 接下來(lái)，將參照?qǐng)D9的流程圖來(lái)描述當(dāng)圖像處理設(shè)備11具有在圖8中所示的配置 時(shí)進(jìn)行的拍攝處理。因?yàn)椴襟ES41和步驟S42的處理與圖4的步驟Sll和步驟S12的處理 相同，所以將省略其描述。
[0134] 在步驟S43中，運(yùn)動(dòng)檢測(cè)單元111檢測(cè)圖像處理設(shè)備11的運(yùn)動(dòng)，并且向合成單元 83提供作為運(yùn)動(dòng)信息的指示檢測(cè)結(jié)果的運(yùn)動(dòng)向量D。
[0135] 在計(jì)算運(yùn)動(dòng)向量D時(shí)，步驟S44和步驟S45的處理被順序地執(zhí)行以對(duì)外圖像和內(nèi) 圖像進(jìn)行運(yùn)動(dòng)估計(jì)。因?yàn)檫@些處理與圖4的步驟S13和步驟S14的處理相同，所以將省略 其描述。
[0136] 在步驟S46中，合成單元83合成從運(yùn)動(dòng)估計(jì)單元81提供的運(yùn)動(dòng)信息、從運(yùn)動(dòng)估計(jì) 單元82提供的運(yùn)動(dòng)信息以及從運(yùn)動(dòng)檢測(cè)單元111提供的運(yùn)動(dòng)信息，并且向相機(jī)模糊校正單 元84提供合成的運(yùn)動(dòng)信息。具體地，例如合成單元83通過(guò)計(jì)算下面的式（4)來(lái)計(jì)算運(yùn)動(dòng) 向量C。
[0137][數(shù)學(xué)式4]
[0138] C = al ? A+bl ? B+cl ? D... (4)
[0139] 在式⑷中，cl指示用作運(yùn)動(dòng)向量D的權(quán)重的系數(shù)，并且確定系數(shù)al、bl和cl使 得滿足"al+bl+cl = 1. 0"。因此，在式（4)中，對(duì)作為運(yùn)動(dòng)信息的運(yùn)動(dòng)向量A、運(yùn)動(dòng)向量B和 運(yùn)動(dòng)向量D進(jìn)行加權(quán)加法，使得獲得作為圖像處理設(shè)備11的最終運(yùn)動(dòng)信息的運(yùn)動(dòng)向量C。
[0140] 因此，在獲得圖像處理設(shè)備11的運(yùn)動(dòng)信息時(shí)，順序地進(jìn)行步驟S47和步驟S48的 處理，并且拍攝處理結(jié)束。因?yàn)檫@些處理與圖4的步驟S16和步驟S17的處理相同，所以將 省略其描述。
[0141] 從而，圖像處理設(shè)備11合成從外圖像和內(nèi)圖像獲得的運(yùn)動(dòng)信息以及通過(guò)運(yùn)動(dòng)檢 測(cè)單元111獲得的運(yùn)動(dòng)信息，并且基于作為結(jié)果獲得的運(yùn)動(dòng)信息對(duì)外圖像進(jìn)行相機(jī)模糊校 正。
[0142] 因此，通過(guò)不僅使用從外圖像和內(nèi)圖像獲得的運(yùn)動(dòng)信息，而且使用通過(guò)運(yùn)動(dòng)檢測(cè) 單元111獲得的運(yùn)動(dòng)信息，可以以更高的精確度估計(jì)圖像處理設(shè)備11的運(yùn)動(dòng)。從而，因?yàn)?可以以更高的精確度通過(guò)相機(jī)模糊校正除去抖動(dòng)分量，所以可以獲得具有更高的質(zhì)量的外 圖像。
[0143] [第二實(shí)施例]
[0144](信號(hào)處理單元的配置示例2)
[0145] 上面已經(jīng)描述了進(jìn)行外圖像的相機(jī)模糊校正作為拍攝控制的示例。然而，可以進(jìn) 行外圖像的視場(chǎng)角的調(diào)整作為拍攝控制。
[0146] 在該情況下，例如，如圖10所示，根據(jù)作為拍攝者的用戶的視線方向來(lái)進(jìn)行外圖 像的視場(chǎng)角的調(diào)整。
[0147] 具體地，如箭頭A31所示，通常，當(dāng)用戶Ull通過(guò)使圖像處理設(shè)備11的