專利名稱：視訊畫面的調(diào)整方法
技術(shù)領(lǐng)域：
本發(fā)明是有關(guān)于一種視訊畫面的調(diào)整方法，且特別是有關(guān)于一種對視訊畫面中的使 用者臉部區(qū)域來進(jìn)行調(diào)整的方法。
背景技術(shù)：
隨著通訊及網(wǎng)絡(luò)技術(shù)的結(jié)合，視訊通話也跟著日趨普及化，甚至已成為一股新興的 通話潮流。使用者僅需在通話時搭配具有攝像頭的網(wǎng)絡(luò)攝影機(jī)，便能輕易的將視訊影像 傳送至受話方。如此一來，在視訊通話的過程中不但能聽見對方的聲音，更能實時看見 對方的影像。正因如此，當(dāng)現(xiàn)代人要與身處遠(yuǎn)方的家人朋友聯(lián)絡(luò)時，便顯得更加輕松便 利。除了以計算機(jī)搭配網(wǎng)絡(luò)攝影機(jī)以進(jìn)行視訊通話之外，越來越多的移動通訊產(chǎn)品制造 商在設(shè)計產(chǎn)品之時，也不忘將視訊通話列為必備功能，以提升產(chǎn)品竟?fàn)幜Α?br> 圖1是使用者進(jìn)行視訊通話時，攝像頭與使用者位置的示意圖。請參閱圖1,以手 機(jī)120進(jìn)行視訊通話為例，在移動通訊產(chǎn)品的外觀設(shè)計中，攝像頭130經(jīng)常是固定設(shè)置 在屏幕140的上方，而使用者110多半習(xí)慣以平視屏幕140的方式來進(jìn)行視訊通話。也 就是說，由使用者鼻子頂端與地面相互垂直所構(gòu)成的臉部平面150,其與攝像頭130之 間便會產(chǎn)生一個傾斜角度e。因此當(dāng)使用者UO注視屏幕140進(jìn)行通話時，攝像頭130 所擷取到的使用者影像便不是正面朝向鏡頭的影像，反而會如圖2所示，是一個臉部比 例失調(diào)(即靠近攝像頭130的臉部區(qū)域其比例過大，而離攝像頭130較遠(yuǎn)的部位卻比例 過小)的^見訊畫面200。
以現(xiàn)有的視訊通話技術(shù)來說，在攝像頭擷取視訊畫面后，視訊畫面便會直接被傳送 至受話方。也就是說，這些帶有傾斜角度的使用者畫面將不會經(jīng)過任何的調(diào)整而直接被 傳送出去。因此，受話方往往會因為接收到的是臉部比例失調(diào)的視訊畫面而無法看清楚 對方的影像，進(jìn)而對視訊通話的質(zhì)量造成負(fù)面影響。

發(fā)明內(nèi)容
本發(fā)明的主要目的在于提供一種視訊畫面的調(diào)整方法，能根據(jù)使用者臉部平面與攝 像頭之間的傾斜角度，線性調(diào)整視訊畫面的臉部區(qū)域，使得調(diào)整后的視訊畫面具有一個正面而不傾斜的臉部區(qū)域畫面。
為了實現(xiàn)上述目的，本發(fā)明的視訊畫面的調(diào)整方法，用以調(diào)整一攝像頭所擷取的一 視訊畫面中 一使用者的 一臉部區(qū)域的畫面，該方法包括下列步驟
偵測該視訊畫面的 一 圖像邊緣；
根據(jù)該圖像邊緣提取該使用者的臉部特征；
根據(jù)該些臉部特征，查詢一臉部特征數(shù)據(jù)庫以判斷該攝像頭與該使用者的 一臉部平 面間的一傾斜角度，其中該臉部特征數(shù)據(jù)庫記錄由統(tǒng)計所得到的多組臉部特征數(shù)據(jù)；以 及
依據(jù)該傾斜角度動態(tài)調(diào)整該臉部區(qū)域的畫面的比例。
偵測該視訊畫面的該圖像邊緣的步驟包括透過一邊緣檢測方法偵測該圖像邊緣。 該圖像邊緣包括臉部輪廓或五官輪廓。 根據(jù)該圖像邊緣取得該臉部特征的步驟包括
透過一曲線擬合(curve fitting)方法計算趨近于該圖像邊緣的多條曲線；以及 根據(jù)該些曲線之間的關(guān)聯(lián)性，提取該些臉部特征。
提取該些臉部特征的步驟包括依據(jù)該些曲線判斷該些臉部特征的位置。 該些臉部特征包括眼睛及鼻子。
根據(jù)該些臉部特征，查詢該臉部特征數(shù)據(jù)庫以判斷該傾斜角度的步驟包括 計算該使用者的眼睛與鼻子之間的一水平距離；以及
比較該水平距離及該臉部特征數(shù)據(jù)庫中的臉部特征數(shù)據(jù)，以判斷水平的傾斜角度< 根據(jù)該些臉部特征，查詢該臉部特征數(shù)據(jù)庫以判斷該傾斜角度的步驟包括 計算該使用者的眼睛與鼻子之間的一垂直距離；以及
比較該垂直距離及該臉部特征數(shù)據(jù)庫中的臉部特征數(shù)據(jù)，以判斷垂直的傾斜角度。 依據(jù)該傾斜角度線性調(diào)整該臉部區(qū)域的比例的步驟包括依照該傾斜角度，線性縮 放該臉部區(qū)域的畫面，以將該臉部區(qū)域的畫面調(diào)整回正常比例。 依據(jù)該傾斜角度動態(tài)調(diào)整該臉部區(qū)域的比例的步驟包括 取得最接近該臉部區(qū)域的每一畫素的多個輔助畫素的顏色；
根據(jù)該些輔助畫素的顏色，利用一 二維線性插值方法計算每 一 上述畫素的 一 修正顏 色；以及
以每一該些畫素的該修正顏色，更新該臉部區(qū)域的畫面。
該畫素的該些輔助畫素包括最接近該畫素的一左上角畫素、 一左下角畫素、 一右上 角畫素及一右下角畫素。
所述的視訊畫面的調(diào)整方法還包括偵測該臉部區(qū)域與該《見訊畫面的中心點(diǎn)之間的 一偏移距離；以及 根據(jù)該偏移距離調(diào)整該臉部區(qū)域的位置至該視訊畫面的正中央。
本發(fā)明在取得視訊畫面中，臉部區(qū)域的臉部特征位置后，便藉由和臉部特征數(shù)據(jù)庫 進(jìn)行比較以判斷攝像頭與使用者的臉部平面間的傾斜角度，并根據(jù)傾斜角度來調(diào)整臉部 區(qū)域的畫面。據(jù)此產(chǎn)生具有正面且不傾斜的臉部區(qū)域的視訊畫面。


為使本發(fā)明的上述特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實施例，并配合所附圖 式，作詳細(xì)說明如下。
圖1是使用者進(jìn)行視訊通話時，攝像頭與使用者位置的示意圖。
圖2是習(xí)知視訊通話方法所擷取的視訊畫面的示意圖。
圖3是依照本發(fā)明的一實施例所繪示的視訊畫面的調(diào)整方法的流程圖。
圖4是依照本發(fā)明的一實施例所繪示的視訊畫面在調(diào)整前的示意圖。
圖5是依照本發(fā)明另一實施例所繪示的視訊畫面在調(diào)整前的示意圖。
圖6是依照本發(fā)明的一實施例所繪示的視訊畫面在調(diào)整后的示意圖。
具體實施例方式
清晰、正面，且不偏斜的視訊畫面對于經(jīng)常使用視訊通話的使用者來說相當(dāng)重要 本發(fā)明便是為了更進(jìn)一 步地提升視訊通話質(zhì)量，進(jìn)而發(fā)展出的 一種視訊畫面的調(diào)整方法。 為了使本發(fā)明的內(nèi)容更為明了 ，以下特舉實施例做為本發(fā)明確實能夠據(jù)以實施的范例。
圖3是依照本發(fā)明的一實施例所繪示的視訊畫面的調(diào)整方法的流程圖。本實施例是 以使用者利用手機(jī)來進(jìn)行視訊通話為例，但并不用以限定本發(fā)明的范圍，也就是說其它 可支持視訊通話的通訊裝置均可套用本方法來對視訊畫面進(jìn)行調(diào)整。
請參閱圖3,在進(jìn)行視訊通話時，置于手機(jī)屏幕上方的攝像頭會擷取包括使用者臉 部區(qū)域的視訊畫面。而在將視訊畫面?zhèn)魉椭潦茉挿街埃紫热绮襟E310所示，對視訊 畫面進(jìn)行圖像邊緣的偵測動作，圖像邊緣例如可以是使用者的臉部輪廓及/或五官輪廓， 在此不限制其范圍。在一實施例中，可以透過例如Laplace邊緣檢測方法對視訊畫面進(jìn) 行處理。Laplace邊緣檢測方法是一種各向同性的邊緣檢測方法，即在此方法中，邊緣增 強(qiáng)的程度與方向無關(guān)。以下是Laplace邊緣檢測方法所使用的3乘3矩陣的范例<formula>formula see original document page 7</formula>
接著如步驟320所示，根據(jù)圖像邊緣提取使用者的臉部特征。舉例來說，先透過曲 線擬合(curve fitting )方法計算趨近于圖像邊緣的多條曲線。接著再根據(jù)上述曲線之間 的關(guān)聯(lián)性來提取臉部特征，并根據(jù)曲線判斷臉部特征的位置。詳細(xì)地說，在取得趨近于 圖像邊緣的多條曲線后，尚未得知哪條曲線是代表哪個臉部特征，因此需藉由這些曲線 的大小、形狀及相對位置等關(guān)系，以判斷出臉部特征。舉例來說，兩個眼睛的位置為對 稱，且兩者與鼻子之間的距離相等，因此經(jīng)過上述步驟便可從視訊畫面中取得好比像是 眼睛或鼻子等使用者的臉部特征，同時也能取得眼睛或鼻子的位置。
在本實施例中，提供了一個記錄多組臉部特征數(shù)據(jù)的臉部特征數(shù)據(jù)庫。上述臉部特 征數(shù)據(jù)是以透過任何方式所取得的臉部圖片作為統(tǒng)計母群，并利用大量統(tǒng)計方法所得到 的多組五官之間的垂直或水平距離數(shù)據(jù)。因此在提取臉部特征并取得其位置后，在步驟 330中，根據(jù)臉部特征查詢臉部特征數(shù)據(jù)庫，據(jù)以判斷攝像頭與使用者的臉部平面之間 的傾斜角度。本實施例是以與地面相互垂直并包括使用者鼻子頂端的平面來作為臉部平 面，而根據(jù)所提取的臉部特征以及臉部特征數(shù)據(jù)庫中的臉部特征數(shù)據(jù)，透過幾何關(guān)系得 到攝像頭與使用者鼻子頂端所構(gòu)成的臉部平面間的傾斜角度。
舉例來說，圖4是依照本發(fā)明的一實施例所繪示的視訊畫面在調(diào)整前的示意圖。請 參閱圖4的視訊畫面400，根據(jù)步驟320所得到的眼睛及鼻子位置，步驟330首先根據(jù) 其位置計算使用者兩眼與鼻子之間的水平距離dl及水平距離d2。接著將水平距離dl及 水平距離d2與記錄在臉部特征數(shù)據(jù)庫中的臉部特征數(shù)據(jù)進(jìn)行比牟支，據(jù)以計算出對應(yīng)的水 平傾斜角度。
圖5是依照本發(fā)明另一實施例所繪示的視訊畫面在調(diào)整前的示意圖。請參閱圖5, 在此實施例中同樣是根據(jù)使用者眼睛及鼻子的位置，計算出眼睛與鼻子之間的垂直距離 d。接下來，比較垂直距離d以及臉部特征數(shù)據(jù)庫中的臉部特征數(shù)據(jù)，據(jù)以判斷攝像頭與 使用者鼻子頂端之間的垂直傾斜角度。
值得注意的是，雖然臉部五官的位置因人而異，因此五官之間的距離長短并無絕對 標(biāo)準(zhǔn)，但透過與記錄有大量臉部特征數(shù)據(jù)的數(shù)據(jù)庫進(jìn)行比較，應(yīng)當(dāng)可利用統(tǒng)計學(xué)的方式計算出各種臉部特征對應(yīng)的傾斜角度。
最后如圖3的步驟340所示，依據(jù)傾斜角度對臉部區(qū)域的.畫面進(jìn)行線性調(diào)整以修正 其比例。在一實施例中，是依照傾斜角度線性縮放臉部區(qū)域的畫面，據(jù)以將臉部區(qū)域的 畫面調(diào)整回正常比例。假設(shè)(u,v)是臉部區(qū)域中某個畫素的坐標(biāo)位置，為了便于將空間的 平移、縮放或旋轉(zhuǎn)等動作以矩陣形式來記錄，在此假設(shè)齊次坐標(biāo)(homogeneous coordinate) (w，w，)的值為(1,1)。那么經(jīng)過調(diào)整之后此畫素的坐標(biāo)(x,y)便可以下列算式來 計算之
<formula>formula see original document page 8</formula>
其中，Su及Sv分別表示對應(yīng)傾斜角度而必須在水平及垂直方向上進(jìn)行調(diào)整的縮放比 例。當(dāng)Su或Sv大于1時表示放大畫面，而當(dāng)Su或Sy小于1時則表示要進(jìn)行縮小畫面的動作。
在另一實施例中，將取得最接近臉部區(qū)域的每個畫素的多個輔助畫素的顏色，并根 據(jù)輔助畫素的顏色，利用二維線性插值方法計算每個畫素的修正顏色，再以每個畫素的 修正顏色來更新臉部區(qū)域的畫面。延續(xù)上述實施例，畫素(u，v)的修正顏色p則如下所示' P=n*b*Pa+n*(l-b)*Pb+(l-n)*b*Pc+(l國n)*(l-b)*Pd
其中，假設(shè)視訊畫面的原點(diǎn)位于左下角，那么n表示由視訊畫面的下方開始算起， 最接近v的Y軸坐標(biāo)與v之間的差值；而b則是由視訊畫面的左方開始算起，最接近u 的X軸坐標(biāo)與u之間的差值。而上迷輔助畫素則例如是最接近此畫素的左上角畫素、左 下角畫素、右上角畫素以及右下角畫素，Pa、 Pb、 Pc與Pd則分別表示輔助畫素的顏色,。 透過上述的二維線性插值方法，便可根據(jù)每個畫素的輔助畫素的顏色來對臉部區(qū)域的畫 面進(jìn)行調(diào)整。
透過圖3所示的各步驟，便可將視訊畫面中的臉部區(qū)域調(diào)整為正面且不具傾斜角度 的畫面(如圖6的視訊畫面600所示)。以達(dá)到攝像頭是從正面方向來擷取使用者臉部畫 面的效果。
在本發(fā)明的另一實施例中，在攝像頭擷取視訊畫面之后，將偵測視訊畫面中的臉部 區(qū)域以及視訊畫面中心點(diǎn)之間的偏移距離，并根據(jù)偏移距離將臉部區(qū)域的位置調(diào)整至視 訊畫面的正中央。據(jù)此，受話方便可接收到使用者影像位于畫面中央的視訊畫面，避免 因位置偏移而無法順利看到對方影像的情況產(chǎn)生。
綜上所述，在本發(fā)明所述視訊畫面的調(diào)整方法的實施例中，可提取臉部特征并根據(jù) 臉部特征與臉部特征數(shù)據(jù)庫之間的比較，計算出攝像頭與使用者的臉部平面間的傾斜角度，并依據(jù)傾斜角度來修正視訊畫面中臉部區(qū)域畫面的比例。據(jù)此修正因臉部平面傾斜 所造成的臉部比例失調(diào)，確保受話方接收到的是具有正面且并無傾斜的臉部區(qū)域的視訊 畫面，進(jìn)而讓受話方有較佳的通話感受以提升視訊通話的質(zhì)量。
雖然本發(fā)明已以較佳實施例揭露如上，然其并非用以限定本發(fā)明，任何所屬技術(shù)領(lǐng) 域中具有通常知識者，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作些許的更動與潤飾，因 此本發(fā)明的保護(hù)范圍當(dāng)視所附的申請專利范圍所界定為準(zhǔn)。
權(quán)利要求
1、一種視訊畫面的調(diào)整方法，用以調(diào)整一攝像頭所擷取的一視訊畫面中一使用者的一臉部區(qū)域的畫面，其特征在于，該方法包括下列步驟偵測該視訊畫面的一圖像邊緣；根據(jù)該圖像邊緣提取該使用者的臉部特征；根據(jù)該些臉部特征，查詢一臉部特征數(shù)據(jù)庫以判斷該攝像頭與該使用者的一臉部平面間的一傾斜角度，其中該臉部特征數(shù)據(jù)庫記錄由統(tǒng)計所得到的多組臉部特征數(shù)據(jù)；以及依據(jù)該傾斜角度動態(tài)調(diào)整該臉部區(qū)域的畫面的比例。
2、 如權(quán)利要求1所述的視訊畫面的調(diào)整方法，其特征在于，偵測該視訊畫面的該圖 像邊緣的步驟包括透過一邊緣檢測方法偵測該圖像邊緣。
3、 如權(quán)利要求1所述的視訊畫面的調(diào)整方法，其特征在于，該圖像邊緣包括臉部輪 廓或五官輪廓。
4、 如權(quán)利要求1所述的視訊畫面的調(diào)整方法，其特征在于，根據(jù)該圖像邊緣取得該 臉部特征的步驟包括透過一曲線擬合(curve fitting )方法計算趨近于該圖像邊緣的多條曲線；以及 根據(jù)該些曲線之間的關(guān)聯(lián)性，提取該些臉部特征。
5、 如權(quán)利要求4所述的視訊畫面的調(diào)整方法，其特征在于，提取該些臉部特征的步 驟包括依據(jù)該些曲線判斷該些臉部特征的位置。
6、 如權(quán)利要求1所述的視訊畫面的調(diào)整方法，其特征在于，該些臉部特征包括眼睛 及鼻子。
7、 如權(quán)利要求6所述的視訊畫面的調(diào)整方法，其特征在于，根據(jù)該些臉部特征，查 詢該臉部特征數(shù)據(jù)庫以判斷該傾斜角度的步驟包括計算該使用者的眼睛與鼻子之間的 一水平距離；以及比較該水平距離及該臉部特征數(shù)據(jù)庫中的臉部特征數(shù)據(jù)，以判斷水平的傾斜角度。
8、 如權(quán)利要求6所述的視訊畫面的調(diào)整方法，其特征在于，根據(jù)該些臉部特征，查 詢該臉部特征數(shù)據(jù)庫以判斷該傾斜角度的步驟包括計算該使用者的眼睛與鼻子之間的一垂直距離；以及比較該垂直距離及該臉部特征數(shù)據(jù)庫中的臉部特征數(shù)據(jù)，以判斷垂直的傾斜角度。
9、 如權(quán)利要求1所述的視訊畫面的調(diào)整方法，其特征在于，依據(jù)該傾斜角度線性調(diào) 整該臉部區(qū)域的比例的步驟包括依照該傾斜角度，線性縮放該臉部區(qū)域的畫面，以將該臉部區(qū)域的畫面調(diào)整回正常 比例。
10、 如權(quán)利要求1所述的視訊畫面的調(diào)整方法，其特征在于，依據(jù)該傾斜角度動態(tài) 調(diào)整該臉部區(qū)域的比例的步驟包括取得最接近該臉部區(qū)域的每一畫素的多個輔助畫素的顏色；根據(jù)該些輔助畫素的顏色，利用一二維線性插值方法計算每一上述畫素的一修正顏 色；以及以每一該些畫素的該修正顏色，更新該臉部區(qū)域的畫面。
11、 如權(quán)利要求IO所述的視訊畫面的調(diào)整方法，其特征在于，該畫素的該些輔助畫 素包括最接近該畫素的一左上角畫素、 一左下角畫素、 一右上角畫素及一右下角畫素。
12、 如權(quán)利要求1所述的視訊畫面的調(diào)整方法，其特征在于，還包括 偵測該臉部區(qū)域與該-現(xiàn)訊畫面的中心點(diǎn)之間的一偏移距離；以及 根據(jù)該偏移距離調(diào)整該臉部區(qū)域的位置至該-現(xiàn)訊畫面的正中央。
全文摘要
一種視訊畫面的調(diào)整方法，此方法用以調(diào)整攝像頭所擷取的視訊畫面中的使用者臉部區(qū)域畫面。首先，偵測視訊畫面的圖像邊緣，并根據(jù)圖像邊緣提取數(shù)個使用者的臉部特征。接著根據(jù)上述臉部特征，查詢臉部特征數(shù)據(jù)庫以判斷攝像頭與使用者的臉部平面之間的傾斜角度。其中，臉部特征數(shù)據(jù)庫記錄由大量統(tǒng)計所得到的多組臉部特征數(shù)據(jù)。最后，依據(jù)傾斜角度動態(tài)調(diào)整臉部區(qū)域的畫面比例。據(jù)此產(chǎn)生具有正面且不傾斜的臉部區(qū)域的視訊畫面。
文檔編號H04N7/14GK101415103SQ20071004722
公開日2009年4月22日 申請日期2007年10月19日 優(yōu)先權(quán)日2007年10月19日
發(fā)明者劉宏波 申請人:英華達(dá)(南京)科技有限公司