圖像處理裝置、圖像處理方法、圖像處理裝置用程序、記錄介質(zhì)、以及圖像顯示裝置制造方法
圖像處理裝置、圖像處理方法、圖像處理裝置用程序、記錄介質(zhì)、以及圖像顯示裝置制造方法
【專利摘要】取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像(S)、設(shè)定用于從失真圖像切出一部分的切出區(qū)域(E)的切出基準(zhǔn)點(diǎn)(P)，根據(jù)切出基準(zhǔn)點(diǎn)設(shè)定切出區(qū)域，將失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量(n)，使切出區(qū)域從切出基準(zhǔn)點(diǎn)移動規(guī)定的距離，通過根據(jù)視線矢量從失真圖像變換為平面正規(guī)圖像(T’)的圖像變換，變換被移動的切出區(qū)域(E’)。
【專利說明】圖像處理裝置、圖像處理方法、圖像處理裝置用程序、記錄介質(zhì)、以及圖像顯示裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對使用廣角鏡頭或者全向鏡拍攝的圖像進(jìn)行圖像處理的圖像處理裝置、圖像處理方法、圖像處理裝置用程序、記錄介質(zhì)、以及圖像顯示裝置。
【背景技術(shù)】
[0002]使用了廣角鏡頭或者全向鏡的照相機(jī)被利用以便對于車輛的駕駛員來說能夠確認(rèn)障礙物或各種狀況。例如，在專利文獻(xiàn)I中，公開了一種車輛后方顯示裝置，在該裝置中，在車輛后方的低位置具備廣角鏡頭的照相機(jī)，在高位置具備窄角鏡頭的照相機(jī)，車輛狀態(tài)檢測裝置根據(jù)車輛的狀態(tài)切換顯示所需的圖像。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:(日本)特開2003 - 212041號公報
【發(fā)明內(nèi)容】
[0006]發(fā)明要解決的課題
[0007]但是，在專利文獻(xiàn)I的技術(shù)中，在將由廣角鏡頭的照相機(jī)以及窄角鏡頭的照相機(jī)這兩臺照相機(jī)拍攝的圖像作為I張圖像而顯示時，需要合成或切換2張圖像，或者尤其是需要進(jìn)行用于使來自廣角鏡頭的照相機(jī)的圖像成為沒有不協(xié)調(diào)感的圖像的圖像的調(diào)整。進(jìn)而，由于需要兩臺照相機(jī)因此花費(fèi)成本。
[0008]因此，本發(fā)明是鑒于上述的問題等而完成的，其課題的一例的目的在于，提供圖像處理裝置等，該圖像處理裝置根據(jù)由I臺照相機(jī)拍攝的失真圖像而生成更自然的圖像，以便能夠確認(rèn)障礙物等的狀況。
[0009]用于解決課題的手段
[0010]為了解決上述的課題，技術(shù)方案I所述的發(fā)明的特征在于，具備:失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像；切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)點(diǎn)；切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域；視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量；偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
[0011]此外，技術(shù)方案2所述的發(fā)明的特征在于，在技術(shù)方案I所述的圖像處理裝置中，還具備:虛擬球面設(shè)定部件，設(shè)定將所述失真圖像的中心設(shè)為中心的虛擬球面，所述視線矢量設(shè)定部件設(shè)定從所述虛擬球面的中心、朝向與包含所述失真圖像的平面正交且通過所述切出基準(zhǔn)點(diǎn)的直線和所述虛擬球面交叉的交點(diǎn)的視線矢量。
[0012]此外，技術(shù)方案3所述的發(fā)明的特征在于，在技術(shù)方案I或者技術(shù)方案2所述的圖像處理裝置中，所述視線矢量設(shè)定部件接受用于確定所述視線矢量的參數(shù)的輸入，設(shè)定所述視線矢量，所述切出區(qū)域設(shè)定部件在于所述視線矢量的方向交叉的交點(diǎn)與所述視線矢量正交的面內(nèi)，設(shè)定與所述切出區(qū)域?qū)?yīng)的所述平面正規(guī)圖像的區(qū)域，所述偏移部件在與所述視線矢量正交的面內(nèi)，移動所述設(shè)定的平面正規(guī)圖像的區(qū)域，所述圖像變換部件根據(jù)所述視線矢量，求得與所述移動的平面正規(guī)圖像的區(qū)域的各點(diǎn)對應(yīng)的所述失真圖像的像素值，將該求得的所述失真圖像的像素值設(shè)為所述平面正規(guī)圖像的像素值。
[0013]此外，技術(shù)方案4所述的發(fā)明的特征在于，在技術(shù)方案3所述的圖像處理裝置中，與所述視線矢量正交的面是圓柱的面。
[0014]此外，技術(shù)方案5所述的發(fā)明的特征在于，在技術(shù)方案I至4的任一項(xiàng)所述的圖像處理裝置中，所述視線矢量設(shè)定部件設(shè)定多個視線矢量，所述切出區(qū)域設(shè)定部件設(shè)定與各視線矢量相應(yīng)的切出區(qū)域，所述圖像變換部件將各所述切出區(qū)域變換為平面正規(guī)圖像，將所述圖像變換部件求得的各平面正規(guī)圖像在一個顯示部件中顯示。
[0015]此外，技術(shù)方案6所述的發(fā)明是用于圖像處理裝置處理圖像的圖像處理方法，其特征在于，包含:失真圖像取得步驟，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像；切出基準(zhǔn)點(diǎn)設(shè)定步驟，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)點(diǎn)；切出區(qū)域設(shè)定步驟，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域；視線矢量設(shè)定步驟，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量；偏移步驟，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換步驟，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
[0016]此外，技術(shù)方案7所述的發(fā)明的特征在于，使計算機(jī)作為以下部件發(fā)揮作用:失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像；切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)點(diǎn)；切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域；視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量；偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
[0017]此外，技術(shù)方案8所述的發(fā)明的特征在于，計算機(jī)可讀取地記錄有圖像處理裝置用程序，所述圖像處理裝置用程序使計算機(jī)作為以下部件發(fā)揮作用:失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像；切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)點(diǎn)；切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域；視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量；偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
[0018]此外，技術(shù)方案9所述的發(fā)明的特征在于，具備:失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像；切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)點(diǎn)；切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域；視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量；偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域；以及顯示部件，顯示由所述圖像變換部件得到的平面正規(guī)圖像。
[0019]發(fā)明效果
[0020]根據(jù)本發(fā)明，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像，設(shè)定用于從失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)點(diǎn)，根據(jù)切出基準(zhǔn)點(diǎn)設(shè)定切出區(qū)域，將失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量，使切出區(qū)域從切出基準(zhǔn)點(diǎn)移動規(guī)定的距離，通過根據(jù)視線矢量從失真圖像變換為平面正規(guī)圖像的圖像變換，變換被移動的切出區(qū)域，從而能夠根據(jù)由I臺照相機(jī)拍攝的失真圖像，生成更自然的圖像。
【專利附圖】
【附圖說明】
[0021]圖1是表示本發(fā)明的實(shí)施方式所涉及的圖像顯示系統(tǒng)的概要結(jié)構(gòu)例的模塊圖。
[0022]圖2是表示在3維XYZ正交坐標(biāo)系中包含失真圓形圖像S的2維XY正交坐標(biāo)系和包含平面正規(guī)圖像T的2維UV正交坐標(biāo)系的關(guān)系的一例的立體圖。
[0023]圖3是表示2維XY正交坐標(biāo)系和2維UV彎曲坐標(biāo)系的關(guān)系的一例的立體圖。
[0024]圖4是表示2維UV正交坐標(biāo)系上的點(diǎn)T (u, V)和2維UV彎曲坐標(biāo)系上的點(diǎn)C (u,V)的對應(yīng)關(guān)系的一例的平面圖。
[0025]圖5是表不平面正規(guī)圖像T和偏移后的平面正規(guī)圖像T’的關(guān)系，以及切出區(qū)域E和偏移后的切出區(qū)域E’的關(guān)系的一例的立體圖。
[0026]圖6是表不平面正規(guī)圖像T和偏移后的平面正規(guī)圖像T’的關(guān)系的一例的平面圖。
[0027]圖7是表示圖1的圖像顯示系統(tǒng)的動作例的流程圖。
[0028]圖8是表示視線矢量的朝向和使用偏移功能變換的圖像的一例的示意圖。
[0029]圖9是表示視線矢量的朝向和不使用偏移功能變換的圖像的一例的示意圖。
[0030]圖10是表示在車體的后部具備魚眼照相機(jī)的一例的示意圖。
[0031]圖11是表示由魚眼照相機(jī)拍攝的失真圓形圖像的一例的示意圖。
[0032]圖12是表示在視點(diǎn)矢量相對于鏡頭的光軸朝向垂直方向的狀態(tài)下，偏移后的平面正規(guī)圖像T’的一例的立體圖。
[0033]圖13是表示顯示了全景圖像和俯視圖像的畫面顯示的一例的示意圖。
[0034]圖14是表示在視點(diǎn)矢量相對于鏡頭的光軸朝向水平方向的狀態(tài)下，偏移后的平面正規(guī)圖像T’的一例的立體圖。
[0035]圖15是表不平面正規(guī)圖像T和偏移后的平面正規(guī)圖像T’的關(guān)系的一例的平面圖。
[0036]圖16是在車體的前部具備魚眼照相機(jī)的車在T字路停車的俯視圖。
[0037]圖17是表示由魚眼照相機(jī)拍攝的失真圓形圖像的一例的示意圖。
[0038]圖18是表示顯示了多個平面正規(guī)圖像的畫面顯示的一例的示意圖。
[0039]圖19是表示在車體的后部具備魚眼照相機(jī)的一例的示意圖。
[0040]圖20是表示顯示了多個平面正規(guī)圖像的畫面顯示的一例的示意圖。
[0041]圖21是表示顯示了多個平面正規(guī)圖像的畫面顯示的一例的示意圖。【具體實(shí)施方式】
[0042]以下，參照【專利附圖】
【附圖說明】本發(fā)明的實(shí)施方式。另外，以下說明的實(shí)施方式是對圖像顯示系統(tǒng)應(yīng)用了本發(fā)明的情況下的實(shí)施方式。
[0043][1.圖像顯示系統(tǒng)的結(jié)構(gòu)以及功能的概要]
[0044](1.1圖像顯示系統(tǒng)I的結(jié)構(gòu)以及功能)
[0045]首先，使用圖1說明本發(fā)明的一個實(shí)施方式所涉及的圖像顯示系統(tǒng)的結(jié)構(gòu)以及概要功能。
[0046]圖1是表示本實(shí)施方式所涉及的圖像顯示系統(tǒng)I的概要結(jié)構(gòu)例的模塊圖。
[0047]如圖1所示，圖像顯示系統(tǒng)I (圖像顯示裝置的一例)具備:具有廣角鏡頭或者全向鏡的照相機(jī)2、對由照相機(jī)2拍攝的圖像進(jìn)行圖像處理的圖像處理裝置10、輸入圖像處理裝置10的處理所需的參數(shù)的參數(shù)輸入部3、具有圖像處理裝置10中的運(yùn)算所需的存儲器的幀存儲器4、顯示圖像處理裝置10處理的圖像的顯示用監(jiān)視器5。
[0048]照相機(jī)2例如是正射影方式的魚眼鏡頭，輸出動態(tài)圖像的失真圓形圖像(失真圖像的一例)。此外，照相機(jī)2在車輛的后方等向規(guī)定的方向設(shè)置，捕捉消除駕駛員的死角的廣范圍的圖像。另外，照相機(jī)2的鏡頭不限于廣角鏡頭，也可以是與全向鏡組合的通常的視角的鏡頭。此外，廣角鏡頭的視角不限于180°，可以比180°大，也可以比其小。此外，照相機(jī)2拍攝的圖像也可以是靜止圖像。此外，照相機(jī)2在具有對角線魚眼鏡頭的情況下，輸出矩形的失真圖像。照相機(jī)2也可以是等距離射影方式的鏡頭、等立體角射影方式的鏡頭等非正射影方式的鏡頭。
[0049]參數(shù)輸入部3接受從失真圓形圖像至平面正規(guī)圖像的圖像變換所需的參數(shù)的輸入。例如，參數(shù)輸入部3基于用戶的指示輸入而接受將失真圓形圖像的拍攝的視點(diǎn)作為基點(diǎn)的視線矢量、表示與從失真圓形圖像切出的切出區(qū)域?qū)?yīng)的平面正規(guī)圖像的尺寸的參數(shù)、為了設(shè)定要顯示的平面正規(guī)圖像的倍率等所需的參數(shù)的輸入。在此，平面正規(guī)圖像是為了減輕失真圖像的失真，按照某規(guī)則進(jìn)行了坐標(biāo)變換的平面正規(guī)圖像。
[0050]在幀存儲器4中，作為存儲部件的一例，存儲部由RAM (Random Access Memory,隨機(jī)存取存儲器)、硬盤或者硅盤等構(gòu)成。幀存儲器4存儲由照相機(jī)2拍攝的失真圓形圖像、圖像變換的運(yùn)算過程中的圖像數(shù)據(jù)、以及進(jìn)行了圖像變換的平面正規(guī)圖像等。
[0051 ] 作為顯示部件的一例，顯示用監(jiān)視器5是由液晶顯示元件或者EL (ElectroLuminescence，電致發(fā)光)元件等構(gòu)成的監(jiān)視器畫面(平面畫面)。顯示用監(jiān)視器5顯示由照相機(jī)2拍攝的失真圓形圖像、以及通過圖像變換得到的平面正規(guī)圖像等。
[0052]圖像處理裝置10具有計算校正系數(shù)以及對應(yīng)坐標(biāo)的校正/運(yùn)算部11、將失真圓形圖像變換為平面正規(guī)圖像并生成用于在顯示用監(jiān)視器5中顯示的平面正規(guī)圖像的圖像生成部12。
[0053]校正/運(yùn)算部11由使用了用于進(jìn)行專用的運(yùn)算等的LSI (Large ScaleIntegration,大規(guī)模集成電路)芯片的硬件構(gòu)成。校正/運(yùn)算部11在從圖像生成部12提供任意的坐標(biāo)的情況下，執(zhí)行使用了圖像變換的對應(yīng)關(guān)系式的運(yùn)算，算出對應(yīng)坐標(biāo)，或者執(zhí)行使用了在從與視線矢量對應(yīng)的位置移動了切出區(qū)域的情況下的圖像變換的對應(yīng)關(guān)系式的運(yùn)算，算出對應(yīng)坐標(biāo)。另外，關(guān)于圖像變換的對應(yīng)關(guān)系式，在圖像變換I以及圖像變換II中說明。[0054]圖像生成部12由使用了用于進(jìn)行專用的運(yùn)算等的LSI (Large ScaleIntegration,大規(guī)模集成電路)芯片的硬件構(gòu)成。圖像生成部12進(jìn)行從失真圓形圖像至平面正規(guī)圖像的圖像變換的運(yùn)算，或?qū)⑼ㄟ^圖像變換生成的平面正規(guī)圖像存儲至幀存儲器4或讀出。
[0055](1.2圖像變換I)
[0056]接著，使用圖2說明將通過使用了具有魚眼鏡頭的照相機(jī)2所拍攝而得到的失真圓形圖像變換為減輕了失真的平面正規(guī)圖像的圖像變換I的處理的基本原理。
[0057]如圖2所示，在XY平面上形成的失真圓形圖像S是構(gòu)成以坐標(biāo)系的原點(diǎn)O為中心的半徑R的圓的圖像，并且是將在作為鏡頭的光軸的Z軸的正區(qū)域側(cè)的具有180°的視角的區(qū)域上存在的像失真記錄的失真圖像。另外，圖2的模型是由正射影方式的魚眼鏡頭拍攝的情況下的模型。
[0058]在此，從失真圓形圖像S切出一部分的區(qū)域(切出區(qū)域E)，進(jìn)行圖像變換而得到平面正規(guī)圖像T。因此，如圖2所示，作為用于決定從失真圓形圖像S切出哪個區(qū)域的切出基準(zhǔn)點(diǎn)的一例，設(shè)定切出中心點(diǎn)Ρ(Χο，Y0)。另外，切出基準(zhǔn)點(diǎn)也可以不限于中心。
[0059]接著，設(shè)定將失真圓形圖像S的中心(失真圖像的拍攝的視點(diǎn)的一例)作為中心的虛擬球面H。如圖2所示，通過在失真圓形圖像S上設(shè)定的切出中心點(diǎn)P (?, %)，設(shè)定與Z軸(3維XYZ正交坐標(biāo)系的坐標(biāo)軸)平行的直線和虛擬球面H的交點(diǎn)Q(X(I，y0, z0)。設(shè)定從失真圓形圖像的中心向交點(diǎn)Q(X(I，y。，z0)的視線矢量(將失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，與切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量的一例)。
[0060]接著，在交點(diǎn)Q (Xtl, y0, Ztl)，設(shè)定與虛擬球面H相切的切平面(在視線矢量的方向交叉的交點(diǎn)上與視線矢量正交的面的一例)，在該切平面上設(shè)定2維UV正交坐標(biāo)系。
[0061]然后，以倍率m，與視線矢量η正交地平行移動2維UV正交坐標(biāo)系，作為2維UV正交坐標(biāo)系上的圖像而求得平面正規(guī)圖像Τ。2維UV正交坐標(biāo)系被設(shè)定為點(diǎn)G(xg，yg, zg)成為原點(diǎn)。以倍率m，虛擬球面的半徑變動，平面正規(guī)圖像T的面成為與變動虛擬球面的半徑的虛擬球面相切的面(在視線矢量的方向交叉的交點(diǎn)上與視線矢量正交的面)。在此，倍率m表示坐標(biāo)值(u，v)的縮放和坐標(biāo)值(x，y)的縮放的關(guān)系。從而，兩個點(diǎn)OG間的距離被設(shè)定為m*R。另外，作為參數(shù)的倍率m可以從參數(shù)輸入部3輸入，也可以預(yù)先設(shè)定。此外，如圖2所示，在倍率m比I大的情況下，平面正規(guī)圖像T在虛擬平面H的外側(cè)。在倍率比I小的情況下，平面正規(guī)圖像T的在視線矢量的方向交叉的點(diǎn)G在虛擬平面H的內(nèi)側(cè)。
[0062]點(diǎn)G(xg，yg，zg)的位置能夠由方位角α和天頂角β確定。進(jìn)而為了決定UV坐標(biāo)系，將U軸和J軸(旋轉(zhuǎn)基準(zhǔn)軸)所成的角度定義為平面傾斜角(P。另外，從XY坐標(biāo)系的原點(diǎn)O向UV坐標(biāo)系的原點(diǎn)G的方向的矢量是視線矢量η。此外，作為參數(shù)的方位角α、天頂角β、以及平面傾斜角φ可以從參數(shù)輸入部3輸入，也可以預(yù)先設(shè)定。
[0063]在此，用于切出并變形將在XY坐標(biāo)系上定義的失真圓形圖像S上的切出中心點(diǎn)P(x0Jy0)作為中心的切出區(qū)域內(nèi)的失真圖像，在uv坐標(biāo)系上得到平面正規(guī)圖像τ的對應(yīng)關(guān)系式如下述式(I)至(9)所示。
[0064][數(shù)I]
【權(quán)利要求】
1.一種圖像處理裝置，其特征在于，具備: 失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像； 切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)占.切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域； 視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量； 偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在于，還具備: 虛擬球面設(shè)定部件，設(shè)定將所述失真圖像的中心作為中心的虛擬球面， 所述視線矢量設(shè)定部件設(shè)定從所述虛擬球面的中心、朝向與包含所述失真圖像的平面正交且通過所述切出基準(zhǔn)點(diǎn)的直線和所述虛擬球面交叉的交點(diǎn)的視線矢量。
3.如權(quán)利要求1或權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述視線矢量設(shè)定部件接受用于確定所述視線矢量的參數(shù)的輸入，設(shè)定所述視線矢量， 所述切出區(qū)域設(shè)定部件在于所述視線矢量的方向交叉的交點(diǎn)與所述視線矢量正交的面內(nèi)，設(shè)定與所述切出區(qū)域?qū)?yīng)的所述平面正規(guī)圖像的區(qū)域， 所述偏移部件在與所述視線矢量正交的面內(nèi)，使所述設(shè)定的平面正規(guī)圖像的區(qū)域移動， 所述圖像變換部件根據(jù)所述視線矢量，求得與所述移動的平面正規(guī)圖像的區(qū)域的各點(diǎn)對應(yīng)的所述失真圖像的像素值，將該求得的所述失真圖像的像素值設(shè)為所述平面正規(guī)圖像的像素值。
4.如權(quán)利要求3所述的圖像處理裝置，其特征在于， 與所述視線矢量正交的面是圓柱的面。
5.如權(quán)利要求1至4的任一項(xiàng)所述的圖像處理裝置，其特征在于， 所述視線矢量設(shè)定部件設(shè)定多個視線矢量， 所述切出區(qū)域設(shè)定部件設(shè)定與各視線矢量相應(yīng)的切出區(qū)域， 所述圖像變換部件將各所述切出區(qū)域變換為平面正規(guī)圖像， 將所述圖像變換部件求得的各平面正規(guī)圖像在一個顯示部件中顯示。
6.一種圖像處理方法，用于圖像處理裝置處理圖像，其特征在于，包含: 失真圖像取得步驟，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像； 切出基準(zhǔn)點(diǎn)設(shè)定步驟，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)占.切出區(qū)域設(shè)定步驟，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域； 視線矢量設(shè)定步驟，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量； 偏移步驟，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換步驟，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
7.一種圖像處理裝置用程序，使計算機(jī)作為以下部件發(fā)揮作用: 失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像； 切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)占.切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域； 視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量； 偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
8.—種記錄介質(zhì)，計算機(jī)可讀取地記錄有圖像處理裝置用程序，所述圖像處理裝置用程序使計算機(jī)作為以下部件發(fā)揮作用: 失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像； 切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)占.切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域； 視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量； 偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
9.一種圖像顯示裝置，其特征在于，具備: 失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像； 切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)占.切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域； 視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量； 偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離； 圖像變換部件，通 過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域；以及 顯示部件，顯示由所述圖像變換部件得到的平面正規(guī)圖像。
【文檔編號】H04N5/225GK104011767SQ201280062866
【公開日】2014年8月27日 申請日期:2012年12月18日 優(yōu)先權(quán)日:2011年12月19日
【發(fā)明者】八木拓哉, 吉野恭司, 稻垣孝次 申請人:大日本印刷株式會社
【專利摘要】取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像(S)、設(shè)定用于從失真圖像切出一部分的切出區(qū)域(E)的切出基準(zhǔn)點(diǎn)(P)，根據(jù)切出基準(zhǔn)點(diǎn)設(shè)定切出區(qū)域，將失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量(n)，使切出區(qū)域從切出基準(zhǔn)點(diǎn)移動規(guī)定的距離，通過根據(jù)視線矢量從失真圖像變換為平面正規(guī)圖像(T’)的圖像變換，變換被移動的切出區(qū)域(E’)。
【專利說明】圖像處理裝置、圖像處理方法、圖像處理裝置用程序、記錄介質(zhì)、以及圖像顯示裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對使用廣角鏡頭或者全向鏡拍攝的圖像進(jìn)行圖像處理的圖像處理裝置、圖像處理方法、圖像處理裝置用程序、記錄介質(zhì)、以及圖像顯示裝置。
【背景技術(shù)】
[0002]使用了廣角鏡頭或者全向鏡的照相機(jī)被利用以便對于車輛的駕駛員來說能夠確認(rèn)障礙物或各種狀況。例如，在專利文獻(xiàn)I中，公開了一種車輛后方顯示裝置，在該裝置中，在車輛后方的低位置具備廣角鏡頭的照相機(jī)，在高位置具備窄角鏡頭的照相機(jī)，車輛狀態(tài)檢測裝置根據(jù)車輛的狀態(tài)切換顯示所需的圖像。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:(日本)特開2003 - 212041號公報
【發(fā)明內(nèi)容】
[0006]發(fā)明要解決的課題
[0007]但是，在專利文獻(xiàn)I的技術(shù)中，在將由廣角鏡頭的照相機(jī)以及窄角鏡頭的照相機(jī)這兩臺照相機(jī)拍攝的圖像作為I張圖像而顯示時，需要合成或切換2張圖像，或者尤其是需要進(jìn)行用于使來自廣角鏡頭的照相機(jī)的圖像成為沒有不協(xié)調(diào)感的圖像的圖像的調(diào)整。進(jìn)而，由于需要兩臺照相機(jī)因此花費(fèi)成本。
[0008]因此，本發(fā)明是鑒于上述的問題等而完成的，其課題的一例的目的在于，提供圖像處理裝置等，該圖像處理裝置根據(jù)由I臺照相機(jī)拍攝的失真圖像而生成更自然的圖像，以便能夠確認(rèn)障礙物等的狀況。
[0009]用于解決課題的手段
[0010]為了解決上述的課題，技術(shù)方案I所述的發(fā)明的特征在于，具備:失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像；切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)點(diǎn)；切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域；視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量；偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
[0011]此外，技術(shù)方案2所述的發(fā)明的特征在于，在技術(shù)方案I所述的圖像處理裝置中，還具備:虛擬球面設(shè)定部件，設(shè)定將所述失真圖像的中心設(shè)為中心的虛擬球面，所述視線矢量設(shè)定部件設(shè)定從所述虛擬球面的中心、朝向與包含所述失真圖像的平面正交且通過所述切出基準(zhǔn)點(diǎn)的直線和所述虛擬球面交叉的交點(diǎn)的視線矢量。
[0012]此外，技術(shù)方案3所述的發(fā)明的特征在于，在技術(shù)方案I或者技術(shù)方案2所述的圖像處理裝置中，所述視線矢量設(shè)定部件接受用于確定所述視線矢量的參數(shù)的輸入，設(shè)定所述視線矢量，所述切出區(qū)域設(shè)定部件在于所述視線矢量的方向交叉的交點(diǎn)與所述視線矢量正交的面內(nèi)，設(shè)定與所述切出區(qū)域?qū)?yīng)的所述平面正規(guī)圖像的區(qū)域，所述偏移部件在與所述視線矢量正交的面內(nèi)，移動所述設(shè)定的平面正規(guī)圖像的區(qū)域，所述圖像變換部件根據(jù)所述視線矢量，求得與所述移動的平面正規(guī)圖像的區(qū)域的各點(diǎn)對應(yīng)的所述失真圖像的像素值，將該求得的所述失真圖像的像素值設(shè)為所述平面正規(guī)圖像的像素值。
[0013]此外，技術(shù)方案4所述的發(fā)明的特征在于，在技術(shù)方案3所述的圖像處理裝置中，與所述視線矢量正交的面是圓柱的面。
[0014]此外，技術(shù)方案5所述的發(fā)明的特征在于，在技術(shù)方案I至4的任一項(xiàng)所述的圖像處理裝置中，所述視線矢量設(shè)定部件設(shè)定多個視線矢量，所述切出區(qū)域設(shè)定部件設(shè)定與各視線矢量相應(yīng)的切出區(qū)域，所述圖像變換部件將各所述切出區(qū)域變換為平面正規(guī)圖像，將所述圖像變換部件求得的各平面正規(guī)圖像在一個顯示部件中顯示。
[0015]此外，技術(shù)方案6所述的發(fā)明是用于圖像處理裝置處理圖像的圖像處理方法，其特征在于，包含:失真圖像取得步驟，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像；切出基準(zhǔn)點(diǎn)設(shè)定步驟，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)點(diǎn)；切出區(qū)域設(shè)定步驟，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域；視線矢量設(shè)定步驟，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量；偏移步驟，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換步驟，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
[0016]此外，技術(shù)方案7所述的發(fā)明的特征在于，使計算機(jī)作為以下部件發(fā)揮作用:失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像；切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)點(diǎn)；切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域；視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量；偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
[0017]此外，技術(shù)方案8所述的發(fā)明的特征在于，計算機(jī)可讀取地記錄有圖像處理裝置用程序，所述圖像處理裝置用程序使計算機(jī)作為以下部件發(fā)揮作用:失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像；切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)點(diǎn)；切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域；視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量；偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
[0018]此外，技術(shù)方案9所述的發(fā)明的特征在于，具備:失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像；切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)點(diǎn)；切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域；視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量；偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域；以及顯示部件，顯示由所述圖像變換部件得到的平面正規(guī)圖像。
[0019]發(fā)明效果
[0020]根據(jù)本發(fā)明，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像，設(shè)定用于從失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)點(diǎn)，根據(jù)切出基準(zhǔn)點(diǎn)設(shè)定切出區(qū)域，將失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量，使切出區(qū)域從切出基準(zhǔn)點(diǎn)移動規(guī)定的距離，通過根據(jù)視線矢量從失真圖像變換為平面正規(guī)圖像的圖像變換，變換被移動的切出區(qū)域，從而能夠根據(jù)由I臺照相機(jī)拍攝的失真圖像，生成更自然的圖像。
【專利附圖】
【附圖說明】
[0021]圖1是表示本發(fā)明的實(shí)施方式所涉及的圖像顯示系統(tǒng)的概要結(jié)構(gòu)例的模塊圖。
[0022]圖2是表示在3維XYZ正交坐標(biāo)系中包含失真圓形圖像S的2維XY正交坐標(biāo)系和包含平面正規(guī)圖像T的2維UV正交坐標(biāo)系的關(guān)系的一例的立體圖。
[0023]圖3是表示2維XY正交坐標(biāo)系和2維UV彎曲坐標(biāo)系的關(guān)系的一例的立體圖。
[0024]圖4是表示2維UV正交坐標(biāo)系上的點(diǎn)T (u, V)和2維UV彎曲坐標(biāo)系上的點(diǎn)C (u,V)的對應(yīng)關(guān)系的一例的平面圖。
[0025]圖5是表不平面正規(guī)圖像T和偏移后的平面正規(guī)圖像T’的關(guān)系，以及切出區(qū)域E和偏移后的切出區(qū)域E’的關(guān)系的一例的立體圖。
[0026]圖6是表不平面正規(guī)圖像T和偏移后的平面正規(guī)圖像T’的關(guān)系的一例的平面圖。
[0027]圖7是表示圖1的圖像顯示系統(tǒng)的動作例的流程圖。
[0028]圖8是表示視線矢量的朝向和使用偏移功能變換的圖像的一例的示意圖。
[0029]圖9是表示視線矢量的朝向和不使用偏移功能變換的圖像的一例的示意圖。
[0030]圖10是表示在車體的后部具備魚眼照相機(jī)的一例的示意圖。
[0031]圖11是表示由魚眼照相機(jī)拍攝的失真圓形圖像的一例的示意圖。
[0032]圖12是表示在視點(diǎn)矢量相對于鏡頭的光軸朝向垂直方向的狀態(tài)下，偏移后的平面正規(guī)圖像T’的一例的立體圖。
[0033]圖13是表示顯示了全景圖像和俯視圖像的畫面顯示的一例的示意圖。
[0034]圖14是表示在視點(diǎn)矢量相對于鏡頭的光軸朝向水平方向的狀態(tài)下，偏移后的平面正規(guī)圖像T’的一例的立體圖。
[0035]圖15是表不平面正規(guī)圖像T和偏移后的平面正規(guī)圖像T’的關(guān)系的一例的平面圖。
[0036]圖16是在車體的前部具備魚眼照相機(jī)的車在T字路停車的俯視圖。
[0037]圖17是表示由魚眼照相機(jī)拍攝的失真圓形圖像的一例的示意圖。
[0038]圖18是表示顯示了多個平面正規(guī)圖像的畫面顯示的一例的示意圖。
[0039]圖19是表示在車體的后部具備魚眼照相機(jī)的一例的示意圖。
[0040]圖20是表示顯示了多個平面正規(guī)圖像的畫面顯示的一例的示意圖。
[0041]圖21是表示顯示了多個平面正規(guī)圖像的畫面顯示的一例的示意圖。【具體實(shí)施方式】
[0042]以下，參照【專利附圖】
【附圖說明】本發(fā)明的實(shí)施方式。另外，以下說明的實(shí)施方式是對圖像顯示系統(tǒng)應(yīng)用了本發(fā)明的情況下的實(shí)施方式。
[0043][1.圖像顯示系統(tǒng)的結(jié)構(gòu)以及功能的概要]
[0044](1.1圖像顯示系統(tǒng)I的結(jié)構(gòu)以及功能)
[0045]首先，使用圖1說明本發(fā)明的一個實(shí)施方式所涉及的圖像顯示系統(tǒng)的結(jié)構(gòu)以及概要功能。
[0046]圖1是表示本實(shí)施方式所涉及的圖像顯示系統(tǒng)I的概要結(jié)構(gòu)例的模塊圖。
[0047]如圖1所示，圖像顯示系統(tǒng)I (圖像顯示裝置的一例)具備:具有廣角鏡頭或者全向鏡的照相機(jī)2、對由照相機(jī)2拍攝的圖像進(jìn)行圖像處理的圖像處理裝置10、輸入圖像處理裝置10的處理所需的參數(shù)的參數(shù)輸入部3、具有圖像處理裝置10中的運(yùn)算所需的存儲器的幀存儲器4、顯示圖像處理裝置10處理的圖像的顯示用監(jiān)視器5。
[0048]照相機(jī)2例如是正射影方式的魚眼鏡頭，輸出動態(tài)圖像的失真圓形圖像(失真圖像的一例)。此外，照相機(jī)2在車輛的后方等向規(guī)定的方向設(shè)置，捕捉消除駕駛員的死角的廣范圍的圖像。另外，照相機(jī)2的鏡頭不限于廣角鏡頭，也可以是與全向鏡組合的通常的視角的鏡頭。此外，廣角鏡頭的視角不限于180°，可以比180°大，也可以比其小。此外，照相機(jī)2拍攝的圖像也可以是靜止圖像。此外，照相機(jī)2在具有對角線魚眼鏡頭的情況下，輸出矩形的失真圖像。照相機(jī)2也可以是等距離射影方式的鏡頭、等立體角射影方式的鏡頭等非正射影方式的鏡頭。
[0049]參數(shù)輸入部3接受從失真圓形圖像至平面正規(guī)圖像的圖像變換所需的參數(shù)的輸入。例如，參數(shù)輸入部3基于用戶的指示輸入而接受將失真圓形圖像的拍攝的視點(diǎn)作為基點(diǎn)的視線矢量、表示與從失真圓形圖像切出的切出區(qū)域?qū)?yīng)的平面正規(guī)圖像的尺寸的參數(shù)、為了設(shè)定要顯示的平面正規(guī)圖像的倍率等所需的參數(shù)的輸入。在此，平面正規(guī)圖像是為了減輕失真圖像的失真，按照某規(guī)則進(jìn)行了坐標(biāo)變換的平面正規(guī)圖像。
[0050]在幀存儲器4中，作為存儲部件的一例，存儲部由RAM (Random Access Memory,隨機(jī)存取存儲器)、硬盤或者硅盤等構(gòu)成。幀存儲器4存儲由照相機(jī)2拍攝的失真圓形圖像、圖像變換的運(yùn)算過程中的圖像數(shù)據(jù)、以及進(jìn)行了圖像變換的平面正規(guī)圖像等。
[0051 ] 作為顯示部件的一例，顯示用監(jiān)視器5是由液晶顯示元件或者EL (ElectroLuminescence，電致發(fā)光)元件等構(gòu)成的監(jiān)視器畫面(平面畫面)。顯示用監(jiān)視器5顯示由照相機(jī)2拍攝的失真圓形圖像、以及通過圖像變換得到的平面正規(guī)圖像等。
[0052]圖像處理裝置10具有計算校正系數(shù)以及對應(yīng)坐標(biāo)的校正/運(yùn)算部11、將失真圓形圖像變換為平面正規(guī)圖像并生成用于在顯示用監(jiān)視器5中顯示的平面正規(guī)圖像的圖像生成部12。
[0053]校正/運(yùn)算部11由使用了用于進(jìn)行專用的運(yùn)算等的LSI (Large ScaleIntegration,大規(guī)模集成電路)芯片的硬件構(gòu)成。校正/運(yùn)算部11在從圖像生成部12提供任意的坐標(biāo)的情況下，執(zhí)行使用了圖像變換的對應(yīng)關(guān)系式的運(yùn)算，算出對應(yīng)坐標(biāo)，或者執(zhí)行使用了在從與視線矢量對應(yīng)的位置移動了切出區(qū)域的情況下的圖像變換的對應(yīng)關(guān)系式的運(yùn)算，算出對應(yīng)坐標(biāo)。另外，關(guān)于圖像變換的對應(yīng)關(guān)系式，在圖像變換I以及圖像變換II中說明。[0054]圖像生成部12由使用了用于進(jìn)行專用的運(yùn)算等的LSI (Large ScaleIntegration,大規(guī)模集成電路)芯片的硬件構(gòu)成。圖像生成部12進(jìn)行從失真圓形圖像至平面正規(guī)圖像的圖像變換的運(yùn)算，或?qū)⑼ㄟ^圖像變換生成的平面正規(guī)圖像存儲至幀存儲器4或讀出。
[0055](1.2圖像變換I)
[0056]接著，使用圖2說明將通過使用了具有魚眼鏡頭的照相機(jī)2所拍攝而得到的失真圓形圖像變換為減輕了失真的平面正規(guī)圖像的圖像變換I的處理的基本原理。
[0057]如圖2所示，在XY平面上形成的失真圓形圖像S是構(gòu)成以坐標(biāo)系的原點(diǎn)O為中心的半徑R的圓的圖像，并且是將在作為鏡頭的光軸的Z軸的正區(qū)域側(cè)的具有180°的視角的區(qū)域上存在的像失真記錄的失真圖像。另外，圖2的模型是由正射影方式的魚眼鏡頭拍攝的情況下的模型。
[0058]在此，從失真圓形圖像S切出一部分的區(qū)域(切出區(qū)域E)，進(jìn)行圖像變換而得到平面正規(guī)圖像T。因此，如圖2所示，作為用于決定從失真圓形圖像S切出哪個區(qū)域的切出基準(zhǔn)點(diǎn)的一例，設(shè)定切出中心點(diǎn)Ρ(Χο，Y0)。另外，切出基準(zhǔn)點(diǎn)也可以不限于中心。
[0059]接著，設(shè)定將失真圓形圖像S的中心(失真圖像的拍攝的視點(diǎn)的一例)作為中心的虛擬球面H。如圖2所示，通過在失真圓形圖像S上設(shè)定的切出中心點(diǎn)P (?, %)，設(shè)定與Z軸(3維XYZ正交坐標(biāo)系的坐標(biāo)軸)平行的直線和虛擬球面H的交點(diǎn)Q(X(I，y0, z0)。設(shè)定從失真圓形圖像的中心向交點(diǎn)Q(X(I，y。，z0)的視線矢量(將失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，與切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量的一例)。
[0060]接著，在交點(diǎn)Q (Xtl, y0, Ztl)，設(shè)定與虛擬球面H相切的切平面(在視線矢量的方向交叉的交點(diǎn)上與視線矢量正交的面的一例)，在該切平面上設(shè)定2維UV正交坐標(biāo)系。
[0061]然后，以倍率m，與視線矢量η正交地平行移動2維UV正交坐標(biāo)系，作為2維UV正交坐標(biāo)系上的圖像而求得平面正規(guī)圖像Τ。2維UV正交坐標(biāo)系被設(shè)定為點(diǎn)G(xg，yg, zg)成為原點(diǎn)。以倍率m，虛擬球面的半徑變動，平面正規(guī)圖像T的面成為與變動虛擬球面的半徑的虛擬球面相切的面(在視線矢量的方向交叉的交點(diǎn)上與視線矢量正交的面)。在此，倍率m表示坐標(biāo)值(u，v)的縮放和坐標(biāo)值(x，y)的縮放的關(guān)系。從而，兩個點(diǎn)OG間的距離被設(shè)定為m*R。另外，作為參數(shù)的倍率m可以從參數(shù)輸入部3輸入，也可以預(yù)先設(shè)定。此外，如圖2所示，在倍率m比I大的情況下，平面正規(guī)圖像T在虛擬平面H的外側(cè)。在倍率比I小的情況下，平面正規(guī)圖像T的在視線矢量的方向交叉的點(diǎn)G在虛擬平面H的內(nèi)側(cè)。
[0062]點(diǎn)G(xg，yg，zg)的位置能夠由方位角α和天頂角β確定。進(jìn)而為了決定UV坐標(biāo)系，將U軸和J軸(旋轉(zhuǎn)基準(zhǔn)軸)所成的角度定義為平面傾斜角(P。另外，從XY坐標(biāo)系的原點(diǎn)O向UV坐標(biāo)系的原點(diǎn)G的方向的矢量是視線矢量η。此外，作為參數(shù)的方位角α、天頂角β、以及平面傾斜角φ可以從參數(shù)輸入部3輸入，也可以預(yù)先設(shè)定。
[0063]在此，用于切出并變形將在XY坐標(biāo)系上定義的失真圓形圖像S上的切出中心點(diǎn)P(x0Jy0)作為中心的切出區(qū)域內(nèi)的失真圖像，在uv坐標(biāo)系上得到平面正規(guī)圖像τ的對應(yīng)關(guān)系式如下述式(I)至(9)所示。
[0064][數(shù)I]
【權(quán)利要求】
1.一種圖像處理裝置，其特征在于，具備: 失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像； 切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)占.切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域； 視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量； 偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在于，還具備: 虛擬球面設(shè)定部件，設(shè)定將所述失真圖像的中心作為中心的虛擬球面， 所述視線矢量設(shè)定部件設(shè)定從所述虛擬球面的中心、朝向與包含所述失真圖像的平面正交且通過所述切出基準(zhǔn)點(diǎn)的直線和所述虛擬球面交叉的交點(diǎn)的視線矢量。
3.如權(quán)利要求1或權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述視線矢量設(shè)定部件接受用于確定所述視線矢量的參數(shù)的輸入，設(shè)定所述視線矢量， 所述切出區(qū)域設(shè)定部件在于所述視線矢量的方向交叉的交點(diǎn)與所述視線矢量正交的面內(nèi)，設(shè)定與所述切出區(qū)域?qū)?yīng)的所述平面正規(guī)圖像的區(qū)域， 所述偏移部件在與所述視線矢量正交的面內(nèi)，使所述設(shè)定的平面正規(guī)圖像的區(qū)域移動， 所述圖像變換部件根據(jù)所述視線矢量，求得與所述移動的平面正規(guī)圖像的區(qū)域的各點(diǎn)對應(yīng)的所述失真圖像的像素值，將該求得的所述失真圖像的像素值設(shè)為所述平面正規(guī)圖像的像素值。
4.如權(quán)利要求3所述的圖像處理裝置，其特征在于， 與所述視線矢量正交的面是圓柱的面。
5.如權(quán)利要求1至4的任一項(xiàng)所述的圖像處理裝置，其特征在于， 所述視線矢量設(shè)定部件設(shè)定多個視線矢量， 所述切出區(qū)域設(shè)定部件設(shè)定與各視線矢量相應(yīng)的切出區(qū)域， 所述圖像變換部件將各所述切出區(qū)域變換為平面正規(guī)圖像， 將所述圖像變換部件求得的各平面正規(guī)圖像在一個顯示部件中顯示。
6.一種圖像處理方法，用于圖像處理裝置處理圖像，其特征在于，包含: 失真圖像取得步驟，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像； 切出基準(zhǔn)點(diǎn)設(shè)定步驟，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)占.切出區(qū)域設(shè)定步驟，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域； 視線矢量設(shè)定步驟，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量； 偏移步驟，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換步驟，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
7.一種圖像處理裝置用程序，使計算機(jī)作為以下部件發(fā)揮作用: 失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像； 切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)占.切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域； 視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量； 偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
8.—種記錄介質(zhì)，計算機(jī)可讀取地記錄有圖像處理裝置用程序，所述圖像處理裝置用程序使計算機(jī)作為以下部件發(fā)揮作用: 失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像； 切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)占.切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域； 視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量； 偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離；以及圖像變換部件，通過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域。
9.一種圖像顯示裝置，其特征在于，具備: 失真圖像取得部件，取得通過使用了廣角鏡頭或者全向鏡所拍攝而得到的失真圖像； 切出基準(zhǔn)點(diǎn)設(shè)定部件，設(shè)定用于從所述失真圖像切出一部分的切出區(qū)域的切出基準(zhǔn)占.切出區(qū)域設(shè)定部件，根據(jù)所述切出基準(zhǔn)點(diǎn)，設(shè)定切出區(qū)域； 視線矢量設(shè)定部件，將所述失真圖像的拍攝的視點(diǎn)作為基點(diǎn)，設(shè)定與所述切出基準(zhǔn)點(diǎn)對應(yīng)的視線矢量； 偏移部件，使所述切出區(qū)域從所述切出基準(zhǔn)點(diǎn)移動規(guī)定的距離； 圖像變換部件，通 過根據(jù)所述視線矢量從所述失真圖像變換為平面正規(guī)圖像的圖像變換，變換所述移動的切出區(qū)域；以及 顯示部件，顯示由所述圖像變換部件得到的平面正規(guī)圖像。
【文檔編號】H04N5/225GK104011767SQ201280062866
【公開日】2014年8月27日 申請日期:2012年12月18日 優(yōu)先權(quán)日:2011年12月19日
【發(fā)明者】八木拓哉, 吉野恭司, 稻垣孝次 申請人:大日本印刷株式會社
相關(guān)技術(shù)
網(wǎng)友詢問留言
已有0條留言
- 還沒有人留言評論。精彩留言會獲得點(diǎn)贊！
1