本發(fā)明涉及圖像處理，特別涉及一種局部色差自適應(yīng)的圖像去馬賽克插值方法及系統(tǒng)級芯片、計(jì)算機(jī)存儲介質(zhì)。

背景技術(shù)：

1、目前的成像設(shè)備，如相機(jī)，出于成本考慮，其成像系統(tǒng)通常采用單顆圖像傳感器搭配濾光片的設(shè)計(jì)方案。在圖像傳感器采集到圖像后，會利用isp(image?signalprocessing，圖像信號處理)系統(tǒng)對采集到的圖像進(jìn)行處理，從而最終輸出rgb的彩色圖像。isp通常包括線性糾錯(cuò)、去噪、去壞點(diǎn)、白平衡、色彩校正、色調(diào)映射、去馬賽克等。

2、其中，去馬賽克過程是按照梯度方向插值將圖像從raw域(圖像傳感器輸出的原始圖像數(shù)據(jù))轉(zhuǎn)換至rgb域(帶色彩的圖像)。現(xiàn)有的去馬賽克過程中，插值時(shí)通常需要對8個(gè)方向(e東、n北、w西、s南、en東北、wn西北、ws西南、es東南)的梯度進(jìn)行計(jì)算，以確認(rèn)插值的梯度方向，再從選出的梯度方向上計(jì)算出當(dāng)前目標(biāo)像素的色差估計(jì)值，進(jìn)而得到當(dāng)前目標(biāo)像素的rgb值。

3、然而，現(xiàn)有的去馬賽克過程采用的插值方法，由于選用了8個(gè)方向，但每個(gè)方向上像素點(diǎn)過少，因此需要較大的窗口來增加像素點(diǎn)個(gè)數(shù)以保證梯度計(jì)算的精度；但由于像素值的空間關(guān)系隨距離的增加會導(dǎo)致置信度下降，因此當(dāng)增加窗口后，距離當(dāng)前目標(biāo)像素較遠(yuǎn)的像素值置信度較低，在一定程度上影響梯度計(jì)算的精度；同時(shí)，大窗口的計(jì)算過程也勢必會增加硬件消耗，導(dǎo)致硬件成本較高。

4、此外，現(xiàn)有的去馬賽克過程中，由于插值計(jì)算的精度影響，會出現(xiàn)偽彩色、鋸齒效應(yīng)、摩爾紋和紫邊現(xiàn)象等問題，嚴(yán)重影響圖像質(zhì)量。例如，在插值計(jì)算時(shí)，若對局部像素值做平均出錯(cuò)或者圖像沒有按照預(yù)定的期望重合，則會出現(xiàn)偽彩色；在一幅圖像顏色跨度特別大的區(qū)域或者在兩種景物相交的邊緣，對數(shù)據(jù)進(jìn)行處理時(shí)沒有選擇周圍色彩比較相近平滑的像素值，而是繼續(xù)沿著突變的區(qū)域進(jìn)行顏色的插值計(jì)算，如采用雙線性的插值算法，則極易導(dǎo)致鋸齒效應(yīng)；而對于圖像中的密集紋理區(qū)域，則會在插值后出現(xiàn)摩爾紋；在紅、藍(lán)像素值的插值發(fā)生混疊時(shí)，則會出現(xiàn)紫邊現(xiàn)象。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種局部色差自適應(yīng)的圖像去馬賽克插值方法及系統(tǒng)級芯片、計(jì)算機(jī)存儲介質(zhì)，以解決現(xiàn)有去馬賽克過程采用的插值方法精度差且硬件消耗高，導(dǎo)致圖像質(zhì)量較差的問題。

2、為解決上述技術(shù)問題，本發(fā)明提供一種局部色差自適應(yīng)的圖像去馬賽克插值方法，包括：

3、獲取原始raw圖像；

4、以raw圖像中的當(dāng)前目標(biāo)像素為基準(zhǔn)，提取緩存窗口；

5、在緩存窗口中，計(jì)算當(dāng)前目標(biāo)像素在水平方向、垂直方向、對角線方向和反對角線方向上的梯度值；

6、根據(jù)水平方向上的梯度值、垂直方向上的梯度值、對角線方向上的梯度值和反對角線方向上的梯度值，確定插值方向；

7、沿插值方向，進(jìn)行rgb全通道插值計(jì)算，以輸出去馬賽克后的圖像。

8、可選的，在所述的局部色差自適應(yīng)的圖像去馬賽克插值方法中，所述以raw圖像中的當(dāng)前目標(biāo)像素為基準(zhǔn)，提取緩存窗口的步驟包括：

9、以raw圖像中的當(dāng)前目標(biāo)像素為基準(zhǔn)，提取m行n列的緩存窗口，其中，m為大于或等于5的奇數(shù)，n為大于或等于5的奇數(shù)；

10、所述緩存窗口中的像素的像素值記為px,y，其中，x表示像素在緩存窗口中的行坐標(biāo)，按行從左到右的順序，x＝0,1,……,m-1；y表示像素在緩存窗口中的列坐標(biāo)，按列從上到下的順序，y＝0,1,……,n-1；

11、當(dāng)前目標(biāo)像素的像素值記為pi,j，其中，

12、可選的，在所述的局部色差自適應(yīng)的圖像去馬賽克插值方法中，所述在緩存窗口中，計(jì)算當(dāng)前目標(biāo)像素在水平方向、垂直方向、對角線方向和反對角線方向上的梯度值的步驟包括：

13、在緩存窗口中，計(jì)算當(dāng)前目標(biāo)像素在水平方向、垂直方向、對角線方向和反對角線方向上的同通道像素差異值；

14、在緩存窗口中，計(jì)算當(dāng)前目標(biāo)像素在水平方向、垂直方向、對角線方向和反對角線方向上的相鄰像素差異值；

15、在緩存窗口中，計(jì)算當(dāng)前目標(biāo)像素的色差權(quán)重；

16、利用色差權(quán)重、水平方向上的同通道像素差異值和水平方向上的相鄰像素差異值，計(jì)算水平方向上的梯度值；利用色差權(quán)重、垂直方向上的同通道像素差異值和垂直方向上的相鄰像素差異值，計(jì)算垂直方向上的梯度值；利用色差權(quán)重、對角線方向上的同通道像素差異值和對角線方向上的相鄰像素差異值，計(jì)算對角線方向上的梯度值；利用色差權(quán)重、反對角線方向上的同通道像素差異值和反對角線方向上的相鄰像素差異值，計(jì)算反對角線方向上的梯度值。

17、可選的，在所述的局部色差自適應(yīng)的圖像去馬賽克插值方法中，所述在緩存窗口中，計(jì)算當(dāng)前目標(biāo)像素在水平方向、垂直方向、對角線方向和反對角線方向上的同通道像素差異值的步驟包括：

18、計(jì)算當(dāng)前目標(biāo)像素在水平方向上的同通道像素差異值channel_diff_h，其中，計(jì)算公式為：

19、channel_diff_h

20、＝(|pi-2，j-2-pi-2，j|+|pi-2，j-pi-2，j+2|+2×|pi，j-2-pi，j|+2

21、×|pi，j-pi，j+2|+|pi+2，j-2-pi+2，j|+|pi+2，j-pi+2，j+2|+4

22、×|pi-1，j-1-pi-1，j+1|+4×|pi+1，j-1-pi+1，j+1|+2

23、×|pi-2，j-1-pi-2，j+1|+2×|pi+2，j-1-pi+2，j+1|+4×|pi，j-1-pi，j+1|

24、+2×|pi-1，j-2-pi-1，j|+2×|pi-1，j-pi-1，j+2|+2×|pi+1，j-2-pi+1，j|

25、+2×|pi+1，j-pi+1，j+2|)/32；

26、計(jì)算當(dāng)前目標(biāo)像素在垂直方向上的同通道像素差異值channel_diff_v，其中，計(jì)算公式為：

27、channel_diff_v

28、＝(|pi-2，j-2-pi，j-2|+|pi，j-2-pi+2，j-2|+2×|pi-2，j-pi，j|+2

29、×|pi，j-pi+2，j|+|pi-2，j+2-pi，j+2|+|pi，j+2-pi+2，j+2|+4

30、×|pi-1，j-1-pi+1，j-1|+4×|pi-1，j+1-pi+1，j+1|+2

31、×|pi-1，j-2-pi+1，j-2|+2×|pi-1，j+2-pi+1，j+2|+4×|pi-1，j-pi+1，j|

32、+2×|pi-2，j-1-pi，j-1|+2×|pi，j-1-pi+2，j-1|+2×|pi-2，j+1-pi，j+1|

33、+2×|pi，j+1-pi+2，j+1|)/32；

34、計(jì)算當(dāng)前目標(biāo)像素在對角線方向上的同通道像素差異值channel_diff_d，其中，計(jì)算公式為：

35、channel_diff_d

36、＝(|pi-2，j-pi，j-2|+|pi-2，j+2-pi，j|+|pi+2，j-2-pi，j|+|pi，j+2-pi+2，j|

37、+2×(|pi-2，j+1-pi，j-1|+|pi-1，j-pi+1，j-2|+|pi-1，j+2-pi+1，j|

38、+|pi，j+1-pi+2，j-1|)+4×|pi-1，j+1-pi+1，j-1|)/16；

39、計(jì)算當(dāng)前目標(biāo)像素在反對角線方向上的同通道像素差異值channel_diff_ad，其中，計(jì)算公式為：

40、channel_diff_ad

41、＝(|pi-2，j-pi，j+2|+|pi-2，j-2-pi，j|+|pi+2，j+2-pi，j|+|pi，j-2-pi+2，j|

42、+2×(|pi-2，j-1-pi，j+1|+|pi-1，j-pi+1，j+2|+|pi-1，j-2-pi+1，j|

43、+|pi，j-1-pi+2，j+1|)+4×|pi-1，j-1-pi+1，j+1|)/16。

44、可選的，在所述的局部色差自適應(yīng)的圖像去馬賽克插值方法中，所述在緩存窗口中，計(jì)算當(dāng)前目標(biāo)像素在水平方向、垂直方向、對角線方向和反對角線方向上的相鄰像素差異值的步驟包括：

45、計(jì)算當(dāng)前目標(biāo)像素在水平方向上的相鄰像素差異值color_diff_h，其中，計(jì)算公式為：

46、color_diff_h＝(|pi-2，j-2-pi-2，j-1|+|pi-2，j-1-pi-2，j|+|pi-2，j-pi-*，j+1|

47、+|pi-2，j+1-pi-2，j+2|+|pi+2，j-2-pi+2，j-1|+|pi+2，j-1-pi+2，j|

48、+|pi+2，j-pi+2，j+1|+|pi+2，j+1-pi+2，j+2|+2

49、×(|pi-1，j-2-pi-1，j-1|+|pi-1，j-1-pi-1，j|+|pi-1，j-pi-1，j+1|

50、+|pi-1，j+1-pi-1，j+2|+|pi，j-2-pi，j-1|+|pi，j-1-pi，j|+|pi，j-pi，j+1|

51、+|pi，j+1-pi，j+2|+|pi+1，j-2-pi+1，j-1|+|pi+1，j-1-pi+1，j|

52、+|pi+1，j-pi+1，j+1|+|pi+1，j+1-pi+1，j+2|))/32；

53、計(jì)算當(dāng)前目標(biāo)像素在垂直方向上的相鄰像素差異值color_diff_v，其中，計(jì)算公式為：

54、color_diff_v＝(|pi-2，j-2-pi-1，j-2|+|pi-1，j-2-pi，j-2|+|pi，j-2-pi+1，j-2|

55、+|pi+1，j-2-pi+2，j-2|+|pi-2，j+2-pi-1，j+2|+|pi-1，j+2-pi，j+2|

56、+|pi，j+2-pi+1，j+2|+|pi+1，j+2-pi+2，j+2|+2

57、×(|pi-2，j-1-pi-1，j-1|+|pi-1，j-1-pi，j-1|+|pi，j-1-pi+1，j-1|

58、+|pi+1，j-1-pi+2，j-1|+|pi-2，j-pi-1，j|+|pi-1，j-pi，j|+|pi，j-pi+1，j|

59、+|pi+1，j-pi+2，j|+|pi-2，j+1-pi-1，j+1|+|pi-1，j+1-pi，j+1|

60、+|pi，j+1-pi+1，j+1|+|pi+1，j+1-pi+2，j+1|))/32；

61、計(jì)算當(dāng)前目標(biāo)像素在對角線方向上的相鄰像素差異值color_diff_d，其中，計(jì)算公式為：

62、color_diff_d＝(|pi-1，j-2-pi-2，j-1|+|pi，j-2-pi-1，j-1|+|pi-1，j-1-pi-2，j|

63、+|pi+1，j-2-pi，j-1|+|pi，j-1-pi-1，j|+|pi-1，j-pi-2，j+1|

64、+|pi+2，j-2-pi+1，j-1|+|pi+1，j-1-pi，j|+|pi，j-pi-1，j+1|

65、+|pi-1，j+1-pi-2，j+2|+|pi+2，j-1-pi+1，j|+|pi+1，j-pi，j+1|

66、+|pi，j+1-pi-1，j+2|+|pi+2，j-pi+1，j+1|+|pi+1，j+1-pi，j+2|

67、+|pi+2，j+1-pi+1，j+2|)/16；

68、計(jì)算當(dāng)前目標(biāo)像素在反對角線方向上的相鄰像素差異值color_diff_ad，其中，計(jì)算公式為：

69、color_diffad

70、＝(|pi-2，j+1-pi-1，j+2|+|pi-2，j-pi-1，j+1|+|pi-1，j+1-pi，j+2|

71、+|pi-2，j-1-pi-1，j|+|pi-1，j-pi，j+1|+|pi，j+1-pi+1，j+2|

72、+|pi-2，j-2-pi-1，j-1|+|pi-1，j-1-pi，j|+|pi，j-pi+1，j+1|

73、+|pi+1，j+1-pi+2，j+2|+|pi-1，j-2-pi，j-1|+|pi，j-1-pi+1，j|

74、+|pi+1，j-pi+2，j+1|+|pi，j-2-pi+1，j-1|+|pi+1，j-1-pi+2，j|

75、+|pi+1，j-2-pi+2，j+1|)/16。

76、可選的，在所述的局部色差自適應(yīng)的圖像去馬賽克插值方法中，所述在緩存窗口中，計(jì)算當(dāng)前目標(biāo)像素的色差權(quán)重的步驟包括：

77、計(jì)算當(dāng)前目標(biāo)像素在水平方向和垂直方向上的兩種相鄰色差值；

78、取水平方向上兩種相鄰色差值中的較大值作為水平方向的色差值，取垂直方向上兩種相鄰色差值中的較大值作為垂直方向的色差值；

79、取水平方向的色差值和垂直方向的色差值中的較小值作為局部色差值；

80、根據(jù)設(shè)定的權(quán)重值域，將局部色差值進(jìn)行值域映射后得到色差權(quán)重。

81、可選的，在所述的局部色差自適應(yīng)的圖像去馬賽克插值方法中，記色差權(quán)重為color?wt，0≤color?wt≤1；

82、計(jì)算水平方向上的梯度值grad_h的公式為：

83、grad_h＝(1-color_wt)×channel_diff_h+color_wt×color_diff_h；

84、計(jì)算垂直方向上的梯度值grad_v的公式為：

85、grad_v＝(1-color_wt)×channel_diff_v+color_wt×color_diff_v；

86、計(jì)算對角線方向上的梯度值grad_d的公式為：

87、grad_d＝(1-color_wt)×channel_diff_d+color_wt×color_diff_d；

88、計(jì)算反對角線方向上的梯度值grad_ad的公式為：

89、grad_ad＝(1-color_wt)×channel_diff_ad+color_wt×color_diff_ad。

90、可選的，在所述的局部色差自適應(yīng)的圖像去馬賽克插值方法中，所述根據(jù)水平方向上的梯度值、垂直方向上的梯度值、對角線方向上的梯度值和反對角線方向上的梯度值，確定插值方向的步驟包括：

91、設(shè)置無方向梯度閾值；

92、若當(dāng)前目標(biāo)像素的水平方向上的梯度值、垂直方向上的梯度值、對角線方向上的梯度值和反對角線方向上的梯度值均小于無方向梯度閾值，則判斷當(dāng)前目標(biāo)像素為無方向插值點(diǎn)；

93、否則根據(jù)水平方向上的梯度值、垂直方向上的梯度值、對角線方向上的梯度值和反對角線方向上的梯度值，確定插值方向。

94、可選的，在所述的局部色差自適應(yīng)的圖像去馬賽克插值方法中，所述根據(jù)水平方向上的梯度值、垂直方向上的梯度值、對角線方向上的梯度值和反對角線方向上的梯度值，確定插值方向的步驟包括：

95、將水平方向上的梯度值和垂直方向上的梯度值作為一組，將對角線方向上的梯度值和反對角線方向上的梯度值作為一組；

96、計(jì)算每組中較小梯度值和較大梯度值的比值，并將兩組中比值較小的一組作為方向候選組；

97、從方向候選組中選擇較小梯度值對應(yīng)的方向作為插值方向。

98、可選的，在所述的局部色差自適應(yīng)的圖像去馬賽克插值方法中，所述沿插值方向，進(jìn)行rgb全通道插值計(jì)算的步驟包括：

99、在插值方向上，提取當(dāng)前目標(biāo)像素兩側(cè)同色像素；

100、利用兩個(gè)同色像素和當(dāng)前目標(biāo)像素的差異關(guān)系，計(jì)算插值方向?qū)?yīng)兩側(cè)的插值權(quán)重；

101、根據(jù)插值權(quán)重計(jì)算當(dāng)前目標(biāo)像素的待插值顏色通道的通道值。

102、可選的，在所述的局部色差自適應(yīng)的圖像去馬賽克插值方法中，所述利用兩個(gè)同色像素和當(dāng)前目標(biāo)像素的差異關(guān)系，計(jì)算插值方向?qū)?yīng)兩側(cè)的插值權(quán)重的步驟包括：

103、記兩個(gè)同色像素的像素值分別為pa,b和pc,d，其中，a和c的取值為或b和d的取值為或

104、計(jì)算當(dāng)前目標(biāo)像素的插值方向兩側(cè)的同色差值，其中，計(jì)算公式為：

105、diff_1＝|pi,j-pa,b|

106、diff_2＝|pi,j-pc,d|

107、diff＝|diff_1-diff_2|

108、其中，diff_1為插值方向一側(cè)的同色像素差異值，diff_2為插值方向另一側(cè)的同色像素差異值，diff為當(dāng)前目標(biāo)像素的插值方向兩側(cè)的同色差值；

109、根據(jù)設(shè)定的端點(diǎn)閾值值域，將當(dāng)前目標(biāo)像素的插值方向兩側(cè)的同色差值進(jìn)行值域映射后得到插值權(quán)重wt，其中，0≤wt≤1。

110、可選的，在所述的局部色差自適應(yīng)的圖像去馬賽克插值方法中，所述根據(jù)插值權(quán)重計(jì)算當(dāng)前目標(biāo)像素的待插值顏色通道的通道值的步驟包括：

111、計(jì)算當(dāng)前目標(biāo)像素在插值方向?qū)?yīng)兩側(cè)的色差，其中，計(jì)算公式為：

112、

113、其中，cr_1為當(dāng)前目標(biāo)像素在插值方向上一側(cè)的色差，cr_2為當(dāng)前目標(biāo)像素在插值方向上另一側(cè)的色差，cr為當(dāng)前目標(biāo)像素的合成色差；

114、計(jì)算當(dāng)前目標(biāo)像素的待插值顏色通道的通道像素值，其中，計(jì)算公式為：

115、pixelc＝pi,j-cr。

116、為解決上述技術(shù)問題，本發(fā)明還提供一種系統(tǒng)級芯片，所述系統(tǒng)級芯片包括處理器和存儲器，所述處理器和所述存儲器相耦合，所述處理器用于執(zhí)行所述存儲器中存儲的計(jì)算機(jī)程序，以執(zhí)行如上任一項(xiàng)所述的局部色差自適應(yīng)的圖像去馬賽克插值方法。

117、為解決上述技術(shù)問題，本發(fā)明還提供一種計(jì)算機(jī)存儲介質(zhì)，所述計(jì)算機(jī)存儲介質(zhì)存儲有可執(zhí)行程序；所述可執(zhí)行程序被執(zhí)行時(shí)，實(shí)現(xiàn)如上任一項(xiàng)所述的局部色差自適應(yīng)的圖像去馬賽克插值方法。

118、本發(fā)明提供的局部色差自適應(yīng)的圖像去馬賽克插值方法及系統(tǒng)級芯片、計(jì)算機(jī)存儲介質(zhì)，通過在插值過程中，根據(jù)中心點(diǎn)和主方向兩端的差異，自適應(yīng)獲取參與插值的像素點(diǎn)權(quán)重，能夠在保證插值精度的同時(shí)，減小了計(jì)算窗口的尺寸，進(jìn)而在插值計(jì)算時(shí)不僅能夠有效提高圖像的解析力，提高去馬賽克后圖像的質(zhì)量，還能夠節(jié)省硬件資源的消耗，解決了現(xiàn)有去馬賽克過程采用的插值方法精度差且硬件消耗高，導(dǎo)致圖像質(zhì)量較差的問題。