攝像系統(tǒng)、攝像裝置、編碼裝置以及攝像方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及使用了壓縮感知（compressed sensing)的攝像裝置。
【背景技術(shù)】
[0002] 近年來，正在開發(fā)稱為"壓縮感知"的技術(shù)。壓縮感知是指如下技術(shù)：通過在攝像 (拍攝）時將多個像素的像素值（電荷信號）相加從而壓縮圖像的信息量，并進行利用了圖 像的稀疏（sparse)性（后述）的圖像復(fù)原（例如參照非專利文獻1)?；谏鲜龇绞降臄z 像稱為加法采樣攝像。
[0003] 在先技術(shù)文獻
[0004] 專利文獻1 :日本特開2010-245955號公報
[0005] 非專利文獻 I :J. Ma，"Improved Iterative Curvelet Thresholding for Compressed Sensing and Measurement,，' IEEE Transactions on Instrumentation and Measurement，第 60 卷，no. 1，第 126-136 頁，2011.
[0006] 非專利文獻 2 :Y. Oike 和 A. Ε· Gamal，"A 256X256 CMOS Image Sensor with Δ Σ-Based Single-Shot Compressed Sensing，'，IEEE International Solid-State Circuits Conference (ISSCC) Dig. of Tech. Papers,第 386-387 頁，2012.
[0007] 非專利文獻3 :田中利幸，"壓縮感知的數(shù)學(xué)理論"，IEICE Fundamentals Review, 第 4 卷，no. 1，第 39-47 頁，2010.
[0008] 非專利文獻4 :茨木俊秀、福島雅夫著、"信息數(shù)學(xué)講座（全15卷）第14卷最優(yōu)化 的方法"共立出版株式會社、1993年7月20日初版第一次印刷發(fā)行（P159-P164).
[0009] 非專利文獻 5 :Μ· V. Afonso、J. M. Bioucas-Dias 以及 M. A. T. Figueiredo, "Fast Image Recovery Using Variable Splitting and Constrained Optimization，'，IEEE Transactions on Image Processing,第 19 卷，No. 9,第 2345-2356 頁，2010.
[0010] 非專利文獻 6 :C. Tomasi 和 R. Manduchi，"Bilateral filtering for gray and color images，'，Proc. of IEEE International Conference on Computer Vision,第 839-846 頁，1998.
[0011] 非專利文獻7:中靜真，"稀疏信號表現(xiàn)及其圖像處理應(yīng)用"，影像信息媒體學(xué)會志， 第 65 卷，No. 10,第 1381-1386 頁，2011.
[0012] 非專利文獻 8 :J. Zhang、D. Zhao、C. Zhao、R. Xiong、S. Ma 以及 W. Gao, "Compressed Sensing Recovery via Collaborative Sparsity，'，Proc. of IEEE Data Compression Conference，第 287-296 頁，2012.

【發(fā)明內(nèi)容】

[0013] 然而，要求進一步提高復(fù)原圖像的畫質(zhì)。
[0014] 一個非限制的例示性實施例提供一種提高復(fù)原圖像的畫質(zhì)的攝像系統(tǒng)。
[0015] 本發(fā)明的實施方式的其他益處和優(yōu)點將通過說明書和附圖得到明確。這些益處和 /或優(yōu)點能夠單獨地由所公開的說明書和附圖的各個實施方式和特征來實現(xiàn)，并且，不需要 通過所有的實施方式和特征來實現(xiàn)一個或更多的益處和/或優(yōu)點。
[0016] 本發(fā)明的一個技術(shù)方案涉及一種攝像系統(tǒng)，具備：光電轉(zhuǎn)換單元，將多個像素接受 的光信號轉(zhuǎn)換成電信號；電荷保持單元，存儲所述電信號并作為電荷信號進行保持；加法 采樣信息設(shè)定單元，設(shè)定加法采樣處理所使用的加法采樣信息，所述加法采樣信息包含第1 加法采樣信息、與所述第1加法采樣信息不同的第2加法采樣信息；加法采樣單元，使用所 述加法采樣信息和所述電荷信號進行所述加法采樣處理并輸出信號，所述加法采樣單元使 用所述第1加法采樣信息和所述多個像素所包含的第1多個像素的第1像素值來進行所述 加法采樣處理，并輸出使用于第1幀的第1信號，所述加法采樣單元使用所述第2加法采樣 信息和所述第1多個像素的第2像素值來進行所述加法采樣處理，并輸出使用于與第1幀 連續(xù)的第2幀的第2信號，所述加法采樣單元輸出的信號包含所述第1信號和所述第2信 號；轉(zhuǎn)換單元，將所述加法采樣單元輸出的信號轉(zhuǎn)換成數(shù)字信號；以及圖像復(fù)原單元，根據(jù) 所述數(shù)字信號，利用所述加法采樣信息生成并輸出復(fù)原圖像。
[0017] 本發(fā)明的一個技術(shù)方案涉及的攝像系統(tǒng)能夠得到更高畫質(zhì)的復(fù)原圖像。
【附圖說明】
[0018] 圖1是表示發(fā)明的一個實施方式涉及的攝像系統(tǒng)10的硬件結(jié)構(gòu)例的圖。
[0019] 圖2是表示實施方式1涉及的攝像系統(tǒng)10的結(jié)構(gòu)例的框圖。
[0020] 圖3是表示實施方式1中的編碼系統(tǒng)500的結(jié)構(gòu)的框圖。
[0021] 圖4是表示實施方式1涉及的編碼系統(tǒng)30的主要處理的步驟的流程圖。
[0022] 圖5是表示本實施方式1中的加法采樣攝像單元101和圖像復(fù)原單元103的詳細 結(jié)構(gòu)的框圖。
[0023] 圖6是表示實施方式1中的攝像裝置的加法采樣攝像單元101的處理步驟的流程 圖。
[0024] 圖7是表示4X4共16個像素的配置的圖。
[0025] 圖8的（a)?（h)是用于說明時刻tl的加法采樣處理的示意圖。
[0026] 圖9的（a)?（h)是用于說明時刻t2的加法采樣處理的示意圖。
[0027] 圖10的（a)?（h)是用于說明時刻t3的加法采樣處理的示意圖。
[0028] 圖11的（a)?（h)是用于說明時刻t4的加法采樣處理的示意圖。
[0029] 圖12是示出了作為編碼數(shù)據(jù)的表現(xiàn)方法的一例的、加法采樣信息表的例子的示 意圖。
[0030] 圖13是示出了作為編碼數(shù)據(jù)的表現(xiàn)方法的一例的、加法采樣信息表的例子的示 意圖。
[0031] 圖14的（a)和（b)是用于說明加法采樣處理的特征的示意圖。
[0032] 圖15的（a)和（b)是用于說明加法采樣處理的特征的示意圖。
[0033] 圖16的（a)和（b)是用于說明加法采樣處理的特征的示意圖。
[0034] 圖17的（a)和（b)是用于說明加法采樣處理的特征的示意圖。
[0035] 圖18是示出了成為基準的圖像、通過非專利文獻8的圖像復(fù)原方法對16幀數(shù)據(jù) 進行復(fù)原而得到的圖像以及通過實施方式的處理復(fù)原而得到的圖像的圖。
[0036] 圖19是表示實施方式2的編碼系統(tǒng)30的結(jié)構(gòu)的框圖。
[0037] 圖20是表示實施方式2的編碼系統(tǒng)30的主要處理的步驟的流程圖。
[0038] 圖21是表示加法采樣攝像單元101和圖像復(fù)原單元103的詳細結(jié)構(gòu)的框圖。
[0039] 圖22是表示實施方式2中的攝像裝置的加法采樣攝像單元101和圖像復(fù)原單元 103的處理步驟的流程圖。
[0040] 圖23的（a)?（h)是用于說明時刻tl的加法采樣處理的示意圖。
[0041] 圖24的（a)?（h)是用于說明時刻t2的加法采樣處理的示意圖。
[0042] 圖25的（a)?（h)是用于說明時刻t3的加法采樣處理的示意圖。
[0043] 圖26的（a)?（h)是用于說明時刻t4的加法采樣處理的示意圖。
[0044] 圖27是示出了作為編碼數(shù)據(jù)的表現(xiàn)方法的一例的、加法采樣信息表的例子的示 意圖。
[0045] 圖28是示出了作為編碼數(shù)據(jù)的表現(xiàn)方法的一例的、加法采樣信息表的例子的示 意圖。
[0046] 圖29的（a)和（b)是用于說明加法采樣處理的兩個特征的示意圖。
[0047] 圖30的（a)和（b)是用于說明加法采樣處理的兩個特征的示意圖。
[0048] 圖31的（a)和（b)是用于說明加法采樣處理的兩個特征的示意圖。
[0049] 圖32的（a)和（b)是用于說明加法采樣處理的兩個特征的示意圖。
[0050] 圖33的（a)?（d)是用于說明利用了差分圖像的復(fù)原處理的示意圖。
[0051] 圖34是表示按每幀而固定了加法采樣信息的情況下、和按每幀而變更加法采樣 信息的情況下的復(fù)原圖像及其時間平均圖像的示意圖。
[0052] 圖35是表不利用了時間平均圖像的復(fù)原圖像的畫質(zhì)的不意圖。
[0053] 圖36是表示實施方式3中的編碼系統(tǒng)200的結(jié)構(gòu)的框圖。
[0054] 圖37是表不實施方式3中的編碼系統(tǒng)200的處理步驟的流程圖。
[0055] 圖38是表示攝像狀況推定單元106與圖像復(fù)原單元103的關(guān)系的框圖。
[0056] 圖39是表示實施方式4中的編碼系統(tǒng)300的結(jié)構(gòu)的框圖。
[0057] 圖40是表示實施方式5中的編碼系統(tǒng)400的結(jié)構(gòu)的框圖。
[0058] 圖41是表示實施方式6中的編碼系統(tǒng)500的結(jié)構(gòu)的框圖。
[0059] 圖42是表示實施方式7涉及的顯示控制系統(tǒng)600的結(jié)構(gòu)例的框圖。
[0060] 圖43是表示實施方式7中的顯示控制系統(tǒng)600的主要處理步驟的流程圖。
[0061] 圖44是表示實施方式7涉及的其他顯示控制系統(tǒng)601的結(jié)構(gòu)例的框圖。
[0062] 圖45是表示實施方式7中的其他顯示控制系統(tǒng)601的主要處理步驟的流程圖。
[0063] 標號說明
[0064] 101加法采樣攝像單元
[0065] 102低分辨率圖像生成顯示單元
[0066] 103圖像復(fù)原單元
[0067] 104用戶接口單元
[0068] 105輸出單元
[0069] 106攝像狀況推定單元
[0070] 201光電轉(zhuǎn)換單元
[0071] 202電荷保持單元
[0072] 203加法采樣信息設(shè)定單元
[0073] 204加法采樣單元
[0074] 205模數(shù)轉(zhuǎn)換單元
[0075] 206平均信號生成單元
[0076] 207平均信號保持單元
[0077] 208差分信號生成單元
[0078] 209差分圖像復(fù)原單元
【具體實施方式】
[0079] (基礎(chǔ)見解）
[0080] 通常來說，當進行上述的加法采樣攝像時，由于會失去圖像的信息量，所以復(fù)原圖 像的畫質(zhì)會較大程度地劣化。但是，在壓縮感知中，由于進行利用了圖像的稀疏性的復(fù)原處 理，所以即使通過加法運算拍攝減少了數(shù)據(jù)量，也能夠得到畫質(zhì)不遜色于不壓縮的情況下 的圖像的復(fù)原圖像。在這里，"圖像的稀疏性"是指如下見解：在將圖像向小波域（Wavelet Domain)空間或離散余弦（DCT :Discrete Cosine Transform)空間等投影時，許多系數(shù)值 大致成為0。作為利用了圖像的稀疏性的圖像復(fù)原方法，在壓縮感知中，利用LO范數(shù)（norm) 最小化或LI范數(shù)最小化方法。
[0081] 在壓縮感知中，在攝像元件內(nèi)的模數(shù)轉(zhuǎn)換器（以下描述為"ADC"）中進行處理以 前，由于能夠進行簡單的加法運算處理而壓縮數(shù)據(jù)量，所以能夠降低ADC的驅(qū)動頻率。由 此，能夠?qū)崿F(xiàn)低功耗化、高SN (信噪比）化、以及縮窄通信帶寬。
[0082] 例如專利文獻1公開了利用壓縮感知的概念的固態(tài)成像器件。在該固態(tài)成像器件 中，在多個像素各自連接有多條不同的布線。固態(tài)成像器件在錯開了相位的定時按順序驅(qū) 動像素組的多個像素而讀出信號。通過該結(jié)構(gòu)，減少了追加的電路，無需采樣和保持電路， 實現(xiàn)了能夠防止由噪聲增加導(dǎo)致的畫質(zhì)劣化、面積增加、速度下降的固態(tài)成像器件。
[0083] 另夕卜，非專利文獻1公開了通過利用改進的Curvelet閾值迭代（Improved Iterative Curvelet Thresholding)法，對圖像應(yīng)用壓縮感知的方法。
[0084] 然而，在壓縮感知中作為前提的圖像的稀疏性在一般圖像中并不一定成立。例