本發(fā)明涉及計算機輔助檢測技術(shù)領(lǐng)域，具體涉及一種膠囊內(nèi)窺鏡圖像預(yù)處理系統(tǒng)及方法。

背景技術(shù)：

現(xiàn)有無線膠囊內(nèi)窺鏡操作流程要求在體外對被檢測者的相貌、簡要信息(如姓名、性別、手機號等)、膠囊信息(序列號、電池電量等)進行拍攝，同時由于操作者對于儀器及膠囊內(nèi)窺鏡的熟練程度不同、被檢測者對于膠囊的適應(yīng)程度不同，會使得膠囊會拍攝大量在體外的圖片。

這些圖片可以防止檢查數(shù)據(jù)與被檢測者不匹配的問題，有利于數(shù)據(jù)的管理。但是這些體外圖像數(shù)據(jù)對于查看圖像的醫(yī)生來說，是沒有作用的。醫(yī)生的主要目的是查看被檢測者的消化道是否存在異常，大量的體外圖像數(shù)據(jù)會影響醫(yī)生查閱圖像的效率。

對于病灶位置(如出血、息肉、潰瘍、腫瘤等)、特定的解剖學(xué)結(jié)構(gòu)(如賁門、幽門等)，無線膠囊內(nèi)窺鏡在消化道內(nèi)拍攝時，會連續(xù)拍攝多張圖像，從而導(dǎo)致圖像冗余，同樣會影響醫(yī)生查閱圖像的效率。

拍攝過程中，胃部空腔及胃壁距離遠近會導(dǎo)致拍攝得到的圖像出現(xiàn)過亮或是過暗的問題，從而會得到較多無效圖像，影響醫(yī)生查閱圖像效率。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種膠囊內(nèi)窺鏡圖像預(yù)處理系統(tǒng)及方法，該系統(tǒng)和方法能減少醫(yī)生查看體外圖像、冗余圖像以及無效圖像的時間，提高工作效率。

為解決上述技術(shù)問題，本發(fā)明公開的一種膠囊內(nèi)窺鏡圖像預(yù)處理系統(tǒng)，其特征在于：它包括體外圖像去除模塊、無效圖像去除模塊、消化道圖像分類模塊、病灶和解剖學(xué)結(jié)構(gòu)識別模塊、病灶和解剖學(xué)結(jié)構(gòu)冗余圖像去除模塊，其中，所述體外圖像去除模塊的數(shù)據(jù)輸出端連接無效圖像去除模塊的數(shù)據(jù)輸入端，無效圖像去除模塊的數(shù)據(jù)輸出端連接消化道圖像分類模塊的數(shù)據(jù)輸入端，消化道圖像分類模塊的數(shù)據(jù)輸出端連接病灶和解剖學(xué)結(jié)構(gòu)識別模塊的數(shù)據(jù)輸入端，病灶和解剖學(xué)結(jié)構(gòu)識別模塊的數(shù)據(jù)輸出端連接病灶和解剖學(xué)結(jié)構(gòu)冗余圖像去除模塊的數(shù)據(jù)輸入端；

所述體外圖像去除模塊用于利用膠囊內(nèi)窺鏡圖像灰度均值、膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值及膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比，從膠囊內(nèi)窺鏡圖像數(shù)據(jù)中去除體外圖像數(shù)據(jù)，并輸出給無效圖像去除模塊；所述無效圖像去除模塊用于對去除了體外圖像數(shù)據(jù)的圖像進行進一步處理，去除預(yù)設(shè)亮度范圍之外的無效圖像，并輸出給消化道圖像分類模塊；所述消化道圖像分類模塊用于對無效圖像去除模塊輸出的圖像數(shù)據(jù)按消化道不同部位進行分類，并輸出給病灶和解剖學(xué)結(jié)構(gòu)識別模塊，病灶和解剖學(xué)結(jié)構(gòu)識別模塊用于對消化道圖像分類模塊輸出的圖像數(shù)據(jù)進行檢測識別，識別出分類后消化道圖像中的病灶圖像(如出血、息肉、潰瘍、腫瘤等)和解剖學(xué)結(jié)構(gòu)圖像信息(如賁門、幽門等)，并將識別出的病灶圖像信息和解剖學(xué)結(jié)構(gòu)圖像信息輸出給病灶和解剖學(xué)結(jié)構(gòu)冗余圖像去除模塊，所述病灶和解剖學(xué)結(jié)構(gòu)冗余圖像去除模塊用于去除冗余的病灶圖像和解剖學(xué)結(jié)構(gòu)圖像。

一種利用上述膠囊內(nèi)窺鏡圖像預(yù)處理系統(tǒng)的膠囊內(nèi)窺鏡圖像預(yù)處理方法，其特征在于，它包括如下步驟：

步驟1：所述體外圖像去除模塊利用膠囊內(nèi)窺鏡圖像灰度均值、膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值及膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比，從膠囊內(nèi)窺鏡圖像數(shù)據(jù)中去除體外圖像數(shù)據(jù)，并輸出給無效圖像去除模塊；

所述體外圖像去除模塊利用膠囊內(nèi)窺鏡圖像灰度均值、膠囊內(nèi)窺鏡圖像顏色及膠囊內(nèi)窺鏡圖像顏色面積比從膠囊內(nèi)窺鏡圖像數(shù)據(jù)中去除體外圖像數(shù)據(jù)，的具體方法為：

首先，體外圖像去除模塊對前n幀圖像進行處理，得到rgb3個顏色通道的灰度均值序列m^r(p1,p2,…,pi,…,pn)、m^g(p1,p2,…,pi,…,pn)、m^b(p1,p2,…,pi,…,pn)、出現(xiàn)最多顏色值序列c(p1,p2,…,pi,…,pn)，出現(xiàn)最多顏色值面積比值系列s(p1,p2,…,pi,…,pn)，pi為圖像幀號；

利用膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值序列c(p1,p2,…,pi,…,pn)判斷膠囊內(nèi)窺鏡是否進入體內(nèi)，得到初步位置1，其判斷方法為：判斷圖像幀號pc內(nèi)的出現(xiàn)最多顏色值c(pc)(rgb轉(zhuǎn)換到hsv后，h對應(yīng)就是顏色，為一個值)是否小于設(shè)定閾值tc，當(dāng)圖像幀號pc內(nèi)的出現(xiàn)最多顏色值c(pc)<tc時，統(tǒng)計圖像幀號pc后圖像內(nèi)出現(xiàn)最多顏色值c(pc+j)連續(xù)小于tc的張數(shù)mc，當(dāng)該張數(shù)mc大于設(shè)置閾值tm1時，膠囊已進入體內(nèi)，記錄此時圖像幀號pc，作為初始位置1；pc+j為pc之后的圖像，j的取值為[1,m]，其中，m＝閾值tm1，初始位置1為進入體內(nèi)的第1張圖像；

利用圖像出現(xiàn)最多顏色值面積比s(p1,p2,…,pi,…,pn)判斷膠囊內(nèi)窺鏡是否在體外，得到初步位置2，判斷方法為：從第n張圖像開始向前處理，判斷圖像幀號ps膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比是否大于設(shè)定閾值ts，當(dāng)膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比s(ps)>設(shè)定閾值ts時，統(tǒng)計圖像幀號ps前膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比s(ps-q)連續(xù)大于設(shè)定閾值ts的張數(shù)ms，當(dāng)該張數(shù)ms大于設(shè)置閾值tm2時，此時圖像為體外圖像，記錄此時圖像幀號ps，作為初始位置2；ps-q為ps之前的圖像，s取值為[1,ma]，其中，ma＝tm2，初始位置2之前圖像為體外圖像；

在圖像幀號ps和圖像幀號pc之間，利用rgb各顏色通道灰度均值變化確定體外圖像，其方法為：在圖像幀號ps和圖像幀號pc之間，計算rgb各顏色通道灰度均值變化，計算方式為：d^o(pm)＝m^o(pm)-m^o(pm+1)，o為通道，通道o的取值分別為r通道、g通道和b通道，pm為ps和pc之間的圖像幀號，m取值為[s,c-1]，其中，s為ps的幀號，c為pc的幀號；判斷rgb各顏色通道灰度均值變化d^r(pm)、d^g(pm)、d^b(pm)是否滿足設(shè)定閾值td，當(dāng)d^r(pm)<td，且d^g(pm)<td，且d^b(pm)<td時，此時距離圖像幀號ps最近的圖像幀號pm為體外體內(nèi)圖像分界位置，在圖像幀號pm之前都為體外圖像；

步驟2：無效圖像去除模塊(2)對去除了體外圖像數(shù)據(jù)的圖像進行按如下方法進行進一步處理，去除預(yù)設(shè)亮度范圍之外的無效圖像；

將去除體外圖像數(shù)據(jù)后的膠囊內(nèi)窺鏡rgb圖像轉(zhuǎn)換為灰度圖像gray；判斷灰度圖像gray的每個像素gray(x,y)，當(dāng)gray(x,y)>yh時，當(dāng)前像素過亮；當(dāng)gray(x,y)<yl時，當(dāng)前像素過暗；yh、yl為人工設(shè)置的經(jīng)驗參數(shù)；統(tǒng)計過亮和過暗像素個數(shù)和shl，shl＝syl+syh，其中，syl為過暗像素個數(shù)，syh為過亮像素個數(shù)，當(dāng)shl>st時，當(dāng)前灰度圖像gray圖像過亮或是過暗將其去除，當(dāng)syl>syh時，圖像過暗，反之，圖像過亮，st為人工設(shè)置的經(jīng)驗參數(shù)，st與圖像大小有關(guān)，st＝0.7*si，si為圖像總的像素個數(shù)；

步驟3：消化道圖像分類模塊采用基于卷積神經(jīng)網(wǎng)絡(luò)cnn模型的深度學(xué)習(xí)方法對無效圖像去除模塊輸出的圖像數(shù)據(jù)按消化道不同部位進行分類；

步驟4：所述病灶和解剖學(xué)結(jié)構(gòu)識別模塊采用深度學(xué)習(xí)方法識別消化道圖像中的病灶圖像和解剖學(xué)結(jié)構(gòu)圖像信息。

步驟5：所述病灶和解剖學(xué)結(jié)構(gòu)冗余圖像去除模塊對于每個識別出來的病灶和解剖學(xué)結(jié)構(gòu)序列圖像，利用病灶和解剖學(xué)結(jié)構(gòu)的位置、大小、對比度特征來選擇需要保留的圖像，具體步驟如下：

計算序列中病灶和解剖學(xué)結(jié)構(gòu)在每張圖像中出現(xiàn)位置的得分rp，病灶和解剖學(xué)結(jié)構(gòu)在每張圖像中出現(xiàn)位置的得分rp表示序列中病灶和解剖學(xué)結(jié)構(gòu)距離對應(yīng)圖像中心距離的遠近，rp計算方式為：

其中w、h1分別為圖像的寬度和高度，i為該病灶和解剖學(xué)結(jié)構(gòu)圖像序列中的序號，rpi為病灶和解剖學(xué)結(jié)構(gòu)在i張圖像中出現(xiàn)位置的得分，lxi、lyi為病灶和解剖學(xué)結(jié)構(gòu)在第i張病灶和解剖學(xué)結(jié)構(gòu)圖像中位置的中心坐標；

統(tǒng)計序列中病灶和解剖學(xué)結(jié)構(gòu)在每張病灶和解剖學(xué)結(jié)構(gòu)圖像中的大小得分rs，統(tǒng)計方式為：rsi＝swi×shi，式中，rsi為統(tǒng)計序列中病灶和解剖學(xué)結(jié)構(gòu)在第i張病灶和解剖學(xué)結(jié)構(gòu)圖像中的大小得分，swi、shi為病灶和解剖學(xué)結(jié)構(gòu)圖像序列中第i張圖像病灶和解剖學(xué)結(jié)構(gòu)的寬和高；

計算病灶和解剖學(xué)結(jié)構(gòu)圖像系列中病灶和解剖學(xué)結(jié)構(gòu)在每張圖像中所占區(qū)域的對比度得分rc，計算方式為：式中，rci為病灶和解剖學(xué)結(jié)構(gòu)圖像系列中病灶和解剖學(xué)結(jié)構(gòu)在i張圖像中所占區(qū)域的對比度得分，δ(j,k)＝|gray(j)-gray(k)|為相鄰像素j、k的灰度差，pδ(j,k)為灰度差δ(j,k)出現(xiàn)的概率；

統(tǒng)計每張圖像的總得分rt，統(tǒng)計方式為：rti＝rpi×rsi×rci，rti表示第i張圖像的總得分rt；

選取序列中rt值最大的圖像為病灶和解剖學(xué)結(jié)構(gòu)圖像序列去除冗余后的保留圖像，即對于每個病灶圖像和解剖學(xué)結(jié)構(gòu)僅保留一張最為顯著圖像。

與現(xiàn)有的技術(shù)相比，本發(fā)明具有以下有益效果：

1、本發(fā)明可以全自動地去除體外圖像；

2、本發(fā)明可以去除過亮和過暗的無效圖像；

3、本發(fā)明可以識別內(nèi)窺鏡圖像中的病灶圖像和解剖學(xué)結(jié)構(gòu)；

4、本發(fā)明可以去除冗余的病灶和解剖學(xué)結(jié)構(gòu)圖像；

5、本發(fā)明采用方法簡單快速，減少醫(yī)生查閱圖像數(shù)量，提高醫(yī)生查閱圖像效率。

附圖說明

圖1位本發(fā)明的系統(tǒng)的結(jié)構(gòu)框圖；

圖2為本發(fā)明中體外圖像判斷流程；

圖3為本發(fā)明中深度學(xué)習(xí)消化道圖像分類模型；

圖4為本發(fā)明中深度學(xué)習(xí)消化道圖像目標識別模型；

圖5為本發(fā)明中病灶和解剖學(xué)結(jié)構(gòu)冗余圖像去除流程。

其中，1—體外圖像去除模塊、2—無效圖像去除模塊、3—消化道圖像分類模塊、4—病灶和解剖學(xué)結(jié)構(gòu)識別模塊、5—病灶和解剖學(xué)結(jié)構(gòu)冗余圖像去除模塊。

具體實施方式

以下結(jié)合附圖和具體實施例對本發(fā)明作進一步的詳細說明：

本發(fā)明設(shè)計膠囊內(nèi)窺鏡圖像預(yù)處理系統(tǒng)，如圖1所示，它包括體外圖像去除模塊1、無效圖像去除模塊2、消化道圖像分類模塊3、病灶和解剖學(xué)結(jié)構(gòu)識別模塊4、病灶和解剖學(xué)結(jié)構(gòu)冗余圖像去除模塊5，其中，所述體外圖像去除模塊1的數(shù)據(jù)輸出端連接無效圖像去除模塊2的數(shù)據(jù)輸入端，無效圖像去除模塊2的數(shù)據(jù)輸出端連接消化道圖像分類模塊3的數(shù)據(jù)輸入端，消化道圖像分類模塊3的數(shù)據(jù)輸出端連接病灶和解剖學(xué)結(jié)構(gòu)識別模塊4的數(shù)據(jù)輸入端，病灶和解剖學(xué)結(jié)構(gòu)識別模塊4的數(shù)據(jù)輸出端連接病灶和解剖學(xué)結(jié)構(gòu)冗余圖像去除模塊5的數(shù)據(jù)輸入端；

所述體外圖像去除模塊1用于利用膠囊內(nèi)窺鏡圖像灰度均值、膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值及膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比，從膠囊內(nèi)窺鏡圖像數(shù)據(jù)中去除體外圖像數(shù)據(jù)，并輸出給無效圖像去除模塊2；所述無效圖像去除模塊2用于對去除了體外圖像數(shù)據(jù)的圖像進行進一步處理，去除預(yù)設(shè)亮度范圍之外的無效圖像，并輸出給消化道圖像分類模塊3；所述消化道圖像分類模塊3用于對無效圖像去除模塊2輸出的圖像數(shù)據(jù)按消化道不同部位進行分類，并輸出給病灶和解剖學(xué)結(jié)構(gòu)識別模塊4，病灶和解剖學(xué)結(jié)構(gòu)識別模塊4用于對消化道圖像分類模塊3輸出的圖像數(shù)據(jù)進行檢測識別，識別出分類后消化道圖像中的病灶圖像和解剖學(xué)結(jié)構(gòu)圖像信息，并將識別出的病灶圖像和解剖學(xué)結(jié)構(gòu)圖像信息輸出給病灶和解剖學(xué)結(jié)構(gòu)冗余圖像去除模塊5，所述病灶和解剖學(xué)結(jié)構(gòu)冗余圖像去除模塊5用于去除冗余的病灶和解剖學(xué)結(jié)構(gòu)圖像。

上述膠囊內(nèi)窺鏡圖像灰度均值的計算方式為：

其中，w、h1分別為膠囊內(nèi)窺鏡圖像的寬度和高度，i^o(x,y)為o通道在位置圖像坐標x,y處的灰度值，o通道表示r、g和b3個通道，m^o為o通道的均值。

上述技術(shù)方案中，所述圖像出現(xiàn)最多顏色值通過如下方式獲得：

將膠囊內(nèi)窺鏡圖像數(shù)據(jù)中的rgb顏色通道轉(zhuǎn)換到hsv顏色通道，其轉(zhuǎn)換公式為：

式中，max為r、g、b顏色通道中最大值，min為r、g、b顏色通道中最小值，計算hsv顏色通道中色調(diào)h的值；

統(tǒng)計hsv顏色通道中色調(diào)h的直方圖，統(tǒng)計公式為：

histk(h(x,y))＝histk-1(h(x,y))+1

其中，hist為圖像直方圖，h(x,y)為色調(diào)h在位置(x,y)處的值，k為迭代次數(shù)，i<num，num為圖像像素個數(shù)；

對上述hsv顏色通道中色調(diào)h的直方圖hist(h(x,y))進行中值濾波，去除干擾；

找到濾波后hsv顏色通道中色調(diào)h的直方圖hist的最大值高斯系數(shù)對應(yīng)的位置所對應(yīng)的顏色為圖像的出現(xiàn)最多顏色值c。

上述技術(shù)方案中，所述濾波后hsv顏色通道中色調(diào)h的直方圖hist(h(x,y))的最大值高斯系數(shù)通過如下方法獲得：用高斯模型對直方圖hist(h(x,y))進行非線性最小二乘擬合，擬合公式為：

式中，ak為第k個高斯模型的系數(shù)，k為1～x，bk為第k個高斯模型的方差，ck為第k個高斯模型的均值，x為高斯模型個數(shù)，取ak，k為1～x中最大的系數(shù)ak對應(yīng)的ck為圖像出現(xiàn)最多顏色值c。

上述技術(shù)方案中，所述膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比通過如下方式得到：對hsv顏色通道中色調(diào)h進行二值化，得到二值化后的圖像hb，二值化閾值為th(th＝20)，超過二值化閾值th置為1，為體外圖像；反之置為0，為體內(nèi)圖像；則出現(xiàn)最多顏色值所占比值s為：

式中，w、h1分別為圖像寬度、高度，x，y為像素坐標位置，hb表示二值化后的圖像。

上述技術(shù)方案中，所述體外圖像去除模塊1利用膠囊內(nèi)窺鏡圖像灰度均值、膠囊內(nèi)窺鏡圖像顏色及膠囊內(nèi)窺鏡圖像顏色面積比從膠囊內(nèi)窺鏡圖像數(shù)據(jù)中去除體外圖像數(shù)據(jù)，的具體方法為：

首先，體外圖像去除模塊對前n幀圖像進行處理，得到rgb3個顏色通道的灰度均值序列m^r(p1,p2,…,pi,…,pn)、m^g(p1,p2,…,pi,…,pn)、m^b(p1,p2,…,pi,…,pn)、出現(xiàn)最多顏色值序列c(p1,p2,…,pi,…,pn)，出現(xiàn)最多顏色值面積比值系列s(p1,p2,…,pi,…,pn)，pi為圖像幀號；經(jīng)過對臨床病例數(shù)據(jù)的統(tǒng)計，n的取值不會超過1000，在本實施例中，n＝500，膠囊剛進入體內(nèi)拍攝到的圖像整體偏紅，紅色圖像的h值較小，因而可以設(shè)置閾值判斷膠囊是否進入體內(nèi)，從而確定體外圖像，將其排除。

利用膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值序列c(p1,p2,…,pi,…,pn)判斷膠囊內(nèi)窺鏡是否進入體內(nèi)，得到初步位置1，其判斷方法為：判斷圖像幀號pc內(nèi)的出現(xiàn)最多顏色值c(pc)是否小于設(shè)定閾值tc(tc＝15)，當(dāng)圖像幀號pc內(nèi)的出現(xiàn)最多顏色值c(pc)<tc時，統(tǒng)計圖像幀號pc后圖像內(nèi)出現(xiàn)最多顏色值c(pc+j)連續(xù)小于tc的張數(shù)mc，當(dāng)該張數(shù)mc大于設(shè)置閾值tm1(tm1＝5)時(為去除光照不均勻造成影響，對圖像出現(xiàn)最多顏色值連續(xù)判斷是否滿足設(shè)置閾值)，膠囊已進入體內(nèi)，記錄此時圖像幀號pc，作為初始位置1；pc+j為pc之后的圖像，j的取值為[1,m]，其中，m＝閾值tm1，初始位置1為進入體內(nèi)的第1張圖像；

利用圖像出現(xiàn)最多顏色值面積比s(p1,p2,…,pi,…,pn)判斷膠囊內(nèi)窺鏡是否在體外，得到初步位置2，判斷方法為：從第n張圖像開始向前處理，判斷圖像幀號ps膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比是否大于設(shè)定閾值ts(ts＝0.5)(在體內(nèi)，圖像紅色部分所占比例較大；反之在體外，圖像紅色部分所占比例較小)，當(dāng)膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比s(ps)>設(shè)定閾值ts時，統(tǒng)計圖像幀號ps前膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比s(ps-q)連續(xù)大于設(shè)定閾值ts的張數(shù)ms，當(dāng)該張數(shù)ms大于設(shè)置閾值tm2(tm2＝5)時，此時圖像為體外圖像，記錄此時圖像幀號ps，作為初始位置2；ps-q為ps之前的圖像，s取值為[1,ma]，其中，ma＝tm2，初始位置2之前圖像為體外圖像；

上述利用膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值顏色序列判斷和利用圖像出現(xiàn)最多顏色值面積比判斷的方法可以并行處理，減少時間，提高效率，如圖2所示。

在圖像幀號ps和圖像幀號pc之間，利用rgb各顏色通道灰度均值變化確定體外圖像，其方法為：在圖像幀號ps和圖像幀號pc之間，計算rgb各顏色通道灰度均值變化，計算方式為：d^o(pm)＝m^o(pm)-m^o(pm+1)，o為通道，通道o的取值分別為r通道、g通道和b通道，pm為ps和pc之間的圖像幀號，m取值為[s,c-1]，其中，s為ps的幀號，c為pc的幀號；判斷rgb各顏色通道灰度均值變化d^r(pm)、d^g(pm)、d^b(pm)是否滿足設(shè)定閾值td(15)，當(dāng)d^r(pm)<td，且d^g(pm)<td，且d^b(pm)<td時，此時距離圖像幀號ps最近的圖像幀號pm為體外體內(nèi)圖像分界位置，在圖像幀號pm之前都為體外圖像，都可以去除。

上述技術(shù)方案中，上述利用膠囊內(nèi)窺鏡圖像顏色序列c(p1,p2,…,pi,…,pn)判斷膠囊內(nèi)窺鏡是否進入體內(nèi)和利用圖像出現(xiàn)最多顏色值面積比s(p1,p2,…,pi,…,pn)判斷膠囊內(nèi)窺鏡是否在體外為并行處理，減少時間，提高效率。

上述技術(shù)方案中，所述無效圖像去除模塊2對去除了體外圖像數(shù)據(jù)的圖像進行進一步處理，去除預(yù)設(shè)亮度范圍之外的無效圖像的具體方法為：

將去除體外圖像數(shù)據(jù)后的膠囊內(nèi)窺鏡rgb圖像轉(zhuǎn)換為灰度圖像gray；判斷灰度圖像gray的每個像素gray(x,y)，當(dāng)gray(x,y)>yh時，當(dāng)前像素過亮；當(dāng)gray(x,y)<yl時，當(dāng)前像素過暗；yh、yl為人工設(shè)置的經(jīng)驗參數(shù)(yh＝220，yl＝50)；統(tǒng)計過亮和過暗像素個數(shù)和shl，shl＝syl+syh，其中，syl為過暗像素個數(shù)，syh為過亮像素個數(shù)，當(dāng)shl>st時，當(dāng)前灰度圖像gray圖像過亮或是過暗將其去除，當(dāng)syl>syh時，圖像過暗，反之，圖像過亮，st為人工設(shè)置的經(jīng)驗參數(shù)，st與圖像大小有關(guān)，st＝0.7*si，si為圖像總的像素個數(shù)；

所述消化道圖像分類模塊3采用基于卷積神經(jīng)網(wǎng)絡(luò)cnn模型的深度學(xué)習(xí)方法(如goolenet等)對無效圖像去除模塊2輸出的圖像數(shù)據(jù)按消化道不同部位進行分類；深度學(xué)習(xí)采用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，如圖3所示，在全連接層采用了softmax函數(shù)對提取到的消化道圖像特征進行了分類，消化道分類結(jié)果為食道、胃部、小腸、大腸。

所述病灶和解剖學(xué)結(jié)構(gòu)識別模塊4采用深度學(xué)習(xí)方法識別消化道圖像中的病灶圖像和解剖學(xué)結(jié)構(gòu)圖像信息。如圖4，通過卷積層計算得到特征圖譜，然后再在特征圖譜上挑選疑似的病灶圖像和解剖學(xué)圖像結(jié)構(gòu)目標的位置，然后提取疑似目標特征，最后分類得到圖像中目標及其分類。

上述技術(shù)方案中，對于某一病灶和解剖學(xué)結(jié)構(gòu)，會連續(xù)拍攝多張圖像，為減少醫(yī)生查閱圖像的數(shù)量，需去除冗余圖像，保留病灶和解剖學(xué)結(jié)構(gòu)更加明顯、清晰的圖像，所述病灶和解剖學(xué)結(jié)構(gòu)冗余圖像去除模塊5對于每個識別出來的病灶和解剖學(xué)結(jié)構(gòu)序列圖像，利用病灶和解剖學(xué)結(jié)構(gòu)的位置、大小、對比度特征來選擇需要保留的圖像，具體步驟如下，如圖5所示：

計算序列中病灶和解剖學(xué)結(jié)構(gòu)在每張圖像中出現(xiàn)位置的得分rp，病灶和解剖學(xué)結(jié)構(gòu)在每張圖像中出現(xiàn)位置的得分rp表示序列中病灶和解剖學(xué)結(jié)構(gòu)距離對應(yīng)圖像中心距離的遠近，rp計算方式為：

其中w、h1分別為圖像的寬度和高度，i為該病灶和解剖學(xué)結(jié)構(gòu)圖像序列中的序號，rpi為病灶和解剖學(xué)結(jié)構(gòu)在i張圖像中出現(xiàn)位置的得分，lxi、lyi為病灶和解剖學(xué)結(jié)構(gòu)在第i張病灶和解剖學(xué)結(jié)構(gòu)圖像中位置的中心坐標，病灶和解剖學(xué)結(jié)構(gòu)距離中心位置越近，得到rp越高；反之，病灶和解剖學(xué)結(jié)構(gòu)距離圖像中心的位置越遠，得到rp越低，就不應(yīng)該保留；

統(tǒng)計序列中病灶和解剖學(xué)結(jié)構(gòu)在每張病灶和解剖學(xué)結(jié)構(gòu)圖像中的大小得分rs，統(tǒng)計方式為：rsi＝swi×shi，式中，rsi為統(tǒng)計序列中病灶和解剖學(xué)結(jié)構(gòu)在第i張病灶和解剖學(xué)結(jié)構(gòu)圖像中的大小得分，swi、shi為病灶和解剖學(xué)結(jié)構(gòu)圖像序列中第i張圖像病灶和解剖學(xué)結(jié)構(gòu)的寬和高，將rs歸一化到[0,1]；病灶和解剖學(xué)結(jié)構(gòu)區(qū)域的大小越大，得到rs越高，就更應(yīng)該保留；反之，病灶和解剖學(xué)結(jié)構(gòu)區(qū)域的大小越小，得到rs越低，就不應(yīng)該保留；

計算病灶和解剖學(xué)結(jié)構(gòu)圖像系列中病灶和解剖學(xué)結(jié)構(gòu)在每張圖像中所占區(qū)域的對比度得分rc，計算方式為：式中，rci為病灶和解剖學(xué)結(jié)構(gòu)圖像系列中病灶和解剖學(xué)結(jié)構(gòu)在i張圖像中所占區(qū)域的對比度得分，δ(j,k)＝|gray(j)-gray(k)|為相鄰像素j、k的灰度差，pδ(j,k)為灰度差δ(j,k)出現(xiàn)的概率進一步地，將rc歸一化到[0,1]；病灶和解剖學(xué)結(jié)構(gòu)區(qū)域的對比度越高，得到rc越大，就更應(yīng)該保留；反之，病灶和解剖學(xué)結(jié)構(gòu)區(qū)域的對比度越低，得到rc越小，就不應(yīng)該保留；

統(tǒng)計每張圖像的總得分rt，統(tǒng)計方式為：rti＝rpi×rsi×rci，rti表示第i張圖像的總得分rt；圖像中的病灶和解剖學(xué)結(jié)構(gòu)區(qū)域的大小越大、位置越靠近中心、對比度越高，rt就越大；

選取序列中rt值最大的圖像為病灶和解剖學(xué)結(jié)構(gòu)圖像序列去除冗余后的保留圖像，即對于每個病灶和解剖學(xué)結(jié)構(gòu)僅保留一張最為顯著圖像，該方法可以保留位置靠近圖像中心、面積大、對比度高的病灶和解剖學(xué)結(jié)構(gòu)圖像，有效地去除了冗余圖像。

一種利用上述膠囊內(nèi)窺鏡圖像預(yù)處理系統(tǒng)的膠囊內(nèi)窺鏡圖像預(yù)處理方法，其特征在于，它包括如下步驟：

步驟1：所述體外圖像去除模塊1利用膠囊內(nèi)窺鏡圖像灰度均值、膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值及膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比，從膠囊內(nèi)窺鏡圖像數(shù)據(jù)中去除體外圖像數(shù)據(jù)，并輸出給無效圖像去除模塊2；

所述體外圖像去除模塊1利用膠囊內(nèi)窺鏡圖像灰度均值、膠囊內(nèi)窺鏡圖像顏色及膠囊內(nèi)窺鏡圖像顏色面積比從膠囊內(nèi)窺鏡圖像數(shù)據(jù)中去除體外圖像數(shù)據(jù)，的具體方法為：

首先，體外圖像去除模塊對前n幀圖像進行處理，得到rgb3個顏色通道的灰度均值序列m^r(p1,p2,…,pi,…,pn)、m^g(p1,p2,…,pi,…,pn)、m^b(p1,p2,…,pi,…,pn)、出現(xiàn)最多顏色值序列c(p1,p2,…,pi,…,pn)，出現(xiàn)最多顏色值面積比值系列s(p1,p2,…,pi,…,pn)，pi為圖像幀號；

利用膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值序列c(p1,p2,…,pi,…,pn)判斷膠囊內(nèi)窺鏡是否進入體內(nèi)，得到初步位置1，其判斷方法為：判斷圖像幀號pc內(nèi)的出現(xiàn)最多顏色值c(pc)是否小于設(shè)定閾值tc(tc＝15)，當(dāng)圖像幀號pc內(nèi)的出現(xiàn)最多顏色值c(pc)<tc時，統(tǒng)計圖像幀號pc后圖像內(nèi)出現(xiàn)最多顏色值c(pc+j)連續(xù)小于tc的張數(shù)mc，當(dāng)該張數(shù)mc大于設(shè)置閾值tm1(tm1＝5)時，膠囊已進入體內(nèi)，記錄此時圖像幀號pc，作為初始位置1；pc+j為pc之后的圖像，j的取值為[1,m]，其中，m＝閾值tm1，初始位置1為進入體內(nèi)的第1張圖像；

利用圖像出現(xiàn)最多顏色值面積比s(p1,p2,…,pi,…,pn)判斷膠囊內(nèi)窺鏡是否在體外，得到初步位置2，判斷方法為：從第n張圖像開始向前處理，判斷圖像幀號ps膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比是否大于設(shè)定閾值ts(ts＝0.5)，當(dāng)膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比s(ps)>設(shè)定閾值ts時，統(tǒng)計圖像幀號ps前膠囊內(nèi)窺鏡圖像出現(xiàn)最多顏色值面積比s(ps-q)連續(xù)大于設(shè)定閾值ts的張數(shù)ms，當(dāng)該張數(shù)ms大于設(shè)置閾值tm2(tm2＝5)時，此時圖像為體外圖像，記錄此時圖像幀號ps，作為初始位置2；ps-q為ps之前的圖像，s取值為[1,ma]，其中，ma＝tm2，初始位置2之前圖像為體外圖像；

在圖像幀號ps和圖像幀號pc之間，利用rgb各顏色通道灰度均值變化確定體外圖像，其方法為：在圖像幀號ps和圖像幀號pc之間，計算rgb各顏色通道灰度均值變化，計算方式為：d^o(pm)＝m^o(pm)-m^o(pm+1)，o為通道，通道o的取值分別為r通道、g通道和b通道，pm為ps和pc之間的圖像幀號，m取值為[s,c-1]，其中，s為ps的幀號，c為pc的幀號；判斷rgb各顏色通道灰度均值變化d^r(pm)、d^g(pm)、d^b(pm)是否滿足設(shè)定閾值td(td＝15)，當(dāng)d^r(pm)<td，且d^g(pm)<td，且d^b(pm)<td時，此時距離圖像幀號ps最近的圖像幀號pm為體外體內(nèi)圖像分界位置，在圖像幀號pm之前都為體外圖像，都可以去除；

步驟2：無效圖像去除模塊2對去除了體外圖像數(shù)據(jù)的圖像進行按如下方法進行進一步處理，去除預(yù)設(shè)亮度范圍之外的無效圖像；

將去除體外圖像數(shù)據(jù)后的膠囊內(nèi)窺鏡rgb圖像轉(zhuǎn)換為灰度圖像gray；判斷灰度圖像gray的每個像素gray(x,y)，當(dāng)gray(x,y)>yh時，當(dāng)前像素過亮；當(dāng)gray(x,y)<yl時，當(dāng)前像素過暗；yh、yl(yh＝220，yl＝50)為人工設(shè)置的經(jīng)驗參數(shù)；統(tǒng)計過亮和過暗像素個數(shù)合shl，shl＝syl+syh，其中，syl為過暗像素個數(shù)，syh為過亮像素個數(shù)，當(dāng)shl>st時，當(dāng)前灰度圖像gray圖像過亮或是過暗將其去除，當(dāng)syl>syh時，圖像過暗，反之，圖像過亮，st為人工設(shè)置的經(jīng)驗參數(shù)，st與圖像大小有關(guān)，st＝0.7*si，si為圖像總的像素個數(shù)；

步驟3：消化道圖像分類模塊3采用基于卷積神經(jīng)網(wǎng)絡(luò)cnn模型的深度學(xué)習(xí)方法(goolenet)對無效圖像去除模塊2輸出的圖像數(shù)據(jù)按消化道不同部位進行分類；

步驟4：所述病灶和解剖學(xué)結(jié)構(gòu)識別模塊4采用深度學(xué)習(xí)方法識別消化道圖像中的病灶和解剖學(xué)結(jié)構(gòu)信息。

步驟5：所述病灶和解剖學(xué)結(jié)構(gòu)冗余圖像去除模塊5對于每個識別出來的病灶和解剖學(xué)結(jié)構(gòu)序列圖像，利用病灶和解剖學(xué)結(jié)構(gòu)的位置、大小、對比度特征來選擇需要保留的圖像，具體步驟如下：

計算序列中病灶和解剖學(xué)結(jié)構(gòu)在每張圖像中出現(xiàn)位置的得分rp，病灶和解剖學(xué)結(jié)構(gòu)在每張圖像中出現(xiàn)位置的得分rp表示序列中病灶和解剖學(xué)結(jié)構(gòu)距離對應(yīng)圖像中心距離的遠近，rp計算方式為：

其中w、h1分別為圖像的寬度和高度，i為該病灶和解剖學(xué)結(jié)構(gòu)圖像序列中的序號，rpi為病灶和解剖學(xué)結(jié)構(gòu)在i張圖像中出現(xiàn)位置的得分，lxi、lyi為病灶和解剖學(xué)結(jié)構(gòu)在第i張病灶和解剖學(xué)結(jié)構(gòu)圖像中位置的中心坐標，病灶和解剖學(xué)結(jié)構(gòu)距離中心位置越近，得到rp越高；反之越低；

統(tǒng)計序列中病灶和解剖學(xué)結(jié)構(gòu)在每張病灶和解剖學(xué)結(jié)構(gòu)圖像中的大小得分rs，統(tǒng)計方式為：rsi＝swi×shi，式中，rsi為統(tǒng)計序列中病灶和解剖學(xué)結(jié)構(gòu)在第i張病灶和解剖學(xué)結(jié)構(gòu)圖像中的大小得分，swi、shi為病灶和解剖學(xué)結(jié)構(gòu)圖像序列中第i張圖像病灶和解剖學(xué)結(jié)構(gòu)的寬和高，將rs歸一化到[0,1]；

計算病灶和解剖學(xué)結(jié)構(gòu)圖像系列中病灶和解剖學(xué)結(jié)構(gòu)在每張圖像中所占區(qū)域的對比度得分rc，計算方式為：式中，rci為病灶和解剖學(xué)結(jié)構(gòu)圖像系列中病灶和解剖學(xué)結(jié)構(gòu)在i張圖像中所占區(qū)域的對比度得分，δ(j,k)＝|gray(j)-gray(k)|為相鄰像素j、k的灰度差，pδ(j,k)為灰度差δ(j,k)出現(xiàn)的概率，將rc歸一化到[0,1]；

統(tǒng)計每張圖像的總得分rt，統(tǒng)計方式為：rti＝rpi×rsi×rci，rti表示第i張圖像的總得分rt；

選取序列中rt值最大的圖像為病灶和解剖學(xué)結(jié)構(gòu)圖像序列去除冗余后的保留圖像，即對于每個病灶和解剖學(xué)結(jié)構(gòu)僅保留一張最為顯著圖像，該方法可以保留位置靠近圖像中心、面積大、對比度高的病灶和解剖學(xué)結(jié)構(gòu)圖像，有效地去除了冗余圖像。

本說明書未作詳細描述的內(nèi)容屬于本領(lǐng)域?qū)I(yè)技術(shù)人員公知的現(xiàn)有技術(shù)。