用于對(duì)醫(yī)學(xué)圖像中的解剖元素進(jìn)行可視化的設(shè)備和方法
【專利說明】用于對(duì)醫(yī)學(xué)圖像中的解剖元素進(jìn)行可視化的設(shè)備和方法
[0001]本申請(qǐng)要求于2014年3月18日提交到韓國(guó)知識(shí)產(chǎn)權(quán)局的第10-2014-0031837號(hào)韓國(guó)專利申請(qǐng)的權(quán)益，所述韓國(guó)專利申請(qǐng)的全部公開通過引用合并于此以用于所有目的。
技術(shù)領(lǐng)域
[0002]以下描述涉及一種對(duì)包括在醫(yī)學(xué)圖像中的解剖元素進(jìn)行可視化的技術(shù)。
【背景技術(shù)】
[0003]計(jì)算機(jī)輔助檢測(cè)(CAD)是為了輔助醫(yī)生進(jìn)行診斷的目的而使用計(jì)算機(jī)從醫(yī)學(xué)圖像中自動(dòng)地檢測(cè)病變的技術(shù)。具體地講，乳房攝影術(shù)和胸部超聲波掃描術(shù)是應(yīng)用CAD來診斷病變的兩個(gè)重要領(lǐng)域。但是，因醫(yī)學(xué)圖像的低分辨率和不規(guī)則特性，所以難以提高CAD的準(zhǔn)確度。例如，通過由用戶任意選擇位置和角度的探頭捕獲的超聲圖像在圖像的位置和角度相互不一致上表現(xiàn)出不規(guī)則性。如果自動(dòng)檢測(cè)病變的算法應(yīng)用于不規(guī)則圖像，則不僅是病變，而且解剖元素可被檢測(cè)為實(shí)際病變。

【發(fā)明內(nèi)容】

[0004]提供本
【發(fā)明內(nèi)容】
來以簡(jiǎn)化的形式介紹選擇的構(gòu)思，所述構(gòu)思將在下面在【具體實(shí)施方式】中進(jìn)一步描述。本
【發(fā)明內(nèi)容】
不意圖識(shí)別要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不意圖用于幫助確定要求保護(hù)的主題的范圍
[0005]在一總體方面，一種用于對(duì)醫(yī)學(xué)圖像中的解剖元素進(jìn)行可視化的設(shè)備包括:圖像接收器，被構(gòu)造為接收醫(yī)學(xué)圖像；解剖元素檢測(cè)器，被構(gòu)造為從醫(yī)學(xué)圖像檢測(cè)多個(gè)解剖元素；分析器，被構(gòu)造為基于包括所述多個(gè)解剖元素之間的位置關(guān)系的解剖情境信息來驗(yàn)證所述多個(gè)解剖元素中的每個(gè)解剖元素的位置，并在調(diào)整所述多個(gè)解剖元素之間的位置關(guān)系；圖像組合器，被構(gòu)造為對(duì)所述多個(gè)解剖元素的驗(yàn)證和調(diào)整的信息與醫(yī)學(xué)圖像進(jìn)行組合。
[0006]醫(yī)學(xué)圖像可以是使用超聲波捕獲的人胸部的胸部超聲圖像，解剖元素檢測(cè)器還可被構(gòu)造為從胸部超聲圖像檢測(cè)皮膚、脂肪、腺組織、肌肉和骨骼中的任意兩個(gè)或更多個(gè)，解剖情境信息可包括皮膚、脂肪、腺組織、肌肉和骨骼中的任意兩個(gè)或更多個(gè)之間的位置關(guān)系，分析器還可被構(gòu)造為基于包括皮膚、脂肪、腺組織、肌肉和骨骼中的任意兩個(gè)或更多個(gè)之間的位置關(guān)系的解剖情境信息執(zhí)行驗(yàn)證和調(diào)整。
[0007]解剖元素檢測(cè)器還可包括多個(gè)單獨(dú)的檢測(cè)器，其中，所述多個(gè)單獨(dú)的檢測(cè)器中的每個(gè)檢測(cè)器被構(gòu)造為從醫(yī)學(xué)圖像檢測(cè)所述多個(gè)解剖元素中的對(duì)應(yīng)的一個(gè)解剖元素。
[0008]所述多個(gè)單獨(dú)的檢測(cè)器中的每個(gè)檢測(cè)器還可被構(gòu)造為使用深度學(xué)習(xí)技術(shù)、滑動(dòng)窗口技術(shù)和超像素技術(shù)中的任意一種來檢測(cè)所述多個(gè)解剖元素中的對(duì)應(yīng)的一個(gè)解剖元素。
[0009]解剖元素檢測(cè)器可包括:單個(gè)檢測(cè)器，被構(gòu)造為從醫(yī)學(xué)圖像同時(shí)檢測(cè)所述多個(gè)解剖元素。
[0010]所述單個(gè)檢測(cè)器還可被構(gòu)造為使用深度學(xué)習(xí)技術(shù)、滑動(dòng)窗口技術(shù)和超像素技術(shù)中的任意一種來從醫(yī)學(xué)圖像同時(shí)檢測(cè)所述多個(gè)解剖元素。
[0011]所述單個(gè)檢測(cè)器還可被構(gòu)造為通過從醫(yī)學(xué)圖像提取多個(gè)特征圖，將所述多個(gè)特征圖分配給對(duì)應(yīng)的各個(gè)解剖元素并將分配給特定解剖元素的特征圖在醫(yī)學(xué)圖像中的位置標(biāo)注為所述特定解剖元素，來從醫(yī)學(xué)圖像同時(shí)檢測(cè)所述多個(gè)解剖元素。
[0012]分析器還可被構(gòu)造為使用卷積隨機(jī)場(chǎng)技術(shù)或馬爾科夫隨機(jī)場(chǎng)技術(shù)來調(diào)整由解剖元素檢測(cè)器從醫(yī)學(xué)圖像檢測(cè)的所述多個(gè)解剖元素的檢測(cè)結(jié)果。
[0013]解剖情境信息還可包括關(guān)于每個(gè)解剖元素在醫(yī)學(xué)圖像中所位于的位置的概率分布的信息，并且概率分布可從預(yù)先建立的學(xué)習(xí)數(shù)據(jù)獲得。
[0014]醫(yī)學(xué)圖像可以是多個(gè)連續(xù)幀之一或多個(gè)三維(3D)圖像之一，并且解剖情境信息還可包括相鄰圖像信息，該相鄰圖像信息包括從相鄰幀或相鄰剖面檢測(cè)的解剖元素的位置信息。
[0015]將與醫(yī)學(xué)圖像組合的所述多個(gè)解剖元素的驗(yàn)證和調(diào)整的信息可包括指示每個(gè)解剖元素在醫(yī)學(xué)圖像中的區(qū)域的區(qū)域信息。
[0016]區(qū)域信息可包括:所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域的輪廓、表示所述多個(gè)解剖元素中的每個(gè)解剖元素的名稱的文本和區(qū)分所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域的顏色中的任意一個(gè)或任意組合。
[0017]將與醫(yī)學(xué)圖像組合的所述多個(gè)解剖元素的驗(yàn)證和調(diào)整的信息還可包括:指示所述多個(gè)解剖元素中的每個(gè)解剖元素實(shí)際上是解剖元素的置信度的置信度信息。
[0018]置信度信息可包括在所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域內(nèi)顯示的文本、所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域的輪廓的顏色和所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域的輪廓的透明度中的任意一個(gè)或任意組合。
[0019]將與醫(yī)學(xué)圖像組合的所述多個(gè)解剖元素的驗(yàn)證和調(diào)整的信息可由用戶從所述多個(gè)解剖元素的信息中選擇。
[0020]將與醫(yī)學(xué)圖像組合的所述多個(gè)解剖元素的驗(yàn)證和調(diào)整的信息可包括以下項(xiàng)中的任意一個(gè)或任意組合:關(guān)于所述多個(gè)解剖元素中的每個(gè)解剖元素在醫(yī)學(xué)圖像中的區(qū)域的區(qū)域信息；指示所述多個(gè)解剖元素中的每個(gè)解剖元素實(shí)際上是解剖元素的置信度的置信度信息；所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域的輪廓的顏色或透明度；表示所述多個(gè)解剖元素中的每個(gè)解剖元素的名稱的文本的顏色或透明度；區(qū)分所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域的顏色層的透明度。
[0021]所述設(shè)備還可包括:病變驗(yàn)證器，被構(gòu)造為基于從醫(yī)學(xué)圖像檢測(cè)的感興趣區(qū)域(ROI)所位于的解剖元素的病變檢測(cè)概率，來驗(yàn)證ROI是否是病變。
[0022]在另一總體方面，一種用于對(duì)醫(yī)學(xué)圖像中的解剖元素進(jìn)行可視化的方法包括:接收醫(yī)學(xué)圖像；從醫(yī)學(xué)圖像檢測(cè)多個(gè)解剖元素；基于包括所述多個(gè)解剖元素之間的位置關(guān)系的解剖情境信息來驗(yàn)證所述多個(gè)解剖元素中的每個(gè)解剖元素的位置，并調(diào)整所述多個(gè)解剖元素之間的位置關(guān)系；對(duì)所述多個(gè)解剖元素的驗(yàn)證和調(diào)整的信息與醫(yī)學(xué)圖像進(jìn)行組合。
[0023]醫(yī)學(xué)圖像可以是使用超聲波捕獲的人胸部的胸部超聲圖像，檢測(cè)所述多個(gè)解剖元素的步驟可包括從胸部超聲圖像檢測(cè)皮膚、脂肪、腺組織、肌肉和骨骼中的任意兩個(gè)或更多個(gè)，解剖情境信息可包括皮膚、脂肪、腺組織、肌肉和骨骼中的兩個(gè)或更多個(gè)之間的位置關(guān)系，驗(yàn)證和調(diào)整的步驟可包括基于包括皮膚、脂肪、腺組織、肌肉和骨骼中的兩個(gè)或更多個(gè)之間的位置關(guān)系的解剖情境信息來執(zhí)行驗(yàn)證和調(diào)整。
[0024]檢測(cè)所述多個(gè)解剖元素的步驟可包括:從醫(yī)學(xué)圖像單獨(dú)地檢測(cè)所述多個(gè)解剖元素中的各個(gè)解剖元素。
[0025]單獨(dú)地檢測(cè)所述多個(gè)解剖元素中的各個(gè)解剖元素的步驟可包括:使用深度學(xué)習(xí)技術(shù)、滑動(dòng)窗口技術(shù)和超像素技術(shù)中的任意一種來從醫(yī)學(xué)圖像單獨(dú)地檢測(cè)所述多個(gè)解剖元素中的各個(gè)解剖元素。
[0026]檢測(cè)所述多個(gè)解剖元素的步驟可包括:從醫(yī)學(xué)圖像同時(shí)檢測(cè)所述多個(gè)解剖元素。
[0027]同時(shí)檢測(cè)所述多個(gè)解剖元素的步驟可包括:使用深度學(xué)習(xí)技術(shù)、滑動(dòng)窗口技術(shù)和超像素技術(shù)中的任意一種來從醫(yī)學(xué)圖像同時(shí)檢測(cè)所述多個(gè)解剖元素。
[0028]同時(shí)檢測(cè)所述多個(gè)解剖元素的步驟可包括:從醫(yī)學(xué)圖像提取多個(gè)特征圖；將所述多個(gè)特征圖分配給對(duì)應(yīng)的各個(gè)解剖元素；將分配給特定解剖元素的特征圖在醫(yī)學(xué)圖像中的位置標(biāo)注為所述特定解剖元素。
[0029]調(diào)整的步驟可包括使用卷積隨機(jī)場(chǎng)技術(shù)或馬爾科夫隨機(jī)場(chǎng)技術(shù)來調(diào)整從醫(yī)學(xué)圖像檢測(cè)的所述多個(gè)解剖元素的檢測(cè)結(jié)果。
[0030]解剖情境信息可包括關(guān)于所述多個(gè)解剖元素中的每個(gè)解剖元素在醫(yī)學(xué)圖像中所位于的位置的概率分布的信息，概率分布從預(yù)先建立的學(xué)習(xí)數(shù)據(jù)獲得。
[0031]醫(yī)學(xué)圖像可以是多個(gè)連續(xù)幀之一或多個(gè)三維(3D)圖像之一，解剖情境信息還可包括相鄰圖像信息，該相鄰圖像信息包括從相鄰幀或相鄰剖面檢測(cè)的解剖元素的位置信息。
[0032]將與醫(yī)學(xué)圖像組合的所述多個(gè)解剖元素的驗(yàn)證和調(diào)整的信息可包括指示所述多個(gè)解剖元素中的每個(gè)解剖元素在醫(yī)學(xué)圖像中的區(qū)域的區(qū)域信息。
[0033]區(qū)域信息可包括:所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域的輪廓、表示所述多個(gè)解剖元素中的每個(gè)解剖元素的名稱的文本和區(qū)分所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域的顏色中的任意一個(gè)或任意組合。
[0034]將與醫(yī)學(xué)圖像組合的所述多個(gè)解剖元素的驗(yàn)證和調(diào)整的信息還可包括:指示所述多個(gè)解剖元素中的每個(gè)解剖元素實(shí)際上是解剖元素的置信度的置信度信息。
[0035]置信度信息可包括在所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域內(nèi)顯示的文本、所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域的輪廓的顏色和所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域的輪廓的透明度中的任意一個(gè)或任意組合。
[0036]所述方法還可包括:根據(jù)用戶的執(zhí)令從所述多個(gè)解剖元素的信息中選擇將與醫(yī)學(xué)圖像組合的所述多個(gè)解剖元素的驗(yàn)證和調(diào)整的信息。
[0037]將與醫(yī)學(xué)圖像組合的所述多個(gè)解剖元素的驗(yàn)證和調(diào)整的信息可包括以下項(xiàng)中的任意一個(gè)或任意組合:關(guān)于所述多個(gè)解剖元素中的每個(gè)解剖元素在醫(yī)學(xué)圖像中的區(qū)域的區(qū)域信息；指示所述多個(gè)解剖元素中的每個(gè)解剖元素實(shí)際上是解剖元素的置信度的置信度信息；所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域的輪廓的顏色或透明度；表示所述多個(gè)解剖元素中的每個(gè)解剖元素的名稱的文本的顏色或透明度；區(qū)分所述多個(gè)解剖元素中的每個(gè)解剖元素的區(qū)域的顏色層的透明度。
[0038]所述方法還可包括:基于從醫(yī)學(xué)圖像檢測(cè)的感興趣區(qū)域(ROI)所位于的解剖元素的病變檢測(cè)概率，來驗(yàn)證檢測(cè)的ROI是否是病變。
[0039]在另一總體方面，一種用于對(duì)醫(yī)學(xué)圖像中的解剖元素進(jìn)行可視化的方法包括:從醫(yī)學(xué)圖像檢測(cè)多個(gè)解剖元素；基于包括所述多個(gè)解剖元素之間的位置關(guān)系的解剖情境信息，來校正檢測(cè)到的解剖元素的邊界以匹配醫(yī)學(xué)圖像中的解剖元素的實(shí)際邊界；對(duì)具有校正的邊界的檢測(cè)到的解剖元素的解剖元素信息與醫(yī)學(xué)圖像進(jìn)行組合。
[0040]所述方法還可包括:基于解剖情境信息忽略與醫(yī)學(xué)圖像中的實(shí)際解剖元素不對(duì)應(yīng)的任何檢測(cè)到的解剖元素。
[0041]所述方法還可包括:根據(jù)用戶的指令選擇將與醫(yī)學(xué)圖像組合的解剖元素信息。
[0042]將從以下的詳細(xì)描述、附圖和權(quán)利要求中清楚其它特征和方面。
【附圖說明】
[0043]圖1示出胸部超聲圖像中的解剖結(jié)構(gòu)的示例。
[0044]圖2示出用于對(duì)醫(yī)學(xué)