專利名稱：用于綜合的多尺度3d圖像文檔編制和導(dǎo)航的方法與裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及3D圖像文檔編制(document)。更具體地，本發(fā)明涉及一種計(jì)算機(jī)控制的圖形用戶接口，用于利用嵌入圖形對(duì)象(EGO)的網(wǎng)絡(luò)，對(duì)3D圖像進(jìn)行文檔編制和導(dǎo)航。
背景技術(shù)：
隨著3D數(shù)據(jù)圖像為手邊的具體任務(wù)，提供更多的信息和更豐富的分析背景(context)，它們?cè)诟鞣N應(yīng)用領(lǐng)域中正在變得通用。在許多領(lǐng)域比如臨床放射醫(yī)學(xué)和病理學(xué)(這里，圖像判讀和分析是基本的，并且包括各種學(xué)科的專門技術(shù))中，在各種個(gè)體之間共享新建的圖像知識(shí)變得至關(guān)重要。但是，利用現(xiàn)有技術(shù)難以獲得有效的共享，因?yàn)樗瑧?yīng)用多個(gè)復(fù)雜步驟，這使得共享過程相當(dāng)耗時(shí)和易于出錯(cuò)。傳統(tǒng)的圖像知識(shí)綜合策略通常包含如下步驟的組合選擇一個(gè)或多個(gè)可視化透視圖；從這些透視圖中提取一些瞬像(snapshot)；手動(dòng)/自動(dòng)識(shí)別將從這些透視圖中進(jìn)行文檔編制的結(jié)構(gòu)；在書面報(bào)告中插入這些瞬像，該書面報(bào)告描述了在圖像中觀察到的這些結(jié)構(gòu)；以及將報(bào)告和原始數(shù)據(jù)獨(dú)立歸檔，用于進(jìn)一步查閱和/或管理。
這些步驟大大減少了可用信息量，并且將信息限制于由用戶任意限定的透視圖。而且，這些報(bào)告以及不相關(guān)和分散信息存儲(chǔ)的靜態(tài)屬性，連同前述缺陷一起，所有這些對(duì)于有效的信息檢索構(gòu)成了障礙，并且使得該過程僅在不需要或幾乎不需要在先前進(jìn)行的分析上返回的情況下才有價(jià)值。但是，在許多領(lǐng)域比如醫(yī)學(xué)(臨床放射醫(yī)學(xué)和病理學(xué)等)、工程學(xué)、結(jié)構(gòu)生物學(xué)和化學(xué)等中，為了分析3D圖像，需要在專家之間進(jìn)行持續(xù)的交互。在這種需要頻繁查閱先前進(jìn)行過的分析的背景下，減少與信息綜合和共享相關(guān)聯(lián)的差錯(cuò)和研究時(shí)間變成關(guān)鍵問題。然而，不開發(fā)出新穎的綜合方法，利用傳統(tǒng)的知識(shí)綜合策略，就無法應(yīng)對(duì)該問題。
許多知識(shí)管理(KM)系統(tǒng)(比如心智映射軟件)已被開發(fā)用于組織和映射包括圖像知識(shí)信息的觀察信息。這些系統(tǒng)遵循基本、眾所周知、分級(jí)和/或關(guān)聯(lián)的方法，以在網(wǎng)絡(luò)表示(representation)之內(nèi)將信息部分互連。
改進(jìn)知識(shí)表示過程的代表性嘗試在美國專利號(hào)5,812,134中有所描述，其公開一種用于對(duì)數(shù)據(jù)庫內(nèi)所含信息進(jìn)行交互表示的用戶接口導(dǎo)航系統(tǒng)與方法。該系統(tǒng)將信息數(shù)據(jù)庫的組織圖形地描寫為三維“分子(molecule)”，這些分子由連接節(jié)點(diǎn)的結(jié)構(gòu)平行“線(thread)”組成，每個(gè)節(jié)點(diǎn)包含整個(gè)數(shù)據(jù)庫的具體方面。在給定的線之內(nèi)，共享主題共性的組成節(jié)點(diǎn)被排列為自然線性級(jí)數(shù)，該級(jí)數(shù)反映了該線所代表的信息主題的組織結(jié)構(gòu)，由此向用戶提供可視化向?qū)В撓驅(qū)Ыㄗh了待觀察的節(jié)點(diǎn)的適當(dāng)序列。
向計(jì)算機(jī)用戶一致地表示大量互連信息的另一嘗試在美國專利號(hào)6,037,944中有所描述，其公開一種用于從思維(thought)透視圖中顯示思維網(wǎng)絡(luò)的計(jì)算機(jī)用戶接口導(dǎo)航系統(tǒng)。該系統(tǒng)利用關(guān)聯(lián)的思維網(wǎng)絡(luò)，組織和表示數(shù)字存儲(chǔ)的思維。顯示了思維網(wǎng)絡(luò)的圖形表示，包括與這些思維相對(duì)應(yīng)的多個(gè)顯示圖標(biāo)和與這些思維之間的關(guān)系相對(duì)應(yīng)的多條連接線。用戶能夠通過與該圖形表示進(jìn)行交互，選擇當(dāng)前思維，并且通過自動(dòng)示出與當(dāng)前思維相關(guān)的思維和/或通過以透明的方式調(diào)用(invoke)與當(dāng)前思維相關(guān)聯(lián)的應(yīng)用程序，處理當(dāng)前思維。
盡管上述途徑應(yīng)對(duì)了分散數(shù)據(jù)的可視組織和動(dòng)態(tài)表示的一些挑戰(zhàn)，但是它們的區(qū)別特征僅在于在傳統(tǒng)的知識(shí)綜合體系之上疊加了高級(jí)表示機(jī)制。因此，這些工具仍限于對(duì)分離、靜態(tài)和任意限定的信息段(報(bào)告、圖像瞬像、電子表格、視頻等)進(jìn)行處理后的管理。作為它們內(nèi)部體系的結(jié)果，這些方法還限于傳統(tǒng)的文檔編制優(yōu)良的心智映射導(dǎo)航途徑，信息網(wǎng)絡(luò)的節(jié)點(diǎn)被作為知識(shí)管理系統(tǒng)的連續(xù)中心焦點(diǎn)而運(yùn)用于其中。
這些限制使得現(xiàn)有技術(shù)的知識(shí)管理系統(tǒng)不適于應(yīng)付高分辨率多維圖像分析所產(chǎn)生的日益復(fù)雜和大量的信息。為便于許多用戶進(jìn)行管理，這些分析需要多種方法，這些方法能夠在分析過程的每個(gè)步驟中實(shí)現(xiàn)源數(shù)據(jù)和提取信息的連續(xù)、多向、動(dòng)態(tài)的鏈接。為實(shí)現(xiàn)這一點(diǎn)，需要提出新的解決方案，以便應(yīng)付多維圖像分析應(yīng)用程序所帶來的特別疑難。
因此，對(duì)于改進(jìn)的多維圖像分析應(yīng)用程序存在著需要。

發(fā)明內(nèi)容
本發(fā)明涉及3D圖像文檔編制。更具體地，本發(fā)明涉及一種計(jì)算機(jī)控制的圖形用戶接口，用于利用嵌入圖形對(duì)象(EGO)的網(wǎng)絡(luò)，對(duì)3D圖像進(jìn)行文檔編制和導(dǎo)航。
來自3D圖像的任何場(chǎng)景、透視圖或視圖平面，能夠被視作本發(fā)明的背景(context)之內(nèi)的中心焦點(diǎn)。該新焦點(diǎn)是這樣的主軸，其確定了信息網(wǎng)絡(luò)的哪個(gè)子集對(duì)于用戶將是可訪問的。因此，提供了一種有效和完整的綜合方法用于通過將信息網(wǎng)絡(luò)在3D圖像的參考空間幀之內(nèi)明確地嵌入信息網(wǎng)絡(luò)，對(duì)所述3D圖像進(jìn)行文檔編制；通過組合2D和3D表示方式，優(yōu)化與3D圖像有關(guān)的嵌入信息網(wǎng)絡(luò)的可視表示；以及通過組合利用嵌入信息網(wǎng)絡(luò)、分等級(jí)的多尺度圖像分段和非線性體積切片，對(duì)3D圖像進(jìn)行多尺度導(dǎo)航。
因此在本發(fā)明的方案中提供一種用于注釋3D圖形數(shù)據(jù)對(duì)象的方法，該方法包括識(shí)別該圖形數(shù)據(jù)對(duì)象的至少一個(gè)空間位置或區(qū)域；提供與該至少一個(gè)空間位置或區(qū)域相關(guān)聯(lián)的注釋信息，該至少一個(gè)空間位置或區(qū)域和該關(guān)聯(lián)注釋信息形成嵌入圖形對(duì)象(EGO)；定義該圖形數(shù)據(jù)對(duì)象的視圖；以及產(chǎn)生該圖形數(shù)據(jù)對(duì)象的視圖的顯示和至少一些EGO在預(yù)期視圖之內(nèi)的顯示。
該方法還包括定義EGO之間關(guān)系的關(guān)聯(lián)鏈接數(shù)據(jù)。
在本發(fā)明的另一實(shí)施例中，提供了一種用于注釋3D圖形數(shù)據(jù)對(duì)象的方法，在該對(duì)象中，該EGO包含表示對(duì)象編輯操作歷史的數(shù)據(jù)。
在本發(fā)明的另一方案中，提供了一種用于注釋3D圖形數(shù)據(jù)對(duì)象的方法，該方法還包括數(shù)據(jù)挖掘搜索能力，其中該搜索是在數(shù)據(jù)庫上進(jìn)行的，這些數(shù)據(jù)庫含有EGO或與圖形數(shù)據(jù)對(duì)象相關(guān)的其他信息。
在本發(fā)明的又一方案中，提供了用于自動(dòng)識(shí)別圖形數(shù)據(jù)對(duì)象之內(nèi)的空間位置或區(qū)域的方法。
在另一實(shí)施例中，提供了一種用于顯示3D圖形數(shù)據(jù)對(duì)象的方法，該方法包括通過在3D中進(jìn)行操作，以在圖形數(shù)據(jù)對(duì)象之內(nèi)調(diào)適3D對(duì)象，定義關(guān)于3D圖形數(shù)據(jù)對(duì)象而言所涉及的非平坦3D表面。
在本發(fā)明的又一方案中，本發(fā)明的方法可被轉(zhuǎn)化為計(jì)算機(jī)程序產(chǎn)品，這對(duì)于本領(lǐng)域技術(shù)人員是顯而易見的。


從結(jié)合附圖的如下具體描述中，本發(fā)明的進(jìn)一步特征和優(yōu)點(diǎn)將變得明顯，在附圖中圖1是本發(fā)明的方法實(shí)施例的流程圖；圖2是具有關(guān)聯(lián)EGO的圖形數(shù)據(jù)對(duì)象的實(shí)施例；圖3是具有關(guān)聯(lián)EGO的圖形數(shù)據(jù)對(duì)象的實(shí)施例；圖4是具有關(guān)聯(lián)EGO的圖形數(shù)據(jù)對(duì)象的實(shí)施例；圖5是將EGO“對(duì)齊(snap)”到表面時(shí)所涉及的步驟流程圖；圖6是形態(tài)關(guān)聯(lián)注釋中的步驟流程圖；圖7A是錐體(frustrum)中的數(shù)據(jù)對(duì)象；圖7B是錐體中的數(shù)據(jù)對(duì)象，示出了用戶定義輪廓；圖7C是錐體中的數(shù)據(jù)對(duì)象，示出了延伸于3D中的用戶定義輪廓；圖7D是錐體中的數(shù)據(jù)對(duì)象，示出了橫穿(intersect)輪廓子體積；圖7E示出最終的關(guān)聯(lián)子體積；圖8是自動(dòng)圖像注釋過程的實(shí)施例的流程圖；圖9是本發(fā)明的系統(tǒng)實(shí)施例的圖；圖10說明信息存儲(chǔ)子系統(tǒng)的實(shí)施例；圖11是在信息處理上返回時(shí)所涉及的步驟的實(shí)施例流程圖；以及圖12是在信息處理上返回時(shí)所涉及的步驟的另一實(shí)施例流程圖。
請(qǐng)注意，在整個(gè)附圖中，類似特征用類似標(biāo)號(hào)表示。
具體實(shí)施例方式
下面為本發(fā)明定義了如下術(shù)語。
術(shù)語“場(chǎng)景(scene)”是指被考慮的3D圖像的圖形表示，其中所述圖形表示可通過多個(gè)操作來實(shí)現(xiàn)，這些操作產(chǎn)生所述圖像的修改后視圖，其目的是強(qiáng)調(diào)所述圖像的特定結(jié)構(gòu)或部分。場(chǎng)景還包括各種屬性的圖形對(duì)象。
術(shù)語“視圖(view)”是指3D圖像的具體表示。術(shù)語“視圖”可與術(shù)語“場(chǎng)景”交換使用。
術(shù)語“EGO”意指“嵌入圖形對(duì)象”，其是3D圖像的參考3D幀中所并入的2D或3D象形圖(pictograph)。
術(shù)語“A-EGO”意指“附屬EGO”。附屬EGO是與3D圖像之內(nèi)的可視結(jié)構(gòu)直接相關(guān)聯(lián)的EGO。A-EGO能夠與具體視圖或場(chǎng)景之內(nèi)的可視結(jié)構(gòu)相關(guān)聯(lián)。
術(shù)語“F-EGO”意指“浮動(dòng)嵌入圖形對(duì)象”。該具體類型的EGO并入與圖像、視圖或場(chǎng)景之內(nèi)的可視結(jié)構(gòu)不相關(guān)的每個(gè)EGO。注意，如果A-EGO將與當(dāng)前場(chǎng)景中的結(jié)構(gòu)不關(guān)聯(lián)地被顯示，則能夠臨時(shí)變成F-EGO。
術(shù)語“HROI”意指“感興趣的分級(jí)區(qū)域”。HROI是3D圖像的多級(jí)3D區(qū)域化在3D圖像之內(nèi)可定義一個(gè)或多個(gè)感興趣的3D區(qū)域，其中感興趣的3D區(qū)域還可包括一個(gè)或多個(gè)感興趣的3D區(qū)域。每個(gè)子區(qū)域與它自身的尺度域(scale domain)相關(guān)聯(lián)。
術(shù)語“尺度域”意指3D圖像的“縮放等級(jí)”，在該縮放等級(jí)下，圖像之內(nèi)的對(duì)象和這些對(duì)象的屬性能夠明確地可見，而無需進(jìn)一步縮放以同時(shí)觀察對(duì)象和屬性。
術(shù)語“分段”和“圖像分段”意指對(duì)圖像之內(nèi)的對(duì)象進(jìn)行手動(dòng)或自動(dòng)識(shí)別、描繪和定量。
按照本發(fā)明，提供一種用于注釋3D圖形數(shù)據(jù)對(duì)象的系統(tǒng)與方法，其有利于與3D圖形數(shù)據(jù)對(duì)象相關(guān)聯(lián)的知識(shí)管理和3D圖形數(shù)據(jù)對(duì)象的可視化。該系統(tǒng)和方法還有助于與正在被分析的3D或更高維數(shù)圖像有關(guān)的信息的交換和背景綜合。
在本發(fā)明的廣義方案中，提供一種多維數(shù)據(jù)可視化系統(tǒng)與方法，其涉及矩陣數(shù)據(jù)、多媒體信息、矢量信息和圖形對(duì)象。矩陣數(shù)據(jù)是將被可視化的圖像/體積(例如MRI醫(yī)學(xué)數(shù)據(jù))。多媒體信息是用戶添加或自動(dòng)添加的與正在被分析和可視化的圖像之內(nèi)的特定結(jié)構(gòu)相關(guān)聯(lián)的背景或全局(global)知識(shí)(例如描述腫瘤的音頻音符)。矢量信息添加可與圖像數(shù)據(jù)本身相關(guān)聯(lián)的或者可用作交互工具的表示附加層。矢量信息涉及所有圖形數(shù)據(jù)，這些圖形數(shù)據(jù)將利用“矢量渲染(render)”(計(jì)算機(jī)圖形中的通用術(shù)語)來顯示。
在本發(fā)明的實(shí)施例中，提供一種方法，其中提供了多媒體信息，并且這些多媒體信息與3D圖形數(shù)據(jù)對(duì)象的空間位置或區(qū)域相關(guān)聯(lián)，以形成嵌入圖形數(shù)據(jù)對(duì)象或EGO。由此參照?qǐng)D1，首先在步驟10定義空間位置或區(qū)域，并且在步驟12自動(dòng)提供或用戶提供與該區(qū)域有關(guān)的信息，并且該信息與該區(qū)域相關(guān)聯(lián)以形成EGO。然后在步驟14定義該圖形對(duì)象的視圖，并且在步驟16產(chǎn)生具有一個(gè)或多個(gè)EGO的視圖顯示。
嵌入圖形對(duì)象(EGO)是一種手段，該手段可視地識(shí)別正在被可視化的多維空間之內(nèi)所綜合的背景知識(shí)，并且這些嵌入圖形對(duì)象用作通往它們的底層多媒體內(nèi)容的接口。顧名思義，EGO是象形圖元素(圖標(biāo))，它通?？勺杂啥ㄎ缓捅４嬗谝徊糠?D圖像之內(nèi)和/或圖形監(jiān)視器之內(nèi)，并且表示多媒體信息結(jié)構(gòu)。通過EGO，可查閱現(xiàn)有信息和添加新信息。在本發(fā)明的實(shí)施例中提供兩類EGO附屬EGO(A-EGO)和浮動(dòng)EGO(F-EGO)。
A-EGO是位于參考3D幀之內(nèi)的具體坐標(biāo)處的EGO。它們優(yōu)選地鏈接到體積之內(nèi)的特定體元(voxel)、線條、多邊形或多面體。A-EGO的任務(wù)是將該體積之內(nèi)的可視結(jié)構(gòu)(比如分段對(duì)象、可視圖形對(duì)象和/或感興趣的分級(jí)區(qū)域(HROI，下面將進(jìn)一步限定)進(jìn)行文檔編制。例如，與這類EGO的交互能夠?qū)崿F(xiàn)對(duì)其相關(guān)的感興趣的多媒體信息容易進(jìn)行存取。
F-EGO是在特定場(chǎng)合或時(shí)間下與在精確坐標(biāo)處的具體圖像結(jié)構(gòu)(體元等)不直接鏈接的EGO。F-EGO非限制性地指代分析方案、特定場(chǎng)景或視圖、網(wǎng)站或任一相關(guān)信息段，其不在該體積本身之內(nèi)或者不能空間定位于參考幀之內(nèi)。
F-EGO的實(shí)例是與先前創(chuàng)建和保存的場(chǎng)景或視圖有關(guān)的F-EGO。在這種情況下，F(xiàn)-EGO用作到達(dá)該場(chǎng)景/視圖的捷徑。當(dāng)用戶通過該F-EGO來導(dǎo)航時(shí)，從該特定F-EGO所涉及的場(chǎng)景或視圖的透視圖中顯示新的圖形表示。
應(yīng)當(dāng)認(rèn)識(shí)到EGO能夠具有各種象形圖表示。在實(shí)施例中，將A-EGO象形圖定義為棱錐(20)。圖2是示出具有A-EGO22和F-EGO24的心臟20的實(shí)例。計(jì)算機(jī)產(chǎn)生的表面26也在心臟20之內(nèi)被示出。這樣的幾何象形圖表示允許通過對(duì)圖像中的結(jié)構(gòu)進(jìn)行定向，從而該棱錐的點(diǎn)指向(point)該結(jié)構(gòu)的方向，來精確地瞄準(zhǔn)(target)該結(jié)構(gòu)。而且，這樣的象形圖有助于和加速用戶對(duì)該EGO的視覺識(shí)別。為了區(qū)分F-EGO和A-EGO，利用不同的幾何形狀。由于F-EGO不專門瞄準(zhǔn)結(jié)構(gòu)，所以該指向元件變得不重要，為此使用了立方體用于F-EGO的象形圖。圖3示出了A-EGO的又一實(shí)例，其中示意性地表示血管30、動(dòng)脈瘤32和A-EGO34。
在本發(fā)明的另一方案中提供一種知識(shí)管理系統(tǒng)，它實(shí)現(xiàn)多媒體信息的構(gòu)建/記錄、以及這些信息與多維圖像之內(nèi)的具體背景/區(qū)域之間的關(guān)聯(lián)。這些多媒體信息可通過整合文本文檔編制、音頻文件、圖像和視頻來構(gòu)建。新信息的記錄可通過電子數(shù)據(jù)捕捉來交互地實(shí)現(xiàn)用于音頻信息的數(shù)字音頻記錄，以及用于文本信息的標(biāo)準(zhǔn)鍵盤輸入。而且，多媒體信息能夠在與專門化算法相關(guān)聯(lián)時(shí)自動(dòng)產(chǎn)生。多媒體信息與圖像之內(nèi)的空間背景之間的關(guān)聯(lián)可通過在3D圖像的參考幀中空間地定位圖形對(duì)象、并且通過將合適的信息與這些圖形對(duì)象相關(guān)聯(lián)來實(shí)現(xiàn)。
在本發(fā)明的另一方案中，提供空間和語義(semantic)導(dǎo)航功能性。空間導(dǎo)航能夠以多種方式進(jìn)行。例如，如本發(fā)明的實(shí)施例所述，通過對(duì)體積之內(nèi)的3D表面(平面或非線性)進(jìn)行操作或與這些3D表面進(jìn)行交互。語義導(dǎo)航包括了橫越語義關(guān)聯(lián)EGO的網(wǎng)絡(luò)，允許對(duì)3D圖像之內(nèi)的信息和關(guān)聯(lián)背景結(jié)構(gòu)進(jìn)行探查。
在空間-語義尺度連續(xù)區(qū)(continuum)中，該信息能夠被劃分為其位置的函數(shù)，這有利地允許顯示所需信息和避免顯示多余或不必要的信息量。3D圖像能夠被分段為“感興趣的等級(jí)區(qū)域”(HROI)以產(chǎn)生尺度域。該分段使得用戶聚焦于3D圖像在具體尺度域處的特定部分，因此僅考慮感興趣的信息。
在此，當(dāng)用戶開始分析圖像時(shí)，可定義一個(gè)或多個(gè)空間-語義尺度域。例如在特定實(shí)施例中，可對(duì)三種次級(jí)信息進(jìn)行文檔編制區(qū)域、對(duì)象和對(duì)象屬性。區(qū)域可被看作體積的一部分，該部分在預(yù)期的分析尺度下對(duì)于用戶具有重要意義，并且從使用者的觀點(diǎn)看，該部分含有在預(yù)期尺度下表示的一或多簇對(duì)象。
在又一實(shí)施例中，用戶通過顯示第一當(dāng)前HROI以及當(dāng)前HROI之內(nèi)所嵌入的每個(gè)HROI，選擇具體尺度域。然后，用戶利用指針(cursor)/控制裝置，從可用的HROI中選擇新的當(dāng)前HROI。該操作可在圖形窗口中和/或在繼承圖形窗口中進(jìn)行，該窗口示出多個(gè)HROI之間的關(guān)系，這些HROI定義了3D圖像中的空間分級(jí)分段。在本發(fā)明的實(shí)施例中，HROI是矩形形狀。
3D圖形數(shù)據(jù)對(duì)象的等級(jí)細(xì)分使得特定屬性簇與具體尺度域而非整個(gè)圖像相關(guān)聯(lián)，例如，這允許用戶在兩個(gè)不同尺度下表示同一3D圖像區(qū)域，以及允許用戶將每個(gè)尺度域與它自己的視圖、注釋和嵌入圖形對(duì)象相關(guān)聯(lián)。
視圖能夠這樣被創(chuàng)建，通過從正在被可視化的3D圖像中選擇體元子集，并且隨后修改所選體元的頻譜屬性。該光譜修改可以是各種性質(zhì)的，比如但不限于透明度水平的變更或?qū)Ρ榷鹊淖兏?。修改體元子集的頻譜屬性以創(chuàng)建場(chǎng)景的這些手段是多樣的，包括但不限于橫穿3D圖像的3D表面、體元閾值(threshold)和對(duì)象分段方法。
可通過這樣的過程來產(chǎn)生視圖，該過程自動(dòng)或手動(dòng)定義3D圖像之內(nèi)的線性(平面)或非線性表面幾何、尺寸、方向和定位。一旦被綜合和顯示于該體積之內(nèi)，用戶能夠手動(dòng)修改該表面的屬性和參數(shù)(也能夠是自動(dòng)過程)，這會(huì)直接影響3D圖像和3D表面的圖形表示。利用該方法，可通過僅顯示橫穿該表面的該部分3D圖像，創(chuàng)建場(chǎng)景。利用該3D表面，也可通過去除駐留于該表面之前或之后的該部分體積來產(chǎn)生場(chǎng)景，這允許觀察到3D圖形數(shù)據(jù)對(duì)象的子體積。去除該部分體積的過程被標(biāo)注為術(shù)語“切片(slicing)”。
該體積橫穿表面是一種工具，其用于以自動(dòng)化或手動(dòng)(交互)的方式進(jìn)行空間體積導(dǎo)航、以及用于場(chǎng)景創(chuàng)建。
該3D表面是對(duì)連續(xù)數(shù)學(xué)表面方程的離散逼近(approximation)。能夠以多種方式實(shí)現(xiàn)連續(xù)函數(shù)的離散化。在本發(fā)明的實(shí)施例中，可利用薄板樣條(thin plate spline，TPS)來獲得離散表面，其為等效于樣條曲線的3D。該TPS利用控制點(diǎn)集，可從其產(chǎn)生平滑表面逼近。
基于先前信息，該數(shù)據(jù)結(jié)構(gòu)利用矩陣集存儲(chǔ)這些控制點(diǎn)。通過僅存儲(chǔ)與表面相關(guān)聯(lián)的這些控制點(diǎn)，極大減少了該系統(tǒng)用以生成該表面的信息量。當(dāng)顯示該表面時(shí)，該TPS函數(shù)從控制點(diǎn)的集合中產(chǎn)生完整的表面。
在本發(fā)明的又一方案中，可使表面變形，以使導(dǎo)航和場(chǎng)景創(chuàng)建過程盡可能直觀和靈活。該變形過程能夠源自于用戶指令或者能夠被自動(dòng)化。
用戶產(chǎn)生的表面的變形能夠以各種方式實(shí)現(xiàn)，比如(但非限制性)基于參數(shù)的變形、屏幕上的視覺變形等。在基于參數(shù)的方式中，用戶指定參數(shù)集，比如控制點(diǎn)的空間移位，這將造成表面變形。
屏幕上變形的過程是高度直觀的。該方法允許用戶通過簡(jiǎn)單地使用控制裝置，比如計(jì)算機(jī)鼠標(biāo)，使表面的變形過程在圖形顯示中可視化，以空間移位該表面的控制點(diǎn)。這是實(shí)時(shí)的過程，意味著控制點(diǎn)的移位立即改變表面幾何，在這樣的情況下，這些變化在圖形顯示中被立即顯示。
自動(dòng)化的表面變形過程能夠與分段算法一起結(jié)合使用。這些算法從3D圖像中提取信息，該信息隨后被用來獲取對(duì)體積結(jié)構(gòu)的洞察。接著，該結(jié)構(gòu)信息被用來設(shè)定表面參數(shù)。該自動(dòng)化的表面變形過程可利用各種資源的信息，以自動(dòng)和適當(dāng)?shù)亍坝脜?shù)表示(parameterize)”該表面。
在表面變形過程中引入表面張力(tension)，以提供變化的變形程度。表面變形和張力的概念在(3D studio Max等軟件所使用的)3D計(jì)算機(jī)輔助設(shè)計(jì)領(lǐng)域中是公知的。如果該表面具有零張力，則控制點(diǎn)的移位不會(huì)對(duì)鄰近控制點(diǎn)產(chǎn)生影響，其僅產(chǎn)生局部變形。另一方面，通過設(shè)定張力的特定水平，控制點(diǎn)的移位在這種情況下將對(duì)鄰近控制點(diǎn)的空間定位產(chǎn)生直接影響。為了提供靈活性，該張力能夠按照選定的函數(shù)比如(但不限于)指數(shù)函數(shù)來修改。
該表面分辨率(resolution)將表面變形的精確度控制到特定程度。通過增加分辨率，控制點(diǎn)的數(shù)量有所增加，允許更為精細(xì)的表面變形。表面分辨率的變化可以是局部或全局性質(zhì)的。分辨率的局部變化是通過相對(duì)于當(dāng)前控制點(diǎn)而言在定義的鄰近區(qū)域之內(nèi)添加特定數(shù)量控制點(diǎn)來實(shí)現(xiàn)的。該分辨率的局部變化在該表面的特定區(qū)域之內(nèi)允許更為精確的變形。對(duì)于分辨率的全局變化，控制點(diǎn)的數(shù)量在整個(gè)表面上有所增加。分辨率的變化可以是等方向性或各向異性的，并且遵循特定的分布函數(shù)，比如(但不限于)高斯分布。
除了在先前段落中所述的“彈性”變形之外，該表面能夠受到剛性(rigid)變更，比如旋轉(zhuǎn)和平移(translation)。該過程可通過對(duì)整個(gè)表面數(shù)據(jù)結(jié)構(gòu)上進(jìn)行平移來實(shí)現(xiàn)。
按照它們的頻譜值，場(chǎng)景可通過自動(dòng)或手動(dòng)限制(threshold)所選體元來產(chǎn)生，從而閾值可限定將顯示哪些體元。在這種情況下，新產(chǎn)生的場(chǎng)景由原始體積的體元子集構(gòu)成。
3D圖像之內(nèi)的具體對(duì)象/結(jié)構(gòu)能夠被自動(dòng)或手動(dòng)分段，以允許去除它們，或者可選地允許強(qiáng)調(diào)這些對(duì)象/結(jié)構(gòu)，從而創(chuàng)建精確和/或定制(custom)的場(chǎng)景。因此，該方法允許手動(dòng)/自動(dòng)創(chuàng)建僅含有相關(guān)信息的場(chǎng)景。
一旦定義了場(chǎng)景，它可存儲(chǔ)于數(shù)據(jù)庫(場(chǎng)景數(shù)據(jù)庫)中，從而關(guān)聯(lián)于該場(chǎng)景的每個(gè)元素被永久保存。這使得能夠在以后檢索和可視化場(chǎng)景。
對(duì)于3D圖像的空間導(dǎo)航空間導(dǎo)航允許漸進(jìn)和直觀的體積可視化。該過程利用一個(gè)或多個(gè)可變形或不可變形的表面。
這些表面允許用戶通過簡(jiǎn)單交互(比如平移、旋轉(zhuǎn)和變形)動(dòng)態(tài)可視化體積各部分。通過以連續(xù)方式對(duì)表面進(jìn)行局部/全局剛性更改或變形，實(shí)現(xiàn)正在被顯示的空間背景中的漸進(jìn)變化。該漸進(jìn)變化使得用戶以平滑和連續(xù)方式一次性可視化3D圖形數(shù)據(jù)對(duì)象的某一區(qū)域，由此實(shí)現(xiàn)體積之內(nèi)的空間導(dǎo)航。
通過利用一個(gè)或多個(gè)不可變形的線形表面(平面)、一個(gè)或多個(gè)非線性的可變形表面、或其任意組合，可實(shí)現(xiàn)空間導(dǎo)航。
基于平面的可視化為具體的背景或應(yīng)用程序提供感興趣的標(biāo)準(zhǔn)剖視圖，并且提供用戶所熟悉的工具。
另一方面，基于可視化的可變形表面提供了獲得極具價(jià)值的復(fù)雜剖視圖的手段。它們的非線性幾何允許圍繞特定的結(jié)構(gòu)，該結(jié)構(gòu)并不感興趣或者在特定場(chǎng)合下隱藏了該體積之內(nèi)的有關(guān)結(jié)構(gòu)。
通用關(guān)聯(lián)鏈接(GAL)EGO能夠被鏈接，以形成EGO網(wǎng)絡(luò)。由于在EGO之間存在可變屬性的關(guān)聯(lián)鏈接，因此定義了“類屬(generic)”型鏈接，具體的類型能夠從該鏈接中繼承。
具體關(guān)聯(lián)鏈接的類型可以是(但不限于)因果性或近似性的。在醫(yī)學(xué)圖像的背景中，“因果性”關(guān)聯(lián)可有利地用于強(qiáng)調(diào)，被考慮的結(jié)構(gòu)可能是另一結(jié)構(gòu)所造成的。例如，主動(dòng)脈縮窄可能對(duì)心臟的心室造成嚴(yán)重?fù)p傷。從這一點(diǎn)來看，在注釋(annotate)大動(dòng)脈和心室的兩個(gè)EGO之間創(chuàng)建鏈接變得可能，損傷和不規(guī)則性在這里是可見的。新創(chuàng)建的鏈接可分配有缺省類型，比如基本類屬類型，或者由用戶定義或自動(dòng)定義為任一具體類型。
GAL可被圖形表示，其直接示出了EGO之間的相互關(guān)系。而且，由于可同時(shí)顯示多類鏈接，需要提供用于鏈接類型區(qū)分的方法。在實(shí)施例中，關(guān)聯(lián)鏈接由位于3D參考幀之內(nèi)的圖形線條來表示，如圖4所示，其中A-EGO34被鏈接到與血管44上的動(dòng)脈瘤42有關(guān)的A-EGO40。利用單獨(dú)的色彩，可區(qū)分不同類型的鏈接。例如，附加信息(比如象形圖)可被添加到該線條顯示，并且提供定向提示。
應(yīng)當(dāng)認(rèn)識(shí)到，作為EGO之間關(guān)聯(lián)鏈接數(shù)據(jù)的功能(function)，能夠?qū)崿F(xiàn)(effect)對(duì)EGO進(jìn)行選擇，用于與關(guān)聯(lián)視圖一起顯示。
創(chuàng)建新的EGO 優(yōu)選地，通過與圖形窗口直接交互，創(chuàng)建新的EGO。首先，用戶要么通過手動(dòng)或自動(dòng)生成圖像的期望視圖(比如通過圖像分段)定義當(dāng)前場(chǎng)景，要么對(duì)于被考慮的圖像，在注冊(cè)的場(chǎng)景列表中選擇現(xiàn)存的場(chǎng)景。通過簡(jiǎn)單地限制該圖像和顯示保留的像素/體元，或者甚至通過簡(jiǎn)單地不加修改地渲染該圖像，來產(chǎn)生場(chǎng)景。一旦在圖形窗口中顯示期望的場(chǎng)景，用戶通過激活EGO按鈕并且隨后將新建EGO交互地定位于圖形窗口之內(nèi)，來創(chuàng)建新的EGO。在具體實(shí)施例中，通過新的3D圖像注釋機(jī)制，有助于EGO在3D圖像之內(nèi)的定位。
該圖像注釋機(jī)制包括對(duì)齊機(jī)制，該機(jī)制將EGO自動(dòng)對(duì)齊到一橫穿3D網(wǎng)格(mesh)表面。通過與網(wǎng)格表面垂直地自動(dòng)定位EGO，該機(jī)制有助于EGO的定位。該過程是實(shí)時(shí)的，并且在EGO在該圖像的3D網(wǎng)格表示之內(nèi)移動(dòng)的同時(shí)進(jìn)行，這進(jìn)一步有助于EGO的定位。參照?qǐng)D5，能夠在步驟50中產(chǎn)生場(chǎng)景，在步驟52中產(chǎn)生網(wǎng)格渲染，并且在步驟54中創(chuàng)建和/或顯示EGO。
該注釋對(duì)齊過程可包括3個(gè)主要步驟■在步驟56中將2D(x，y)屏幕坐標(biāo)轉(zhuǎn)換為3D(x，y，x)視區(qū)(viewport)空間坐標(biāo)；■在步驟57中進(jìn)行網(wǎng)格射線拾取操作；■在步驟58中進(jìn)行交叉點(diǎn)(intersection point)檢測(cè)。
當(dāng)用戶在顯示有圖像網(wǎng)格表示的屏幕之內(nèi)，定位一指示裝置，比如鼠標(biāo)光標(biāo)時(shí)(步驟55)，發(fā)生第一步驟。2D到3D的轉(zhuǎn)換是必需的，以便識(shí)別3D圖像之內(nèi)的對(duì)應(yīng)坐標(biāo)。在該轉(zhuǎn)換之后，在3D圖像之內(nèi)應(yīng)用光線拾取算法，以便識(shí)別光標(biāo)和3D圖像網(wǎng)格的最近交叉點(diǎn)。最近的檢測(cè)交叉點(diǎn)隨后被用作對(duì)齊點(diǎn)，EGO在這里被自動(dòng)定位。
該注釋系統(tǒng)基于渲染器(renderer)的視區(qū)(viewport)錐體70的線性代數(shù)性質(zhì)(圖7A至7E)。就3D空間而言，該錐體是通過照相機(jī)當(dāng)前可見的空間區(qū)域。該視圖錐體是空間體積，其包括從給定視點(diǎn)當(dāng)前可見的一切。它由六個(gè)平面限定，這些平面以頂點(diǎn)被砍掉的棱錐形狀排列。如果點(diǎn)在該體積之內(nèi)，則它在該錐體中并且可見。如果點(diǎn)在該錐體之外，則它是不可見的。“可見”意味著所有結(jié)構(gòu)(比如結(jié)構(gòu)72)都是潛在可見的。例如，一結(jié)構(gòu)可能在遮住該結(jié)構(gòu)的另一結(jié)構(gòu)之后，但是它仍在該錐體中。
第二方案是自動(dòng)形態(tài)關(guān)聯(lián)。該機(jī)制將EGO自動(dòng)地關(guān)聯(lián)于該EGO被定位于其上的圖像子體積中。該過程是實(shí)時(shí)的。其目的是提供執(zhí)行基于形態(tài)的注釋數(shù)據(jù)挖掘的可能性。
用戶注釋和形態(tài)關(guān)聯(lián)過程由如下步驟組成■用戶在顯示器上繪出2D輪廓74，其表示感興趣的投影區(qū)域；■隨后該輪廓從屏幕坐標(biāo)轉(zhuǎn)換為錐體附近平面上的視區(qū)坐標(biāo)；■然后該視區(qū)中所表示的輪廓在視區(qū)空間錐體中延伸，以形成體積(76)；■然后執(zhí)行橫穿操作，以修剪(clip)位于該體積內(nèi)部的數(shù)據(jù)集的子集78；■沿著數(shù)據(jù)集網(wǎng)格表示的至高點(diǎn)的(視區(qū)空間的)z軸，計(jì)算空間分布；■在渲染期間利用它們的z緩沖測(cè)試結(jié)果，衡量(ponder)該分布的元素；■計(jì)算該空間分布的最大值(Vm)；■保留該空間分布的元素，這些元素在寬度(W)的典型高斯分布之內(nèi)適合(fit)；■該分布的這些元素所表示的數(shù)據(jù)集子區(qū)域79被關(guān)聯(lián)于對(duì)應(yīng)EGO，其中所述子區(qū)域代表EGO的關(guān)聯(lián)形態(tài)。
這些步驟在圖6中被總結(jié)為步驟61至68。
依照這些步驟，該系統(tǒng)簡(jiǎn)單地保存關(guān)聯(lián)的形態(tài)信息，并且將其與所考慮的EGO相關(guān)聯(lián)。
去除EGO能夠通過與圖形場(chǎng)景直接交互，從場(chǎng)景或EGO網(wǎng)絡(luò)中刪除現(xiàn)有EGO。用戶首先將圖形光標(biāo)覆蓋于期望的EGO上，然后按下控制按鈕。然后，給予用戶去除該EGO的選擇。用于刪除EGO的另一手段是通過瀏覽或搜索EGO列表，并且從該列表中刪除所考慮的EGO。在優(yōu)選實(shí)施例中，在從圖形窗口或列表中刪除EGO之后，該系統(tǒng)自動(dòng)校驗(yàn)與所選EGO相關(guān)聯(lián)的任何GAL的存在。在這樣的事例中，從EGO網(wǎng)絡(luò)和圖形窗口中去除與所刪除的EGO相關(guān)聯(lián)的GAL。
應(yīng)當(dāng)理解，EGO可作為獨(dú)立實(shí)體存在，即與其他EGO不具有關(guān)聯(lián)性。
可圖形鏈接或利用基于文本的方式來鏈接EGO。對(duì)于圖形鏈接EGO，用戶可通過在圖形窗口(該圖形窗口隨后顯示“屬性”對(duì)話框)之內(nèi)點(diǎn)擊第一EGO，定義兩個(gè)EGO之間的鏈接。從該對(duì)話框中，用戶可從列表中選擇當(dāng)前EGO將要鏈接到的EGO。下一步驟要求用戶選擇類屬關(guān)聯(lián)鏈接的類型，該類型定義新創(chuàng)建的鏈接。通過點(diǎn)擊第一EGO、然后將鼠標(biāo)光標(biāo)拖動(dòng)至第二EGO，也能夠圖形鏈接兩個(gè)EGO。
在用戶要么利用圖形方式要么利用文本方式交互地進(jìn)行鏈接EGO的同時(shí)，也可利用自動(dòng)化的鏈接方法。后者能夠利用算法來定義EGO之間的各類網(wǎng)絡(luò)關(guān)系。該算法所用的判據(jù)(criterion)可為(但不限于)語義或空間信息。例如，對(duì)于空間彼此接近的結(jié)構(gòu)進(jìn)行文檔編制的EGO可通過“鄰近性”類型的GAL來鏈接。這種自動(dòng)化的方法特別地有用，因?yàn)樗鼈冊(cè)试S從一個(gè)或多個(gè)3D圖像和從相同或不同場(chǎng)景來鏈接不同EGO，而無需用戶干預(yù)。
刪除兩個(gè)現(xiàn)有EGO之間的鏈接用戶能夠在任何時(shí)刻去除兩個(gè)現(xiàn)有EGO之間的鏈接。該操作優(yōu)選地通過與圖形場(chǎng)景直接交互來進(jìn)行。用戶首先將圖形光標(biāo)覆蓋于期望的GAL上，然后按下控制按鈕。然后，給予用戶去除該鏈接的選擇。另一機(jī)制是在多媒體信息面板之內(nèi)刪除鏈接，從此之中，GAL從EGO網(wǎng)絡(luò)中和從圖形窗口中被去除。
將EGO關(guān)聯(lián)于場(chǎng)景定義和/或選擇場(chǎng)景可允許用戶可視化3D圖像的一部分以及其關(guān)聯(lián)EGO和GAL。將EGO與場(chǎng)景相關(guān)聯(lián)的過程對(duì)于實(shí)現(xiàn)對(duì)3D圖像的有效導(dǎo)航來說是重要的。能夠以幾種方式實(shí)現(xiàn)EGO與特定場(chǎng)景的相關(guān)聯(lián)。在本發(fā)明的實(shí)施例中，該系統(tǒng)利用自動(dòng)化的算法“插件”，將現(xiàn)有EGO自動(dòng)地關(guān)聯(lián)于場(chǎng)景。該缺省算法在EGO數(shù)據(jù)庫中搜尋每個(gè)A-EGO，該A-EGO與定義場(chǎng)景的3D表面相交。每當(dāng)創(chuàng)建新場(chǎng)景時(shí)，能夠觸發(fā)該缺省算法。可利用替代算法，以按照?qǐng)鼍皩傩詠磉x擇EGO。
除了自動(dòng)化的關(guān)聯(lián)算法之外，也可利用交互方法。一種可能的交互方式是在當(dāng)前場(chǎng)景中創(chuàng)建新的EGO，該新創(chuàng)建的EGO與當(dāng)前場(chǎng)景相關(guān)聯(lián)。另一方式是從現(xiàn)有EGO的列表中選擇一個(gè)或多個(gè)EGO，并且將所選EGO與當(dāng)前場(chǎng)景相關(guān)聯(lián)。
應(yīng)當(dāng)理解，也可利用自動(dòng)化的算法，將缺省場(chǎng)景關(guān)聯(lián)于特定EGO。在實(shí)施例中，按照具體的空間判據(jù)(比如，定義/選擇一場(chǎng)景，該場(chǎng)景最大化該圖像結(jié)構(gòu)的可見部分，該圖像結(jié)構(gòu)已被該EGO進(jìn)行文檔編制)，這樣的算法定義新場(chǎng)景和/或從多個(gè)已經(jīng)可用的場(chǎng)景中刪除場(chǎng)景。在本發(fā)明的另一實(shí)施例中，也可利用語義判據(jù)來定義/選擇與特定EGO相關(guān)聯(lián)的缺省場(chǎng)景(即定義/選擇一場(chǎng)景，該場(chǎng)景允許同時(shí)查看每個(gè)A-EGO，該A-EGO與特定類型GAL當(dāng)前所選定的EGO有關(guān))。
去除EGO和場(chǎng)景之間的關(guān)聯(lián)在任何時(shí)候都允許用戶去除EGO與場(chǎng)景之間的關(guān)聯(lián)。在本實(shí)施例中，如前所述，該操作是通過為期望的場(chǎng)景激活場(chǎng)景屬性面板來進(jìn)行的。一旦該面板被激活，用戶可選擇與該場(chǎng)景相關(guān)聯(lián)的現(xiàn)有EGO，并且去除其關(guān)聯(lián)。
一般顯示結(jié)構(gòu)優(yōu)選地，EGO網(wǎng)絡(luò)的顯示可按照當(dāng)前場(chǎng)景來配置。更具體地，EGO網(wǎng)絡(luò)的特定子集的選擇、定位和顯示能夠從參數(shù)中直接確定，這些參數(shù)定義了這些結(jié)構(gòu)在該場(chǎng)景之內(nèi)的相對(duì)位置，還定義了將被顯示的所選EGO之間的網(wǎng)絡(luò)關(guān)系。這種方法通過自動(dòng)確定哪個(gè)EGO將在特定時(shí)間在圖形窗口中是可見的，構(gòu)成了一種快速取回信息簇的有效方式。與當(dāng)前場(chǎng)景不直接相關(guān)聯(lián)的或者在當(dāng)前場(chǎng)景之內(nèi)不可見的EGO也可被顯示為位于當(dāng)前場(chǎng)景的空間參照之外的F-EGO。這允許有效選擇外部EGO。從這點(diǎn)看來，F(xiàn)-EGO用作到達(dá)另一場(chǎng)景中甚或另一圖像中可見的關(guān)聯(lián)外部EGO的鏈接(捷徑)。通過顯示F-EGO，用戶具有在任何當(dāng)前EGO和外部EGO之間所定義的關(guān)聯(lián)鏈接的類型指示。在具體實(shí)施例中，用戶能夠察看EGO的關(guān)聯(lián)多媒體注釋信息，比如放射線學(xué)家所記述的診斷文本，無需察看其實(shí)際圖像背景中的EGO。這可通過選擇相應(yīng)F-EGO和選擇選項(xiàng)比如“顯示注釋文本”來實(shí)現(xiàn)。
網(wǎng)絡(luò)的EGO之間的關(guān)系本質(zhì)上是分等級(jí)的。也就是說，EGO可基于相似本性的共享信息，與另一EGO有關(guān)。例如，當(dāng)沿著等級(jí)樹從父EGO移動(dòng)到子EGO時(shí)，信息越來越具體。在這個(gè)方面應(yīng)當(dāng)理解，相同等級(jí)水平的EGO能夠與同一尺度有關(guān)。還應(yīng)當(dāng)理解，用戶能夠選擇將要在當(dāng)前視圖之內(nèi)顯示的有關(guān)(父或子)EGO。
編輯EGO多媒體結(jié)構(gòu)每條EGO多媒體信息結(jié)構(gòu)內(nèi)容都被顯示于多媒體編輯窗口中。在任何時(shí)候，用戶能夠添加或去除多媒體信息結(jié)構(gòu)的內(nèi)容。在本發(fā)明的優(yōu)選實(shí)施例中，用戶首先在場(chǎng)景圖形窗口中右擊期望的EGO。然后，該系統(tǒng)將多媒體編輯面板顯示到屏幕，向用戶呈現(xiàn)基于文本、基于音頻、以及基于視頻的編輯窗口小部件(widget)。
搜索優(yōu)選地，按照EGO ID或多媒體信息結(jié)構(gòu)中出現(xiàn)的任何描述符，能夠搜索EGO數(shù)據(jù)庫。
自動(dòng)圖像注釋圖像之內(nèi)讓用戶感興趣的區(qū)域或位置能夠通過自動(dòng)化的圖像注釋來自動(dòng)識(shí)別和注釋。該自動(dòng)的識(shí)別和注釋也可包括EGO的自動(dòng)定位。其目的是減少用戶分析和注釋圖像所需的時(shí)間和精力。在醫(yī)學(xué)成像的背景中，還能夠提出一種系統(tǒng)，該系統(tǒng)自動(dòng)識(shí)別可能的病理結(jié)構(gòu)、分段這些結(jié)構(gòu)以獲取定量信息、以及自動(dòng)創(chuàng)建和定位帶有關(guān)聯(lián)注釋文本的EGO。在實(shí)施例中，該系統(tǒng)能夠使用自動(dòng)化的圖像注釋處理，以自動(dòng)識(shí)別3D胸的CT圖像之內(nèi)可能的動(dòng)脈瘤，由此有助于和加速了專門醫(yī)師的診斷過程。參照?qǐng)D8，一般的自動(dòng)化圖像注釋過程包括如下步驟1.在步驟80中，加載圖像；2.在步驟82中，利用應(yīng)用軟件專用方法自動(dòng)地分段圖像；3.在步驟83中，計(jì)算一個(gè)或多個(gè)分段對(duì)象的空間坐標(biāo)；4.在步驟84中，計(jì)算分段對(duì)象的選定定量屬性；5.在步驟85中，對(duì)于所選分段對(duì)象，在所選空間坐標(biāo)處在該圖像之內(nèi)創(chuàng)建和定位EGO；6.在步驟86中，對(duì)于所選分段對(duì)象，將文本注釋添加到對(duì)應(yīng)EGO；7.在步驟87中，對(duì)于所選分段對(duì)象，對(duì)對(duì)應(yīng)EGO定義關(guān)聯(lián)鏈接數(shù)據(jù)；8.在步驟88中，為每個(gè)EGO定義視圖，允許用戶查看圖像中的關(guān)聯(lián)對(duì)象。
步驟1至5允許基本注釋，這里僅可視標(biāo)記(EGO)位于該圖像中，以可視地識(shí)別感興趣的對(duì)象。步驟6至8分別允許將相關(guān)文本信息添加到EGO(比如關(guān)于對(duì)象的定量或定性信息)；基于關(guān)聯(lián)信息，定義有關(guān)的EGO網(wǎng)絡(luò)；以及定義視圖，該視圖允許用戶有效察看每個(gè)EGO及其關(guān)聯(lián)圖像對(duì)象。
在3D胸的CT圖像形態(tài)之內(nèi)的動(dòng)脈瘤注釋的具體實(shí)施例中，先前定義的步驟2利用基于水平集(level-set)的分段方法。在該具體實(shí)施例中，自動(dòng)化注釋過程如下進(jìn)行該系統(tǒng)首先加載病人的CT掃描圖像，然后開始眾所周知的3D水平集分段方法。該分段方法基于這樣的概念，即具有這樣的2D表面，該2D表面在3D空間之內(nèi)發(fā)展(evolve)，直至達(dá)到該表面的平衡(equilibrium)為止。該表面通過在3D圖像之內(nèi)改變強(qiáng)度值的結(jié)構(gòu)來產(chǎn)生變形，直到它分裂成分離的次表面，這些次表面最終“纏繞(wrap)”每個(gè)感興趣的對(duì)象。通過設(shè)定初始的表面參數(shù)和約束(constraint)，比如曲率、受力和速度，該方法將僅分段感興趣的對(duì)象。在當(dāng)前考慮的實(shí)施例中，這些對(duì)象是血管動(dòng)脈瘤。一旦該初始表面已經(jīng)發(fā)展和最終達(dá)到平衡，則每個(gè)分段的對(duì)象形成感興趣的對(duì)象。為每個(gè)這些對(duì)象，計(jì)算如下定量信息每個(gè)對(duì)象的質(zhì)量中心定義了該對(duì)象的坐標(biāo)，并且代表該對(duì)象的體元定義了其結(jié)構(gòu)和體積。從這些體元中能夠提取信息，比如(非限制性)對(duì)象的體積、密度、質(zhì)量、變形和最長(zhǎng)直徑。然后，利用所有這些計(jì)算出的信息，在圖像之內(nèi)創(chuàng)建和定位EGO，以便可視地識(shí)別該對(duì)象。利用該對(duì)象的質(zhì)量中心，能夠“錨定(archor)”該EGO，并且利用該化量信息，能夠?qū)⑽谋咀⑨屪詣?dòng)添加到該EGO。此外，由于該分段方法專門用于具體應(yīng)用，甚至能夠?qū)⒍啃畔⑻砑拥皆撟⑨?。文本注釋能夠具有下述?nèi)容和結(jié)構(gòu)“所識(shí)別的對(duì)象是具有250單位體積和12單位最大直徑的可能動(dòng)脈瘤”。該文本和定量信息被添加到EGO的數(shù)據(jù)結(jié)構(gòu)，從而用戶通過簡(jiǎn)單激活所考慮的EGO，總是能夠查看該關(guān)聯(lián)信息。依照該注釋過程，能夠自動(dòng)建立帶有關(guān)聯(lián)鏈接的EGO網(wǎng)絡(luò)。該關(guān)聯(lián)可以是各種性質(zhì)，比如基于距離的關(guān)聯(lián)。例如，在已經(jīng)識(shí)別出多個(gè)動(dòng)脈瘤并且一些動(dòng)脈瘤與其它動(dòng)脈瘤相距很遠(yuǎn)的大體積中，該自動(dòng)鏈接能夠產(chǎn)生相距最遠(yuǎn)的EGO之間的鏈接，以有助于后續(xù)的可視化和圖像之內(nèi)從一對(duì)象到另一個(gè)對(duì)象的導(dǎo)航。為此，該系統(tǒng)分析每個(gè)分段對(duì)象的空間坐標(biāo)，并且創(chuàng)建超過特定距離閾值的EGO之間的關(guān)聯(lián)鏈接。例如，對(duì)于具體EGO，鏈接將被創(chuàng)建到達(dá)該體積之內(nèi)與之相距100個(gè)體元以上的其他EGO。相應(yīng)EGO的列表可被記入當(dāng)前EGO的鏈接數(shù)據(jù)之內(nèi)，用于顯示和導(dǎo)航目的。最終，為了允許有效可視化圖像數(shù)據(jù)和位于3D空間之內(nèi)的EGO，有必要為該系統(tǒng)定義具體的視圖點(diǎn)，這允許隨后的同時(shí)可視化。按照后者，在具體實(shí)施例中，這是通過計(jì)算和產(chǎn)生非平坦的3D表面來實(shí)現(xiàn)的，該3D表面為具體數(shù)量的EGO產(chǎn)生切開(cut-away)視圖。通過將EGO集的每個(gè)質(zhì)量中心視作樣條表面的控制點(diǎn)，產(chǎn)生該表面。利用這里所述的非平坦表面產(chǎn)生機(jī)制，能夠?qū)崿F(xiàn)這樣的表面，該表面橫穿每個(gè)被考慮的EGO，由此允許圖像數(shù)據(jù)和EGO的同時(shí)可視化。在另一實(shí)施例中，通過將組合網(wǎng)格和體積渲染，實(shí)現(xiàn)優(yōu)化后的視圖。在這種情況下，每個(gè)分段對(duì)象在網(wǎng)格中被渲染(矢量表面渲染)，同時(shí)剩余的體積數(shù)據(jù)被渲染為透明。這允許同時(shí)可視化原始圖像數(shù)據(jù)、分段對(duì)象和所表示的EGO。
本發(fā)明的自動(dòng)注釋系統(tǒng)的實(shí)施例大體上如圖9所示。全面的操作需要該系統(tǒng)的主處理器98首先調(diào)用圖像加載器90，用于從存儲(chǔ)介質(zhì)中讀取數(shù)字圖像。該圖像加載器讀取圖像91，并且將其保存于非永久性存儲(chǔ)器92中。然后，該主處理器用具體示例說明(instantiate)分段方法93，該方法分段在存儲(chǔ)器中所保存的圖像。然后，該分段方法將分段結(jié)果保存于存儲(chǔ)器92中。跟隨該步驟，該主處理器調(diào)用注釋器94，該注釋器利用分段方法在存儲(chǔ)器中所保存的信息，創(chuàng)建和定位所需數(shù)量的EGO。如果需要，該注釋器收集與每個(gè)對(duì)象相關(guān)聯(lián)的定量信息，并且為每個(gè)有關(guān)EGO產(chǎn)生文本注釋。如果需要，該主處理器調(diào)用鏈接器95產(chǎn)生關(guān)聯(lián)的鏈接數(shù)據(jù)。最終，該主處理器調(diào)用視圖產(chǎn)生器97產(chǎn)生優(yōu)化后的視圖。
自動(dòng)報(bào)告產(chǎn)生自動(dòng)報(bào)告產(chǎn)生是一過程，該過程自動(dòng)收集信息，組織(structure)該信息，以及格式化所產(chǎn)生的內(nèi)容，以建立遵循特定標(biāo)準(zhǔn)和規(guī)范的報(bào)告。自動(dòng)報(bào)告產(chǎn)生能夠利用本發(fā)明的方法以直截了當(dāng)?shù)姆绞絹韺?shí)現(xiàn)。第一步驟是指定一報(bào)告模板，該模板定義了該內(nèi)容應(yīng)當(dāng)如何被格式化、組織和排序。下一步驟包括手動(dòng)/自動(dòng)選擇EGO，這些EGO含有將被并入于該報(bào)告中的該內(nèi)容。跟隨該內(nèi)容選擇，能夠選擇這樣的次序，該內(nèi)容將按照該次序而被整合于該報(bào)告之內(nèi)。該報(bào)告產(chǎn)生方法吸引人的方面在于，背景圖像/瞬像的插入是自動(dòng)和精確的過程，因?yàn)槊總€(gè)EGO能夠與缺省場(chǎng)景/視圖相關(guān)聯(lián)。在這些情況下，當(dāng)將EGO的內(nèi)容插入到報(bào)告之內(nèi)時(shí)，可獲得場(chǎng)景/視圖平面能夠作為圖像瞬像而獲得，并且隨后被直接整合到該報(bào)告之內(nèi)。該特征很有吸引力，因?yàn)椴恍枰脩羰謩?dòng)獲取與該特定EGO的信息相關(guān)聯(lián)的可視背景的瞬像(并不精確并且耗時(shí))。一旦感興趣的EGO已被選定，并且具體排序已被指定，最終步驟是從多媒體信息數(shù)據(jù)庫中提取該信息，并且按照格式模板將其插入到新報(bào)告中。然后，該信創(chuàng)建和格式化的報(bào)告以特定文件格式保存，比如(但不限于)Adobe PDF、HTML、Rich Text或Microsoft Word。所產(chǎn)生的報(bào)告能夠用于(但不限于)檔案和管理目的，或者用于以硬拷貝格式共享和查閱具體信息。
對(duì)于3D圖像的語義導(dǎo)航語義導(dǎo)航是穿越語義關(guān)聯(lián)EGO的網(wǎng)絡(luò)的過程，允許探測(cè)3D圖像之內(nèi)的信息和關(guān)聯(lián)背景結(jié)構(gòu)。能夠如上所述地定義該網(wǎng)絡(luò)。該語義導(dǎo)航和網(wǎng)絡(luò)允許容易地恢復(fù)先前在分析期間所獲取的知識(shí)，因?yàn)樗成?map)了用戶在執(zhí)行分析的同時(shí)所進(jìn)行的語義處理。
導(dǎo)航過程在本發(fā)明的優(yōu)選實(shí)施例中，通過兩個(gè)截然不同但是相關(guān)的步驟，執(zhí)行語義導(dǎo)航語義場(chǎng)景探測(cè)(SSE)和語義場(chǎng)景轉(zhuǎn)換(SST)。SSE是這樣的步驟，用戶通過該步驟將可視化與EGO有關(guān)的GAL，這些EGO關(guān)聯(lián)于當(dāng)前場(chǎng)景。這可利用如下方法實(shí)現(xiàn)全局顯示方法，允許永久顯示或者隱藏特定GAL。該方法包括如下步驟●交互地標(biāo)記一個(gè)或多個(gè)可見的EGO。該步驟可通過利用圖形光標(biāo)/控制裝置，將每個(gè)EGO左側(cè)上的“-”符號(hào)設(shè)定為“+”狀態(tài)來實(shí)現(xiàn)；●從對(duì)話框中激活全局鏈接顯示功能；這包括操作顯示/隱藏與當(dāng)前場(chǎng)景相關(guān)聯(lián)的標(biāo)記EGO的GAL；顯示/隱藏EGO，這些EGO與當(dāng)前場(chǎng)景不關(guān)聯(lián)，但是關(guān)聯(lián)到標(biāo)記EGO；覆蓋/隱藏GAL，該GAL使標(biāo)記EGO和與當(dāng)前場(chǎng)景不關(guān)聯(lián)的EGO發(fā)生聯(lián)系；將鼠標(biāo)光標(biāo)覆蓋于特定GAL之上，以選出一對(duì)EGO(該GAL使其發(fā)生聯(lián)系)，記錄這對(duì)EGO與圖形光標(biāo)的位置之間的距離；將透明度指數(shù)關(guān)聯(lián)于組成該對(duì)EGO的每個(gè)EGO，該指數(shù)與分隔該對(duì)EGO和光標(biāo)/控制裝置的距離成反比；利用先前定義的透明度指數(shù)，顯示GAL，這些GAL與該對(duì)EGO相關(guān)聯(lián)，并且關(guān)聯(lián)到與當(dāng)前場(chǎng)景相關(guān)聯(lián)的EGO；利用先前定義的透明度指數(shù)，顯示EGO，這些EGO與當(dāng)前場(chǎng)景不關(guān)聯(lián)，并且連接到激活的該對(duì)EGO；利用在先前步驟中所定義的透明度指數(shù)，覆蓋GAL，該GAL使激活的該對(duì)EGO和不關(guān)聯(lián)于當(dāng)前場(chǎng)景的EGO發(fā)生聯(lián)系。
在本發(fā)明的特定實(shí)施例中，當(dāng)所選EGO之一表示當(dāng)前區(qū)域時(shí)，后者通過絲網(wǎng)(wiremesh)球來描繪。在這種情況下，無論它們是否與當(dāng)前場(chǎng)景相關(guān)聯(lián)，與當(dāng)前區(qū)域相關(guān)聯(lián)的每個(gè)EGO在當(dāng)前區(qū)域的3D參考幀中變得可見。
語義場(chǎng)景轉(zhuǎn)換，即SST，允許用戶從一EGO場(chǎng)景到另一EGO場(chǎng)景之間向前和/或向后導(dǎo)航。用戶能夠通過重復(fù)如下操作來進(jìn)行該步驟■點(diǎn)擊當(dāng)前場(chǎng)景之內(nèi)的A-EGO，其觸發(fā)該A-EGO被激活，當(dāng)前狀態(tài)出現(xiàn)在該屏幕；
與當(dāng)前場(chǎng)景相關(guān)聯(lián)的每個(gè)A-EGO從該屏幕消失；與激活的A-EGO相關(guān)聯(lián)的“缺省”場(chǎng)景被設(shè)定和出現(xiàn)在該屏幕；與“缺省”場(chǎng)景相關(guān)聯(lián)的每個(gè)新A-EGO被顯示；與激活的A-EGO相關(guān)聯(lián)的多媒體信息結(jié)構(gòu)的象形圖內(nèi)容被顯示；及在“缺省”場(chǎng)景之內(nèi)在激活的A-EGO和其他EGO之間陰影鏈接被顯示。
■點(diǎn)擊F-EGO，其觸發(fā)激活該F-EGO；與當(dāng)前場(chǎng)景相關(guān)聯(lián)的每個(gè)A-EGO從該屏幕消失；與激活的F-EGO相關(guān)聯(lián)的場(chǎng)景被設(shè)定和出現(xiàn)在該屏幕上；與新場(chǎng)景相關(guān)聯(lián)的每個(gè)新A-EGO被顯示；激活的A-EGO和其他EGO之間的陰影鏈接被顯示。
記錄導(dǎo)航序列一旦用戶請(qǐng)求，該系統(tǒng)能夠記錄導(dǎo)航序列，要么動(dòng)態(tài)轉(zhuǎn)發(fā)所記錄的序列，要么將該序列存儲(chǔ)于期望EGO的多媒體信息結(jié)構(gòu)中，用于進(jìn)一步查閱。
全局網(wǎng)絡(luò)顯示利用現(xiàn)有心智映射技術(shù)，該全局網(wǎng)絡(luò)顯示提供一種手段，用于從全局觀點(diǎn)，在當(dāng)前投影(project)之內(nèi)的每個(gè)EGO之間進(jìn)行顯示和導(dǎo)航。與3D圖像之內(nèi)的背景導(dǎo)航(這里，在給定時(shí)間僅表示全局知識(shí)的子集)相對(duì)比，全局心智映射窗口提供了單擊訪問，其通往投影之內(nèi)整合的任何知識(shí)。這允許用戶對(duì)全體的整合EGO以及它們的相互關(guān)系具有完整的視圖。
EGO的背景網(wǎng)絡(luò)能夠與全局網(wǎng)絡(luò)窗口同步，這意味著，當(dāng)在任一表示中修改鏈接時(shí)，該變化同時(shí)顯示于補(bǔ)充表示中。而且，當(dāng)用戶在全局網(wǎng)絡(luò)窗口之內(nèi)導(dǎo)航時(shí)，該導(dǎo)航過程與3D圖像場(chǎng)景的顯示保持協(xié)調(diào)。當(dāng)在全局網(wǎng)絡(luò)窗口之內(nèi)選擇EGO時(shí)，它的關(guān)聯(lián)缺省場(chǎng)景被同時(shí)顯示于3D圖像窗口中。
在本發(fā)明的方案中提供一種信息存儲(chǔ)子系統(tǒng)，用以臨時(shí)或永久存儲(chǔ)所產(chǎn)生和/或所記錄的信息/數(shù)據(jù)。該數(shù)據(jù)非限制性地包括場(chǎng)景/視圖參數(shù)數(shù)據(jù)；對(duì)象屬性數(shù)據(jù)；EGO數(shù)據(jù)；EGO鏈接數(shù)據(jù)；EGO注釋歷史(EGO創(chuàng)建和修改)數(shù)據(jù)，含有作者、日期和時(shí)間、修訂號(hào)；圖像處理參數(shù)數(shù)據(jù)；圖像處理歷史數(shù)據(jù)；3D圖形數(shù)據(jù)對(duì)象(原始圖像數(shù)據(jù))；3D圖形數(shù)據(jù)對(duì)象存儲(chǔ)位置數(shù)據(jù)；用戶賬戶數(shù)據(jù)；用戶簡(jiǎn)介數(shù)據(jù)；網(wǎng)絡(luò)節(jié)點(diǎn)注冊(cè)和目錄服務(wù)數(shù)據(jù)。
場(chǎng)景和視圖參數(shù)數(shù)據(jù)是定義后者的信息，比如(但不限于)體積定向、3D橫穿表面、體積切片、感興趣的3D區(qū)域、表面渲染、體積渲染和體元透明度。
EGO注釋歷史數(shù)據(jù)是EGO創(chuàng)建和修改過程的記錄。每個(gè)新EGO創(chuàng)建和修改事例被記錄于數(shù)據(jù)庫中，帶有與作者、EGO的創(chuàng)建/修改日期和時(shí)間、修改EGO的修訂號(hào)(帶有與先前EGO之間的鏈接信息)有關(guān)的信息。
圖像處理參數(shù)數(shù)據(jù)是與圖像處理算法和方法有關(guān)的特定參數(shù)，這些算法和方法將與關(guān)聯(lián)的3D圖形數(shù)據(jù)對(duì)象和所定義的分析協(xié)議一起使用。另一方面，圖像處理(或編輯)歷史數(shù)據(jù)是與如下內(nèi)容有關(guān)的信息應(yīng)用于3D圖形數(shù)據(jù)對(duì)象的不同處理步驟；應(yīng)用這些步驟的次序；以及與每個(gè)處理步驟的適當(dāng)圖像處理參數(shù)數(shù)據(jù)之間的鏈接信息。在實(shí)施例中，這些圖像處理參數(shù)可存儲(chǔ)于EGO中。選擇含有一個(gè)或多個(gè)對(duì)象編輯歷史的EGO，能夠自動(dòng)產(chǎn)生將被應(yīng)用于所選圖形數(shù)據(jù)對(duì)象的編輯操作。這有利于地允許用戶獲得按照預(yù)存協(xié)議而處理過的對(duì)象的不同視圖。
本發(fā)明的優(yōu)選實(shí)施例(圖10)將投影有關(guān)數(shù)據(jù)(場(chǎng)景、EGO…)存儲(chǔ)于第一數(shù)據(jù)庫100(投影數(shù)據(jù)庫)中，將3D圖形數(shù)據(jù)對(duì)象存儲(chǔ)于第二數(shù)據(jù)庫中，該第二數(shù)據(jù)庫優(yōu)選為PACS 102(畫面歸檔和通信系統(tǒng))，將用戶賬戶和用戶簡(jiǎn)介數(shù)據(jù)存儲(chǔ)于第三數(shù)據(jù)庫(用戶數(shù)據(jù)庫)104中。這類配置確保了每個(gè)數(shù)據(jù)元素被存儲(chǔ)于專門的歸檔系統(tǒng)中，提供安全、強(qiáng)健和有效的信息存儲(chǔ)機(jī)制。此外在優(yōu)選實(shí)施例中，這些數(shù)據(jù)庫遠(yuǎn)離用戶，但是并非限制性的。
在臨床背景中(這里，本發(fā)明可用于一個(gè)或多個(gè)醫(yī)院中)，安全和遠(yuǎn)程訪問的信息存儲(chǔ)系統(tǒng)是必備的。而且在這樣的背景中，3D圖形數(shù)據(jù)對(duì)象(病人掃描以及有關(guān)圖像)被頻繁存儲(chǔ)于具有限制存取的中心儲(chǔ)存庫比如PACS中，在這里需要數(shù)據(jù)一直保持不被破壞和修改。利用本發(fā)明和這里所述的信息存儲(chǔ)子系統(tǒng)，如前所述，通過提供專用于投影存儲(chǔ)和分析有關(guān)數(shù)據(jù)的新數(shù)據(jù)庫，病人有關(guān)數(shù)據(jù)將保持不被修改，并且將被保持于它的當(dāng)前存儲(chǔ)介質(zhì)中。在優(yōu)選實(shí)施例中，當(dāng)打開現(xiàn)有投影時(shí)，在對(duì)于用戶數(shù)據(jù)庫獲得肯定認(rèn)證之后，從投影數(shù)據(jù)庫中收集投影數(shù)據(jù)，并且如果需要，有關(guān)3D圖形數(shù)據(jù)對(duì)象的工作副本是從適當(dāng)?shù)臄?shù)據(jù)庫中收集的，并且被傳送到用戶的本地系統(tǒng)。該投影數(shù)據(jù)含有所有必須信息，用以打開進(jìn)行之中的分析投影或者已完成的分析投影。這允許用戶察看關(guān)聯(lián)的EGO網(wǎng)絡(luò)和關(guān)聯(lián)的多媒體數(shù)據(jù)；視圖、場(chǎng)景和感興趣的區(qū)域的任何事例；以及本發(fā)明中所述的任何其他信息，而無需修改原始的源3D圖形數(shù)據(jù)對(duì)象。例如，這允許隨后的分析過程(比如診斷過程)，以動(dòng)態(tài)檢查所提議的分析，并且允許用戶通過明確選擇感興趣的視圖/場(chǎng)景，并且隨后修改該視圖、場(chǎng)景、分段參數(shù)和/或算法來確認(rèn)分析，而無需重復(fù)用以產(chǎn)生當(dāng)前視圖的整個(gè)過程。
這種在信息上的動(dòng)態(tài)返回的重要方面是一種能力，即能夠訪問用以產(chǎn)生最終視圖/場(chǎng)景的處理步驟/操作。這些處理步驟可以是各種性質(zhì)，比如(非限制性)圖像處理操作(亮度、對(duì)比度、閾值調(diào)節(jié))、體積操縱(旋轉(zhuǎn)、平移、比例縮放、切片)、渲染操作(網(wǎng)格渲染、體元渲染等)以及專門的圖像分段操作。該分段算法在具體實(shí)施例中可用于血管動(dòng)脈瘤的自動(dòng)化分段。
通過訪問先前步驟，用戶能夠有效地確認(rèn)當(dāng)前視圖的有效性和相關(guān)性，出于診斷目的，該當(dāng)前視圖已在臨床放射醫(yī)學(xué)背景中選定。利用該系統(tǒng)，用戶能夠隨時(shí)修改當(dāng)前視圖/場(chǎng)景，并且應(yīng)用新的處理操作以導(dǎo)出新視圖/場(chǎng)景。
如上所述，為了允許對(duì)于信息的有效動(dòng)態(tài)返回，以及無縫的專家-分析-過程跟蹤，該系統(tǒng)自動(dòng)創(chuàng)建和保存“過程歷史”，該歷史對(duì)應(yīng)用于當(dāng)前多維圖像的每個(gè)操作進(jìn)行跟蹤。與所進(jìn)行的操作相關(guān)聯(lián)的每個(gè)參數(shù)被保存于有組織的數(shù)據(jù)結(jié)構(gòu)中。該數(shù)據(jù)結(jié)構(gòu)將進(jìn)行這些操作的次序考慮在內(nèi)，并且允許修改任何節(jié)點(diǎn)。在具體實(shí)施例中，該數(shù)據(jù)結(jié)構(gòu)是鏈接的列表，該列表的每個(gè)節(jié)點(diǎn)在這里能夠指向任何給定數(shù)量的節(jié)點(diǎn)或任何數(shù)量的鏈接列表。
圖11概括了對(duì)于信息的返回步驟。在步驟110中顯示3D圖像，在步驟112中操縱該圖像，在步驟113中保存該過程歷史。在步驟114中保存最終視圖，在步驟116中創(chuàng)建可視提示(cue)。該可視提示能夠在步驟117終被激活以檢查3D數(shù)據(jù)，能夠在步驟118中檢查中間視圖，能夠在步驟119中確認(rèn)最終視圖。
圖12示出了該數(shù)據(jù)結(jié)構(gòu)對(duì)于檢查和修改當(dāng)前操作歷史的有效性。該數(shù)據(jù)結(jié)構(gòu)還提供了直接指向?qū)ο蟮目赡苄?，該?duì)象位于易失性存儲(chǔ)器(RAM)中或永久性物理存儲(chǔ)介質(zhì)上，其存儲(chǔ)與當(dāng)前節(jié)點(diǎn)的場(chǎng)景/視圖相關(guān)聯(lián)的具體參數(shù)。在這種方式下，通過簡(jiǎn)單地存取這些參數(shù)和相應(yīng)地構(gòu)建場(chǎng)景/視圖，能夠容易地實(shí)時(shí)產(chǎn)生具體的場(chǎng)景/視圖。當(dāng)用戶檢查現(xiàn)有的處理記錄并且修改任何給定場(chǎng)景/視圖時(shí)，在進(jìn)行過修改的點(diǎn)處將創(chuàng)建新的過程歷史分支。在具體實(shí)施例中，由軟件對(duì)象組成的鏈接列表會(huì)按照對(duì)象狀態(tài)被保存于永久性存儲(chǔ)介質(zhì)上。這允許對(duì)信息的后續(xù)動(dòng)態(tài)返回，具有場(chǎng)景/視圖檢查和修改的可能性。該信息一直關(guān)聯(lián)于具體的分析投影文件，該文件保存任何相應(yīng)的信息。該存儲(chǔ)可以在典型的計(jì)算機(jī)硬驅(qū)動(dòng)上或者在遠(yuǎn)程歸檔系統(tǒng)、服務(wù)器或數(shù)據(jù)庫上。
數(shù)據(jù)挖掘在本發(fā)明的優(yōu)選實(shí)施例中，這里所述的信息存儲(chǔ)子系統(tǒng)允許用戶或自動(dòng)化系統(tǒng)智能地搜索和挖掘多個(gè)本地和/或遠(yuǎn)程數(shù)據(jù)庫中所含的信息。當(dāng)這些數(shù)據(jù)庫包含廣泛信息時(shí)，以定量和定性的方式，比如通過挖掘任何EGO中所含的具體關(guān)鍵詞以及與其他EGO之間關(guān)聯(lián)的類型，用戶可在其能夠訪問的數(shù)據(jù)庫中搜尋與當(dāng)前分析投影有關(guān)的信息。通過搜索或者通過在涉及圖像的EGO的網(wǎng)絡(luò)中導(dǎo)航，用戶還可參照預(yù)先存儲(chǔ)的這些圖像。利用這里所述的存儲(chǔ)子系統(tǒng)，專門的數(shù)據(jù)挖掘系統(tǒng)通過挖掘圖像及其所含結(jié)構(gòu)、多個(gè)EGO及其內(nèi)容與關(guān)聯(lián)性、以及任何其他信息資源，能夠找到復(fù)雜的關(guān)系和圖案。
在該搜索期間所識(shí)別的EGO能夠被選擇和顯示于它們的關(guān)聯(lián)視圖之內(nèi)。
基于可用的數(shù)據(jù)和這里所述的注釋機(jī)構(gòu)，本發(fā)明向用戶提供這樣的可能性，關(guān)聯(lián)于一個(gè)或多個(gè)分析投影，對(duì)于定量和定性數(shù)據(jù)進(jìn)行搜索和數(shù)據(jù)挖掘。
文本數(shù)據(jù)挖掘需要用戶指定關(guān)鍵詞，將在含有每個(gè)EGO的文本注釋的數(shù)據(jù)庫中搜尋該關(guān)鍵詞。該挖掘概念本身是直截了當(dāng)?shù)?，因?yàn)樗鼉H需要搜尋數(shù)據(jù)庫中的關(guān)鍵詞(利用標(biāo)準(zhǔn)的數(shù)據(jù)庫查詢)。但是如下概念是創(chuàng)新的注釋圖像，然后搜尋存在于背景注釋中的關(guān)鍵詞，隨后具有這樣的可能性，在該3D圖像背景本身之內(nèi)，察看含有該關(guān)鍵詞的注釋。在本發(fā)明的實(shí)施例中，注釋和背景檢查過程的數(shù)據(jù)挖掘包括如下步驟■具體關(guān)鍵詞被輸入到該系統(tǒng)的數(shù)據(jù)挖掘用戶接口；■用戶接口將事件調(diào)度(dispatch)到挖掘組件；■該挖掘組件搜索指定數(shù)據(jù)庫以尋找指定關(guān)鍵詞；■可視管理器顯示一系列F-EGO，這些F-EGO被鏈接到含有該指定關(guān)鍵詞的實(shí)際EGO；■用戶激活所選F-EGO，該F-EGO在適當(dāng)?shù)囊晥D中顯示鏈接EGO的關(guān)聯(lián)3D圖像，這允許同時(shí)可視化EGO及其關(guān)聯(lián)圖像視圖；■EGO的文本注釋被顯示給用戶。
基于所開發(fā)的數(shù)據(jù)結(jié)構(gòu)和這里所述發(fā)明的數(shù)據(jù)庫類型，每個(gè)EGO直接關(guān)聯(lián)于它的多媒體內(nèi)容、它的有關(guān)投影，并且包含鏈接數(shù)據(jù)，該鏈接數(shù)據(jù)揭示了具體EGO關(guān)聯(lián)于哪個(gè)其他EGO以及關(guān)聯(lián)類型。因此，該可視管理器具有用以顯示所找到的EGO時(shí)所需的所有信息。第一級(jí)可視表示是在主要顯示中描繪F-EGO。這些F-EGO是可視的標(biāo)記，這些標(biāo)記直接地鏈接到位于當(dāng)前或外部3D圖像中的實(shí)際EGO。在這種方式下，為了在其圖像背景中顯示具體的EGO，僅簡(jiǎn)單地需要用戶利用(例如)指示裝置點(diǎn)擊F-EGO的可視表示來激活F-EGO。一旦被激活，如果該系統(tǒng)位于當(dāng)前投影之外，則加載相應(yīng)的投影和圖像，并且在與所考慮的EGO相關(guān)聯(lián)的視圖中顯示圖像。為此，該系統(tǒng)讀取EGO關(guān)聯(lián)數(shù)據(jù)，該數(shù)據(jù)保持具體的察看參數(shù)，比如圖像處理操作和圖像定向。這時(shí)，該主要顯示現(xiàn)在含有所考慮3D圖像的視圖以及EGO的關(guān)聯(lián)網(wǎng)絡(luò)。如果新選擇的EGO關(guān)聯(lián)于多個(gè)EGO，則這些關(guān)聯(lián)鏈接也將被顯示。新的F-EGO也將被描繪，這允許用戶在先前視圖或投影中返回。
該挖掘組件允許用戶在外部投影以及含有EGO關(guān)聯(lián)信息的本地或遠(yuǎn)程數(shù)據(jù)庫中，搜尋當(dāng)前場(chǎng)景/投影的EGO中所含的關(guān)鍵詞。這向用戶提供了對(duì)于數(shù)據(jù)挖掘過程特性的高度控制。
除了基于關(guān)鍵詞的注釋數(shù)據(jù)挖掘之外，這里所述的本發(fā)明提供了這樣的可能性基于它們的關(guān)聯(lián)對(duì)象形態(tài)來挖掘注釋，以及自動(dòng)發(fā)現(xiàn)反復(fù)出現(xiàn)或類似的圖像處理協(xié)議。
通過利用分段算法，能夠?qū)崿F(xiàn)面向形態(tài)(morphology-oriented)的數(shù)據(jù)挖掘，以提取具體的對(duì)象和計(jì)算它們的形態(tài)。在注釋過程期間，變得能夠?qū)GO明確關(guān)聯(lián)于分段的對(duì)象。由此，所考慮的EGO與多媒體信息之外的對(duì)象屬性相關(guān)聯(lián)。為了將該EGO關(guān)聯(lián)于該對(duì)象，用戶簡(jiǎn)單地需要將EGO錨定于對(duì)象。該過程基于這里所述的自動(dòng)對(duì)齊算法，這里EGO被自動(dòng)關(guān)聯(lián)于橫穿網(wǎng)格表面。在數(shù)據(jù)挖掘過程的期間，用戶因而能夠搜尋與具體形態(tài)(體積、直徑、表面……)的對(duì)象相關(guān)聯(lián)的EGO。例如，用戶可搜尋具有大于指定值的關(guān)聯(lián)形態(tài)體積的每個(gè)EGO。該注釋機(jī)制還提供這樣的可能性，將感興趣的3D區(qū)域自動(dòng)關(guān)聯(lián)于具體EGO。所選感興趣的區(qū)域也可用于面向形態(tài)的數(shù)據(jù)挖掘，這與利用自動(dòng)分段算法而獲得感興趣的區(qū)域相反。
通過在其最佳視圖中可視化所考慮的圖像，該形態(tài)數(shù)據(jù)挖掘允許用戶可視地欣賞數(shù)據(jù)挖掘結(jié)果，與簡(jiǎn)單地檢查定量數(shù)據(jù)挖掘結(jié)果相反。在可以利用自動(dòng)化的圖像分段和注釋的實(shí)施例中，這里所述的數(shù)據(jù)挖掘系統(tǒng)在臨床背景中具有很大價(jià)值專門醫(yī)師可批處理一系列圖像而無需用戶干預(yù)，這允許有效的預(yù)處理和預(yù)分析。例如，該自動(dòng)化的分段算法識(shí)別可能的動(dòng)脈瘤并且分段這些結(jié)構(gòu)。自動(dòng)化的注釋系統(tǒng)隨后利用該信息，這里EGO位于分段結(jié)構(gòu)的附近，關(guān)聯(lián)信息被自動(dòng)產(chǎn)生。這些EGO關(guān)聯(lián)于分段結(jié)構(gòu)、文本信息、以及所產(chǎn)生的視圖，用于允許這些EGO及其關(guān)聯(lián)結(jié)構(gòu)的有效可視化。跟隨該自動(dòng)化的過程，專門醫(yī)師可查詢?cè)撓到y(tǒng)，以可視化具體的臨床病例。例如，專門醫(yī)師可決定首先察看和檢閱關(guān)鍵病例，專門醫(yī)師在這種情況下可使用該數(shù)據(jù)挖掘系統(tǒng)，以發(fā)現(xiàn)含有特定臨界體積的動(dòng)脈瘤的圖像。該數(shù)據(jù)挖掘結(jié)果將向用戶顯示可被激活的一系列EGO，以察看它們的關(guān)聯(lián)圖像和內(nèi)容。
操作流程的實(shí)施例如下所述■具體的形態(tài)參數(shù)被輸入到該系統(tǒng)的數(shù)據(jù)挖掘用戶接口；■該用戶接口將事件分配到挖掘組件；■該挖掘組件搜索指定數(shù)據(jù)庫以尋找EGO，這些EGO具有相似形態(tài)的感興趣的關(guān)聯(lián)區(qū)域；■該可視管理器顯示一系列F-EGO，這些F-EGO被鏈接到含有指定關(guān)鍵詞的實(shí)際EGO；■用戶激活所選F-EGO，該F-EGO在適當(dāng)?shù)囊晥D中顯示鏈接的EGO關(guān)聯(lián)3D圖像，這其允許同時(shí)可視化EGO及其關(guān)聯(lián)圖像視圖。
協(xié)議數(shù)據(jù)挖掘圖像處理協(xié)議在醫(yī)學(xué)成像領(lǐng)域中具有重要價(jià)值，標(biāo)準(zhǔn)化的過程在這里可應(yīng)用于分析具體的圖像形態(tài)和解剖區(qū)域。當(dāng)無有效的自動(dòng)化分段方法可用時(shí)，或者當(dāng)需要專門醫(yī)師進(jìn)行手動(dòng)圖像分析和處理時(shí)，圖像處理協(xié)議提供標(biāo)準(zhǔn)化的方法。這些協(xié)議大多經(jīng)過“試錯(cuò)”試驗(yàn)(易于出錯(cuò)和耗時(shí)的過程)被共同定義。一般通過出版物和科學(xué)評(píng)論集，在團(tuán)體中與其他專門醫(yī)師共享新定義和有效協(xié)議。因此，新協(xié)議的共享是低效率和嚴(yán)守時(shí)刻的。此外，隨著圖像的分辨率和范圍增大，這些協(xié)議變得更復(fù)雜，甚至更難以在團(tuán)體之內(nèi)共享。本發(fā)明的方法提供了一種新穎的機(jī)制，用以對(duì)于任何類型的圖像形態(tài)和解剖結(jié)構(gòu)進(jìn)行復(fù)雜圖像處理協(xié)議的有效發(fā)現(xiàn)和共享。如上所述，本發(fā)明的該系統(tǒng)記錄操作和注釋的歷史，這提供了挖掘這些用戶定義操作的可能性。例如，為了獲得具體結(jié)構(gòu)的手動(dòng)分段，用戶可能已經(jīng)利用了各種圖像處理操作，比如閾值、形態(tài)操作和可視化和渲染屬性的修改。這些產(chǎn)生圖像最終視圖的中間操作被系統(tǒng)自動(dòng)記錄，并且作為整體，形成具體協(xié)議?；谠撔畔?，該系統(tǒng)變得能夠挖掘反復(fù)出現(xiàn)和相似的圖像處理協(xié)議。在該背景中，用戶例如能夠簡(jiǎn)單地選擇現(xiàn)有協(xié)議和挖掘相似協(xié)議。該數(shù)據(jù)挖掘系統(tǒng)接受輸入的各種步驟(形成該協(xié)議)并且搜索數(shù)據(jù)庫中所保存的各種歷史。可指定相似性判據(jù)，例如用戶在這里定義了相似協(xié)議應(yīng)當(dāng)具有不超過2個(gè)的不同操作。該具體類型的挖掘允許用戶驗(yàn)證，該具體協(xié)議是否也已經(jīng)被用于其他專門醫(yī)師的相同應(yīng)用，因此提供了特定水平的質(zhì)量保證。在另一實(shí)施例中，用戶能夠簡(jiǎn)單搜尋非具體的反復(fù)協(xié)議，在這種情況下，該數(shù)據(jù)挖掘系統(tǒng)徹底搜索操作歷史，以識(shí)別具有相似操作的歷史。通過向該系統(tǒng)指明形態(tài)判據(jù)，進(jìn)一步專門化這類數(shù)據(jù)挖掘，在這里還需要相似歷史具有相似的最終分段的對(duì)象形態(tài)。例如，這些操作應(yīng)當(dāng)產(chǎn)生有點(diǎn)球形的對(duì)象。該形態(tài)判據(jù)能夠基于諸如(但不限于)長(zhǎng)/短直徑、一致性(coherence)、體積和密度等參數(shù)。當(dāng)圖像處理操作的歷史簡(jiǎn)單地由進(jìn)行過的處理操作的類型和關(guān)聯(lián)參數(shù)組成時(shí)，所發(fā)現(xiàn)的協(xié)議能夠被直接地應(yīng)用于新圖像，按照這些操作系列產(chǎn)生圖像的視圖。
操作流程的實(shí)施例如下■具體形態(tài)參數(shù)和/或操作的序列被輸入到該系統(tǒng)的數(shù)據(jù)挖掘用戶接口；■該用戶接口將事件調(diào)度到挖掘組件；■該挖掘組件搜索指定數(shù)據(jù)庫，以尋找操作的相似歷史和/或形態(tài)參數(shù)；■可視管理器顯示所找到的操作歷史的列表；■用戶選擇感興趣的操作的具體歷史；■顯示該操作序列；■一旦激活，則按照歷史修改圖像。
盡管已經(jīng)結(jié)合具體實(shí)施例描述了本發(fā)明，但是應(yīng)當(dāng)理解，能夠進(jìn)一步修改，并且本申請(qǐng)旨在覆蓋本發(fā)明的任何變化、使用或改型，這些變化、使用或改型一般遵循本發(fā)明的原理，并且包括從當(dāng)前公開中的脫離，因?yàn)樗鼈兟淙氡景l(fā)明所涉及的現(xiàn)有技術(shù)領(lǐng)域之內(nèi)的公知或習(xí)慣實(shí)踐之中，可應(yīng)用于前述實(shí)質(zhì)性特征，并且落入所附權(quán)利要求書的范圍中。
權(quán)利要求
1.一種用于注釋3D圖形數(shù)據(jù)對(duì)象的方法，該方法包括識(shí)別所述圖形數(shù)據(jù)對(duì)象的至少一個(gè)空間位置或區(qū)域；提供與所述至少一個(gè)空間位置或區(qū)域相關(guān)聯(lián)的注釋信息，所述至少一個(gè)空間位置或區(qū)域和所述關(guān)聯(lián)注釋信息形成嵌入圖形對(duì)象(EGO)；以及定義所述圖形數(shù)據(jù)對(duì)象的視圖；產(chǎn)生所述圖形數(shù)據(jù)對(duì)象的所述視圖的顯示和所述預(yù)期視圖之內(nèi)的至少一些所述EGO的顯示。
2.如權(quán)利要求1所述的方法，其中所述EGO還包括定義所述EGO之間關(guān)系的關(guān)聯(lián)鏈接數(shù)據(jù)，所述EGO形成網(wǎng)絡(luò)，所述產(chǎn)生步驟包括，選擇將被包含于所述顯示中的所述EGO，作為所述關(guān)聯(lián)鏈接數(shù)據(jù)的功能。
3.如權(quán)利要求1或2所述的方法，其中所述網(wǎng)絡(luò)還包括外部3D圖形數(shù)據(jù)對(duì)象中所涉及的至少一個(gè)EGO。
4.如權(quán)利要求1、2或3所述的方法，其中所述EGO之間的所述關(guān)系是分等級(jí)的。
5.如權(quán)利要求4所述的方法，其中所述關(guān)系與尺度關(guān)聯(lián)，由此同一等級(jí)水平的EGO基本與同一尺度有關(guān)，子EGO與它們的父EGO相比，與更低的尺度有關(guān)。
6.如權(quán)利要求4所述的方法，其中所述關(guān)系與局部細(xì)節(jié)水平關(guān)聯(lián)，由此子EGO象它們的父EGO那樣，提供關(guān)于所述對(duì)象的相似但更具體的信息。
7.如權(quán)利要求4、5或6所述的方法，還包括向用戶提供與所述視圖中所示的至少一個(gè)所述EGO有關(guān)的關(guān)于父和子EGO的信息，以及接收所述有關(guān)的EGO之一的用戶選擇，所述顯示中將包含的所述至少一些所述EGO被重新確定為所述用戶選擇的函數(shù)。
8.如權(quán)利要求2或3所述的方法，還包括向用戶提供與所述視圖中所示的至少一個(gè)所述EGO有關(guān)的關(guān)于EGO的信息，以及接收所述有關(guān)的EGO之一的用戶選擇，所述顯示中將包含的所述至少一些所述EGO被重新確定為所述用戶選擇的函數(shù)。
9.如權(quán)利要求1至8任一項(xiàng)所述的方法，其中所述EGO還包括數(shù)據(jù)，該數(shù)據(jù)表示用以產(chǎn)生所述視圖的對(duì)象編輯操作的歷史，所述操作歷史包括一個(gè)或多個(gè)步驟，每個(gè)所述步驟生成中間視圖。
10.如權(quán)利要求9所述的方法，其中所述產(chǎn)生包括產(chǎn)生所述中間視圖的所述一個(gè)。
11.如權(quán)利要求10所述的方法，其中具有所述歷史數(shù)據(jù)的多個(gè)所述EGO之一的用戶選擇自動(dòng)使得至少一個(gè)所述編輯操作應(yīng)用于所述圖形數(shù)據(jù)對(duì)象。
12.如權(quán)利要求10所述的方法，其中編輯模塊被設(shè)置用于允許用戶編輯所述對(duì)象編輯操作的歷史，并且如用戶所編輯的所述歷史數(shù)據(jù)與所述EGO相關(guān)聯(lián)。
13.如權(quán)利要求10、11或12所述的方法，其中所述EGO包括數(shù)據(jù)，該數(shù)據(jù)表示對(duì)象編輯操作的多個(gè)歷史，按照用戶所選擇的所述歷史之一，產(chǎn)生所述視圖。
14.如權(quán)利要求1至13任一項(xiàng)所述的方法，還包括定義數(shù)據(jù)挖掘搜索判據(jù)；搜索含有所述EGO的一個(gè)或多個(gè)數(shù)據(jù)庫以尋找所述判據(jù)；選擇在所述搜索中所發(fā)現(xiàn)的至少一個(gè)EGO；以及產(chǎn)生所述視圖和所選EGO的顯示。
15.如權(quán)利要求14所述的方法，還包括在所述產(chǎn)生步驟之前，確定所選EGO的所述對(duì)象的合適視圖。
16.如權(quán)利要求15所述的方法，其中所述數(shù)據(jù)挖掘判據(jù)是關(guān)鍵詞。
17.如權(quán)利要求15所述的方法，其中所述數(shù)據(jù)挖掘判據(jù)是形態(tài)參數(shù)。
18.如權(quán)利要求15所述的方法，其中所述數(shù)據(jù)挖掘判據(jù)是圖像處理協(xié)議，所述圖像處理協(xié)議與圖像處理操作和形態(tài)參數(shù)相關(guān)聯(lián)。
19.如權(quán)利要求1所述的方法，其中所述識(shí)別步驟包括利用自動(dòng)化的分段算法，自動(dòng)地識(shí)別所述一個(gè)或多個(gè)空間位置或區(qū)域。
20.如權(quán)利要求1的方法，其中所述識(shí)別步驟包括交互地定義該顯示中的輪廓，所述輪廓定義感興趣的投影區(qū)域；在3D空間中自動(dòng)地延伸所述輪廓；通過修剪橫穿輪廓和所述3D圖形數(shù)據(jù)對(duì)象，自動(dòng)定義感興趣的3D區(qū)域。
21.如權(quán)利要求19或20所述的方法，還包括通過所述自動(dòng)化的分段算法，自動(dòng)地提供定量和定性的注釋信息。
22.如權(quán)利要求2所述的方法，還包括利用自動(dòng)化的鏈接算法，自動(dòng)地定義所述關(guān)聯(lián)鏈接數(shù)據(jù)。
23.如權(quán)利要求22所述的方法，其中所述自動(dòng)化的鏈接算法基于距離判據(jù)，定義所述關(guān)聯(lián)鏈接數(shù)據(jù)。
24.如權(quán)利要求1所述的方法，還包括向用戶提供工具，以定義所述3D圖形數(shù)據(jù)對(duì)象的所述視圖。
25.如權(quán)利要求24所述的方法，其中所述工具允許所述用戶選擇一個(gè)或多個(gè)所述EGO，其信息將顯示給所述用戶。
26.如權(quán)利要求25所述的方法，其中所述工具允許所述用戶為截面選擇空間位置，所述視圖是關(guān)于所述截面的所述3D圖形數(shù)據(jù)對(duì)象的切開視圖。
27.如權(quán)利要求26所述的方法，其中所述截面是用戶定義的非平坦3D表面。
28.如權(quán)利要求1所述的方法，其中所述信息收集步驟還包括定義至少一個(gè)EGO，該EGO不附著于所述3D圖形數(shù)據(jù)對(duì)象之內(nèi)的位置。
29.如權(quán)利要求1所述的方法，其中所述顯示產(chǎn)生步驟包括選擇所述3D圖形數(shù)據(jù)對(duì)象中所涉及的多個(gè)EGO；定義與所述3D圖形數(shù)據(jù)對(duì)象和所述多個(gè)EGO有關(guān)和優(yōu)化的非平坦3D表面；按照所述3D表面和所述3D圖形數(shù)據(jù)對(duì)象的函數(shù)，確定2D圖像數(shù)據(jù)；以及以所述3D圖形數(shù)據(jù)對(duì)象為背景，顯示所述2D圖像數(shù)據(jù)的視圖。
30.如權(quán)利要求1所述的方法，其中所述顯示產(chǎn)生步驟包括選擇所述3D圖形數(shù)據(jù)對(duì)象中所涉及的多個(gè)EGO；定義與所述3D圖形數(shù)據(jù)對(duì)象和所述多個(gè)EGO有關(guān)和優(yōu)化的非平坦3D表面，所述表面橫穿所述3D圖形數(shù)據(jù)對(duì)象；顯示所述3D圖形數(shù)據(jù)對(duì)象的視圖，所述視圖是關(guān)于所述表面的所述3D圖形對(duì)象的切開視圖。
31.一種計(jì)算機(jī)可讀存儲(chǔ)器，用于存儲(chǔ)可編程指令，所述指令用于在計(jì)算機(jī)中執(zhí)行權(quán)利要求1至30任一項(xiàng)的方法。
32.一種用于顯示3D圖形數(shù)據(jù)對(duì)象的方法，該方法包括通過在3D方向上操作，以確定在所述圖形數(shù)據(jù)對(duì)象之內(nèi)的3D對(duì)象，定義與所述3D圖形數(shù)據(jù)對(duì)象有關(guān)的非平坦3D表面；以及以所述3D圖形數(shù)據(jù)對(duì)象為背景，產(chǎn)生所述3D表面的視圖的顯示。
33.如權(quán)利要求32所述的方法，還包括按照所述3D表面和所述3D圖形數(shù)據(jù)對(duì)象的函數(shù)，確定2D圖像數(shù)據(jù)；其中所述視圖是所述2D圖像數(shù)據(jù)在所述3D圖形數(shù)據(jù)對(duì)象的背景中的視圖。
34.如權(quán)利要求27、32或33所述的方法，其中所述定義所述非平坦3D表面包括提供工具，以在3D空間中選擇和移動(dòng)表面的控制點(diǎn)。
35.如權(quán)利要求33所述的方法，其中所述確定所述2D圖像數(shù)據(jù)包括為所述3D表面與所述3D圖形數(shù)據(jù)對(duì)象的交叉，確定體元值。
36.如權(quán)利要求35所述的方法，其中所述2D圖像數(shù)據(jù)連同與所述2D圖像視圖上的所選位置的3D坐標(biāo)有關(guān)的信息一起被顯示。
37.如權(quán)利要求36所述的方法，其中所述2D圖像數(shù)據(jù)是所述3D表面的投影視圖。
38.如權(quán)利要求35所述的方法，其中所述2D圖像被處理以增強(qiáng)所述視圖。
39.如權(quán)利要求1所述的方法，其中所述注釋是音頻注釋。
40.如權(quán)利要求1所述的方法，其中通過位于空間位置上的標(biāo)記，關(guān)聯(lián)于所述空間位置的所述EGO被表示于所述視圖中。
41.如權(quán)利要求1所述的方法，其中所述識(shí)別步驟還包括交互地選擇位置，所述位置是2D坐標(biāo)；將所選位置轉(zhuǎn)換為3D坐標(biāo)；自動(dòng)地確定所述3D坐標(biāo)與所述3D圖形數(shù)據(jù)對(duì)象的交叉點(diǎn)；以及其中，關(guān)于所述交叉點(diǎn)，自動(dòng)定位所述EGO。
全文摘要
提供一種用于注釋3D圖形數(shù)據(jù)對(duì)象的方法，該方法包括識(shí)別圖形數(shù)據(jù)對(duì)象的至少一個(gè)空間位置或區(qū)域；提供與至少一個(gè)空間位置或區(qū)域相關(guān)聯(lián)的注釋信息，該至少一個(gè)空間位置或區(qū)域和該關(guān)聯(lián)注釋信息形成嵌入圖形對(duì)象(EGO)；定義圖形數(shù)據(jù)對(duì)象的視圖；產(chǎn)生圖形數(shù)據(jù)對(duì)象的視圖的顯示和至少一些EGO在預(yù)期視圖之內(nèi)的顯示。
文檔編號(hào)G06F3/0481GK1662933SQ03814745
公開日2005年8月31日 申請(qǐng)日期2003年5月26日 優(yōu)先權(quán)日2002年5月24日
發(fā)明者帕特里克·迪布, 亞歷山大·布德羅, 埃里克·富尼耶, 克勞德·考夫曼 申請(qǐng)人:德耐皮克斯情報(bào)圖象公司