本發(fā)明整體而言涉及處理醫(yī)學(xué)圖像的系統(tǒng)和方法，尤其涉及壓縮和/或重建醫(yī)學(xué)圖像的系統(tǒng)和方法。

背景技術(shù)：

1、隨著醫(yī)學(xué)圖像采集和處理技術(shù)的進(jìn)步，3d(三維)醫(yī)學(xué)圖像，如磁共振成像(mri)和計算機(jī)斷層掃描(ct)，在醫(yī)學(xué)診斷[1]-[5]和疾病治療[6]-[8]中變得越來越普遍。與2d(二維)圖像相比，用于診斷應(yīng)用的3d醫(yī)學(xué)圖像的數(shù)據(jù)量急劇增加。因此，為三維醫(yī)學(xué)圖像開發(fā)高效的無損壓縮技術(shù)至關(guān)重要，勢在必行。

2、傳統(tǒng)的無損三維醫(yī)學(xué)圖像壓縮方法可分為兩類：基于三維變換的方法[9]-[12]、和基于序列的方法[13]-[15]。上述的第一類方法采用三維變換，如三維離散余弦變換(dct)和三維離散小波變換(dwt)，來將輸入的三維醫(yī)學(xué)圖像變換為三維系數(shù)。然后通過熵編碼將這些系數(shù)壓縮成比特流。另一方面，基于序列的方法依賴于現(xiàn)成的無損二維壓縮技術(shù)[16]-[21]，對輸入三維圖像的切片進(jìn)行序列編碼，在這其中進(jìn)行內(nèi)部和相互預(yù)測以減少冗余。雖然傳統(tǒng)方法在三維醫(yī)學(xué)圖像壓縮方面顯示出了有效性，但它們在很大程度上依賴于手工制作的組件來減少冗余，這限制了它們對三維醫(yī)學(xué)圖像具體特征的適應(yīng)性，從而阻礙了進(jìn)一步的發(fā)展。

3、深度學(xué)習(xí)技術(shù)的興起推動了對深度無損二維圖像壓縮的研究熱潮，該領(lǐng)域的研究成果[22]-[29]越來越多就是最好的證明。盡管這種經(jīng)過端到端訓(xùn)練的編解碼器(codec)可以單獨(dú)應(yīng)用于三維醫(yī)學(xué)圖像的每個切片，但仍然迫切需要一種能夠減少三維醫(yī)學(xué)圖像切片間冗余的機(jī)制。為解決這一問題，研究人員對三維醫(yī)學(xué)圖像的深度無損壓縮進(jìn)行了初步研究，并提出了幾種利用三維醫(yī)學(xué)圖像特性的方法[30]、[31]。其中，基于序列的方法[30]得益于基于參考的相互編碼理念，即從當(dāng)前切片(如超先驗)和參考切片(如潛在特征)中提取的上下文共同用作熵編碼中概率估計的條件先驗。雖然已經(jīng)取得了可喜的成績，但在生成上下文前置條件時，還是沒有利用三維醫(yī)學(xué)圖像的固有特征，即雙邊相關(guān)性。

4、參考文獻(xiàn)

5、本說明書的全文引用了以下參考文獻(xiàn)，如方括號中的數(shù)字所示。這些參考文獻(xiàn)中的每一篇都通過對其的引用而被完全援引加入到本說明書。

6、[1]p.rajpurkar,e.chen,o.banerjee,and?e.j.topol,“ai?in?health?andmedicine,”nature?medicine,vol.28,no.1,pp.31-38,2022.

7、[2]z.zheng,j.s.lauritzen,e.perlman,c.g.robinson,m.nichols,d.milkie,o.torrens,j.price,c.b.fisher,n.sharifi?et?al.,“a?complete?electron?microscopyvolume?of?the?brain?of?adult?drosophila?melanogaster,”cell,vol.174,no.3,pp.730-743,2018.

8、[3]y.zhang,y.wei,q.wu,p.zhao,s.niu,j.huang,and?m.tan,“collaborativeunsupervised?domain?adaptation?for?medical?image?diagnosis,”ieee?transactionson?image?processing,vol.29,pp.7834-7844,2020.

9、[4]s.zhou,d.nie,e.adeli,j.yin,j.lian,and?d.shen,“high-resolutionencoder-decoder?networks?for?low-contrast?medical?image?segmentation,”ieeetransactions?on?image?processing,vol.29,pp.461-475,2019.

10、[5]w.tang,f.he,y.liu,and?y.duan,“matr：multimodal?medical?image?fusionvia?multiscale?adaptive?transformer,”ieee?transactions?on?image?processing,vol.31,pp.5134–5149,2022.

11、[6]d.zhang,g.huang,q.zhang,j.han,j.han,y.wang,and?y.yu,“exploringtask?structure?for?brain?tumor?segmentation?from?multi-modality?mr?images,”ieee?transactions?on?image?processing,vol.29,pp.9032-9043,2020.

12、[7]a.esteva,a.robicquet,b.ramsundar,v.kuleshov,m.depristo,k.chou,c.cui,g.corrado,s.thrun,and?j.dean,“a?guide?to?deep?learning?in?healthcare,”nature?medicine,vol.25,no.1,pp.24-29,2019.

13、[8]j.ma,h.xu,j.jiang,x.mei,and?x.-p.zhang,“ddcgan：a?dual-discriminator?conditional?generative?adversarial?network?for?multi-resolutionimage?fusion,”ieee?transactions?on?image?processing,vol.29,pp.4980–4995,2020.

14、[9]t.bruylants,p.schelkens,and?a.tzannes,“jp3d-extensions?for?three-dimensional?data(part?10),”in?the?jpeg?2000?suite.wiley-blackwell,2009,pp.199-227.

15、[10]t.bruylants,a.munteanu,and?p.schelkens,“wavelet?based?volumetricmedical?image?compression,”signal?processing：image?communication,vol.31,pp.112–133,2015.

16、[11]l.f.lucas,n.m.rodrigues,l.a.da?silva?cruz,and?s.m.de?faria,“l(fā)ossless?compression?of?medical?images?using?3-d?predictors,”ieeetransactions?on?medical?imaging,vol.36,no.11,pp.2250-2260,2017.

17、[12]d.and?b.zalik,“l(fā)ossless?compression?of?threshold-segmentedmedical?images,”journal?of?medical?systems,vol.36,pp.2349-2357,2012.

18、[13]s.s.parikh,d.ruiz,h.kalva,g.fernandez-escribano,and?v.adzic,“highbit-depth?medical?image?compression?with?hevc,”ieee?journal?of?biomedical?andhealth?informatics,vol.22,no.2,pp.552-560,2017.

19、[14]a.f.guarda,j.m.santos,l.a.da?silva?cruz,p.a.n.m.rodrigues,and?s.m.de?faria,“a?method?to?improve?hevc?lossless?coding?ofvolumetric?medical?images,”signal?processing：image?communication,vol.59,pp.96–104,2017.

20、[15]v.sanchez,r.abugharbieh,and?p.nasiopoulos,“symmetry-basedscalable?lossless?compression?of?3d?medical?image?data,”ieee?transactions?onmedical?imaging,vol.28,no.7,pp.1062-1072,2009.

21、[16]m.j.weinberger,g.seroussi,and?g.sapiro,“the?loco-i?lossless?imagecompression?algorithm：principles?and?standardization?into?jpeg-ls,”ieeetransactions?on?image?processing,vol.9,no.8,pp.1309–1324,2000.

22、[17]a.skodras,c.christopoulos,and?t.ebrahimi,“the?jpeg?2000?stillimage?compression?standard,”ieee?signal?processing?magazine,vol.18,no.5,pp.36-58,2001.

23、[18]f.dufaux,g.j.sullivan,and?t.ebrahimi,“the?jpeg?xr?image?codingstandard,”ieee?signal?processing?magazine,vol.26,no.6,pp.195-204,2009.

24、[19]j.alakuijala,r.van?asseldonk,s.boukortt,m.bruse,i.-m.comsa,m.firsching,t.fischbacher,e.kliuchnikov,s.gomez,r.obryk?et?al.,“jpeg-xl：next-generation?image?compression?architecture?and?coding?tools,”in?proceedings?ofthe?applications?of?digital?image?processing?xlii,2019,pp.112-124.

25、[20]g.j.sullivan,j.-r.ohm,w.-j.han,and?t.wiegand,“overview?of?thehigh?efficiency?video?coding(hevc)standard,”ieee?transactions?on?circuits?andsystems?for?video?technology,vol.22,no.12,pp.1649-1668,2012.

26、[21]b.bross,y.-k.wang,y.ye,s.liu,j.chen,g.j.sullivan,and?j.-r.ohm,“overview?of?the?versatile?video?coding(vvc)standard?and?itsapplications,”ieee?transactions?on?circuits?and?systems?for?video?technology,vol.31,no.10,pp.3736-3764,2021.

27、[22]f.mentzer,e.agustsson,m.tschannen,r.timofte,and?l.v.gool,“practical?full?resolution?learned?lossless?image?compression,”in?proceedingsofthe?ieee/cvf?conference?on?computer?vision?and?pattern?recognition,2019,pp.10?629-10?638.

28、[23]i.schiopu?and?a.munteanu,“deep-learning-based?losslessimagecoding,”ieee?transactions?on?circuits?and?systems?for?video?technology,vol.30,no.7,pp.1829-1842,2019.

29、[24]f.mentzer,l.v.gool,and?m.tschannen,“l(fā)earning?betterlosslesscompression?using?lossy?compression,”in?proceedings?of?the?ieee/cvfconference?on?computer?vision?and?pattern?recognition,2020,pp.6638-6647.

30、[25]h.ma,d.liu,n.yan,h.li,and?f.wu,“end-to-end?optimizedversatileimage?compression?with?wavelet-like?transform,”ieee?transactionson?patternanalysis?and?machine?intelligence,vol.44,no.3,pp.1247-1263,2020.

31、[26]y.bai,x.liu,w.zuo,y.wang,and?x.ji,“l(fā)earning?scalable?l∞-constrained?near-lossless?image?compression?via?joint?lossy?image?andresidualcompression,”in?proceedings?of?the?ieee/cvf?conference?oncomputervision?and?pattern?recognition,2021,pp.11?946-11?955.

32、[27]n.kang,s.qiu,s.zhang,z.li,and?s.-t.xia,“pilc：practicalimagelossless?compression?with?an?end-to-end?gpu?oriented?neural?framework,”inproceedings?of?the?ieee/cvf?conference?on?computer?vision?andpatternrecognition,2022,pp.3739–3748.

33、[28]s.zhang,c.zhang,n.kang,and?z.li,“ivpf：numerical?invertiblevolumepreserving?flow?for?efficient?lossless?compression,”in?proceedings?oftheieee/cvf?conference?on?computer?vision?and?pattern?recognition,2021,pp.620–629.

34、[29]e.hoogeboom,j.peters,r.van?den?berg,and?m.welling,“integerdiscrete?flows?and?lossless?compression,”in?proceedings?of?theadvances?inneural?information?processing?systems,2019,pp.1-11.

35、[30]z.chen,s.gu,g.lu,and?d.xu,“exploiting?intra-slice?andinter-sliceredundancy?for?learning-based?lossless?volumetric?imagecompression,”ieeetransactions?on?image?processing,vol.31,pp.1697-1707,2022.

36、[31]d.xue,h.ma,l.li,d.liu,and?z.xiong,“ai?wave：volumetricimagecompression?with?3-d?trained?affine?wavelet-like?transform,”ieeetransactionson?medical?imaging,vol.42,no.3,pp.606–618,2022.

37、[32]n.bien,p.rajpurkar,r.l.ball,j.irvin,a.park,e.jones,m.bereket,b.n.patel,k.w.yeom,k.shpanskaya?et?al.,“deep-learning-assisted?diagnosis?forknee?magnetic?resonance?imaging：development?andretrospective?validation?of?mrnet,”plos?medicine,vol.15,no.11,pp.1-19,2018.

38、[33]j.sneyers?and?p.wuille,“flif：free?lossless?image?format?basedonmaniac?compression,”in?proceedings?of?the?ieee?international?conferenceonimage?processing,2016,pp.66–70.

39、[34]d.s.taubman?and?m.w.marcellin,“jpeg2000：standard?forinteractiveimaging,”proceedings?of?the?ieee,vol.90,no.8,pp.1336–1357,2002.

40、[35]d.taubman,“high?performance?scalable?image?compressionwithebcot,”ieee?transactions?on?image?processing,vol.9,no.7,pp.1158-1170,2000.

41、[36]z.pan,w.yu,j.lei,n.ling,and?s.kwong,“tsan：synthesizedview?qualityenhancement?via?two-stream?attention?network?for?3d-hevc,”ieee?transactionson?circuits?and?systems?for?video?technology,vol.32,no.1,pp.345–358,2021.

42、[37]h.liu,y.zhang,h.zhang,c.fan,s.kwong,c.-c.j.kuo,and?x.fan,“deeplearning-based?picture-wise?just?noticeable?distortion?predictionmodel?forimage?compression,”ieee?transactions?on?image?processing,vol.29,pp.641-656,2019.

43、[38]x.liu,y.zhang,s.hu,s.kwong,c.-c.j.kuo,and?q.peng,“subjective?andobjective?video?quality?assessment?of?3d?synthesized?viewswith?texture/depthcompression?distortion,”ieee?transactions?on?imageprocessing,vol.24,no.12,pp.4847-4861,2015.

44、[39]z.ni,w.yang,s.wang,l.ma,and?s.kwong,“towardsunsupervised?deepimage?enhancement?with?generative?adversarial?network,”ieee?transactions?onimage?processing,vol.29,pp.9140-9151,2020.

45、[40]h.yuan,s.kwong,j.liu,and?j.sun,“anovel?distortion?modelandlagrangian?multiplier?for?depth?maps?coding,”ieee?transactions?oncircuitsand?systems?for?video?technology,vol.24,no.3,pp.443-451,2013.

46、[41]g.lu,w.ouyang,d.xu,x.zhang,c.cai,and?z.gao,“dvc：anend-to-end?deepvideo?compression?framework,”in?proceedings?of?theieee/cvf?conference?oncomputer?vision?and?pattern?recognition,2019,pp.11?006–11?015.

47、[42]z.hu,g.lu,and?d.xu,“fvc：anew?framework?towards?deepvideocompression?in?feature?space,”in?proceedings?of?the?ieee/cvfconference?oncomputer?vision?and?pattern?recognition,2021,pp.1502–1511.

48、[43]j.li,b.li,and?y.lu,“deep?contextual?video?compression,”inproceedings?of?the?advances?in?neural?information?processing?systems,2021,pp.18?114-18?125.

49、[44]a.djelouah,j.campos,s.schaub-meyer,and?c.schroers,“neuralinter-frame?compression?for?video?coding,”in?proceedings?of?the?ieee/cvfinternational?conference?on?computer?vision,2019,pp.6421-6429.

50、[45]z.chen,g.lu,z.hu,s.liu,w.jiang,and?d.xu,“l(fā)svc：alearning-basedstereo?video?compression?framework,”in?proceedings?of?theieee/cvf?conferenceon?computer?vision?and?pattern?recognition,2022,pp.6073–6082.

51、[46]d.alexandre,h.-m.hang,and?w.-h.peng,“hierarchical?b-framevideocoding?using?two-layer?canf?without?motion?coding,”in?proceedings?ofthe?ieee/cvf?conference?on?computer?vision?and?pattern?recognition,2023,pp.10?249-10258.

52、[47]m.a.y1lmaz?and?a.m.tekalp,“end-to-end?rate-distortionoptimizedlearned?hierarchical?bi-directional?video?compression,”ieeetransactions?onimage?processing,vol.31,pp.974-983,2021.

53、[48]h.liu,m.lu,z.ma,f.wang,z.xie,x.cao,and?y.wang,“neuralvideo?codingusing?multiscale?motion?compensation?and?spatiotemporal?contextmodel,”ieeetransactions?on?circuits?and?systems?for?video?technology,vol.31,no.8,pp.3182-3196,2020.

54、[49]h.liu,m.lu,z.chen,x.cao,z.ma,and?y.wang,“end-to-endneural?videocoding?using?a?compound?spatiotemporal?representation,”ieeetransactions?oncircuits?and?systems?for?video?technology,vol.32,no.8,pp.5650-5662,2022.

55、[50]z.hu,z.chen,d.xu,g.lu,w.ouyang,and?s.gu,“improvingdeep?videocompression?by?resolution-adaptive?flow?coding,”in?proceedings?ofthe?europeanconference?on?computer?vision,2020,pp.193-209.

56、[51]d.jin,j.lei,b.peng,z.pan,l.li,and?n.ling,“l(fā)earned?videocom-pression?with?efficient?temporal?context?learning,”ieee?transactions?onimageprocessing,2023,early?access.

57、[52]j.li,b.li,and?y.lu,“neural?video?compression?withdiversecontexts,”in?proceedings?of?the?ieee/cvf?conference?on?computer?visionandpattern?recognition,2023,pp.22?616-22?626.

58、[53]l.qi,j.li,b.li,h.li,and?y.lu,“motion?information?propagationforneural?video?compression,”in?proceedings?of?the?ieee/cvf?conferenceoncomputer?vision?and?pattern?recognition,2023,pp.6111-6120.

59、[54]f.mentzer,g.d.toderici,d.minnen,s.caelles,s.j.hwang,m.lucic,ande.agustsson,“vct：a?video?compression?transformer,”inproceedings?of?theadvances?in?neural?information?processing?systems,2022,pp.13?091–13?103.

60、[55]j.xiang,k.tian,and?j.zhang,“mimt：masked?image?modelingtransformerfor?video?compression,”in?proceedings?of?the?internationalconference?onlearning?representations,2022,pp.1–12.

61、[56]z.chen,l.relic,r.azevedo,y.zhang,m.gross,d.xu,l.zhou,andc.schroers,“neural?video?compression?with?spatiotemporal?cross-covariancetransformers,”in?proceedings?of?the?acm?international?conferenceonmultimedia,2023,pp.8543-8551.

62、[57]j.li,b.li,and?y.lu,“hybrid?spatial-temporal?entropy?modellingforneural?video?compression,”in?proceedings?of?the?acm?internationalconferenceon?multimedia,2022,pp.1503-1511.

63、[58]b.liu,y.chen,r.c.machineni,s.liu,and?h.-s.kim,“mmvc：learnedmulti-mode?video?compression?with?block-based?prediction?modeselection?anddensity-adaptive?entropy?coding,”in?proceedings?of?theieee/cvf?conference?oncomputer?vision?and?pattern?recognition,2023,pp.18?487-18?496.

64、[59]h.guo,s.kwong,d.ye,and?s.wang,“enhanced?context?miningandfiltering?for?learned?video?compression,”ieee?transactions?on?multimedia,2023.

65、[60]h.schwarz,d.marpe,and?t.wiegand,“analysis?of?hierarchicalbpictures?and?mctf,”in?proceedings?of?the?ieee?international?conferenceonmultimedia?and?expo,2006,pp.1929-1932.

66、[61]c.e.shannon,“a?mathematical?theory?of?communication,”thebellsystem?technical?journal,vol.27,no.3,pp.379-423,1948.

67、[62]j.blackburn?and?m.n.do,“two-dimensional?geometric?lifting,”inproceedings?of?the?ieee?international?conference?on?image?processing,2009,pp.3817-3820.

68、[63]a.moffat,r.m.neal,and?i.h.witten,“arithmetic?coding?revisited,”acm?transactions?on?information?systems,vol.16,no.3,pp.256-294,1998.

69、[64]t.fechter?and?d.baltas,“one-shot?learning?for?deformable?medicalimage?registration?and?periodic?motion?tracking,”ieee?transactions?on?medicalimaging,vol.39,no.7,pp.2506-2517,2020.

70、[65]k.s.2019.mader,“trabit2019?imaging?biomarkers,”[online].available：https：//kaggle.com/competitions/trabit2019-imaging-biomarkers

71、[66]s.p.morozov,a.andreychenko,n.pavlov,a.vladzymyrskyy,n.ledikhova,v.gombolevskiy,i.a.blokhin,p.gelezhe,a.gonchar,and?v.y.chernina,“mosmeddata：chest?ct?scans?with?covid-19?related?findings?dataset,”arxiv?preprint?arxiv：2005.06465,pp.1-4,2020.

72、[67]m.jaderberg,k.simonyan,a.zisserman?et?al.,“spatial?transformernetworks,”in?proceedings?of?the?advances?in?neural?information?processingsystems,2015,pp.1-10.

73、[68]a.dosovitskiy,l.beyer,a.kolesnikov,d.weissenborn,x.zhai,t.unterthiner,m.dehghani,m.minderer,g.heigold,s.gelly?et?al.,“an?image?isworth?16x16?words：transformers?for?image?recognition?at?scale,”in?proceedingsof?the?international?conference?on?learning?representations,2021,pp.1-12.

74、[69]z.huang,x.wang,y.wei,l.huang,h.shi,w.liu,and?t.s.huang,“ccnet：criss-cross?attention?for?semantic?segmentation,”ieee?transactions?on?patternanalysis?and?machine?intelligence,vol.45,no.6,pp.6896–6908,2023.

75、[70]k.he,x.zhang,s.ren,and?j.sun,“deep?residual?learning?for?imagerecognition,”in?proceedings?of?the?ieee?conference?on?computer?vision?andpattern?recognition,2016,pp.770-778.

76、[71]a.paszke,s.gross,f.massa,a.lerer,j.bradbury,g.chanan,t.killeen,z.lin,n.gimelshein,l.antiga?et?al.,“pytorch：an?im-perative?style,high-performance?deep?learning?library,”in?proceedings?of?the?advances?in?neuralinformation?processing?systems,2019.

77、[72]m.larobina?and?l.murino,“medical?image?file?formats,”journal?ofdigital?imaging,vol.27,pp.200-206,2014.

78、[73]d.xue,l.li,and?d.liu,“an?end-to-end?3d?biomedical?image?codingscheme?based?on?learning?wavelet?transform,”avsdocument,m7700,2023.

79、[74]g.roelofs,png：the?definitive?guide.o’reilly?media,1999.

80、[75]n.michael,“ffv1?video?codec?specification,”2013.[online].available：https：//www.ffmpeg.org/～michael/ffv1.html

81、[76]j.balle′,v.laparra,and?e.p.simoncelli,“end-to-end?optimized?imagecompression,”in?proceedings?of?the?international?conference?onlearningrepresentations,2017,pp.1-12.

82、[77]a.wieckowski,j.brandenburg,t.hinz,c.bartnik,v.george,g.hege,c.helmrich,a.henkel,c.lehmann,c.stoffers?et?al.,“vvenc：an?open?and?optimizedvvc?encoder?implementation,”in?proceedings?of?the?ieee?internationalconference?on?multimedia&expo?workshops,2021,pp.1-2.

83、[78]a.wieckowski,g.hege,c.bartnik,c.lehmann,c.stoffers,b.bross,andd.marpe,“towards?a?live?software?decoder?implementation?for?the?upcomingversatile?video?coding(vvc)codec,”in?proceedings?of?the?ieee?internationalconference?on?image?processing,2020,pp.3124-3128.

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明在第一個方面提供了一種壓縮三維醫(yī)學(xué)圖像的方法，包括以下步驟：接收三維醫(yī)學(xué)圖像、將該三維醫(yī)學(xué)圖像分割成多個第一切片、通過有損編解碼器將多個第一切片編碼為第一比特流、通過有損編解碼器對第一比特流進(jìn)行解碼以獲得多個第二切片、通過比較多個第一切片和多個第二切片來計算多個殘差、通過無損編解碼器對多個殘差進(jìn)行編碼以獲得多個編碼后(encoded)殘差；以及將第一比特流和多個編碼后殘差作為壓縮圖像數(shù)據(jù)(compressed?image?data)輸出。每個殘差對應(yīng)一個第一切片和一個第二切片；

2、在某些實(shí)施方式中，將三維醫(yī)學(xué)圖像分割成多個第一切片的步驟，還包括沿垂直于分割平面的軸線對三維醫(yī)學(xué)圖像進(jìn)行分割。

3、在某些實(shí)施方式中，有損編解碼器選自由通用視頻編碼vvc、高效視頻編碼hevc、h.264/mpeg-4avc和音頻視頻編碼標(biāo)準(zhǔn)avs組成的組。

4、在某些實(shí)施方式中，在通過無損編解碼器對多個殘差進(jìn)行編碼以獲得多個編碼后殘差的步驟中，多個殘差的編碼是基于切片內(nèi)(intra-slice)雙邊上下文和切片間(inter-slice)雙邊上下文而進(jìn)行的。

5、在某些實(shí)施方式中，通過無損編解碼器對多個殘差進(jìn)行編碼以獲得多個編碼后殘差的步驟，還包括獲取多個殘差中的至少一些的雙向參考；以及從雙向參考和多個第二切片中提取切片間雙邊上下文。

6、在某些實(shí)施方式中，從雙向參考和多個第二切片中提取切片間雙邊上下文的步驟，還包括：將殘差塊應(yīng)用于雙向參考切片以獲得切片間特征、通過雙向交叉注意模塊處理所述切片間特征以生成切片間參考信息、以及進(jìn)一步處理切片間參考信息以獲得切片間雙邊上下文。

7、在某些實(shí)施方式中，進(jìn)一步處理切片間參考信息以獲得切片間雙邊上下文的步驟，還包括對切片間參考信息進(jìn)行歸一化和串聯(lián)(concatenating)，并將切片間參考信息輸入到前饋網(wǎng)絡(luò)以生成切片間雙邊上下文。

8、在某些實(shí)施方式中，通過無損編解碼器對多個殘差進(jìn)行編碼以獲得多個編碼后殘差的步驟，還包括從多個第二切片中提取切片內(nèi)特征；以及通過sice(基于對稱的切片內(nèi)上下文提取)模塊處理切片內(nèi)特征，以生成切片內(nèi)雙邊上下文。

9、在某些實(shí)施方式中，通過sice模塊處理切片內(nèi)特征以生成切片內(nèi)雙邊上下文的步驟，是由sice模塊根據(jù)組織的局部對稱特性進(jìn)行的。

10、在某些實(shí)施方式中，通過sice模塊處理切片內(nèi)特征以生成切片內(nèi)雙邊上下文的步驟，還包括聚合切片內(nèi)特征中的鄰域(neighborhood)信息以獲得局部對稱性。

11、在某些實(shí)施方式中，通過sice模塊處理切片內(nèi)特征以生成切片內(nèi)雙邊上下文的步驟，是由sice模塊根據(jù)人體固有的解剖對稱性進(jìn)行的。

12、在某些實(shí)施方式中，通過sice模塊處理切片內(nèi)特征以生成切片內(nèi)雙邊上下文的步驟，還包括獲取切片內(nèi)特征中的長程(long-range)相關(guān)性以獲得全局對稱性。

13、在某些實(shí)施方式中，將第一比特流和多個編碼后殘差作為壓縮圖像數(shù)據(jù)輸出的步驟，還包括將第一比特流和多個編碼后殘差合并為數(shù)據(jù)文件或數(shù)據(jù)流。

14、在某些實(shí)施方式中，雙向參考是使用分層b(hierarchical-b)編碼結(jié)構(gòu)獲得的。

15、在某些實(shí)施方式中，通過無損編解碼器對多個殘差進(jìn)行編碼以獲得多個編碼后殘差的步驟，還包括根據(jù)切片間雙邊上下文和切片內(nèi)雙邊上下文，對多個殘差中的每一個元素的概率分布進(jìn)行參數(shù)化建模；以及使用基于概率分布的算術(shù)編碼算法對多個殘差進(jìn)行編碼，以生成多個編碼后殘差。

16、根據(jù)本發(fā)明的第二個方面，提供了一種解壓壓縮圖像數(shù)據(jù)以獲取三維醫(yī)學(xué)圖像的方法。該方法包括以下步驟：接收壓縮圖像數(shù)據(jù)、從壓縮圖像數(shù)據(jù)中提取第一比特流和第二比特流、通過無損編解碼器解碼第二比特流得到多個殘差、通過有損編解碼器解碼第一比特流得到多個第二切片、將多個殘差與多個第二切片相加以獲得多個第一切片、以及合并所述多個第一切片以獲得三維醫(yī)學(xué)圖像。對于多個第二切片中的每一個而言，多個殘差中的相應(yīng)的一個殘差與之相加。

17、根據(jù)本發(fā)明的第三個方面，提供了一種用于處理醫(yī)療圖像的系統(tǒng)。該系統(tǒng)包含一個或多個處理器，以及存儲一個或多個程序的存儲器，該一個或多個程序被配置為由一個或多個處理器執(zhí)行，該一個或多個程序包括用于執(zhí)行或促進(jìn)如上所述的壓縮三維醫(yī)學(xué)圖像的方法或解壓壓縮圖像數(shù)據(jù)以獲得三維醫(yī)學(xué)圖像的方法的指令。如上所述。系統(tǒng)可進(jìn)一步包括用于接收用戶輸入的輸入設(shè)備。系統(tǒng)可進(jìn)一步包括用于顯示處理后的圖像和數(shù)據(jù)(例如，切片圖像、殘留切片圖像、有損重建切片圖像、三維醫(yī)學(xué)圖像等)的顯示器。

18、根據(jù)本發(fā)明的第四個方面，提供了一種非暫時性計算機(jī)可讀存儲介質(zhì)，該介質(zhì)存儲一個或多個程序，該一個或多個程序被配置為由一個或多個處理器執(zhí)行。該一個或多個程序包括用于執(zhí)行或促進(jìn)執(zhí)行如上所述的用于壓縮三維醫(yī)學(xué)圖像的方法或用于解壓壓縮的圖像數(shù)據(jù)以獲得三維醫(yī)學(xué)圖像的方法的指令。

19、根據(jù)本發(fā)明的第五個方面，提供了一種處理醫(yī)學(xué)圖像的方法，該方法包括：(a)獲取三維醫(yī)學(xué)圖像的多個切片的圖像數(shù)據(jù)；(b)基于相對有損壓縮操作，處理多個切片的圖像數(shù)據(jù)，對多個切片的圖像數(shù)據(jù)進(jìn)行編碼以獲取一組編碼后切片數(shù)據(jù)，并對該組編碼后切片數(shù)據(jù)進(jìn)行解碼以獲取多個有損重建切片的圖像數(shù)據(jù)；(c)處理多個切片的圖像數(shù)據(jù)和多個有損重建切片的圖像數(shù)據(jù)，以獲得與多個切片的圖像數(shù)據(jù)和多個有損重建切片的圖像數(shù)據(jù)之間的差異相關(guān)的殘差；以及(d)基于相對無損壓縮操作處理殘差，以對殘差進(jìn)行編碼，從而獲得一組編碼后殘差數(shù)據(jù)。編碼后切片數(shù)據(jù)集和編碼后殘差數(shù)據(jù)集可用于重建多個切片。

20、多個切片的圖像數(shù)據(jù)可以被處理以形成多個切片，這些切片可以作為圖像顯示。多個有損重建切片的圖像數(shù)據(jù)可以被處理，形成多個有損重建切片，并以圖像形式顯示。殘差處理之后可形成多個殘差切片，這些殘差切片可顯示為圖像。多個切片的數(shù)量和多個有損重建切片的數(shù)量可以相同。多個殘留切片的數(shù)量、多個切片的數(shù)量和多個有損重建切片的數(shù)量可以相同。

21、例如，編碼后切片數(shù)據(jù)集可以包括編碼后切片數(shù)據(jù)比特流，它是相對有損的。例如，編碼后殘差數(shù)據(jù)集可包括編碼后殘差數(shù)據(jù)位流，該位流是相對無損的。

22、可選地，相對有損壓縮操作和相對無損耗壓縮操作被布置成使得編碼后切片數(shù)據(jù)集和編碼后殘差數(shù)據(jù)集可用于對多個切片進(jìn)行視覺上基本無損耗的重建(即，重建的切片在視覺上看起來基本無損耗，因此看起來與處理前的切片基本相同)?？蛇x地，相對有損壓縮操作和相對無損壓縮操作的布置方式是，編碼后切片數(shù)據(jù)集和編碼后殘差數(shù)據(jù)集可用于多個切片的數(shù)學(xué)上基本無損的重建(即，重建的切片在數(shù)學(xué)上基本無損，因此在數(shù)學(xué)上與處理前的切片基本相同)。例如，相對有損壓縮操作和相對無損壓縮操作的安排使得編碼后切片數(shù)據(jù)集和編碼后殘差數(shù)據(jù)集可用于多個切片的無損重建。

23、可選地，上述步驟a)包括處理三維醫(yī)學(xué)圖像以將三維醫(yī)學(xué)圖像轉(zhuǎn)換為多個切片。例如，對三維醫(yī)學(xué)圖像的處理可包括沿大體上垂直于分割平面的軸線對三維醫(yī)學(xué)圖像進(jìn)行分割?？蛇x地，分割平面是軸向/橫向面?？蛇x地，分割平面是冠狀面?？蛇x地，分割平面是矢狀面。

24、可選地，上述步驟a)還包括接收與軸線和/或分割平面相關(guān)的用戶選擇，而上述分割是基于用戶選擇的?？蛇x地，軸向/橫向平面為默認(rèn)分割平面。

25、在上述步驟b)中，編碼可使用相對有損壓縮的編碼器執(zhí)行，解碼可使用相對有損壓縮的解碼器執(zhí)行。

26、可選地，相對有損的壓縮操作被安排為：減少多個切片中至少一些切片的圖像數(shù)據(jù)的切片間冗余、和/或減少多個切片中至少一些切片的圖像數(shù)據(jù)的切片內(nèi)冗余。

27、可選地，相對有損壓縮操作基于vvc。

28、可選地，相對有損壓縮操作基于hevc。

29、可選地，相對有損壓縮操作基于h.264/mpeg-4avc。

30、可選地，相對有損壓縮操作基于avs。

31、可選地，相對有損壓縮操作包括：對多個切片中至少一些切片的圖像數(shù)據(jù)應(yīng)用分層-b編碼結(jié)構(gòu)以確定多個切片中至少一些切片的雙向(即前向和后向)參考，以及基于雙向參考執(zhí)行雙向間預(yù)測。這可以減少多個切片中至少一些切片的圖像數(shù)據(jù)的切片間冗余。

32、可選地，上述步驟c)包括，對于多個有損重建切片中的每個切片的圖像數(shù)據(jù)而言，分別確定有損重建切片的圖像數(shù)據(jù)與對應(yīng)的一個切片的圖像數(shù)據(jù)之間的差值，以獲得對應(yīng)的殘差。

33、可選地，相對無損壓縮操作是基本無損壓縮操作?？蛇x地，所述基本無損壓縮操作是無損壓縮操作。

34、可選地，上述步驟d)包括：基于分層-b編碼結(jié)構(gòu)對殘差進(jìn)行順序編碼。

35、在步驟d)中，編碼可由相對無損壓縮的編碼器執(zhí)行。可選地，用于相對無損壓縮的編碼器利用熵模型和熵編碼器?？蛇x地，熵模型包含基于學(xué)習(xí)的熵模型?？蛇x地，熵編碼器包含算術(shù)編碼器。

36、可選地，相對無損壓縮操作包括：使用熵模型并基于多個有損重建切片的圖像數(shù)據(jù)和雙向(前向和后向)參考來估計與殘差相關(guān)的概率分布、以及基于估計的概率分布相對無損地壓縮殘差。雙向(前向和后向)參考已經(jīng)通過對多個切片中的至少一些來應(yīng)用分層-b編碼結(jié)構(gòu)來確定。例如，概率分布的估計包括，對于至少部分殘差中的每個殘差，分別使用熵模型并基于與相應(yīng)殘差對應(yīng)的切片和與相應(yīng)殘差對應(yīng)的有損重建切片相關(guān)聯(lián)的雙向(前向和后向)參考估計相應(yīng)殘差的概率分布。例如，對于至少部分殘差中的每個殘差，壓縮殘差包括：根據(jù)相應(yīng)的估計概率分布，相對無損地壓縮相應(yīng)的殘差。壓縮可使用熵編碼器執(zhí)行?？蛇x地，熵編碼器包括算術(shù)編碼器。

37、可選地，熵模型包括基于學(xué)習(xí)(learning-based)的熵模型。

38、可選地，與殘差相關(guān)聯(lián)的概率分布的估計包括：基于多個有損重建切片的圖像數(shù)據(jù)和雙向(前向和后向)參考來生成上下文，上下文可作為殘差的先驗；基于生成的上下文確定參數(shù)概率模型的參數(shù)；以及使用參數(shù)概率模型并基于參數(shù)生成與殘差相關(guān)聯(lián)的概率分布。例如，上下文的生成包括，對于至少部分殘差中的每個殘差，分別根據(jù)相應(yīng)有損重建切片的圖像數(shù)據(jù)和相應(yīng)的雙向(前向和后向)參考而生成上下文，上下文可作為相應(yīng)殘差的先驗值。例如，參數(shù)的確定包括，對于至少部分殘差中的每個殘差，分別根據(jù)生成的上下文確定參數(shù)概率模型的相應(yīng)參數(shù)。例如，概率分布的生成包括，對于至少部分殘差中的每個殘差，分別使用參數(shù)概率模型并基于相應(yīng)參數(shù)生成與相應(yīng)殘差相關(guān)聯(lián)的相應(yīng)概率分布。

39、可選地，基于學(xué)習(xí)的熵模型包括：切片內(nèi)和切片間上下文提取模塊、參數(shù)估計模塊和參數(shù)概率模型。

40、可選地，使用切片內(nèi)和切片間上下文提取模塊進(jìn)行上下文的生成。

41、可選地，使用參數(shù)估計模塊確定參數(shù)。

42、可選地，參數(shù)估計模塊包括堆疊(stacked)殘差塊。可選地，參數(shù)概率模型包括離散邏輯混合模型。

43、可選地，切片內(nèi)和切片間上下文提取模塊包括：切片內(nèi)上下文提取模塊、切片間上下文提取模塊和上下文融合(fusion)模塊。

44、可選地，上下文的生成包括(i)處理多個有損重建切片的圖像數(shù)據(jù)以生成有損特征；(ii)處理雙向(前向和后向)參考以生成雙向(前向和后向)特征；(iii)處理有損特征以生成切片內(nèi)上下文；(iv)處理雙向(前向和后向)特征和有損特征，以生成切片間上下文；以及(v)執(zhí)行上下文融合操作，以融合切片內(nèi)上下文和切片間上下文，從而生成上下文。例如，(i)中的處理包括，對于至少部分殘差中的每個殘差，分別處理相應(yīng)有損重建切片的圖像數(shù)據(jù)，以生成相應(yīng)的有損特征。例如，(ii)中的處理分別包括，對于至少部分殘差中的每個殘差：處理與相應(yīng)有損重建切片對應(yīng)的切片圖像數(shù)據(jù)相關(guān)聯(lián)的相應(yīng)雙向(前向和后向)參考，以生成相應(yīng)的雙向(前向和后向)特征。例如，(iii)中的處理包括，對于至少部分殘差中的每個殘差，分別處理相應(yīng)的有損特征，以生成相應(yīng)的切片內(nèi)上下文。例如，(iv)中的處理包括，對于至少部分殘差中的每個殘差，分別處理相應(yīng)的雙向(前向和后向)特征(和相應(yīng)的有損特征)，以生成相應(yīng)的切片間上下文。例如，(v)中的處理包括，對于至少部分殘差中的每個殘差，分別：執(zhí)行上下文融合操作，以融合相應(yīng)的切片內(nèi)上下文和相應(yīng)的切片間上下文，從而為相應(yīng)的有損重建切片生成相應(yīng)的上下文。

45、可選地，(i)中的處理使用堆疊殘差塊執(zhí)行。

46、可選地，(ii)中的處理使用堆疊殘差塊執(zhí)行。

47、可選地，使用切片內(nèi)上下文提取模塊執(zhí)行(iii)中的處理?？蛇x地，切片內(nèi)上下文提取模塊包括基于對稱的切片內(nèi)上下文提取模塊?？蛇x地，基于對稱的切片內(nèi)上下文提取模塊包括堆疊殘差塊和十字交叉(criss-cross)自注意模塊。

48、可選地，使用切片間上下文提取模塊執(zhí)行(iv)中的處理。可選地，切片間上下文提取模塊包括雙向切片間上下文提取模塊。可選地，雙向切片間上下文提取模塊包括：一個或多個線性層、雙向交叉注意模型和前饋網(wǎng)絡(luò)。

49、可選地，上下文融合操作包括逐通道串聯(lián)(channel-wise?concatenation)。

50、可選地，處理對應(yīng)有損特征生成對應(yīng)切片內(nèi)上下文包括：基于對應(yīng)有損特征執(zhí)行局部相關(guān)性探索操作，獲取對應(yīng)的局部對應(yīng)信息；基于對應(yīng)的局部對應(yīng)信息執(zhí)行全局相關(guān)性探索操作，獲取對應(yīng)的全局對應(yīng)信息；基于對應(yīng)的局部對應(yīng)信息和對應(yīng)的全局對應(yīng)信息生成對應(yīng)切片內(nèi)上下文。

51、可選地，全局相關(guān)性探索操作包括：沿大致垂直于兩個對稱軸的方向計算相似度，這兩個對稱軸基本相互垂直。例如，相似度的計算可以基于十字交叉查詢模式。

52、可選地，使用堆疊殘差塊執(zhí)行局部相關(guān)性探索操作。

53、可選地，全局相關(guān)性探索操作使用十字交叉自注意模塊執(zhí)行。

54、可選地，處理相應(yīng)的雙向(前向和后向)特征(以及相應(yīng)的有損特征)以生成相應(yīng)的切片間上下文包括：處理對應(yīng)的前向參考特征，生成對應(yīng)的前向關(guān)鍵特征和對應(yīng)的前向值特征；處理對應(yīng)的后向參考特征，生成對應(yīng)的后向關(guān)鍵特征和對應(yīng)的后向值特征；處理對應(yīng)的有損特征，生成對應(yīng)的查詢特征；處理對應(yīng)的查詢特征、對應(yīng)的前向關(guān)鍵特征、對應(yīng)的前向值特征、對應(yīng)的后向關(guān)鍵特征和對應(yīng)的后向值特征，生成對應(yīng)的切片間上下文特征；處理對應(yīng)的切片間上下文特征，生成對應(yīng)的切片間上下文。

55、可選地，使用線性層對相應(yīng)前向參考特征進(jìn)行處理?？蛇x地，使用線性層對相應(yīng)的后向參考特征進(jìn)行處理?？蛇x地，相應(yīng)前向參考特征的處理和相應(yīng)后向參考特征的處理使用同一線性層執(zhí)行?？蛇x地，使用線性層對相應(yīng)的有損特征進(jìn)行處理?？蛇x地，相應(yīng)查詢特征、相應(yīng)前向關(guān)鍵特征、相應(yīng)前向值特征、相應(yīng)后向關(guān)鍵特征和相應(yīng)后向值特征的處理使用雙向交叉注意模型執(zhí)行。可選地，使用前饋網(wǎng)絡(luò)對相應(yīng)的切片間上下文特征進(jìn)行處理。

56、可選地，處理相應(yīng)的查詢特征、相應(yīng)的前向關(guān)鍵特征、相應(yīng)的前向值特征、相應(yīng)的后向關(guān)鍵特征和相應(yīng)的后向值特征包括：將對應(yīng)的查詢特征與對應(yīng)的前向關(guān)鍵特征相乘，生成對應(yīng)的前向關(guān)注圖(attention?map)；將對應(yīng)的前向值特征與對應(yīng)的前向關(guān)注圖相乘，生成對應(yīng)的前向上下文特征；將對應(yīng)的查詢特征與對應(yīng)的后向關(guān)鍵特征相乘，生成對應(yīng)的后向關(guān)注圖；將對應(yīng)的后向值特征與對應(yīng)的后向關(guān)注圖相乘，生成對應(yīng)的后向上下文特征；利用對應(yīng)的前向上下文特征和對應(yīng)的后向上下文特征，生成對應(yīng)的切片間上下文特征。

57、可選地，所述融合包括對相應(yīng)的前向上下文特征和相應(yīng)的后向上下文特征進(jìn)行逐通道串聯(lián)，以生成相應(yīng)的切片間上下文特征。

58、可選地，所述方法進(jìn)一步包括：將編碼后切片數(shù)據(jù)集和編碼后殘差數(shù)據(jù)集存儲為一個或多個數(shù)據(jù)文件。

59、可選地，所述三維醫(yī)學(xué)圖像為ct圖像。可選地，3d醫(yī)學(xué)圖像是mri圖像。三維醫(yī)學(xué)圖像可以是其他成像模式(ct和mri之外)的三維醫(yī)學(xué)圖像。

60、根據(jù)本發(fā)明的第六個方面，提供了一種處理醫(yī)學(xué)圖像的方法，包括：(i)基于相對有損的解壓縮操作處理一組編碼后切片數(shù)據(jù)，以獲得多個有損重建切片的圖像數(shù)據(jù)；(ii)基于相對無損的解壓縮操作處理一組編碼后殘差數(shù)據(jù)，以獲得重建殘差；以及(iii)處理多個有損重建切片的圖像數(shù)據(jù)和重建殘差，以獲得多個切片的圖像數(shù)據(jù)，該多個切片的圖像數(shù)據(jù)大體上對應(yīng)于多個有損重建切片的圖像數(shù)據(jù)和重建殘差的圖像數(shù)據(jù)的組合(例如，通過加法)。多個切片的圖像數(shù)據(jù)可用于重建三維醫(yī)學(xué)影像。

61、多個切片的圖像數(shù)據(jù)可被處理以形成多個切片，這些切片可顯示為圖像。多個有損重建切片的圖像數(shù)據(jù)可被處理以形成多個有損重建切片，這些切片可顯示為圖像。經(jīng)處理的重建殘差可形成多個重建殘差切片，這些殘差切片可顯示為圖像。例如，多個切片的數(shù)量和多個有損重建切片的數(shù)量可以相同。例如，可顯示為圖像的多個殘留切片的數(shù)量、多個切片的數(shù)量和多個有損重建切片的數(shù)量可以相同。

62、例如，編碼后切片數(shù)據(jù)集可包括編碼后切片數(shù)據(jù)比特流，它是相對有損的。例如，編碼后殘差數(shù)據(jù)集可包括編碼后殘差數(shù)據(jù)位流，它是相對無損的。

63、可選地，相對無損的解壓縮操作是基本無損的解壓縮操作?？蛇x地，基本無損解壓縮操作是無損解壓縮操作。

64、可選地，使用第五方面的方法獲得編碼后切片數(shù)據(jù)集。

65、可選地，使用第五方面的方法獲得編碼后殘差數(shù)據(jù)集。

66、可選地，使用用于相對有損解壓縮的解碼器執(zhí)行上述步驟(i)，該解碼器與用于相對有損壓縮的解碼器具有基本相同的結(jié)構(gòu)，或者就是用于相對有損壓縮的解碼器。

67、可選地，上述步驟(ii)使用用于相對無損解壓縮的解碼器執(zhí)行，該解碼器與用于相對無損壓縮的編碼器具有基本相同的結(jié)構(gòu)，或者就是用于相對無損壓縮的編碼器。

68、可選地，該方法進(jìn)一步包括：處理多個切片的圖像數(shù)據(jù)以將多個切片的圖像數(shù)據(jù)轉(zhuǎn)換為三維醫(yī)學(xué)圖像。例如，處理可包括堆疊或組合多個切片的圖像數(shù)據(jù)以形成三維醫(yī)學(xué)圖像。

69、在本發(fā)明的第七個方面，提供了一種處理醫(yī)學(xué)圖像的方法，包含：執(zhí)行第五個方面的方法，以及執(zhí)行第六個方面的方法。

70、本發(fā)明的其他特征和方面將通過考慮詳細(xì)描述和附圖而變得顯而易見。本文所描述的與一個方面或?qū)嵤├嚓P(guān)的任何特征均可與本文所描述的與任何其他方面或?qū)嵤├嚓P(guān)的任何其他特征相結(jié)合，如適當(dāng)且適用。

71、類似于“一般”、“大約”、“基本上”、“大體上”或類似的程度術(shù)語可根據(jù)上下文使用，以說明制造公差、退化、趨勢、傾向、不完善的實(shí)際條件等。例如，當(dāng)一個值用“大約”等程度術(shù)語來修飾時，這種表達(dá)可包括所述值的±20％、±15％、±10％、±5％、±2％或±1％。

72、因此，可以看到本發(fā)明的實(shí)施方案為三維醫(yī)學(xué)圖像提供了有效的壓縮/解壓縮方案，該方案對醫(yī)學(xué)圖像的不同組件分別采用有損和無損壓縮。通過有損-無損壓縮流水線(pipeline)，有損壓縮可有效編碼三維醫(yī)學(xué)圖像的平滑內(nèi)容，而無損壓縮可進(jìn)一步處理包含復(fù)雜細(xì)節(jié)的殘留內(nèi)容。在主流的三維醫(yī)學(xué)圖像數(shù)據(jù)集上的實(shí)驗結(jié)果表明，根據(jù)本發(fā)明的一個示例性實(shí)施例的方法實(shí)現(xiàn)了良好的壓縮性能，并且優(yōu)于最先進(jìn)的方法。