用于自動校正像散的方法
【專利摘要】該方法用于透鏡系統(tǒng)的自動像散校正。在透鏡組的第一消像散器設置下，提供未被聚焦的第一圖像(96)。計算裝置計算相應的第一傅立葉光譜圖像(312)。通過計算第一矢量(132)和第二矢量(134)，確定傅立葉光譜圖像(128，130，312)的像素的分布和方向。將第一矢量(132)與第二矢量(134)相比較。將透鏡系統(tǒng)從第一消像散器設置改變?yōu)榈诙裆⑵髟O置以提供第二圖像(98)。計算相應的傅立葉光譜圖像(314)。通過計算第三矢量和第四矢量來確定第二傅立葉光譜圖像(314)的像素的分布和方向。將第三矢量與第四矢量相比較。選擇具有最低的矢量比率的圖像。
【專利說明】
用于自動校正像散的方法
技術領域
[0001 ]本發(fā)明涉及一種用于自動校正像散的方法，例如電子顯微鏡的透鏡中的像散。更具體地說，本發(fā)明包括用于電子顯微鏡的基于圖像的物鏡像散自動校正。
【背景技術】
[0002]在電子顯微鏡中的高質(zhì)量圖像獲取要求對電子束進行仔細對準和精確聚焦以得到優(yōu)化的圖像對比度和精細細節(jié)。在過去，電子顯微鏡的物理特征和特性是重要的并且用于執(zhí)行對準。電子束是通過使用電磁裝置被對準的。未對準的電子束導致偽影(波紋)、圖像模糊，以及關于精細細節(jié)的信息丟失。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的重要特征是，該方法通過使用僅圖像數(shù)據(jù)而不依賴于顯微鏡本身的復雜和繁瑣的特征，在對準過程期間自動校正透鏡像散。本發(fā)明的方法提供了對上面概述的問題的解決方案。更具體地說，該方法用于通過透鏡組在一個方向上進行自動像散校正。當然，本發(fā)明不限于僅在一個方向上校正，因為校正也可以在許多方向上同時進行，例如在X和y兩個方向上。在透鏡的第一消像散器設置下提供第一圖像。優(yōu)選地，該圖像是欠聚焦的?；诘谝粓D像，計算裝置計算第一傅立葉光譜圖像。通過計算明亮像素的程度和主方向所對應的第一矢量、和垂直于第一矢量并且對應于該方向上的程度的第二矢量，確定傅立葉光譜圖像的像素的分布和方向。比較第一矢量和第二矢量。透鏡組從第一消像散器設置改變?yōu)榈诙裆⑵髟O置以提供第二欠聚焦的圖像?；诘诙D像，計算相應的第二傅立葉光譜圖像。通過計算第三矢量和第四矢量來確定第二傅立葉光譜圖像的像素的分布和方向。比較第三矢量與第四矢量。當與第三矢量相對于第四矢量相比第一矢量更類似于第二矢量時，第一圖像被選擇為比第二圖像更圓。當與第一矢量相對于第二矢量相比第三矢量更類似于第四矢量時，第二圖像被選擇為比第一圖像更圓。提供具有最圓傅立葉光譜的傅立葉光譜的消像散器設置是努力和搜索的目標。
[0004]該方法進一步包括計算圓形傅立葉光譜圖像的灰度加權矩的步驟，作為測量強度分布的程度和方向的手段。
[0005]在另一個實施例中，將第一傅立葉光譜圖像的特征矢量的第一比率與第二傅立葉光譜圖像的特征矢量的第二比率進行比較。
[0006]選擇具有最低比率的圖像。
[0007]X消像散器設置和y消像散器設置被改變?yōu)閷诰哂凶畹捅嚷实膱D像的消像散器設置。
[0008]X消像散器設置和y消像散器設置也可以同時改變。
[0009]在又一個實施例中，搜索使傅立葉光譜圖像的伸長率的值最小化的消像散器設置。
[0010]第一和第二圖像被設置為欠聚焦或過聚焦。
【附圖說明】
[0011]圖1是利用不同物鏡X消像散器設置和y消像散器設置獲取的圖像的例子的示意圖；
[0012]圖2是圖1的圖像的對應傅立葉光譜的示意圖；
[0013]圖3是通過具有像散的透鏡在幾個微米欠聚焦的情況下所看到的圖像的示意圖；
[0014]圖4是圖3中的圖像的對數(shù)(log)傅立葉光譜的示意圖；
[0015]圖5是圖4的視圖的圓形切出圖像；
[0016]圖6是包括圓圈內(nèi)的灰度值的灰度加權矩的特征矢量的圖5的視圖，其中矢量的長度對應于特征矢量的大小；
[0017]圖7是與圖4相同的、但沒有欠聚焦或者具有很少的欠聚焦的視圖；以及
[0018]圖8是本發(fā)明的方法步驟的信息流的示意圖。
【具體實施方式】
[0019]圖1-2是具有大致圓形形狀的對象的像散圖像100(參照圖1)和對應的傅立葉光譜圖像120(參照圖2)的示意性圖示。圖像顯示的內(nèi)容不重要，重要的是在圖1中描繪的對象是病毒樣的顆粒。透鏡系統(tǒng)中的像散導致波紋狀的偽影和圖像中的細節(jié)的丟失，對應于傅立葉光譜圖像在與未對準的方向相關的方向上變得細長。圖1示出了在不同方向上具有像散的圖像的例子。更具體地，圖1示出在不同的X消像散器設置和y消像散器設置下獲取的樣本圖像。它示出了在具有不同的X消像散器設置和y消像散器設置的透射型電子顯微鏡中的同一視圖的49個版本。由于設置不同，因此圖像以不同的方式模糊并在不同方向上具有波狀。本發(fā)明的一個目的是確定哪個版本是最好的圖像(對應于具有最圓的像素分布的傅立葉光譜圖像)。僅僅通過使用目前最常用的手動和可視化方法是很難這樣做的。本發(fā)明的一個特征是，該方法通過僅使用圖像數(shù)據(jù)來自動確定哪個圖像是最圓的。然后將此用于自動調(diào)整顯微鏡中的透鏡，使得圖像變得去像散。
[0020]圖2示出相應的傅立葉光譜圖像120。源于消像散器設置，變換后的圖像在與透鏡的未對準的方向相關的方向上伸長。通常，傅立葉變換使得更容易地看到圖像的像散效應，諸如圖像的圓度和伸長率。圖1中的49個版本在傅立葉變換之后，在圖2被示為49個新版本(如白色伸長的形狀/圖形)。中心處的圖像122具有非常小的像散(在傅立葉光譜中被示為圓形圖像)。中心處的圖像具有O的X消像散器設置和O的y消像散器設置。應該理解的是，SP使其會對應于其它X消像散器值和y消像散器值，這也將是解決方案，因為在這些設置下傅立葉光譜具有最為圓形的像素分布。進一步遠離圖2的中心，圖像中存在更多的波紋和模糊，并且傅立葉光譜圖像中出現(xiàn)更多的細長的像素分布。計算機因此以步進方式改變消像散器設置并且確定在消像散器設置改變之前圖像是否更圓。如下面詳細描述的，當作為在X或y方向上調(diào)整消像散器設置的結果，確定圖像變得更圓時，計算機優(yōu)選在相同的方向上再次改變顯微鏡的消像散器設置。當圖像沒有變得更圓時，計算機可能停止搜索或可能在相反方向上改變消像散器設置，然后比較圓度。
[0021]圖3示出通過具有像散的透鏡系統(tǒng)在一定的欠聚焦的情況下所看到的圖像124。如下面所解釋那樣，為了避免創(chuàng)建具有復雜形狀的傅立葉圖像，使用欠聚焦是本發(fā)明的方法的重要特征。也可以利用透鏡的過聚焦。本發(fā)明的另一個重要特征是，通過在傅立葉光譜中搜索形狀的最小伸長率(或最佳環(huán)路)來校正像散。因而一個重要的目標是選擇在傅立葉光譜中創(chuàng)建最為圓形的像素分布(即，其中沒有像散或具有很小的像散)的X消像散器設置和y消像散器設置。
[0022]像散校正可以以至少兩種不同的方式來完成。一種方式是每次在一個像散方向上使伸長率最小化，對應于一組電磁透鏡即在一個方向上例如通過在研究y消像散器設置變化之前僅改變X消像散器設置。另一種方式是計算對應于X像散和y像散的比率的伸長方向，并且同時優(yōu)化X消像散器設置和y消像散器設置兩者。通過使用灰度加權矩來測量圖2的傅立葉光譜中的圖像的伸長率。這也可以用在一維的情況下，即僅在一個方向上調(diào)節(jié)設置的情況下?；叶燃訖嗑厥怯嬎銏D像中的明亮像素的方向即明亮強度分布的方式。
[0023]下面對第一種方法進行逐步描述。X像散可以通過下述方式被校正:
[0024]I)獲取圖像并且計算相應的傅立葉光譜。圖3是用于描述在透鏡設置的欠聚焦下的病毒樣的顆粒的合適圖像124的例子。圖4是示出相應的傅立葉光譜的圖像126。從左上向右下通過圖像的中心延伸的較亮的或者亮灰色的橢圓部分128指示透鏡系統(tǒng)的像散。用虛線對該部分128進行了標記，使得更容易看見橢圓部分。對中心也進行了標記。橢圓部分的尺寸和長度部分依賴于圖像中的內(nèi)容和倍率。通常，當亮灰色的部分是圓的或者是更圓的時，則透鏡系統(tǒng)的設置是正確的，以使像散最小化。
[0025]2)切出圓形圖像129，圓形圖像129例如具有圖像側一半的直徑。只要計算出圖像的感興趣的部分的灰度加權矩，就不需要使用圓形圖像。然而，采用圓形圖像是優(yōu)選的/推薦的，以便具有對所有方向上的分布有貢獻的相同數(shù)量的像素。切出的尺寸應與透鏡提供的倍率相匹配。圖5示出圖4所示的圖像126的切出圖像129。圓形圖像是優(yōu)選的，使得從圖像的中心到周邊的半徑是相同的，并且使得從中心起在所有方向上存在相同量的距離和信息。較低的頻率在傅立葉光譜的中心并與傅立葉光譜的中心非常接近，高頻則距離中心非常遠，就指示透鏡系統(tǒng)的像散而言，攜帶的信息不那么重要。
[0026]3)通過例如使用圓形圖像的灰度加權矩(如I階和2階)計算傅立葉光譜圖像的強度分布。也可以使用如下方法:該方法依賴于，首先使得傅立葉光譜圖像二值化(提取橢圓/圓形的明亮形狀)，然后例如，執(zhí)行主成分分析以計算并確定二值形狀的分布和主方向。也可以使用取決于徑向密度分布狀況(profile)的方法。優(yōu)選地，使用計算圖像中的強度的分布和方向的數(shù)學方法。
[0027]計算灰度加權矩的合適的公式為:
[0028]mij = ΣXΣ YX1YjI (X.y).
[0029]其中X和y是圖像中的像素位置(坐標)，I(x，y)是圖像位置x、y處的強度(灰度值)。該矩的階數(shù)是i+j，所以I階有兩個矩，moi和m1，2階有3個矩，m2Q，mQ2和mil。
[0030]強度越高，圖像變得越亮。圖像像素越亮并且距離中心越遠，當涉及計算用于確定像散的灰度加權矩時賦予更大的權重。換言之，每個像素的權重是基于每個像素的白色度和其到中心的距離，其中距離中心更遠的明亮像素被賦予更大權重。但是注意，距離中心很遠的像素(也在傅立葉光譜圖像中的明亮細長形狀的外部)不包含與像散有關的信息。
[0031 ]圖6是與圖5的視圖129相同的視圖130，但視圖130包括圓圈內(nèi)的灰度值的灰度加權矩的特征矢量132、134，其中矢量的長度對應于特征矢量的大小。灰度加權矩可用于計算圍繞中心點138的強度分布。換言之，灰度加權矩被優(yōu)選用來描述淺色部分128相對于中心138延伸的方向以及如何在方向上伸出。接著有可能確定淺色部分128橢圓的程度以及它非圓的程度。圖像的非圓度指示透鏡的像散水平，圖像的方向包含關于如何校正像散的信息。這些矩因而被用來推導圖像中的強度的主方向以及強度沿著相對于正交方向的主方向分布了多少。第二方向上的分布與主方向上的分布的比率是對分布如何伸長的測量。應該理解的是，該比率僅僅是說明性示例，可以使用諸如矢量之間的差異的其他比較參數(shù)，只要目標是確定引起傅立葉光譜圖像中的更圓圖形的消像散器設置的變化。
[0032]4)確定伸長率，其對應于歸一化矩協(xié)方差矩陣=[m20/m00 ,ml 1/mOO ；ml 1/mOO，m02/m00]的特征矢量132和134的比率。特征矢量134示出了最長伸長(即發(fā)白的像素的分布是多長)，并沿著淺色橢圓形狀的方向延伸。特征矢量132示出了第二最長伸長，其在二維圖像中垂直于特征矢量134。最感興趣的是特征矢量134的方向和長度。當特征矢量134具有與特征矢量132相同的或接近的長度時，消像散器設置已被正確地設置以補償透鏡系統(tǒng)的像散，即特征矢量之間的比率是I或接近于I。該比率與I相差越大，透鏡的像散越大。
[0033]5)在搜索使伸長率的值最小化的消像散器設置的迭代優(yōu)化算法中重復上述步驟1-4。由此進行調(diào)整以使該比率在實踐上盡可能地接近I。
[0034]通過使X消像散器保持至此最佳確定的設置，可以對y像散進行與上述關于X像散的校正相同的校正，對于y消像散器重復如上述對X消像散器所進行的過程那樣的過程。換句話說，可以通過使X消像散器保持在如上所確定的最佳設置來進行對y像散的校正，并僅對y消像散器重復上面的步驟1-5。代替手動確定沿著圖1的X方向上的一行的所有圖像中哪個圖像是最圓的，本發(fā)明的方法因此通過分析每個圖像的傅立葉光譜來自動進行該確定，并確定伸長量，并選擇具有最小伸長率的圖像，此后顯微鏡的消像散器被設置為相應的值。換句話說，一旦沿著X方向上的一行找到了最圓的圖像，如圖2所示，并且顯微鏡中對應的X消像散器值被設置，則該方法可沿著在X方向上的該行中找到的最圓圖像的列在y方向上確定最圓的圖像。
[0035]為了加快該校正過程并使其更魯棒，可以對傅立葉光譜向下采樣，并在計算矩之前用平滑過濾器(例如平均值、中值或高斯)進行濾波。
[0036]本發(fā)明的一個重要特征是，優(yōu)選在相對大的欠聚焦(或過聚焦)下進行校正。當圖像非常接近聚焦或被聚焦時，傅立葉光譜中的像散效果不那么容易被選出并測量，并且難以使用那些光譜來校正像散。由于像散，不同方向于是在稍微不同的欠聚焦(或過聚焦)下被聚焦。相對于確定透鏡系統(tǒng)中的像散量和方向，這與來自清晰(sharp)圖像細節(jié)的信息一起在傅立葉光譜中產(chǎn)生強干擾信號。換句話說，通過設置樣品使得不被聚焦或不接近于聚焦，像散的錯誤不會太多地受到其他因素的干擾。圖7示出具有圖6中的例子那么多的像散的圖像140，但相應的圖像是聚焦的。通過將樣品置于欠聚焦下，像散的問題首先被解決，而沒有與透鏡的焦點校正相關聯(lián)的任何問題的任何干擾。通過使用欠聚焦，更容易確定當透鏡系統(tǒng)的消像散器設置改變時傅立葉光譜的圓度是否改善。圖像140清楚地示出了，因為沒有顯著的伸長，所以看到像散的方向和程度是多么困難。另外，傅立葉光譜還取決于圖像內(nèi)容。在一個非常不太可能的情況下，圖像內(nèi)容可在傅立葉光譜中產(chǎn)生強度，使得該方法在第一次不成功?？梢酝ㄟ^在樣本圖像的另一地方重復優(yōu)化過程以確保得到相同的答案來解決此。
[0037]在操作中，圖8中概述了本發(fā)明的方法的某些步驟。在提供步驟200中，以X消像散器設置的第一值和y消像散器設置的第一值提供欠聚焦圖像202(諸如圖1中的第一圖像96)。在計算步驟203中，通過計算裝置，諸如計算機，計算對應的傅立葉光譜圖像204(諸如圖2中的圖像312)。在確定步驟206中，通過計算機計算圖像204的灰度加權矩207，以確定圖像中的像素的分布和方向。在比較步驟208中，通過計算機比較特征矢量之間的比率209或差值，以確定圖像204的圓度。在設置步驟210中，計算機將顯微鏡中的X消像散器(或y消像散器)211的設置從第一值變成第二值，其中，優(yōu)選地，第二值與第一值相比順序增加或減少，例如從-0.12變?yōu)?0.08，如圖1所示，從而以X消像散器的第二值顯示新圖像。然后計算相應的傅立葉光譜圖像?？梢詫τ嬎銠C進行編程，使得只要矢量比率改善，就繼續(xù)在相同方向上改變X消像散器，并且如果該比率增加，則改為在相反的方向上改變X消像散器設置。也可以在開始時使用消像散器設置的相對大的變化，然后在比率改善(即更接近I)或者確定可能已經(jīng)經(jīng)過了 X消像散器的最佳設置時，減少X消像散器設置的變化。例如，如果比率逐漸減小并然后開始增加，則消像散器設置的變化大小被減小并且方向被改變。優(yōu)選地，y消像散器被保持在對應于圖1-2中的第一行的諸如-0.12的第一值。圖1-2示出了用于X消像散器和用于y消像散器的優(yōu)選的示例值。不同系統(tǒng)的消像散器值可以不同。也可以使用其他值和間隔。在X消像散器被設置為第二值的情況下，計算機開始相同的迭代并進行計算步驟203和確定步驟206。在比較步驟208中，比較X消像散器設置的第二值的情況下的第二特征矢量的比率與X消像散器設置的第一值的情況下的第一特征矢量的比率。如果第一比率比第二比率更接近I，則計算機停止在X方向上的搜索。如果第二比率比第一比率更接近I，則在設置步驟210中，計算機將X消像散器的值設置從第二值改變?yōu)榈谌?，例?0.04。此迭代對于第四、第五等值繼續(xù)，直到計算機確定下一X值不會導致更圓的圖像，即當新的特征矢量的比率與和先前的X消像散器值相關聯(lián)的矢量比率相比不更接近I時。
[0038]當已經(jīng)找到了最好的X消像散器值時，在設置步驟212中，計算機將y消像散器213設置從諸如圖1-2所示的-0.12的第一值變?yōu)橹T如-0.08的第二值。計算機進行與對于X-消像散器設置進行的迭代相同的迭代，直到找到了最好的y消像散器設置。然而，X消像散器被固定在第一迭代中確定的值，使得跳過設置步驟210，如圖8中的虛線214所示。
[0039]代替于一次僅在一個方向上調(diào)整消像散器設置(諸如X消像散器)，也可以同時在X方向和y方向兩者上調(diào)整消像散器設置。這如圖2中所示，其中圖像300可以是選擇作為開始圖像的圖像。然后系統(tǒng)不僅調(diào)查圖像302的特征矢量比率(通過僅在X方向上調(diào)整消像散器設置)，而且還調(diào)查作為圍繞圖像300的圖像的消像散器設置的結果的比率，使得確定圖像304、306、308、310、312、314和316的特征矢量比率。然后，如上述解釋的，系統(tǒng)選擇導致最低矢量比率的X消像散器設置和y消像散器設置，其與開始圖像300相比較最有可能更接近中心，如圖2所示。如在圖8中所概述的，這些步驟被迭代，直到找到最低比率，并確定示出最圓圖像的圖像。這是優(yōu)選的應該用于對透鏡系統(tǒng)的像散進行最佳補償?shù)腦消像散器設置和y消像散器設置。如在圖6中最佳所示，因此可以使用兩個特征矢量132、134的大小和橢圓形圖像130的α角來指示哪個方向可能將是最好的。如前所述，只要比率改善，即更接近I，就還可以在同一方向上簡單地繼續(xù)，而不計算所有方向上的比率。當比率再次開始增加時，計算機隨后可以開始調(diào)查所有方向，如上所述。
[0040]雖然本發(fā)明已經(jīng)根據(jù)優(yōu)選的組合和實施例進行了描述，但是應該理解的是，在不脫離下面的權利要求的精神和范圍的情況下，可以對其進行某些替換和變更。
【主權項】
1.一種用于透鏡系統(tǒng)的自動像散校正的方法，包括: 在透鏡的第一消像散器設置下提供未被聚焦的第一圖像(96)， 基于第一圖像(96)，計算裝置計算第一傅立葉光譜圖像(312)， 通過計算第一矢量(132)和第二矢量(134)來確定圖像(128，312)的像素的分布和方向， 將第一矢量(132)與第二矢量(134)進行比較， 將透鏡從第一消像散器設置改變到第二消像散器設置，以提供未被聚焦的第二圖像(98)， 基于第二圖像(98)，計算裝置計算第二傅立葉光譜圖像(314)， 通過計算第三矢量和第四矢量來確定第二傅立葉光譜圖像(314)的像素的分布和方向， 將第三矢量與第四矢量進行比較， 當與第三矢量相對于第四矢量相比第一矢量更類似于第二矢量時，選擇第一圖像(96)，以及 當與第一矢量相對于第二矢量相比第三矢量更類似于第四矢量時，選擇第二圖像(98)。2.根據(jù)權利要求1所述的方法，其中，所述方法進一步包括:計算圓形圖像(129)的灰度加權矩的步驟。3.根據(jù)權利要求2所述的方法，其中，所述方法進一步包括:將第一傅立葉光譜圖像(128，312)的強度分布的特征矢量的第一比率與第二傅立葉光譜圖像(314)的強度分布的特征矢量的第二比率進行比較的步驟。4.根據(jù)權利要求3所述的方法，其中，所述方法進一步包括:選擇具有最低比率的圖像的步驟。5.根據(jù)權利要求1所述的方法，其中，所述方法進一步包括:改變X消像散器設置和y消像散器設置的步驟。6.根據(jù)權利要求5所述的方法，其中，所述方法進一步包括:同時改變X消像散器設置和y消像散器設置的步驟。7.根據(jù)權利要求1所述的方法，其中，所述方法進一步包括:搜索使第一傅立葉光譜圖像(128，312)的伸長率的值最小化的消像散器設置。8.根據(jù)權利要求1所述的方法，其中，所述方法進一步包括:將第一圖像和第二圖像設置為欠聚焦。
【文檔編號】H01J37/153GK106062917SQ201580006977
【公開日】2016年10月26日
【申請日】2015年6月17日
【發(fā)明人】I-M·斯滔恩, R·諾德斯特龍, G·卡爾伯格
【申請人】智能病毒成像公司