專利名稱：只有超高速緩存的分層總線簡單存儲器體系結構的制作方法
技術領域：
本發(fā)明說明一種用于在多層共用存儲器的多處理機系統(tǒng)中保持超高速緩存相關性的方法及設備。
由于容易編程和性能提高，共用存儲器多處理機是非常普遍的。事實上，商業(yè)上可得到多種由一些處理機(高達16個或32個)經單條總線和存儲器及輔助盤互連而組成的共用存儲器多處理機。這些處理機典型地具有和它們關連的專用超高速緩存，并且利用基于總線的相關協(xié)議，這些共用存儲器多處理機是超高速緩存相關的。這種體系結構迅速地變?yōu)榭蓴U縮共用存儲器多處理機中的單個部件，這種多處理機是由通過多級互連網絡(MIN)[1]互連的多個節(jié)點組成的，其中每個節(jié)點本身是一個16至32個節(jié)點的共用存儲器多處理機。這種類型的共用存儲器多處理機體系結構有一個缺點，即對不在單節(jié)點上的數(shù)據(jù)可能不允許有訪問等待時間。該問題的一種解決辦法是把每個節(jié)點上的存儲器用作為較高層的超高速緩存，以產生一種只有超高速緩存的存儲器體系結構(COMA)[2]。這種類型的體系結構方便了對提出要求的節(jié)點的數(shù)據(jù)自動轉移及復制。
COMA結構的主要問題是昂貴和復雜的硬件；不過已經提出一種簡單COMA結構[3]以使這個問題降至最小。在簡單COMA中，分頁軟件在分頁層管理超高速緩存空間的分配及重新分配，并且用不太復雜的硬件保持超高速緩存的相關性。但是，在各節(jié)點間保持超高速緩存是基于目錄的，從而與各節(jié)點間的數(shù)據(jù)訪問及控制有關的損失可能是很大的(盡管這種訪問的頻率可能減小)。


圖1示意表示本發(fā)明中使用的分層總線的簡單COMA結構。
圖2示意表示本發(fā)明采用的分層總線多級互連的網絡體系結構。
圖3示意表示根據(jù)本發(fā)明的超高速緩存相關狀態(tài)圖。
本發(fā)明的一個目的是使和超高速緩存脫靶相關的等待時間降至最少，這種脫靶會導致可擴縮共用存儲器多處理機系統(tǒng)中的節(jié)點跳躍。
本發(fā)明的另一個目的是提供一種成本低的無需相關性目錄的構造可擴縮共用存儲器多處理機的方法。
因此，本發(fā)明提供一種在具有多個節(jié)點的共用存儲器多處理機系統(tǒng)中對多層的超高速緩存保持超高速緩存的相關性的方法，其中每個節(jié)點是一個共用存儲器多處理機。借助本發(fā)明，為系統(tǒng)中的最高層超高速緩沖存儲器的每條線路保持狀態(tài)物主信息，其中該狀態(tài)信息指示只讀線的哪個節(jié)點首先讀該只讀線，并且該狀態(tài)信息還指示讀/寫線上的哪個節(jié)點首先讀該讀/寫線或者最后修改該讀/寫線，其中為每條超高速緩存線標明的節(jié)點是擁有該超高速緩存線的節(jié)點。若系統(tǒng)中最高層超高速緩沖存儲器的一個節(jié)點的超高速緩存向一條未擊中該系統(tǒng)的最高層超高速緩存線發(fā)出一個讀命令或一個寫訪問命令，則該超高速緩存線的物主把該線置在和最高層的超高速緩沖存儲器互連的一條總線上，其中發(fā)出命令的超高速緩存讀或修改各自的超高速緩存線，這是利用把高速緩存線通過線的物主置于總線上完成的。
圖1表示一個2節(jié)點共用存儲器多處理機系統(tǒng)的邏輯圖，其中每個節(jié)點本身又是一個4節(jié)點共用存儲器多處理機H1。超高速緩存1和2顯示在節(jié)點里，并假定較低層L2的超高速緩存1和某個處理機關連。盡管該簡單COMA結構不包括主存儲器，但假定盤5及相關的盤控制器6物理上駐留在節(jié)點H1(代表盤的主節(jié)點)上。提出的二種體系結構(僅用總線(bus-only，圖1)和總線/MIN(圖2))的協(xié)議活動之間基本差別在于，僅用總線體系結構(圖1)利用節(jié)點間總線4來控制和傳送數(shù)據(jù)，而總線/MIN體系結構(圖2)使用節(jié)點間總線4進行控制，使用節(jié)點間MIN7進行數(shù)據(jù)傳輸。提出的這兩種體系結構所需的大部分相關性活動是相同的。從而我們將把討論集中在僅用總線結構體系建議(圖1)中，當和僅用總線協(xié)議活動不同時再規(guī)定并討論總線/MIN體系結構(圖2)的協(xié)議活動。
為了保持超高速緩存相關性，L2(1)和L3(2)超高速緩存都在每個超高速緩存線項上含有狀態(tài)信息。假定相關性協(xié)議是類屬M、E、S、I(修改、排它、共用、無效)協(xié)議。對于L2超高速緩存1，該類屬協(xié)議可以和典型的分層總線協(xié)議[4]一起使用。由于在我們的提議不存在主存儲器的概念，采用一個代表共用物主狀態(tài)的附加狀態(tài)以規(guī)定只讀線的物主。當讀脫靶下存在把超高速緩存線傳送到某超高速緩存的請求時，該線的物主將提供該數(shù)據(jù)。若一條線處于修改、排它或共用物主狀態(tài)下時，含有該線的超高速緩存就是其物主。當把L3相關協(xié)議實施到一個分層總線簡單的COMA上時，所需的具體動作就正是我們建議的實質。例如，超高速緩存替換策略成為頁面替換策略，并且本發(fā)明說明如何把該頁面替換策略和L3超高速緩存相關性綜合起來。
如下面所概括并如圖3中所示，L3超高速緩存線可處于五種狀態(tài)中的一種狀態(tài)。
·E-排它(8)。該線只駐留在該L3超高速緩存(2)和/或其相關的較低層超高速緩存上并且該線未被修改。
·SO-共用物主(9B)。該線駐留在幾個L3超高速緩存(2)中，并且該線未被修改。一旦某遠程L3超高速緩存(2)未擊中該線時把該超高速緩存線放在L3總線(4)上。
·S-共用(9A)。該線駐留在幾個L3超高速緩存(2)中，并且該線未被修改。
·M-已修改(10)。該線僅駐留在該L3超高速緩存(2)和/或其相關的較低層超高速緩存上并且該線已被修改過。
·I-無效(11)。已在該超高速緩存中為該線分配過空間但數(shù)據(jù)是無效的，或者未在該超高速緩存中為該線分配空間。
有可能把排它狀態(tài)和已修改狀態(tài)合并成一個狀態(tài)。
存在幾種可能觸發(fā)L3超高速緩存(2)中相關性動作的事件。它們包括L2總線讀(AR)或寫(AW)、L3總線讀(BR)或寫(BW)、L2或L3無效(分別為INV-A和INV-B)以及L3超高速緩存對齊(FL-B)。由于我們假設簡單COMA結構，若未對某L3超高速緩存線分配空間，則也未對容納該線的頁面分配空間。從而，未擊中頁面需要啟動頁面替換策略并需要處理L2和L3超高速緩存脫靶。見下面對頁面替換的說明。下面討論當L3超高速緩存線處于所說明的五種狀態(tài)中的一種狀態(tài)時因為這些事件而發(fā)生的動作。請參見圖3。
·無效(I)11。若該線處于無效狀態(tài)并且出現(xiàn)L3總線讀(BR)或L3總線寫(BW)，該線將保持為I狀態(tài)。見圖3中的12。若出現(xiàn)L2總線讀(AR)，則該L3超高速緩存2會把總線讀信號置于L3總線4上以請求是否已對該超高速緩存分配空間的數(shù)據(jù)。若尚未分配空間，則執(zhí)行頁面替換策略(分配所請求的頁面)，并且接著從物主向該L3超高速緩存?zhèn)魉驮摂?shù)據(jù)。作為L2總線讀(AR)的另一個結果，在別的超高速緩存不具有該線的拷貝(見線13上的AR/BR)時把L3超高速緩存線的狀態(tài)改變成E(8)，或者當在至少一個遠程L3超高速緩存(即物主)上存在拷貝時把狀態(tài)改變成S(9A)。見線14上的AR/BR。若出現(xiàn)L2超高速緩存寫，則該L3超高速緩存把“懷有修改意圖的讀”信號放在L3總線4上。這造成從某遠程L3即物主超高速緩存向請求L3超高速緩存?zhèn)魉蛿?shù)據(jù)并造成L3總線4上的一個無效信號。作為該無效信號的后果，若某遠程節(jié)點具有該線的拷貝，則該線將失效。最后，作為L2超高速緩存(1)寫(AW)的結果，該超高速緩存線的狀態(tài)變?yōu)镸(10)，并且該L3超高速緩存變成該線的唯一物主。見AW線15。
“懷有修改意圖的讀”信號是一種典型類型的用于通知遠程超高速緩存某給定的超高速緩存將修改數(shù)據(jù)的信號。該信號還讓這些遠程超高速緩存明白不具有該數(shù)據(jù)的有效拷貝，從而可去得到數(shù)據(jù)的有效拷貝(本情況下從遠程L3超高速緩存)并且接著修改其拷貝。
·排它(E)(8)。若在該狀態(tài)下出現(xiàn)L2總線讀(AR)，該L3超高速緩存線將保持該狀態(tài)。見線16。若在該狀態(tài)下出現(xiàn)L3總線讀(BR)，則該L3超高速緩存線的狀態(tài)改變成SO(見線21)，并且該L3超高速緩存將把該線轉移給發(fā)請求的L3超高速緩存。若出現(xiàn)L2總線寫，該L3線的狀態(tài)則改變成M(10)。見線17。
若出現(xiàn)L3“懷有修改意圖的讀”信號，則該L3超高速緩存將把無效信號放在L2總線上以使該L2超高速緩存(1)中的超高速緩存線失效。該L3超高速緩存還把該線放在L3總線(4)上以發(fā)送給請求者。該線的狀態(tài)改變成I(11)。見線18上的BW、INV-A。
·共用物主(SO)(9B)或共用(S)(9A)。若在這些狀態(tài)下出現(xiàn)L2或L3總線讀，該L3超高速緩存線將保持各自的狀態(tài)。見線22、23上的AR、BR。若L3超高速緩存線狀態(tài)是SO，則該L3超高速緩存把在L3總線上的L3超高速緩存線數(shù)據(jù)傳送給L3請求者，以作為L3總線讀的結果。若出現(xiàn)L2“懷有修改意圖的讀”總線信號，則L3超高速緩存2把無效信號放在L3總線，從而遠程L3拷貝可能是無效的。然后該超高速緩存線的狀態(tài)改變成M(10)。見線24和28。若出現(xiàn)L3“懷有修改意圖的讀”總線信號，則L3超高速緩存2會把無效信號放在該線的L2超高速緩存總線上。若該超高速緩存線處于SO狀態(tài)，L3超高速緩存(2)將經L3總線把數(shù)據(jù)傳送給請求者，然后該線的狀態(tài)改變到I(11)。見線26和27。
共用物主用于規(guī)定一條同時存在于幾個超高速緩存中的(并且從而是共用的)線的物主。這包括只讀線以及那些在其駐留于超高速緩存期間中的某時刻可被修改(從而是排它擁有的)而在其它時刻為共用的線。若某讀寫線處于任一超高速緩存中，則它只存在于該超高速緩存中(只能存在一個帶有某線的讀寫拷貝的超高速緩存)。這樣，利用缺省，該超高速緩存是該線的唯一物主。若此刻一個后來的節(jié)點希望讀一條在某遠程節(jié)點中處于讀寫狀態(tài)的線，則具有該線的唯一拷貝的超高速緩存(唯一物主)將向發(fā)請求的超高速緩存提供該數(shù)據(jù)。在這二個超高速緩存中的該超高速緩存的狀態(tài)從而將是共用的。這是因為該線存在于二個節(jié)點的超高速緩存中，而且它是共用的。但是，該線以前被修改過，一旦具有該線的唯一修改拷貝的超高速緩存把該修改過的線轉移給發(fā)出讀請求的超高速緩存，在這二個超高速緩存中該線的狀態(tài)變?yōu)楣灿谩４丝?，存在著二個帶有該線的相同拷貝(共用拷貝)的超高速緩存。在這種情況中，我們認定最初具有該線的唯一讀寫拷貝的超高速緩存(即從而曾是唯一物主)現(xiàn)在變?yōu)樵摼€的共用物主。
·修改(M)(10)。若出現(xiàn)L2總線讀(AR)或寫(AW)，則從該線的L2超高速緩存物主把該L2超高速緩存線轉移給發(fā)請求的L2超高速緩存1。若不存在L2超高速緩存物主，則由L3超高速緩存2提供數(shù)據(jù)。該線的狀態(tài)不被改變。見線19。若出現(xiàn)L3總線讀信號，則將出現(xiàn)引起的L2總線讀并且一次超高速緩存對齊將把已修改的數(shù)據(jù)從L2超高速緩存(1)傳送到L3超高速緩存(2)。接著，把該線對齊到返回至發(fā)請求的L3超高速緩存(2)的L3總線(4)上。L3超高速緩存線的狀態(tài)改變成SO(9B)。見線25。若出現(xiàn)“懷有修改意圖的讀”總線信號，L3超高速緩存(2)將在L2總線(3)上設置一個無效信號。這將產生從L2超高速緩存(1)到L3超高速緩存(2)的修改過數(shù)據(jù)的超高速緩存對齊。一旦把該對齊傳送到L3超高速緩存(2)，它接著對齊到至發(fā)請求的L3超高速緩存(2)的L3總線(4)上。該L3超高速緩存線的狀態(tài)改變成I(11)。見線20。
頁面替換策略包括對包含在L3超高速緩存中的一些超高速緩存線的某頁面進行重新分配。該策略還包括分配某容納L2(從而以及L3)超高速緩存中被請求的超高速緩存線的頁面。見圖3中線13-15上的DA。
頁面重新分配中的第一步需要選擇一個要被重新分配的頁面(例如最早使用的(LRU)頁面)。接著，在L2總線上放上一個用于組成該頁面的各條線的無效信號。作為該無效信號的結果，L2超高速緩存1中任何修改過的線重新對齊到L3超高速緩存2。同時，所有存在于該L2超高速緩存1中的組成該頁面的超高速緩存線是無效的。然后，必須把將被重新分配的頁面內的修改過的線以及排它線寫入到分配著該頁面的遠程L3超高速緩存。若不存在具有該分配頁面的遠程L3超高速緩存，則只把修改過的線回寫到主盤中。為了判定某遠程L3超高速緩存是否具有該分配的頁面，把該頁面的第一行的全局地址置在L3總線4上。(參見后面有關全局地址確定的討論)。該地址附帶著分配查詢或AI總線信號。若某L3超高速緩存(2)具有該分配的頁面，它會在總線上產生一個分配標志。對于總線/MIN體系結構(圖2)，還把節(jié)點標識放在總線上。若某遠程L3超高速緩存具有該分配的頁面，則把超高速緩存線的所有修改過的和排它的拷貝傳送到L3超高速緩存總線4上。(或者MIN7上，這是對圖2的總線/MIN體系結構來說的)這些超高速緩存線位于將要解除分配的頁面之中。并且?guī)в性摲峙涞捻撁娴腖3超高速緩存2將得到各條修改過的和排它的線的一份拷貝。若若干L3超高速緩存2具有該曾分配的頁面，則或者隨機選出一個L3超高速緩存接收各線的修改過的拷貝或者可由所有的這些L3超高速緩存接收各排它線。若僅有一個遠程L3具有該曾分配過的頁面，對該重新分配頁面中的處于修改狀態(tài)或排它狀態(tài)下的線傳送的線狀態(tài)分別是M(10)和E(8)。
如果若干L3超高速緩存具有該分配的頁面，那么只有當一個L3超高速緩存將獲得各修改過的線的拷貝時這些修改過的線的狀態(tài)才將保持M(10)。若除了一個L3超高速緩存將接收狀態(tài)SO下的線的拷貝外所有其它的L3超高速緩存(2)接收修改過線的拷貝，那么狀態(tài)將改變到S(9A)。然后，所有具有該分配過的頁面的L3超高速緩存(2)將得到各排它線的拷貝。從而，在這些L3超高速緩存中這些線的狀態(tài)將為S。接收各修改過的線的那個超高速緩存還將得到各排它線的共用物主SO(9B)拷貝(若不存在修改過的線，則選擇一個超高速緩存去得到SO狀態(tài)下的排它線)。
若遠程L3超高速緩存都不具有該分配過的頁面，則只把該要重新分配的頁面中的修改過和線回寫到主盤或放在主節(jié)點的遠程L3超高速緩存中。若含有該被重新分配頁面的L3超高速緩存和本地盤位于相同的節(jié)點上，則把各修改過的線回寫到盤5。反之，則在包含著該主盤的節(jié)點的遠程L3超高速緩存2中分配用于容納修改線的空間。接著把修改過的數(shù)據(jù)傳送到該遠程I3超高速緩存2。在遠程(主)L3超高速緩存2中，該修改過的頁面的替換優(yōu)先級是最高的。一旦由于實施頁面替換策略，在該遠程L3超高速緩存中把該頁面選擇為重新分配時，則把該修改過的數(shù)據(jù)回寫到節(jié)點H1上的盤5。我們把該方法稱為修改過線的策略。
一旦完成頁面重新分配，就把新的頁面分配到L3超高速緩存中，并開始把被請求的線(和/或該頁面里的其它各線)傳送到超高速緩存中去。在L3總線4上為該被請求的線設置總線讀或寫信號。若某L3超高速緩存(2)具有該超高速緩存線的拷貝，經過總線(4)(單總線體系結構，圖1)或經過MIN(7)(總線/MIN體系結構，圖2)，把該拷貝傳送到發(fā)請求的L3超高速緩存2。(對于該頁面的其它線)不需要其它的線轉移。從而，已為這些余下的線分配了空間，但它們不駐留在該超高速緩存中。從而這些超高速緩存線的狀態(tài)是無效的(I)(11)。
若不存在帶有該超高速緩存線的L3超高速緩存(從而不存在帶有相關的已分配頁面的L3超高速緩存)，則從主盤中讀入該頁面。若主盤和發(fā)請求的L3超高速緩存處于相同節(jié)點，則從盤5到L3超高速緩存?zhèn)魉偷捻撁婢蛯⑵交某霈F(xiàn)。若主盤處于另一個節(jié)點，則必須把頁面分配到該盤主節(jié)點的L3超高速緩存中(這可能對該盤造成頁面重新分配)，并且從主盤向該盤主節(jié)點的L3超高速緩存?zhèn)魉?。接著，把被請求的線從該L3超高速緩存?zhèn)魉偷桨l(fā)請求L3超高速緩存(單總線體系結構，圖1)。對于總線/MIN體系結構(圖2)，不需要把該頁面分配到該主盤節(jié)點的L3超高速緩存?？梢园秧撁鎻脑摫P傳送到緩沖器，接著再經過MIN從緩沖器傳送到遠程L3超高速緩存。
在簡單COMA結構中，每個獨立的SMP構件H1(即圖1中用虛線框標志的SMP)具有其自己本身的地址空間。但是，整個計算機必須具有全局地址空間來簡化SMP構件H1之間的通信。然而，假定每個SMP構件的虛擬地址空間的量級至少大于該塊的盤容量。從而，每個節(jié)點的虛擬地址空間還可用作共用存儲器多處理機系統(tǒng)的全局地址空間。并假設把該全局地址空間劃分成N個子地址空間，其中N為系統(tǒng)中節(jié)點的總數(shù)。從而，對于某給定的頁面，該頁面的虛擬地址和每個節(jié)點上的相同全局地址一一對應。
參考資料1．T.Feng,“A Survey of Interconnection Networks”, Computer, vol.14,no.12,pp.12-27,1981.
2．E.Hagersten,A.Landin,and S.Haridi,“DDM-A Cache-OnlyMemory Architecture”,Computer,pp.44-54, September 1992.
3．A.Saulsbury,T.Wilkinson,J.Carter,and A.Landin,“AnArgument for simple COMA”, First Symposium on High-PerformanceComputer Architecture,pp. 276-285,1995.
4．A.W.Wilson,“Hierarchical Cache/Bus Architecture for SharedMemory Multiprocessors,”Proceedings of the 14th AnnualInternational Symposium on Computer Architecture, pp.244-252,June1987.
權利要求
1．在具有多個節(jié)點及分層的超高速緩沖存儲器的共用存儲器系統(tǒng)中，其中每個節(jié)點是一個共用存儲器多處理機，一種響應讀或寫訪問命令的保持所述系統(tǒng)中超高速緩存的相關性的方法，所述方法特征在于包括以下步驟a．為所述系統(tǒng)中的最高層的超高速緩沖存儲器的每條線保持狀態(tài)物主信息，所述狀態(tài)物主信息表示只讀線的哪個所述節(jié)點首先讀該所述只讀線，并且所述狀態(tài)物主信息表示某讀/寫線的哪個所述節(jié)點是一個或者首先讀所述讀/寫線的或者最后修改所述讀/寫線的最后節(jié)點，其中每條超高速緩存線的每個標明的節(jié)點是一個擁有所述每條超高速緩存線的節(jié)點；以及b．若所述系統(tǒng)中所述最高層超高速緩存中一個所述節(jié)點處的某超高速緩存發(fā)出未擊中所述系統(tǒng)中的最高層超高速緩存的對某線的讀或寫的訪問，則通過某個擁有最近所述超高速緩存線的節(jié)點把該最近的所述超高速緩存線置于和所述最高層的超高速緩沖存儲器互連的總線上。
2．在具有多個節(jié)點的共用存儲器系統(tǒng)中，其中每個節(jié)點是一個共用存儲器多處理機，一種在所述系統(tǒng)中通過至少三級的超高速緩存保持超高速緩存相關性的方法，所述方法特征在于包括以下步驟a．為所述系統(tǒng)中最高層超高速緩沖存儲器每條線保持狀態(tài)物主信息，所述狀態(tài)物主信息表示某只讀線的哪個超高速緩存首先讀所述只讀線，并且所述狀態(tài)物主信息還表示某讀寫線的哪個節(jié)點最后修改所述讀寫線，所述最近的超高速緩存是物主節(jié)點；b．若所述系統(tǒng)中所述最高層超高速緩沖存儲器中的某非物主超高速緩存對所述各線發(fā)出讀請求，則所述物主節(jié)點中的一個將把超高速緩存線放在和所述最高層超高速緩沖存儲器互連的總線上；c．若所述系統(tǒng)的較低層的某超高速緩存對某超高速緩存線發(fā)出寫請求，較高層超高速緩存在較高層總線上發(fā)送無效信號，以指示所述較低層超高速緩存中的信息是無效的，并且較高層的超高速緩存為所述寫請求在所述較高層總線上向請求者發(fā)送數(shù)據(jù)。d．把擁有所述較高層超高速緩存線的節(jié)點中的所述較高層超高速緩沖線的狀態(tài)改變成無效狀態(tài)。
3．在具有多個節(jié)點和多層的超高速緩沖存儲器的共用存儲器系統(tǒng)里，其中每個節(jié)點是一個共用存儲器多處理機，一種在最高層超高速緩存中訪問某超高速緩存線時如果出現(xiàn)未擊中頁面情況下對某頁面重新分配的方法，所述方法特征在于包括以下步驟a．對所述頁面的各線的較低層超高速緩存發(fā)送無效信號；b．若任何所述較低層超高速緩存線曾修改過所述頁面的所述線，則把所述修改過的線發(fā)送到所述最高層超高速緩存；c．把所述最高層超高速緩存中的所有修改過的線轉移到另一個最高層超高速緩存；以及d．在所述另一個最高層超高速緩存中分配所述頁面，以在所述另一個最高層超高速緩沖中提供用于存儲所述頁面中的每條線的空間。
全文摘要
一種在具有多個節(jié)點的共用存儲器多處理機系統(tǒng)中保持超高速緩存相關性的方法,其中每個節(jié)點本身是一個共用存儲器多處理機。借助本發(fā)明,保持一個附加的共用物主狀態(tài),從而系統(tǒng)中超高速緩沖存儲器最高層的超高速緩存對未擊中系統(tǒng)最高超高速緩存層的超高速緩存線發(fā)出一個讀或寫請求。則該超高速緩存線的物主把該超高速緩存線置于和最高層超高速緩沖存儲器互連的總線上。
文檔編號G06F15/16GK1226035SQ9812269
公開日1999年8月18日 申請日期1998年11月25日 優(yōu)先權日1998年2月13日
發(fā)明者桑德拉·約翰遜·貝勒, 亞孫·舒 申請人:國際商業(yè)機器公司