用于全連接網(wǎng)格拓?fù)浣Y(jié)構(gòu)的高速pci架構(gòu)路由的制作方法
【專利說明】用于全連接網(wǎng)格拓?fù)浣Y(jié)構(gòu)的高速PCI架構(gòu)路由
【背景技術(shù)】
[0001] 為了使兩個獨(dú)立的系統(tǒng)能夠進(jìn)行通信，這些系統(tǒng)中的每一個均需要包括足以使得 這兩個系統(tǒng)能夠交互的硬件和/或軟件。

【發(fā)明內(nèi)容】

[0002] 總的來講，在一個方面，本發(fā)明涉及一種PCIe架構(gòu)，該P(yáng)CIe架構(gòu)包括輸入/輸出 (10)層和集線器層，所述10層包括第一 10層交換機(jī)和第二10層交換機(jī)，所述集線器層包 括多個集線器層交換機(jī)，其中，所述多個集線器層交換機(jī)包括第一集線器層交換機(jī)和第二 集線器層交換機(jī)，其中，第一 10層交換機(jī)使用第一鏈路連接到第一集線器層交換機(jī)，其中， 第一 10層交換機(jī)使用交叉鏈路連接到第二集線器層交換機(jī)。所述PCIe架構(gòu)還包括多個目 標(biāo)裝置，其中，所述多個目標(biāo)裝置中的每一個連接到所述多個集線器層交換機(jī)中的一個，其 中，第一集線器層交換機(jī)使用第二鏈路連接到所述多個目標(biāo)裝置中的第一目標(biāo)裝置，并且 其中，第一集線器層交換機(jī)使用第三鏈路連接到所述多個目標(biāo)裝置中的第二目標(biāo)裝置。第 一 10層交換機(jī)被配置為：從客戶端接收事務(wù)層數(shù)據(jù)包（TLP);進(jìn)行第一確認(rèn)，確認(rèn)TLP中 的地址與第一 10層交換機(jī)中的任何多播地址范圍沒有關(guān)聯(lián)；進(jìn)行第二確認(rèn)，確認(rèn)TLP中的 地址與第一 10層交換機(jī)中的任何下游端口沒有關(guān)聯(lián)；基于第一確認(rèn)和第二確認(rèn)，經(jīng)由第一 10層交換機(jī)上的第一上游端口，使用第一鏈路將TLP路由到第一集線器層交換機(jī)。第一集 線器層交換機(jī)被配置為：在第一下游端口從第一 10層交換機(jī)接收TLP;進(jìn)行第三確認(rèn)，確認(rèn) TLP與第一多播組相關(guān)聯(lián)；基于第三確認(rèn)：產(chǎn)生第一重寫的TLP，并且經(jīng)由第一集線器層交 換機(jī)上的第二下游端口，使用第二鏈路將第一重寫的TLP路由到第一目標(biāo)裝置，其中，第二 下游端口是第一多播組的用戶。
[0003] 總的來講，在一個方面，本發(fā)明涉及一種PCIe架構(gòu)，該P(yáng)CIe架構(gòu)包括：輸入/輸出 (10)層和集線器層，所述10層包括第一 10層交換機(jī)和第二10層交換機(jī)，所述集線器層包 括多個集線器層交換機(jī)，其中，所述多個集線器層交換機(jī)包括第一集線器層交換機(jī)和第二 集線器層交換機(jī)，其中，第一 10層交換機(jī)使用第一鏈路連接到第一集線器層交換機(jī)，其中， 第一 10層交換機(jī)使用交叉鏈路連接到第二集線器層交換機(jī)，其中，所述PCIe架構(gòu)可操作地 連接到多個目標(biāo)裝置，其中，所述多個目標(biāo)裝置中的每一個連接到所述多個集線器層交換 機(jī)中的一個，其中，第一集線器層交換機(jī)使用第二鏈路連接到所述多個目標(biāo)裝置中的第一 目標(biāo)裝置，并且其中，第一集線器層交換機(jī)使用第三鏈路連接到所述多個目標(biāo)裝置中的第 二目標(biāo)裝置。第一 10層交換機(jī)被配置為：從客戶端接收事務(wù)層數(shù)據(jù)包（TLP);進(jìn)行第一確 認(rèn)，確認(rèn)TLP中的地址與第一 10層交換機(jī)中的任何多播地址范圍沒有關(guān)聯(lián)；進(jìn)行第二確認(rèn)， 確認(rèn)TLP中的地址與第一 10層交換機(jī)中的任何下游端口沒有關(guān)聯(lián)；基于第一確認(rèn)和第二確 認(rèn)，經(jīng)由第一 10層交換機(jī)上的第一上游端口，使用第一鏈路將TLP路由到第一集線器層交 換機(jī)。第一集線器層交換機(jī)被配置為：在第一下游端口從第一 10層交換機(jī)接收TLP;進(jìn)行 第三確認(rèn)，確認(rèn)TLP與第一多播組相關(guān)聯(lián)；基于第三確認(rèn)：產(chǎn)生第一重寫的TLP，并且經(jīng)由第 一集線器層交換機(jī)上的第二下游端口，使用第二鏈路將第一重寫的TLP路由到第一目標(biāo)裝 置，其中，第二下游端口是第一多播組的用戶。
[0004] 本發(fā)明的其它方面將通過以下內(nèi)容清楚描述。
【附圖說明】
[0005] 圖1示出根據(jù)本發(fā)明的一個或多個實(shí)施例的包括PCIe架構(gòu)的系統(tǒng)。
[0006] 圖2示出根據(jù)本發(fā)明的一個或多個實(shí)施例的輸入/輸出（10)層交換機(jī)。
[0007] 圖3示出根據(jù)本發(fā)明的一個或多個實(shí)施例的集線器層交換機(jī)。
[0008] 圖4示出根據(jù)本發(fā)明的一個或多個實(shí)施例的用于配置PCIe架構(gòu)的方法。
[0009] 圖5示出根據(jù)本發(fā)明的一個或多個實(shí)施例的10層交換機(jī)對事務(wù)層數(shù)據(jù)包（TLP) 進(jìn)行處理的方法。
[0010] 圖6示出根據(jù)本發(fā)明的一個或多個實(shí)施例的通過集線器層交換機(jī)對TLP進(jìn)行處理 的方法。
[0011] 圖7示出根據(jù)本發(fā)明的一個或多個實(shí)施例的用于對連接到PCIe架構(gòu)的永久性存 儲模塊發(fā)出的TLP進(jìn)行處理的方法。
【具體實(shí)施方式】
[0012] 現(xiàn)在將參照附圖來詳細(xì)描述本發(fā)明的特定實(shí)施例。在以下對本發(fā)明的詳細(xì)描述 中，為了提供本發(fā)明的更透徹的理解，闡述了許多特定細(xì)節(jié)。然而，本領(lǐng)域的普通技術(shù)人員 將明白，可以在沒有這些特定細(xì)節(jié)的情況下實(shí)施本發(fā)明。在其他情況下，不對公知的特征進(jìn) 行詳細(xì)描述以避免不必要地復(fù)雜化描述。
[0013] 在以下對圖1-7的描述中，關(guān)于一個圖描述的任何組件在本發(fā)明的各個實(shí)施例中 可以等同于關(guān)于任何其他圖描述的一個或多個類似命名的組件。為了簡便起見，將不針對 每一個圖重復(fù)這些組件的描述。因此，每一個圖的組件的每一個實(shí)施例通過引用并入，并且 假定可選地存在于具有一個或多個類似命名的組件的每一個其他圖中。另外，根據(jù)本發(fā)明 的各個實(shí)施例，一個圖的組件的任何描述應(yīng)被解釋為除了關(guān)于任何其他圖中的相應(yīng)的類似 命名的組件所描述的實(shí)施例之外、與這些實(shí)施例相結(jié)合、或者代替這些實(shí)施例可以實(shí)現(xiàn)的 可選實(shí)施例。
[0014] 總的來講，本發(fā)明的實(shí)施例涉及一種PCIe架構(gòu)，該P(yáng)CIe架構(gòu)包括至少兩層交換 機(jī)，這些層交換機(jī)連接以在所述至少兩層之間形成全連接網(wǎng)格拓?fù)浣Y(jié)構(gòu)。此外，本發(fā)明的實(shí) 施例涉及一種PCIe架構(gòu)，該P(yáng)CIe架構(gòu)使得連接到該P(yáng)CIe架構(gòu)中的一個分片的客戶端能夠 對該P(yáng)CIe架構(gòu)的不同分片中的存儲器、網(wǎng)絡(luò)端點(diǎn)裝置和/或永久性儲存器執(zhí)行操作（例 如，讀寫操作）。
[0015] 在典型的通信架構(gòu)（諸如以太網(wǎng)或Infiniband)中，請求是通過下述方式跨過通 信架構(gòu)中的交換機(jī)被路由的：將唯一端點(diǎn)地址與每個端點(diǎn)裝置相關(guān)聯(lián)，并且將該端點(diǎn)地址 指定為請求的一部分。在PCIe架構(gòu)中，讀寫操作在架構(gòu)交換機(jī)之間的路由是基于被訪問的 存儲器地址、而不是基于端點(diǎn)地址。因此，用于全連接網(wǎng)格的基于地址的路由的典型布置不 允許所有客戶端訪問所有端點(diǎn)裝置。本發(fā)明的一個或多個實(shí)施例提供可以克服該限制的機(jī) 制。具體地講，基于地址的路由可以實(shí)現(xiàn)層之間的所有客戶端訪問所有端點(diǎn)的全連接網(wǎng)格 (下面描述）。
[0016] 在本發(fā)明的一個或多個實(shí)施例中，PCIe架構(gòu)中的組件傳達(dá)和/或?qū)崿F(xiàn)高速外設(shè)組 件互連（PCIe)標(biāo)準(zhǔn)。本發(fā)明的實(shí)施例不限于PCIe標(biāo)準(zhǔn)的任何過去的、當(dāng)前的或未來的版 本。此外，本發(fā)明的實(shí)施例可以用實(shí)現(xiàn)與用于實(shí)現(xiàn)本發(fā)明的各個實(shí)施例的PCIe標(biāo)準(zhǔn)的特征 類似的特征的其他標(biāo)準(zhǔn)來實(shí)現(xiàn)。
[0017] 圖1示出了根據(jù)本發(fā)明的一個或多個實(shí)施例的包括PCIe架構(gòu)的系統(tǒng)。PCIe架構(gòu) (100)由兩個或更多個分片（104A、104B)構(gòu)成，其中，每個分片均直接連接到處理器（112A、 112B)和一個或多個客戶端（102A-102D)。下面描述前述每一個組件。
[0018] 在本發(fā)明的一個實(shí)施例中，每個客戶端（102A-102D)均是包括處理器（或其它類 型的處理組件）、存儲器和使得它能夠連接到PCIe架構(gòu)（100)的一個（或多個）物理接口 的物理裝置。此外，每個客戶端均包括實(shí)現(xiàn)實(shí)現(xiàn)本發(fā)明的一個或多個實(shí)施例所需的PCIe標(biāo) 準(zhǔn)（或者其部分）的功能?？蛻舳诉€包括發(fā)送和/或接收事務(wù)層數(shù)據(jù)包（TLP)的功能。TLP 對應(yīng)于根據(jù)PCIe標(biāo)準(zhǔn)定義的數(shù)據(jù)包類型。在本發(fā)明的一個實(shí)施例中，TLP使得客戶端能夠 從PCIe架構(gòu)讀取數(shù)據(jù)以及將數(shù)據(jù)寫入到PCIe架構(gòu)。換句話說，TLP使得客戶端能夠?qū)?shù) 據(jù)傳送到PCIe架構(gòu)中的位置以及從PCIe架構(gòu)中的位置傳送數(shù)據(jù)。在本發(fā)明的一個實(shí)施例 中，客戶端中的一個或多個作為PCIe端點(diǎn)（即，發(fā)起事務(wù)的裝置和/或作為事務(wù)的目標(biāo)的 裝置）進(jìn)行操作。每個客戶端可以經(jīng)由客戶端與PCIe架構(gòu)之間的鏈路（S卩，物理連接）連 接到PCIe架構(gòu)。
[0019] 繼續(xù)討論圖1，每個分片（104A、104B)均包括輸入/輸出（10)層交換機(jī)（ITS) (108A、108B)、集線器層交換機(jī)（HTS) (106A、106B)以及一個或多個永久性存儲模塊（PSM)。 下面描述這些組件中的每一個。
[0020] 關(guān)于ITS，每個ITS是連接到一個或多個客戶端（102A-102D)的物理PCIe交換機(jī)。 每個ITS還連接到該ITS所在的同一個分片中的HTS。另外，每個ITS可以連接到與該ITS 所在分片不同的分片中的一個或多個HTS。在本發(fā)明的一個實(shí)施例中，每個ITS連接到PCI 架構(gòu)中的每一個HTS，得到PCIe架構(gòu)中的層之間的全連接網(wǎng)格。在不背離本發(fā)明的情況下， 本發(fā)明的實(shí)施例可以實(shí)現(xiàn)為在層之間不具有全連接網(wǎng)。
[0021] 在本發(fā)明的一個實(shí)施例中，每個ITS被配置為：⑴從它連接的客戶端接收TLP，并 且使用地址路由將這些TLP路由到ITS上的適當(dāng)?shù)某稣径丝冢ㄉ嫌味丝?，或者下游端口?一），以及（ii)從ITS連接的一個或多個HTS接收TLP，并且使用地址路由將這些TLP路由 到ITS上的適當(dāng)?shù)某稣径丝冢ㄍǔＪ窍掠味丝冢＠?，在圖1中，ITSB(108B)可以從客 戶端C(102A)、客戶端D(102D)、HTSA(106A)和HTSB(106B)接收TLP。下面關(guān)于圖2提供 關(guān)于ITS的另外的細(xì)節(jié)。
[0022] 關(guān)于HTS，每個HTS均是連接到一個或多個ITS(108A-108B)和一個或多個永久性 存儲模塊（PSM(llOA-llOD))的物理PCIe交換機(jī)。每個HTS連接到該HTS所在的同一個分 片中的ITS。另外，每個HTS可以連接到與該HTS所在分片不同的分片中的零個或多個ITS。 在本發(fā)明的一個實(shí)施例中，每個HTS連接到PCIe架構(gòu)中的每一個其他ITS，得到PCIe架構(gòu) 中的層之間的全連接網(wǎng)格。每個HTS還經(jīng)由其根端口（未示出）連接到處理器。在不背離 本發(fā)明的情況下，本發(fā)明的實(shí)施例可以實(shí)現(xiàn)為在層之間不具有全連接網(wǎng)格。
[0023] 在本發(fā)明的一個實(shí)施例中，每個HTS被配置為：（i)從它連接的永久性存儲模塊 (PSM)接收TLP，并且使用地址路由將這些TLP路由到HTS上的適當(dāng)?shù)某稣径丝冢ㄍǔＪ窍?游端口），以及（ii)從該HTS連接的一個或多個ITS接收TLP