專利名稱：用于為多道pci高速io互連提供線纜冗余和故障轉(zhuǎn)移的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實施方式總體上涉及外圍組件互連高速(PCIE)總線，并且更具體地，涉及為多道(multi-lane)PCIE IO互連提供線纜冗余和故障轉(zhuǎn)移(failover)的方法和裝置。
背景技術(shù)：
外圍組間互連(PCI)標(biāo)準(zhǔn)首先在1990年代早期引入。通過使用連接至前側(cè)總線和處理器的PCI橋接芯片，PCI針對連接至PCI總線的任何外圍設(shè)備提供對計算機系統(tǒng)內(nèi)的系統(tǒng)存儲器的直接訪問。PCI橋接芯片獨立于處理器的速度而調(diào)整PCI總線的速度，從而實現(xiàn)高度的可靠性。PCI高速(PCIE)標(biāo)準(zhǔn)是PCI標(biāo)準(zhǔn)的后繼，在此通過引用將其相關(guān)內(nèi)容結(jié)合于此。 相比于PCI，PCI高速可以利用更少的物理管腳實現(xiàn)更高的傳輸速率。不同于先前一代的 PCI總線，PCI高速使用點對點的總線架構(gòu)。相應(yīng)地，專用總線用于在使用PCIE總線系統(tǒng)的任何兩個設(shè)備之間的數(shù)據(jù)事務(wù)。該專用總線由在通信設(shè)備之間建立點對點連接的交換機輔助。由此，該交換機用作設(shè)備之間的中介設(shè)備，并且物理地并且邏輯地位于附接至計算機系統(tǒng)的任何兩個設(shè)備之間。PCIE交換機包括多個端口以促進(jìn)向計算機系統(tǒng)附接設(shè)備。交換機的端口和設(shè)備之間的物理連接通常被稱作鏈路。每個鏈路包括一個或者多個道，并且每個道能夠雙向傳輸數(shù)據(jù)。由此，每個道是全雙工連接。包括單個道的鏈路被稱作χ 1鏈路。類似地，包括兩道或者四道的鏈路分別被稱作x2鏈路或者x4鏈路。PCI高速允許具有不同寬度的接口，諸如xl、x2、x8、xl2、xl6和 x32鏈路，以便滿足各種外圍設(shè)備對于帶寬的不同需求。由此，專用總線可以是1道、2道、4 道、8道、12道、16道或者32道的寬度。當(dāng)代的服務(wù)器類計算機頻繁地使用PCIE IO適配器作為主要的IO適配器技術(shù)。通常，CPU附件包括有限數(shù)量的PCIE適配器插槽以定制特定服務(wù)器的IO選項。然而，CPU機架封裝(chassis packaging)典型地將其限制為很少數(shù)量的此類插槽，而每個機架的計算機功率隨著多核處理器芯片而顯著地增長。通常，服務(wù)器提供機制以向一個或者多個附加 “10擴展”機架中的PCI適配器連接CPU。例如，在PCIE系統(tǒng)中，PCI根端口(PRP)(也稱作 PCIE主機橋接(PHB))是CPU電子設(shè)備的組件，并且創(chuàng)建直接連接單一PCIE IO適配器插槽的、或者連接IO擴展機架中的PCIE交換機的PCI總線，該IO擴展機架將該PHB總線擴展為該交換機之下的多個PCIE適配器插槽。IO擴展需要將一個或者多個PCIE適配器插槽置于擴展機架中，并且向CPU機架內(nèi)的PHB連接這些插槽。典型地，由于這些IO擴展機架是物理上不同的電子機架或者附件，因此在CPU機架內(nèi)的PHB和IO擴展機架內(nèi)的PCIE適配器插槽之間的電子連接在這些附件之間需要物理線纜連接。這些線纜在PHB和PCIE適配器插槽之間可能需要多于數(shù)英寸的互連距離，并且甚至可能在包括CPU和IO擴展附件的不同物理框架之間進(jìn)行擴展。

發(fā)明內(nèi)容
本公開的特定方面提供了為第一 PCIE橋接裝置和第一輸入/輸出(IO)設(shè)備之間的連接提供故障轉(zhuǎn)移操作的方法，該方法總體上包括通過使用第一 PCIE橋接裝置的道的第一集合，通過第一鏈路在第一 PCIE橋接裝置和第一 IO設(shè)備之間交換總線化位的第一集合；以及響應(yīng)于檢測到第一鏈路中的故障，通過使用連接第二PCIE橋接裝置和第二 IO設(shè)備的第二鏈路的未使用部分，在第一 PCIE橋接裝置和第一 IO設(shè)備之間交換總線化位的第二
皇A
朱口 ο本公開的特定方面提供了一種為第一 PCIE橋接裝置和第一輸入/輸出(IO)設(shè)備之間的連接提供故障轉(zhuǎn)移操作的裝置。所述裝置總體上包括連接第一PCIE橋接裝置與第
一IO設(shè)備的第一鏈路，以及連接第二 PCIE橋接裝置與第二 IO設(shè)備的至少一個第二鏈路， 第一鏈路用于通過使用第一 PCIE橋接裝置的道的第一集合，在第一 PCIE橋接裝置和第一 IO設(shè)備之間交換總線化位的第一集合；其中響應(yīng)于檢測到第一鏈路中的故障，通過使用第二鏈路的未使用部分，在第一 PCIE橋接裝置和第一 IO設(shè)備之間交換總線化位的第二集合。本公開的特定方面提供了用于為第一 PCIE橋接裝置和第一輸入/輸出(IO)設(shè)備之間的連接提供故障轉(zhuǎn)移操作的計算機程序產(chǎn)品，所述計算機程序產(chǎn)品總體上包括包括代碼的計算機可讀介質(zhì)。代碼總體上包括用于執(zhí)行如下的代碼通過使用第一PCIE橋接裝置的道的第一集合，通過第一鏈路在第一 PCIE橋接裝置和第一 IO設(shè)備之間交換總線化位的第一集合；以及響應(yīng)于檢測到第一鏈路中的故障，通過使用連接第二 PCIE橋接裝置和第
二IO設(shè)備的第二鏈路的未使用部分，在第一 PCIE橋接裝置和第一 IO設(shè)備之間交換總線化位的第二集合。


從而，可以詳細(xì)地理解和獲得關(guān)于所引用方面的方式，通過參考附圖可以獲得上文概括的、本發(fā)明實施方式的更具體描述。然而，應(yīng)當(dāng)注意，附圖僅示出本發(fā)明的典型實施方式，并且由此不應(yīng)被認(rèn)為是對本發(fā)明范圍的限制，而是本發(fā)明可以承認(rèn)其他等同效果的實施方式。圖1是根據(jù)本公開一個實施方式的圖示，其示出了結(jié)合PCI高速(PCIE)構(gòu)造 (fabric)拓?fù)涞氖纠嬎銠C系統(tǒng)；圖2是根據(jù)本公開一個實施方式的圖示，其示出了用于通過在CPU端和交換機端兩者處使用復(fù)用器、而提供線纜故障轉(zhuǎn)移機制的PCIE系統(tǒng)的示例基礎(chǔ)操作；圖3是根據(jù)本公開一個實施方式的圖示，其示出了在圖2的PCIE系統(tǒng)中的線纜故障期間使用的故障轉(zhuǎn)移機制的示例；圖4是根據(jù)本公開一個實施方式的流程圖，其示出了用于通過在CPU端和交換機端兩者處使用復(fù)用器、使用圖2和圖3的PCIE系統(tǒng)提供線纜故障轉(zhuǎn)移機制的示例過程；圖5是根據(jù)本公開一個實施方式的流程圖，其示出了用于提供線纜故障轉(zhuǎn)移機制的示例操作；圖6是根據(jù)本公開一個實施方式的示例圖示，其示出了用于通過在交換機端使用復(fù)用器而提供故障轉(zhuǎn)移機制的PCIE系統(tǒng)的基礎(chǔ)操作；
圖7是根據(jù)本公開一個實施方式的示例圖示，其示出了在圖6的PCIE系統(tǒng)中的線纜故障期間的故障轉(zhuǎn)移機制；圖8是根據(jù)本公開一個實施方式的流程圖，其示出了用于通過在交換機端使用復(fù)用器、使用圖6和圖7的PCIE系統(tǒng)提供線纜故障轉(zhuǎn)移機制的示例過程；以及圖9是根據(jù)本公開一個實施方式的流程圖，其示出了用于提供線纜故障轉(zhuǎn)移機制的示例操作。
具體實施例方式圖1是根據(jù)本公開一個實施方式的圖示，其示出了結(jié)合PCI高速(PCIE)構(gòu)造拓?fù)涞挠嬎銠C系統(tǒng)100。該計算機系統(tǒng)包括連接至根復(fù)合體104的CPU 102。根復(fù)合體104典型地代表CPU 102生成事務(wù)請求。根復(fù)合體功能可以實現(xiàn)為分立的設(shè)備，或者可以在處理器(例如，CPU 102)內(nèi)集成。根復(fù)合體104可以包括一個以上的PCI高速端口，并且多個 PCIE交換機設(shè)備可以連接至端口或者從一個或者多個端口級聯(lián)。根復(fù)合體104可以包括多個PCIE主機橋接裝置(PHB)，例如PHB 106和108。根據(jù)特定方面，PHB 106、108可以實現(xiàn)為分立的設(shè)備，或者可以在根復(fù)合體104內(nèi)集成。每個 PHB 106、108可以經(jīng)由輸入/輸出(I/O)總線130、132而連接至相應(yīng)的PCIE交換機142、 144。例如，PHB 106經(jīng)由總線130連接至PCIE交換機142，而PHB108經(jīng)由總線132連接至 PCIE交換機144。每個交換機142、144可以進(jìn)一步經(jīng)由鏈路152連接至PCIE端點(EP) 150。 交換機142、144典型地針對其相應(yīng)I/O總線130、132提供扇出(fan-out)。這樣可以提高 PHB對PCIE的適配器比率，并且將CPU機架中所需的PHB數(shù)量最小化。根據(jù)特定方面，交換機142、144具有經(jīng)由鏈路152附接的連接器的一個或者多個端口，并且每個連接器進(jìn)一步附接至端點150。端點典型地使用鏈路152來與計算機系統(tǒng)上的任何其他設(shè)備(包括另一端點)交互(transact)數(shù)據(jù)。每個交換機142、144在上游根端口和連接至計算機系統(tǒng)中的這些交換機的端點設(shè)備150之間建立多個點對點連接。鏈路是在計算機系統(tǒng)100中的兩個組件之間的雙單工通信路徑。在邏輯上，端口是組件和PCI高速鏈路之間的接口。在物理上，端口是位于限定鏈路的同一芯片上的一組發(fā)射機和接收機。鏈路必須支持至少一個道，其中每個道表示一組差分信號對(一個發(fā)射對和一個接收對)。為了縮放帶寬，鏈路可以整合由XN表示的多個道，其中N是所支持的鏈路寬度之一。例如，Xl表示具有1個物理道的鏈路，而x8表示具有8個物理道的鏈路。 PCI高速提供多個物理道，諸如單一道、4道、8道、16道和32道，以便適應(yīng)于PCI高速兼容外圍設(shè)備的不同帶寬需求。在某些方面，每個IO總線130、132還可以具有多個道，其中道的數(shù)量典型地對應(yīng)于連接至端點150的鏈路的道的數(shù)量。例如，總線130和132中的每個是x8總線。根據(jù)特定方面，PCIE鏈路包括線纜、嵌入式板連線(board wiring)、板到板連接和支持在PCIE橋接裝置和PCIE交換機或者設(shè)備之間進(jìn)行通信的任何其他連接。根據(jù)特定方面，鏈路/總線的道在物理上可以被劃分為道的多個集合。例如，連接 PHB 106和PCIE交換機142的I/O總線130被劃分為道的兩個集合110和112，其中每個集合4個道。類似地，連接PHB 108與PCIE交換機144的I/O總線132被劃分為道的兩個集合114和116，其中每個集合4個道?？梢灶I(lǐng)會到，僅出于說明性目的而將每個鏈路/總線劃分為道的兩個集合，并且總線/鏈路可以被劃分為道的任意數(shù)目的集合，其中道的每個集合所具有道的最小數(shù)量為1個道。例如，xl6總線/鏈路可以被劃分為兩個x8總線、4 個x4總線、8個x2總線或者16個Xl總線。根據(jù)特定方面，總線的這種物理劃分不受到軟件控制，并且該劃分基于硬件設(shè)計是永久性的。在啟動時，PCI高速設(shè)備典型地與交換機協(xié)商以確定其鏈路可以包括的道的最大數(shù)目。此鏈接寬度協(xié)商依賴于鏈路自身的最大寬度(即，鏈路包括的物理信號對的實際數(shù)量)，依賴于設(shè)備被附接至的連接器的寬度以及設(shè)備自身的寬度。在特定方面，由于PCIE交換機142、144是物理上不同的電子機架或者附件，將PHB 與其相應(yīng)交換機連接的每個I/O總線通過諸如物理線纜134、136之類的單獨鏈路運行。例如，總線130通過線纜134運行，而總線132通過線纜136運行。在每個線纜134、136的任一端處提供的線纜連接器(CC) 160，其在道的集合與線纜之間提供電連接。根據(jù)特定方面， 由于將CPU和PCIE交換機與外部線纜連接導(dǎo)致的一個問題在于，丟失了與通過該線纜通信的IO插槽的連接，這是由于線纜或者線纜連接器的故障、在一個或者另一個機架處線纜連接的偶然移除、或者需要移除線纜以修復(fù)線纜的服務(wù)動作。根據(jù)特定方面，通過使用單獨物理線纜將每個PHB 106、108與交換機142、144分別連接，這提供冗余線纜并且有助于在如果一個線纜134或者另一線纜136故障時提供故障轉(zhuǎn)移機制。在特定方面，根據(jù)故障轉(zhuǎn)移機制，如果連接第一 PHB和第一 PCIE交換機的線纜出現(xiàn)故障，則可以通過使用第二激活線纜(連接第二 PHB和第二 PCIE交換機的第二激活線纜)，在第一 PHB和第一 PCIE交換機之間交換數(shù)據(jù)的至少一部分。例如，如果計算機系統(tǒng) 100檢測到線纜136已出現(xiàn)故障，則可以通過使用仍然激活的線纜134內(nèi)的某些道來在PHB 108和交換機144之間交換數(shù)據(jù)，而PHB 106和交換機142繼續(xù)在線纜134內(nèi)的其他道上交換數(shù)據(jù)。PCIE架構(gòu)允許將道降檔(down-shift)和升檔(up-shift)。這允許CPU固件將 PHB和相應(yīng)交換機之間的道的數(shù)量減少(降檔)，以及將其恢復(fù)(升檔)至激活道的原始數(shù)量。在特定方面，PCIE系統(tǒng)的這種能力用于在線纜故障期間提供故障轉(zhuǎn)移機制。例如，當(dāng)檢測到線纜136中的故障時，總線130和132兩者被降檔以僅使用道的一個集合。由此，每個總線被從x8總線降檔至x4總線。一旦完成道降檔，則通過使用總線130的未使用的道的集合，在PHB 108和交換機144之間交換總線132的激活的道的集合上的數(shù)據(jù)。在特定方面，僅有總線130從x8被降檔至x4，并且總線130的非激活的道的集合用于在PHB 108 和交換機144之間交換數(shù)據(jù)。圖2是根據(jù)本公開一個實施方式的圖示，其示出了用于通過在CPU端和交換機端兩者處使用復(fù)用器而提供線纜故障轉(zhuǎn)移機制的PCIE系統(tǒng)200的基礎(chǔ)操作。如圖2中所示，PCIE根復(fù)合體104包括PHB 106和108。PHB 106通過使用I/O總線130與PCIE交換機142交換數(shù)據(jù)，而PHB 108通過使用I/O總線132與PCIE交換機144 交換數(shù)據(jù)?？偩€130和132中的每一個都是x8總線。I/O總線130被劃分為道的兩個集合110和112，其中每個集合4個道。類似地，I/O總線132被劃分為道的兩個集合114和 116，其中每個集合4個道。在特定方面，對于總線130，道的集合110表示較高階的道0-3， 而道的集合112表示較低階的道4-7。類似地，對于總線132，道的集合114表示較高階的道0-3，而道的集合116表示較低階的道4-7。在每個線纜134、136的任一端處提供的線纜連接器160a-160d在道的集合與線纜之間提供電連接。
道復(fù)用器(MUX)(或者交叉點電交換機)202a-202d支持在線纜134和136的兩端 (CPU端和交換機端)上的每個總線130和132中道的集合之間的道切換。在特定方面，在 PCIE系統(tǒng)的基本操作期間，線纜134和136兩者是激活的。下文是在基本操作期間的MUX 的典型配置 在CPU端處，MUX 20 將道的集合110與CC 160a連接，并將道的集合116與CC 160c連接； 在CPU端處，MUX 202c將道的集合114與CC 160c連接，并將道的集合112與CC 160a連接；·在交換機端處，MUX 220b將道的集合110與PCIE交換機142連接，并將道的集合116與PCIE交換機144連接；·在交換機端處，MUX 220d將道的集合114與PCIE交換機144連接，并將道的集合112與PCIE交換機142連接；由此，在基本操作期間，總線130的道的集合110和112將PHB 106與交換機142 連接，而總線132的道的集合114和116將PHB 108與交換機144連接。在交換機處的MUX 可以集成到包括PCIE交換機的IO機架中。在特定方面，在CPU端，全部道可以通過使用復(fù)用器從每個PHB向兩個線纜路由。例如，MUX 20 可以將道的集合110與CC 160a連接， 或者切換道的集合以將道的集合110與CC160C連接。類似地，在交換機端處的復(fù)用器允許將每個線纜內(nèi)的道的子集重新路由至任一交換機。當(dāng)然，本領(lǐng)域普通技術(shù)人員將領(lǐng)會到，在圖2中示出的MUX的配置的數(shù)量是出于說明性目的，并且可以使用MUX的任何配置或者任何數(shù)量以實現(xiàn)本公開的各種方面。根據(jù)特定方面，CPU固件控制PHB和MUX 202a和202c的操作。在特定方面，MUX 202b和202d由連接至交換機142和144中任意一個的一個或者多個設(shè)備(或者EP)來控制。例如，分別連接至交換機142和144的MUX控制設(shè)備20 和204b可以被編程，以便控制MUX 202b和202d。在特定方面，CPU固件配置MUX控制設(shè)備20 和204b、或者與其通信，以便通過使用MUX 202b和202d來在交換機端處施加道切換。在特定方面，MUX控制設(shè)備20 和204b中的每一個都可以控制MUX 202b和202d兩者。在特定方面，MUX控制設(shè)備是特殊類型的IO機架元件，其也是連接至交換機的PCIE設(shè)備。圖3是根據(jù)本公開一個實施方式的示例圖示，其示出了在圖2的PCIE系統(tǒng)中的線纜故障期間的故障轉(zhuǎn)移機制。如上文針對圖2所述，在基礎(chǔ)操作期間，連接在IO機架中的PHB和交換機之間的 PCIE總線的全部道。由此，兩個x8 PHB 106、108中的每一個將總線130、132中的全部8個道連接至IO機架中的相應(yīng)交換機。當(dāng)一個線纜丟失時，CPU固件使用PCIE “道降檔”來首先降低在另一 PHB及其相應(yīng)交換機之間激活的道的數(shù)量，例如，將該數(shù)量從x8總線降低至 x4總線。這釋放4個道以供由已經(jīng)丟失了對其交換機的線纜連接的I/O總線和PHB使用。 在特定方面，被釋放的線纜典型地是X8PCIE總線中的道4-7。根據(jù)特定方面，PHB或者根端口可以將鏈路狀態(tài)改變事件(諸如鏈路不運行(Link Down)事件)信令發(fā)送到相關(guān)于PCIE 鏈路連接(或者線纜)的故障或者丟失的CPU固件，激勵CPU固件來檢查線纜或者鏈路的操作狀態(tài)。其他實施方式可以使用其他指示或者機制來激勵CPU固件來檢查線纜故障以實現(xiàn)相同效果。
根據(jù)特定方面，CPU固件還將具有線纜丟失的CPU固件設(shè)置至x4總線。如已經(jīng)討論的那樣，通過利用“復(fù)用器”或者交叉點電交換機，全部道可以從每個PHB路由至兩個線纜。由此，當(dāng)線纜134、136之一故障時，故障轉(zhuǎn)移機制觸發(fā)并且CPU固件設(shè)置CPU端處的復(fù)用器以將道的集合(典型地，道0-3)從丟失線纜的PHB路由至另一激活PHB線纜的那些未使用道(典型地，道4-7)。另外如所述，交換機端處的復(fù)用器允許將每個線纜內(nèi)的道的子集重新路由至任一交換機。另外，作為故障轉(zhuǎn)移機制的一部分，CPU固件通過激活的PHB線纜與PCIE交換機上的MUX控制器設(shè)備通信，以便將針對PHB的激活線纜的現(xiàn)在的路由道4_7 設(shè)置為另一交換機的道0-3。由此，通過利用激活連接線纜中的PHB的道4-7，將已經(jīng)丟失線纜連接的PHB的道0-3連接至其原始連接至的交換機的道0-3 ；同時保持激活PHB道0_3 對于其交換機道0-3的連接，除了 PCIE降檔協(xié)議以外同一線纜在該連接性不間斷。例如，圖3示出了當(dāng)線纜132出現(xiàn)故障并且僅有線纜130為激活時的線纜故障轉(zhuǎn)移機制。CPU檢測線纜132的故障，并且作為響應(yīng)而使用道降檔，將總線130和132中的激活道的數(shù)量從x8總線減少至x4總線。在此示例中，道降檔引導(dǎo)PHB 106來僅僅使用道的集合110(道0-；3)，并引導(dǎo)PHB 108來僅僅使用道的集合114(道0-；3)。CPU固件引導(dǎo)MUX 202c來在激活的總線130的道的集合114和道4_7之間建立連接。CPU固件使用激活的線纜134的I/O總線130來與MUX控制設(shè)備20 同時通信。MUX控制設(shè)備20 引導(dǎo)MUX202d 來在PCIE交換機144的道0-3和總線130的道4_7之間建立連接。因此，故障轉(zhuǎn)移機制由此通過使用激活連接的線纜134中的PHB106的道4_7，將已經(jīng)丟失線纜連接的PHB 108的道0-3連接至其原始連接至的PCIE交換機144的道0-3。根據(jù)特定方面，一旦完成服務(wù)動作來恢復(fù)丟失的線纜連接，向CPU固件通知(或者備選地可以經(jīng)由電子線纜呈現(xiàn)信號檢測)被恢復(fù)的線纜連接，并且可以將在故障轉(zhuǎn)移機制期間執(zhí)行的MUX的配置反向，由此改變道復(fù)用器設(shè)置，從而直接通過其相對應(yīng)的線纜而將針對每個PHB的全部道重新路由至連接至其的交換機的上游端口。圖4是根據(jù)本公開一個實施方式的流程圖，其示出了用于通過在CPU端和交換機端兩者處使用復(fù)用器、使用圖2和圖3的PCIE系統(tǒng)提供線纜故障轉(zhuǎn)移機制的示例過程400。 在402處，CPU固件檢查分別將PHB 106和108連接至其相應(yīng)交換機142和144的線纜134 和136中的故障。在404處，如果CPU固件檢測到線纜中(例如，線纜136)的故障，則在 406處，CPU固件將總線130和132從x8向x4總線降檔。在408處，固件引導(dǎo)CPU端處的 MUX 202c將具有線纜故障的PHB的交換機道的集合114切換至激活總線130的道4-7。在 410處，固件通過使用交換機端的MUX控制設(shè)備20 ，引導(dǎo)MUX 202d將激活總線130的交換機道4-7切換到交換機144的道0-3。在412處，如果線纜136未恢復(fù)至完全連接，則過程400繼續(xù)以故障轉(zhuǎn)移模式操作，并且針對恢復(fù)的連接而繼續(xù)檢查線纜136。在412處，如果CPU固件檢測到線纜136的連接已恢復(fù)，則PCIE系統(tǒng)被恢復(fù)至圖2中的基礎(chǔ)操作，其中總線恢復(fù)至x8總線。根據(jù)特定方面，可以在線纜的CPU端省略道的復(fù)用電子裝置(或者M(jìn)UX)，以實現(xiàn)降低電子裝置成本和封裝需求的優(yōu)勢。然而，其缺點在于可能限制線纜的長度并且由于電子裝置的定時需求(其要求為這些冗余配置而使用的兩個線纜之間的窄線纜長度容限)而約束某些IO機架線纜配置。每個冗余配置在故障轉(zhuǎn)移和恢復(fù)機制的固件序列中具有相應(yīng)的區(qū)別。本領(lǐng)域普通技術(shù)人員可以選擇任一冗余配置以適合于特定的PCIE實現(xiàn)的需求。
圖5是根據(jù)本公開一個實施方式的流程圖，其示出了用于提供線纜故障轉(zhuǎn)移機制的示例操作500。操作500在502處開始，通過使用第一 PCIE橋接裝置的道的第一集合，通過第一線纜在第一 PCIE橋接裝置和第一 IO設(shè)備之間交換總線化位(bussed bit)的第一集合?？偩€化位通常是指在總線上傳輸?shù)臄?shù)據(jù)位。在504處，在第一線纜中檢測故障。在506處，響應(yīng)于在第一線纜中檢測到故障，通過使用連接第二 PCIE橋接裝置和第二 IO設(shè)備的第二線纜的未使用部分，在第一 PCIE橋接裝置和第一 IO設(shè)備之間交換總線化位的第一集合。圖6是根據(jù)本公開一個實施方式的示例圖示，其示出了用于通過僅僅在交換機端使用復(fù)用器而提供故障轉(zhuǎn)移機制的PCIE系統(tǒng)600的基礎(chǔ)操作。如圖6中所示，道復(fù)用器(MUX)(或者交叉點電交換機)202b和202d支持在線纜 134和136的交換機端上的總線130和132中的每一個的道的集合之間進(jìn)行道切換。然而， 在CPU端上沒有MUX，并且道的集合直接連接至線纜。在特定方面，在PCIE系統(tǒng)的基礎(chǔ)操作期間，線纜134和136兩者均是激活的。下文是在基礎(chǔ)操作期間PCIE系統(tǒng)600的典型配置 在 CPU 端 對于PHB 106，道的集合110與CC 160a直接連接，而道的集合112與CC 160c
直接連接。 對于PHB 108，道的集合114與CC 160c直接連接，而道的集合116與CC 160a
直接連接。·在交換機端-MUX 202b將道的集合110和112與PCIE交換機142連接，并且可以用于在道的集合110和112之間切換。-MUX 202d將道的集合114和116與PCIE交換機144連接，并且可以用于在道的集合114和112之間切換。由此，在基礎(chǔ)操作期間，總線130的道的集合110和112將PHB 106與交換機142 連接，總線132的道的集合114和116將PHB 108與交換機144連接。在特定方面，在CPU 端通過利用道交換，可以將全部道從每個PHB路由至兩個線纜。例如，道的集合114可以與道的集合116交換，從而支持道的集合114通過線纜160a而不是160c被路由。類似地，道的集合110和112可以被交換以便通過線纜160a和160b中的任一而路由每個道的集合。 如在上文段落中所示，交換機端的MUX 202b和202d允許將每個線纜內(nèi)的道的子集重新路由至任一交換機。當(dāng)然，本領(lǐng)域普通技術(shù)人員將認(rèn)識到，MUX的配置和數(shù)量僅用于說明性目的，并且MUX的任意配置或者任意數(shù)量可以用于實現(xiàn)本公開的各種方面。根據(jù)特定方面，CPU固件在CPU端控制道的交換。如上文已經(jīng)討論的，CPU固件控制PHB的操作，而MUX 202b和202d由連接至交換機142和144中任一的一個或者多個設(shè)備(或者EP)例如MUX控制設(shè)備204a和204b控制。另外，MUX控制設(shè)備204a和204b中的每一個可以控制MUX 202b和202d兩者。圖7是根據(jù)本公開一個實施方式的示例圖示，其示出了響應(yīng)于在圖6的PCIE系統(tǒng)中檢測線纜故障的故障轉(zhuǎn)移機制。如上文關(guān)于圖6所述，在基礎(chǔ)操作期間，連接在IO機架中的PHB及其相應(yīng)交換機之間的每個PCIE總線130和132中的全部道。由此，兩個x8 PHB106和108中的每一個將總線130、132中的全部8個道連接至IO機架中的相應(yīng)交換機。當(dāng)線纜134、136之一丟失連接時，CPU固件使用PCIE “道降檔”來減少在另一 PHB及其相應(yīng)交換機之間的激活的道的數(shù)量，例如，將其從x8總線減少到x4總線。這釋放出4個道，以供由已經(jīng)丟失了到其交換機的線纜連接的I/O總線和PHB使用。在特定方面，被釋放的道通常是x8 PCIE總線中的道4-7。根據(jù)特定方面，CPU固件還將具有線纜丟失的PHB設(shè)置為x4總線。如已經(jīng)關(guān)于圖 6中的PCIE系統(tǒng)的基礎(chǔ)操作所討論的，利用道交換將全部道從每個PHB路由至兩個線纜。 由此，在線纜故障狀況下，故障轉(zhuǎn)移機制發(fā)起，并且CPU固件交換具有線纜丟失的PHB的道的集合，以便將道的集合(典型地，道0- 從具有線纜丟失的PHB重新路由至另一激活PHB 線纜的那些未使用道(典型地，道4-7)。同樣地，如所討論的，交換機端的復(fù)用器允許將每個線纜內(nèi)的道的子集重新路由至任一交換機。由此，作為故障轉(zhuǎn)移機制的一部分，CPU固件通過激活的PHB線纜向PCIE交換機上的MUX控制器設(shè)備通信，以便將復(fù)用器設(shè)置為現(xiàn)在將激活線纜的道4-7路由至具有線纜丟失的PHB原始鏈接到的另一交換機的道0-3。這利用激活連接的線纜中的PHB的道4-7，將已經(jīng)丟失線纜連接的PHB的道0_3連接至其原始連接至的交換機的道0-3，同時保留激活的PHB道0-3對于其交換機道0-3的連接，除了 PCIE 降檔協(xié)議以外同一線纜在該連接性不間斷。例如，如圖7中所示，線纜132已經(jīng)出現(xiàn)故障，并且僅有線纜130是激活的。CPU檢測線纜132的故障，并且作為響應(yīng)，CPU固件使用道降檔來將總線130和132中的激活道的數(shù)量從x8減少至x4總線。在此示例中，道降檔引導(dǎo)PHB 106僅使用道的集合110(道0-3)， 并且引導(dǎo)PHB 108僅使用道的集合114(道0-；3)。CPU固件引導(dǎo)PHB 108來在道的集合114 和116之間交換，從而使得道的集合114(道3-0)通過激活線纜134中的總線130的道4_7 被路由，而不是通過故障的線纜136被路由。CPU固件通過使用激活的線纜134的I/O總線130來與MUX控制設(shè)備20 同時通信，以引導(dǎo)MUX202d在總線130的道4_7和PCIE交換機144的道3-0之間建立連接。通過使用激活連接的線纜134中的PHB 106的道4_7，線纜故障轉(zhuǎn)移機制由此將具有丟失線纜連接的PHB 108的道3-0連接至PHB 108原始連接到的PCIE交換機144的道3-0。根據(jù)特定的方面，一旦完成服務(wù)動作以恢復(fù)丟失的線纜連接，向CPU固件通知(或者備選地可以經(jīng)由電纜呈現(xiàn)信號檢測)恢復(fù)的線纜連接，并且可以交換回道的集合116和 114，并且將在故障轉(zhuǎn)移機制期間執(zhí)行的MUX 202b和202d的配置反向。圖8是根據(jù)本公開一個實施方式的圖示，其示出了用于通過僅在交換機端使用復(fù)用器而使用圖6和圖7的PCIE系統(tǒng)提供線纜故障轉(zhuǎn)移機制的示例過程800。在802處， CPU固件檢查分別將PHB 106和108連接至其相應(yīng)交換機142和144的線纜134和136中的故障。在804處，如果CPU固件檢測到線纜(例如，線纜136)中的故障，則過程800前進(jìn)至806，在806處CPU固件將兩個總線130和132從x8降檔至x4。在808處，固件引導(dǎo)CPU 端的PHB 108，以在道的集合114和116之間交換，以便通過使用激活的總線130的道4_7 來路由道的集合114。在810處，固件通過使用交換機端的MUX控制設(shè)備20 來引導(dǎo)MUX 202d，以建立PCIE交換機144的道3-0和總線130的道4_7之間的連接。在812處，如果線纜136沒有恢復(fù)至完全連接，則過程400繼續(xù)以故障轉(zhuǎn)移模式操作，并且針對恢復(fù)的連接而繼續(xù)檢查線纜136。在412處，如果CPU固件檢測到線纜136的連接已恢復(fù)，則PCIE系統(tǒng)被恢復(fù)至圖6中的基礎(chǔ)操作，其中總線被恢復(fù)至x8總線。圖9是根據(jù)本公開一個實施方式的圖示，其示出了用于提供線纜故障轉(zhuǎn)移機制的示例操作900。如所示，操作900開始于902，其中使用第一 PCIE橋接裝置的道的第一集合通過第一線纜，在第一 PCIE橋接裝置和第一 IO設(shè)備之間交換總線化位中的第一集合。在 904處，檢測第一線纜中的故障。在906中，響應(yīng)于檢測到第一線纜中的故障，通過使用第一 PCIE橋接裝置的道的第二集合，通過第二線纜在第一 PCIE橋接裝置和第一 IO設(shè)備之間交換總線化位的第二集合。在下文中，對本發(fā)明的實施方式進(jìn)行參考。然而，應(yīng)當(dāng)理解，本發(fā)明不限于特別描述的實施方式。而是，以下特征和元件的任意組合(無論是否涉及不同實施方式)均旨在實現(xiàn)和實踐本發(fā)明。例如，本領(lǐng)域技術(shù)人員將意識到，本發(fā)明可以等效地應(yīng)用于不使用線纜的、或者不涉及多個物理附件的PCIE鏈路。此類其他實施方式的PCIE鏈路(如通過使用嵌入在計算機電路板中的、或者在諸如通過中間平面連接器的計算機電路板之間的、以及在相同或相鄰物理附件內(nèi)的線纜)等效地由本發(fā)明所服務(wù)，以提供針對丟失PCIE鏈路的故障轉(zhuǎn)移。還應(yīng)當(dāng)領(lǐng)會到，上文討論的故障轉(zhuǎn)移機制可以會適用于PCIE配置，其中IO設(shè)備或者適配器直接地連接至PHB而不是經(jīng)由交換機連接。另外，類似的故障轉(zhuǎn)移過程可以用于通過利用MUX控制設(shè)備，而管理連接至交換機的IO設(shè)備和交換機之間的故障連接。此外，盡管本發(fā)明的實施方式可以通過其他可能的方案和/或通過現(xiàn)有技術(shù)而實現(xiàn)優(yōu)勢，但是由給定實施方式實現(xiàn)或者不實現(xiàn)特定優(yōu)勢不限制本發(fā)明。由此，除非在權(quán)利要求書中明確記載，下文的方面、特征、實施方式和優(yōu)勢僅僅是說明性的，不構(gòu)成對所附權(quán)利要求書的限制或者考慮元素。另外，除非在權(quán)利要求書中明確記載，對于“本發(fā)明”的引用不構(gòu)成在此公開的任何創(chuàng)造性主題的概括，并且不應(yīng)當(dāng)被認(rèn)為是所附權(quán)利要求書的限制或者元素。如本領(lǐng)域技術(shù)人員將領(lǐng)會的，本發(fā)明的方面可以體現(xiàn)為系統(tǒng)、方法或者計算機程序產(chǎn)品。相應(yīng)地，本發(fā)明的方面可以采取完全硬件實施方式、完全軟件實施方式(包括，固件、駐留軟件、微代碼等)或者組合軟件和硬件方面的實施方式的形式，在此可以將其統(tǒng)稱為“電路”、“模塊”或者“系統(tǒng)”。此外，本發(fā)明的方面可以采取在一個或者多個計算機可讀介質(zhì)(其上體現(xiàn)有計算機可讀程序代碼)中體現(xiàn)的計算機程序產(chǎn)品的形式?？梢允褂靡粋€或者多個計算機可讀介質(zhì)的任意組合。計算機可讀介質(zhì)可以是計算機可讀信號介質(zhì)或者計算機可讀存儲介質(zhì)。計算機可讀存儲介質(zhì)例如可以是但不限于電的、磁的、光學(xué)、電磁的、紅外的或者半導(dǎo)體系統(tǒng)、裝置或者設(shè)備、或者前述的任意適合的組合。計算機可讀存儲介質(zhì)的更多具體示例(非窮盡性列表)將包括以下具有一個或者多個連線的電連接、便攜式計算機磁帶、硬盤、隨機訪問存儲器(RAM)、只讀存儲器(ROM)、可擦除可編程只讀存儲器(EPR0M或者閃存)、光纖、便攜式壓縮盤只讀存儲器(CD-ROM)、光學(xué)存儲設(shè)備、磁存儲設(shè)備、或者以上的任意適合的組合。在本文檔的上下文中，計算機可讀存儲介質(zhì)可以是任意有形介質(zhì)，其包括或者存儲程序，以供由指令執(zhí)行系統(tǒng)、裝置或者設(shè)備使用，或者與其結(jié)合來使用。計算機可讀信號介質(zhì)可以包括其中體現(xiàn)有計算機可讀程序代碼的傳播數(shù)據(jù)信號， 例如，在基帶中或者作為載波的一部分。此類傳播信號可以采取各種形式中的任意一種，包括但不限于，電磁、光學(xué)或者它們的任意適合組合。計算機可讀信號介質(zhì)可以是如下任意計算機可讀介質(zhì)，該介質(zhì)不是計算機可讀存儲介質(zhì)而是可以傳輸、傳播或者傳遞程序，以供由指令執(zhí)行系統(tǒng)、裝置或者設(shè)備使用，或者與其結(jié)合來使用。計算機可讀介質(zhì)上實現(xiàn)的程序代碼可以使用任意適合的介質(zhì)來傳輸，包括但不限于，無線、有線、光纖線纜、RF等，或者上述的任意適合的組合。用于執(zhí)行本發(fā)明的方面的操作的計算機程序代碼可以按照以一種或者多種編程語言的任意組合的形式來編寫，包括面向?qū)ο缶幊陶Z言(諸如JaVa、Smalltalk、C++等)以及傳統(tǒng)的過程化編程語言(諸如“C”編程語言或者類似的編程語言)。程序代碼可以完全在用戶的計算機上執(zhí)行，部分地在用戶的計算機上執(zhí)行，作為單獨的軟件包、部分地在用戶的計算機上并且部分地在遠(yuǎn)程計算機上、或者完全在遠(yuǎn)程計算機或者服務(wù)器上執(zhí)行。在后一情況下，遠(yuǎn)程計算機可用通過任意類型的網(wǎng)絡(luò)連接至用戶的計算機，該網(wǎng)絡(luò)包括局域網(wǎng) (LAN)或者廣域網(wǎng)(WAN)，或者可以向外部計算機(例如，使用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng))進(jìn)行連接。下文參考根據(jù)本發(fā)明實施方式的方法、裝置(系統(tǒng))和計算機程序產(chǎn)品的流程圖示和/或框圖描述本發(fā)明的方面。應(yīng)當(dāng)注意，流程圖示和/或框圖中的每個框、以及流程圖示和/或框圖中框的組合可以由計算機程序指令實現(xiàn)。這些計算機程序指令可以被提供至通用計算機、專用計算機的處理器、或者可編程數(shù)據(jù)處理裝置以便形成機器，從而使得經(jīng)由計算機或者其他可編程數(shù)據(jù)處理裝置的處理器執(zhí)行的指令創(chuàng)建用于實現(xiàn)在流程圖和/或框示的一個或者多個框中指定的功能/動作。這些計算機程序指令還可以存儲在計算機可讀介質(zhì)中，其引導(dǎo)計算機、其他可編程數(shù)據(jù)處理裝置或者其他設(shè)備已特定方式操作，從而使得計算機可讀存儲介質(zhì)中存儲的指令產(chǎn)生制品，其包括實現(xiàn)在流程圖和/或框示的一個或者多個框中指定的功能/動作的指令。計算機程序指令還被加載至計算機、其他可編程數(shù)據(jù)處理裝置或者其他設(shè)備，以使得在計算機、其他可編程裝置或者其他設(shè)備上執(zhí)行的一系列動作，以便生成計算機實現(xiàn)的過程，從而使得在計算機或者其他可編程裝置上執(zhí)行的指令提供用于實現(xiàn)在流程圖和/ 或框示的一個或者多個框中指定的功能/動作的過程。在附圖中的流程圖和框圖示出了根據(jù)本發(fā)明各種實施方式的系統(tǒng)、方法和計算機程序產(chǎn)品的可能的實現(xiàn)的架構(gòu)、功能性和操作。在此方面，流程圖或者框圖中的每個框可以表示模塊、片段或者代碼段，其包括用于實現(xiàn)指定邏輯功能的一個或者多個可執(zhí)行指令。還應(yīng)當(dāng)注意，在某些備選實現(xiàn)中，框中標(biāo)注的功能可以按照不同于附圖中標(biāo)注的順序出現(xiàn)。例如，依賴于所涉及的功能，相繼示出的兩個框可以基本上并發(fā)地執(zhí)行，或者框有時可以按相反順序執(zhí)行。還應(yīng)當(dāng)注意，框圖和/或流程圖示的每個框、以及框圖和/或流程圖示中的框的組合可以由專用的基于硬件的系統(tǒng)實現(xiàn)，其執(zhí)行特定功能或者動作、或者專用硬件和計算機指令的組合。盡管上文涉及本發(fā)明的實施方式，在不脫離其中基本范圍的情況下，本發(fā)明的其他和進(jìn)一步的實施方式可以有所變化，并且隨附權(quán)利要求書確定本發(fā)明的范圍。
權(quán)利要求
1.一種用于為第一 PCIE橋接裝置和第一輸入/輸出IO設(shè)備之間的連接提供故障轉(zhuǎn)移操作的方法，所述方法包括通過使用所述第一 PCIE橋接裝置的道的第一集合，通過第一鏈路在所述第一 PCIE橋接裝置和所述第一 IO設(shè)備之間交換總線化位的第一集合；響應(yīng)于檢測到所述第一鏈路中的故障，通過使用連接第二 PCIE橋接裝置和第二 IO設(shè)備的第二鏈路的未使用部分，在所述第一 PCIE橋接裝置和所述第一 IO設(shè)備之間交換總線化位的第二集合。
2.根據(jù)權(quán)利要求1所述的方法，其中，響應(yīng)于檢測到所述故障而交換所述總線化位的第二集合包括在PCIE橋接裝置端，通過使用所述第二鏈路的所述未使用部分，在所述第二 PCIE橋接裝置的道的第一集合和道的第二集合之間執(zhí)行第一切換，以供在所述第一 PCIE橋接裝置和所述第一 IO設(shè)備之間交換所述總線化位的所述第二集合。
3.根據(jù)權(quán)利要求2所述的方法，其中，響應(yīng)于檢測到所述故障而交換所述總線化位的所述第二集合進(jìn)一步包括在IO設(shè)備端，通過使用所述第二鏈路的所述未使用部分，在所述道的第一集合和所述道的第二集合之間執(zhí)行第二切換，以供在所述第一 PCIE橋接裝置和所述第一 IO設(shè)備之間交換所述總線化位的所述第二集合。
4.根據(jù)權(quán)利要求3所述的方法，進(jìn)一步包括響應(yīng)于檢測到所述第一鏈路中的所述故障，配置所述第二 PCIE橋接裝置以停止使用所述道的第二集合。
5.根據(jù)權(quán)利要求4所述的方法，進(jìn)一步包括響應(yīng)于檢測到所述第一鏈路中的所述故障，配置所述第一 PCIE橋接裝置以停止使用所述道的第一集合以外的道。
6.根據(jù)權(quán)利要求1所述的方法，其中，所述第一PCIE橋接裝置和所述第二PCIE橋接裝置中的每一個包括PCIE主機橋接裝置PHB。
7.根據(jù)權(quán)利要求1所述的方法，其中，所述第一IO設(shè)備和所述第二 IO設(shè)備中的每一個包括PCIE交換機。
8.根據(jù)權(quán)利要求1所述的方法，其中，所述第一PCIE橋接裝置和所述第二PCIE橋接裝置被罩在PCIE根復(fù)合體中。
9.一種用于為第一 PCIE橋接裝置和第一輸入/輸出IO設(shè)備之間的連接提供故障轉(zhuǎn)移操作的裝置，所述裝置包括連接第一 PCIE橋接裝置與第一 IO設(shè)備的第一鏈路，所述第一鏈路用于通過使用所述第一 PCIE橋接裝置的道的第一集合，在所述第一 PCIE橋接裝置和所述第一 IO設(shè)備之間交換總線化位的第一集合；連接第二 PCIE橋接裝置與第二 IO設(shè)備的至少一個第二鏈路，其中響應(yīng)于檢測到所述第一鏈路中的故障，通過使用所述第二鏈路的未使用部分，在所述第一 PCIE橋接裝置和所述第一 IO設(shè)備之間交換總線化位的第二集合。
10.根據(jù)權(quán)利要求9所述的裝置，進(jìn)一步包括PCIE橋接裝置端處的至少一個第一交換機，用于通過使用所述第二鏈路的所述未使用部分，在所述第二 PCIE橋接裝置的道的第一集合和道的第二集合之間執(zhí)行第一切換，以供在所述第一 PCIE橋接裝置和所述第一 IO設(shè)備之間交換所述總線化位的所述第二集合，其中所述未使用的部分包括所述道的第二集合。
11.根據(jù)權(quán)利要求10所述的裝置，進(jìn)一步包括在IO設(shè)備端處的至少一個第二交換機，用于通過使用所述第二鏈路的所述未使用部分，在所述道的第一集合和所述道的第二集合之間執(zhí)行第二切換，以供在所述第一 PCIE橋接裝置和所述第一 IO設(shè)備之間交換所述總線化位的所述第二集合。
12.根據(jù)權(quán)利要求11所述的裝置，其中響應(yīng)于檢測到所述第一鏈路中的所述故障，配置所述第二 PCIE橋接裝置以停止使用所述道的第二集合。
13.根據(jù)權(quán)利要求12所述的裝置，其中響應(yīng)于檢測到所述第一鏈路中的所述故障，配置所述第一 PCIE橋接裝置以停止使用所述道的第一集合以外的道。
14.根據(jù)權(quán)利要求11所述的裝置，其中，由中央處理單元CPU固件控制所述第一交換機和所述第二交換機。
15.根據(jù)權(quán)利要求14所述的裝置，進(jìn)一步包括連接至所述第二 IO設(shè)備的控制設(shè)備，用于控制所述第二交換機，所述控制設(shè)備由所述 CPU固件控制。
16.根據(jù)權(quán)利要求9所述的裝置，其中，所述第一PCIE橋接裝置和所述第二橋接裝置中的每一個包括PCIE主機橋接裝置PHB。
17.根據(jù)權(quán)利要求9所述的裝置，其中，所述第一IO設(shè)備和所述第二 IO設(shè)備中的每一個包括PCIE交換機。
18.根據(jù)權(quán)利要求9所述的裝置，其中，所述第一PCIE橋接裝置和所述第二 PCIE橋接裝置被罩在PCIE根復(fù)合體中。
全文摘要
本發(fā)明的實施方式涉及用于為多道PCI高速IO互連提供線纜冗余和故障轉(zhuǎn)移的方法和裝置。具體地，提供了用于為第一PCIE橋接裝置和第一輸入/輸出(IO)設(shè)備之間的連接提供故障轉(zhuǎn)移操作的方法和裝置。通過使用第一PCIE橋接裝置的道的第一集合，通過第一鏈路在第一PCIE橋接裝置和第一IO設(shè)備之間交換總線化位的第一集合。響應(yīng)于檢測到第一鏈路中的故障，通過使用連接第二PCIE橋接裝置和第二IO設(shè)備的第二鏈路的未使用部分，在第一PCIE橋接裝置和第一IO設(shè)備之間交換總線化位的第一集合。
文檔編號G06F13/38GK102486759SQ20111026407
公開日2012年6月6日 申請日期2011年9月2日 優(yōu)先權(quán)日2010年12月3日
發(fā)明者G·M·諾德斯特龍, J·R·赫林, P·A·巴克蘭, W·A·湯普森 申請人:國際商業(yè)機器公司