流量調(diào)度設(shè)備的制作方法
【專利摘要】本發(fā)明涉及一種流量調(diào)度設(shè)備（100），用于調(diào)度存儲(chǔ)在多個(gè)流量流隊(duì)列（102）中的數(shù)據(jù)包的傳輸順序，每個(gè)用于調(diào)度的流量流隊(duì)列（102）的資格狀態(tài)在描述所述多個(gè)流量流隊(duì)列（102）之間關(guān)系的分層調(diào)度數(shù)據(jù)庫（104）中維護(hù)，所述流量調(diào)度設(shè)備（100）包括：多個(gè)互連的存儲(chǔ)器集群?jiǎn)卧?06a、106b、106c和106d），每個(gè)所述存儲(chǔ)器集群?jiǎn)卧c所述分層調(diào)度數(shù)據(jù)庫（104）的一個(gè)或多個(gè)層（L1、L2、L3、L4、L5和L6）關(guān)聯(lián)且耦合至至少一個(gè)協(xié)處理器（108、110和112），所述至少一個(gè)協(xié)處理器（108、110和112）可被軟件編程以實(shí)施調(diào)度算法；以及一個(gè)到所述多個(gè)流量流隊(duì)列（102）的接口（114），該接口（114）用于識(shí)別與根據(jù)所述調(diào)度算法選取的用于傳輸?shù)奶囟髁苛麝?duì)列（102）相關(guān)聯(lián)的一個(gè)或多個(gè)包，且該接口（114）用于發(fā)送所述多個(gè)流量流隊(duì)列（102）中的每個(gè)流量流隊(duì)列（102）的資格狀態(tài)。
【專利說明】流量調(diào)度設(shè)備
【背景技術(shù)】
[0001]本發(fā)明涉及流量調(diào)度以及電信路由器和交換系統(tǒng)中的流量管理領(lǐng)域，尤其當(dāng)需要高性能、靈活流量調(diào)度的時(shí)候。
[0002]分層流量管理單元是分組交換網(wǎng)絡(luò)的網(wǎng)絡(luò)設(shè)備現(xiàn)代路由器或交換系統(tǒng)中的一個(gè)關(guān)鍵構(gòu)建塊。流量管理單元在包處理數(shù)據(jù)路徑中使用，以實(shí)施服務(wù)水平協(xié)議(SLA)以及相關(guān)服務(wù)質(zhì)量(QoS)和帶寬配置要求。服務(wù)水平協(xié)議是例如客戶和服務(wù)供應(yīng)商雙方之間的協(xié)商協(xié)議。SLA可指定如計(jì)費(fèi)等服務(wù)的可用性、可服務(wù)性、性能、操作或其他屬性的水平。服務(wù)質(zhì)量指的是向不同的應(yīng)用、用戶或數(shù)據(jù)流提供不同的優(yōu)先級(jí)或者保證數(shù)據(jù)流具有一定性能水平的能力。例如，可保證所需的比特率、時(shí)延、抖動(dòng)、丟包概率和/或誤碼率。帶寬配置是指測(cè)量和控制網(wǎng)絡(luò)鏈路上的通信(即流量和包)，以避免鏈路滿負(fù)荷或超負(fù)荷而導(dǎo)致網(wǎng)絡(luò)擁堵或網(wǎng)絡(luò)性能差的過程。
[0003]流量管理通常實(shí)施為獨(dú)立的IC設(shè)備，或者為網(wǎng)絡(luò)處理器IC或通信處理器IC中的硬件塊。流量管理設(shè)備是從存儲(chǔ)多個(gè)流隊(duì)列的流隊(duì)列管理器(FQM)和控制包傳出FQM的順序的流量調(diào)度器中構(gòu)建?，F(xiàn)有技術(shù)的高性能流量調(diào)度器采用硬件可配置引擎。這種硬件流量調(diào)度器的功能通過配置進(jìn)行定義，其受限于由所有可能的配置組合構(gòu)成的有限集合，因此硬件流量調(diào)度器在靈活性方面存在很大的不足。當(dāng)不斷出現(xiàn)的網(wǎng)絡(luò)操作員的需求超出所有可能的配置的集合時(shí)，硬件流量調(diào)度器經(jīng)常不能滿足這些需求。為了克服硬件流量調(diào)度器的缺點(diǎn)，需要一種更加靈活的調(diào)度器。靈活性通過軟件可編程性實(shí)現(xiàn)?；谲浖牧髁空{(diào)度器可針對(duì)各種調(diào)度算法和獨(dú)特特性進(jìn)行編程，并可進(jìn)一步安全地升級(jí)以支持新的調(diào)度算法。但是，現(xiàn)有技術(shù)中，基于軟件的流量調(diào)度器雖然滿足一般靈活性需求，但目前為止還不能實(shí)現(xiàn)硬件流量調(diào)度器的高性能。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種具有基于硬件的流量調(diào)度器的性能以及基于軟件的流量調(diào)度器的靈活性的流量調(diào)度器的概念。
[0005]此目的可以通過獨(dú)立權(quán)利要求的特征來實(shí)現(xiàn)。進(jìn)一步的實(shí)施形式在從屬權(quán)利要求、具體說明和附圖中顯而易見。
[0006]為了詳細(xì)描述本發(fā)明，將使用以下術(shù)語、縮寫和符號(hào):
[0007]ALU:算法邏輯協(xié)處理器單兀(Arithmetic Logic co-processor Unit)；
[0008]XALU，
[0009]X-ALU:擴(kuò)展算法邏輯協(xié)處理器單兀(Extended Arithmetic Logic co-processorUnit)；
[0010]MCU:存儲(chǔ)器集群?jiǎn)呜?Memory Cluster Unit)；
[0011]SPE:調(diào)度處理器兀件(Scheduling Processor Element)；
[0012]FQM:流隊(duì)列管理器(Flow Queue Manager)；
[0013]Mem:存儲(chǔ)器(Memory);[0014]Node-Cop，
[0015]NCOP:節(jié)點(diǎn)協(xié)處理器(Node Co-Processor)；
[0016]Acc-Cop,
[0017]ACOP:計(jì)費(fèi)協(xié)處理器(Accounting Co-Processor)；
[0018]VLIW:超長(zhǎng)指令字(Very LongInstruction Word)；
[0019]RISC:精簡(jiǎn)指令集(Reduced Instruction Set)；
[0020]CSIC:復(fù)雜指令集(Complex Instruction Set)；
[0021]ISA:指令集架構(gòu)(Instruction Set Architecture)；
[0022]S/W:軟件(Software)；
[0023]H/W:硬件(Hardware)；
[0024]TMU:流量管理單兀(Traffic Management Unit)；
[0025]NPU:網(wǎng)絡(luò)處理器單兀(Network Processor Unit)；
[0026]SLA:服務(wù)水平協(xié)議(Service Level Agreement)；
[0027]QoS:服務(wù)質(zhì)量(Quality of Service)；
[0028]IC:集成電路(Integrated Circuit)；
[0029]WFQ:加權(quán)公平隊(duì)列調(diào)度(weighted fair queuing)；
[0030]WRR:加權(quán)輪詢隊(duì)列調(diào)度(weighted round robin)；
[0031]MDRR:修改赤字輪詢隊(duì)列調(diào)度(modified deficit round robin)；
[0032]SRAM:靜態(tài)隨機(jī)存取存儲(chǔ)器(static random access memory)；
[0033]DRAM:動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(dynamic random access memory)；
[0034]GQ:組級(jí)別(group level)；
[0035]SQ:用戶水平(subscriber level)；
[0036]FQ:流隊(duì)列水平(flow queues level)；
[0037]DMA:直接存儲(chǔ)器存取(direct memory access)；
[0038]RX:接收(Receive)；
[0039]TX:發(fā)送(Transmit)；
[0040]VLAN:虛擬局域網(wǎng)(Virtual Local Area Network)。
[0041]根據(jù)第一方面，本發(fā)明涉及一種流量調(diào)度設(shè)備，用于調(diào)度存儲(chǔ)在多個(gè)流量流隊(duì)列中的數(shù)據(jù)包的傳輸順序，每個(gè)調(diào)度的流量流隊(duì)列的資格狀態(tài)(eligibility state)在描述所述多個(gè)流量流隊(duì)列之間關(guān)系的分層調(diào)度數(shù)據(jù)庫中維護(hù)；所述流量調(diào)度設(shè)備包括:多個(gè)互連的存儲(chǔ)器集群?jiǎn)卧總€(gè)存儲(chǔ)器集群?jiǎn)卧c所述分層調(diào)度數(shù)據(jù)庫的單個(gè)或多個(gè)層關(guān)聯(lián)且耦合至至少一個(gè)協(xié)處理器，所述至少一個(gè)協(xié)處理器可被軟件編程以實(shí)施調(diào)度算法；以及一個(gè)到所述多個(gè)流量流隊(duì)列的接口，該接口用于識(shí)別與根據(jù)調(diào)度算法選取的用于傳輸?shù)奶囟髁苛麝?duì)列相關(guān)聯(lián)的一個(gè)或多個(gè)包，且該接口用于發(fā)送所述多個(gè)流量流隊(duì)列中的每個(gè)流量流隊(duì)列的資格狀態(tài)。
[0042]該流量調(diào)度設(shè)備的靈活性通過軟件的可編程性取得?；谲浖牧髁空{(diào)度設(shè)備可針對(duì)各種調(diào)度算法和獨(dú)特特性進(jìn)行編程，因此其將來可被安全地更新以支持新的特性或調(diào)度算法。該流量調(diào)度設(shè)備是流量管理單元內(nèi)的可編程分層流量調(diào)度器，其功能通過軟件定義，因此當(dāng)實(shí)現(xiàn)等同于硬件調(diào)度器的性能速率時(shí)其是比較靈活的。[0043]在根據(jù)第一方面的流量調(diào)度設(shè)備的第一種可能實(shí)施形式中，該流量調(diào)度設(shè)備進(jìn)一步包括管理處理器，用于基于上層實(shí)體的配置命令來構(gòu)建和維護(hù)該分層調(diào)度數(shù)據(jù)庫。
[0044]上層實(shí)體涉及分層結(jié)構(gòu)網(wǎng)絡(luò)中分層地位于流量管理單元之上的網(wǎng)絡(luò)實(shí)體，例如，網(wǎng)絡(luò)路由器、網(wǎng)絡(luò)管理單元、網(wǎng)絡(luò)配置單元以及其他。
[0045]該管理處理器是可選的。其也可由外部處理器實(shí)現(xiàn)。當(dāng)管理處理器是外部實(shí)現(xiàn)時(shí)，可降低用于實(shí)施所述流量調(diào)度設(shè)備的芯片尺寸并因此降低生產(chǎn)成本和熱耗散(thermaldissipation),另一方面,與芯片上管理處理器相比可降低數(shù)據(jù)庫維護(hù)性能。
[0046]在根據(jù)第一方面或者根據(jù)第一方面的第一實(shí)施形式的流量調(diào)度設(shè)備的第二可能實(shí)施形式中，該協(xié)處理器用于實(shí)施事件驅(qū)動(dòng)軟件架構(gòu)(event-driven softwarearchitecture)。
[0047]事件驅(qū)動(dòng)軟件架構(gòu)是一種提升事件生產(chǎn)、探測(cè)、消耗以及反應(yīng)的軟件架構(gòu)模式。事件可定義為“狀態(tài)的重大變更”。例如，當(dāng)網(wǎng)絡(luò)中的流量路由擁堵時(shí)，該流量路由的狀態(tài)從“可用”變更為“忙碌”。通信系統(tǒng)結(jié)構(gòu)可能將這種狀態(tài)變更視為由結(jié)構(gòu)內(nèi)的各種應(yīng)用待生成、發(fā)布、檢測(cè)以及消耗的事件。在寬松耦合的軟件部件和服務(wù)間發(fā)送事件的應(yīng)用和系統(tǒng)的設(shè)計(jì)與實(shí)施可以使用該架構(gòu)模式。事件驅(qū)動(dòng)軟件架構(gòu)可由事件發(fā)射器(或代理)和事件消耗器(或接收器)。接收器負(fù)責(zé)在事件出現(xiàn)后盡快做出反應(yīng)。該反應(yīng)可完全或不完全由接收器本身提供。例如，接收器可能只負(fù)責(zé)過濾、變換和轉(zhuǎn)發(fā)事件到另一部件，或者其可提供針對(duì)此事件的獨(dú)立反應(yīng)。第一類接收器可基于面向消息的中間件等傳統(tǒng)部件，而第二類接收器(獨(dú)立在線反應(yīng))可能需要更合適的事務(wù)性執(zhí)行框架。圍繞事件驅(qū)動(dòng)架構(gòu)構(gòu)建應(yīng)用和系統(tǒng)可使這些應(yīng)用和系統(tǒng)以一種促進(jìn)更多響應(yīng)的方式構(gòu)建，這是因?yàn)槭录?qū)動(dòng)系統(tǒng)在設(shè)計(jì)上對(duì)不可預(yù)測(cè)的和異步環(huán)境更正規(guī)化。
[0048]并行執(zhí)行以兩種維度實(shí)現(xiàn):通過獨(dú)立處理事件以及通過并行處理每個(gè)數(shù)據(jù)庫層。結(jié)果是在獨(dú)立處理器/協(xié)處理器上處理的很多獨(dú)立任務(wù)的深度并發(fā)(平行)。
[0049]在根據(jù)第一方面或第一方面的任何上述實(shí)施形式所述的流量調(diào)度設(shè)備的第三可能實(shí)施形式中，該分層調(diào)度數(shù)據(jù)庫是從代表最高層級(jí)的每個(gè)物理接口的物理端口的根接口到代表最低層級(jí)的多個(gè)流量流隊(duì)列的樹狀結(jié)構(gòu)，該分層調(diào)度數(shù)據(jù)庫包括至少一個(gè)如下中間層級(jí):每個(gè)物理端口的子端口層、每個(gè)子端口的用戶組層、每個(gè)用戶組的用戶層以及每個(gè)用戶的流量流隊(duì)列層。
[0050]存儲(chǔ)器集群?jiǎn)卧臄?shù)量可對(duì)應(yīng)于層級(jí)的數(shù)量，每個(gè)存儲(chǔ)器集群?jiǎn)卧獙?shí)現(xiàn)一個(gè)不同的層級(jí)。這樣，該流量調(diào)度設(shè)備可通過包含或移除存儲(chǔ)器集群?jiǎn)卧獊盱`活改變層級(jí)的數(shù)量。
[0051]在根據(jù)第一方面或第一方面的任何上述實(shí)施形式所述的流量調(diào)度設(shè)備的第四可能實(shí)施形式中，該調(diào)度算法包括選擇過程，該選擇過程從根接口(root interface)向多個(gè)流隊(duì)列遍歷該分層調(diào)度數(shù)據(jù)庫并在分層調(diào)度數(shù)據(jù)庫的每個(gè)層基于成員的調(diào)度狀態(tài)資格選擇分層調(diào)度數(shù)據(jù)庫的成員。
[0052]通過選擇有資格調(diào)度的分層數(shù)據(jù)庫成員，該調(diào)度算法不處理沒有資格的數(shù)據(jù)。因此，提高了調(diào)度算法的效率。該調(diào)度過程比不使用待處理成員的資格的調(diào)度過程要快。
[0053]在根據(jù)第一方面的第四實(shí)施形式所述的流量調(diào)度設(shè)備的第五可能實(shí)施形式中，調(diào)度算法包括但不限于如下項(xiàng)之一:加權(quán)公平隊(duì)列(WFQ)算法、加權(quán)輪詢隊(duì)列調(diào)度(WRR)算法、修改赤字輪詢隊(duì)列調(diào)度(MDRR)算法、嚴(yán)格優(yōu)先級(jí)算法(strict priority algorithm)以及先至丨J先得算法(first come first serve algorithm)。
[0054]這些算法是易于實(shí)施的標(biāo)準(zhǔn)調(diào)度算法。流量調(diào)度設(shè)備的靈活架構(gòu)支持實(shí)施尚未開發(fā)的新調(diào)度算法。
[0055]在根據(jù)第一方面的第四或第五實(shí)施形式所述的流量調(diào)度設(shè)備的第六可能實(shí)施形式中，該調(diào)度算法包括構(gòu)建過程，該構(gòu)建過程遍歷分層調(diào)度數(shù)據(jù)庫，特別但不限于從多個(gè)流量流隊(duì)列向根接口進(jìn)行遍歷，并在分層調(diào)度數(shù)據(jù)庫的每層更新分層調(diào)度數(shù)據(jù)庫成員的資格狀態(tài)。
[0056]通過更新分層調(diào)度數(shù)據(jù)庫成員的資格狀態(tài)可提高調(diào)度算法的效率，這是因?yàn)橹恍杼幚碛匈Y格的成員而無需執(zhí)行不需要的處理步驟。
[0057]在根據(jù)第一方面或第一方面的任何上述實(shí)施形式所述的流量調(diào)度設(shè)備的第七可能實(shí)施形式中，多個(gè)存儲(chǔ)器集群?jiǎn)卧蛞唤M存儲(chǔ)器集群?jiǎn)卧械拿總€(gè)單元均耦合至關(guān)聯(lián)的節(jié)點(diǎn)協(xié)處理器，該節(jié)點(diǎn)協(xié)處理器用于處理分層調(diào)度數(shù)據(jù)庫的拓?fù)溆成湫畔⒁约疤幚矸謱诱{(diào)度數(shù)據(jù)庫節(jié)點(diǎn)的數(shù)據(jù)字段映射信息。
[0058]該關(guān)聯(lián)節(jié)點(diǎn)協(xié)處理器可有效地處理拓?fù)湫畔??？晒?jié)省用于將拓?fù)湫畔㈥P(guān)聯(lián)至存儲(chǔ)器集群的消息花銷(overhead)。
[0059]在根據(jù)第一方面或第一方面的任何上述實(shí)施形式所述的流量調(diào)度設(shè)備的第八可能實(shí)施形式中，多個(gè)存儲(chǔ)器集群?jiǎn)卧蛞唤M存儲(chǔ)器集群?jiǎn)卧械拿總€(gè)單元均耦合至關(guān)聯(lián)的計(jì)費(fèi)協(xié)處理器，該計(jì)費(fèi)協(xié)處理器用于處理與調(diào)度算法相關(guān)的整形器(shaper)、策略器(policer)和計(jì)數(shù)器(counter)。
[0060]該關(guān)聯(lián)的節(jié)點(diǎn)協(xié)處理器能有效地處理與特定存儲(chǔ)器集群相關(guān)的整形器、策略器和計(jì)數(shù)器。可節(jié)省用于將整形器、策略器和計(jì)數(shù)器關(guān)聯(lián)至存儲(chǔ)器集群的消息花銷。
[0061]在根據(jù)第一方面或第一方面的任何上述實(shí)施形式所述的流量調(diào)度設(shè)備的第九可能實(shí)施形式中，多個(gè)存儲(chǔ)器集群?jiǎn)卧蛞唤M存儲(chǔ)器集群?jiǎn)卧械拿總€(gè)單元均耦合至關(guān)聯(lián)的增強(qiáng)算法邏輯協(xié)處理器單元，該增強(qiáng)算法邏輯協(xié)處理器單元在該分層調(diào)度數(shù)據(jù)庫上執(zhí)行計(jì)算操作。
[0062]這種耦合提供了高度的靈活性。由于存儲(chǔ)器集群不接入單個(gè)算法邏輯單元來執(zhí)行其計(jì)算操作，從而減少了存儲(chǔ)器沖突。
[0063]在根據(jù)第一方面的第九實(shí)施形式所述的流量調(diào)度設(shè)備的第十可能實(shí)施形式中，每個(gè)增強(qiáng)算法邏輯協(xié)處理器單元包括一個(gè)VUM處理器線性收縮陣列(linear systolicarray of VLIM processor)。
[0064]線性收縮陣列為高性能引擎。其指令集架構(gòu)針對(duì)分層調(diào)度進(jìn)行了優(yōu)化。
[0065]在根據(jù)第一方面的第九或第十實(shí)施形式所述的流量調(diào)度設(shè)備的第十一可能實(shí)施形式中，該增強(qiáng)算法邏輯協(xié)處理器單元可動(dòng)態(tài)或靜態(tài)地直接與彼此互連，從而以一種相對(duì)于分層調(diào)度數(shù)據(jù)庫的層級(jí)的流水線方式來處理存儲(chǔ)器集群?jiǎn)卧?br> [0066]因此，存儲(chǔ)器行為與可配置且不可編程硬件單元流水線的存儲(chǔ)器行為相同，這是因?yàn)樵鰪?qiáng)算法邏輯協(xié)處理器單元能夠以流水線方式處理存儲(chǔ)器集群?jiǎn)卧?。這種流水線處理在提供完整的可編程性的同時(shí)產(chǎn)生對(duì)應(yīng)于可配硬件流水線的性能的高性能速率。
[0067]在根據(jù)第一方面的第九或第十實(shí)施形式所述的流量調(diào)度設(shè)備的第十二可能實(shí)施形式中，該增強(qiáng)算法邏輯協(xié)處理器單元可通過由調(diào)度處理器元件組成的共享全局集合來動(dòng)態(tài)或靜態(tài)地直接與彼此互連，從而以一種相對(duì)于該分層調(diào)度數(shù)據(jù)庫的層級(jí)的流水線方式來處理存儲(chǔ)器集群?jiǎn)卧?，該調(diào)度處理器元件包括RISC/CISC處理器。
[0068]因此，該存儲(chǔ)器行為與可配置且不可編程硬件單元流水線的存儲(chǔ)器行為相同，這是因?yàn)樵鰪?qiáng)算法邏輯協(xié)處理器單元能夠以流水線方式處理存儲(chǔ)器集群?jiǎn)卧Ｊ褂糜糜诨ミB存儲(chǔ)器集群?jiǎn)卧恼{(diào)度處理器元件的共享集合提供了附加的可編程性。根據(jù)層級(jí)數(shù)量和性能要求，可使用不同數(shù)量的SPE來形成所述共享集合。因此，SPE處理功率可根據(jù)分層調(diào)度數(shù)據(jù)庫的不同層級(jí)的工作量來開發(fā)。RISC處理器可用于實(shí)施只需要精簡(jiǎn)指令集的簡(jiǎn)單的處理步驟，而CISC處理器可用于需要復(fù)雜指令集的復(fù)雜處理步驟。
[0069]在根據(jù)第一方面的第九或第十實(shí)施形式所述的流量調(diào)度設(shè)備的第十三可能實(shí)施形式中，該增強(qiáng)算法邏輯協(xié)處理器單元可通過由分配給所述多個(gè)存儲(chǔ)器集群?jiǎn)卧囊粋€(gè)或多個(gè)單元的調(diào)度處理器元件組成的分布式集合來動(dòng)態(tài)或靜態(tài)地直接與彼此互連，從而以一種相對(duì)于分層調(diào)度數(shù)據(jù)庫的層級(jí)的流水線方式來處理存儲(chǔ)器集群?jiǎn)卧?，該調(diào)度處理器元件包括RISC/CISC處理器。
[0070]由分配給存儲(chǔ)器集群?jiǎn)卧恼{(diào)度處理器元件組成的分布式集合或共享式集合增加了靈活度。該調(diào)度處理器元件軟件可在該分層流量調(diào)度設(shè)備中執(zhí)行優(yōu)先級(jí)重映射。一些層級(jí)可僅通過XALU處理而其他層級(jí)則可通過XALU和SPE來處理，從而產(chǎn)生更高的靈活度。
[0071]在根據(jù)第一方面的第十二或第十三實(shí)施形式所述的流量調(diào)度設(shè)備的第十四可能實(shí)施形式中，每個(gè)由調(diào)度處理器元件組成的分布式或共享式集合均由監(jiān)督單元(supervising unit)進(jìn)行監(jiān)督。
[0072]該監(jiān)督單元可用于實(shí)施將SPE與存儲(chǔ)器集群?jiǎn)卧P(guān)聯(lián)以提高靈活性的不同配置策略。由于該流量調(diào)度設(shè)備的架構(gòu)不受限于特定的硬件配置，因此可很容易地實(shí)施新調(diào)度算法。
[0073]該流量調(diào)度設(shè)備是流量管理單元內(nèi)的可編程分層流量調(diào)度器，其功能通過軟件定義，因此當(dāng)實(shí)現(xiàn)等同于硬件調(diào)度器的性能速率時(shí)其是比較靈活的?？蓪?duì)該流量調(diào)度設(shè)備進(jìn)行編程以實(shí)現(xiàn)僅通過硬件可配實(shí)體無法實(shí)現(xiàn)的各種調(diào)度算法和獨(dú)特特性。
[0074]因此，本發(fā)明的實(shí)施形式可提供在算法領(lǐng)域具有可進(jìn)一步靈活開發(fā)的靈活流量調(diào)度器的流量調(diào)度概念，尤其是可同時(shí)提供基于硬件的流量調(diào)度器的高超性能的更快的算法。
【專利附圖】

【附圖說明】
[0075]本發(fā)明的進(jìn)一步實(shí)施例將參照以下附圖進(jìn)行描述，附圖中:
[0076]圖1所示為根據(jù)一種實(shí)施形式的流量調(diào)度設(shè)備的框圖；
[0077]圖2所示為根據(jù)一種實(shí)施形式的具有流量調(diào)度設(shè)備的流量管理單元的框圖；
[0078]圖3所示為根據(jù)一種實(shí)施形式的分層調(diào)度數(shù)據(jù)庫的示意圖；
[0079]圖4所示為圖3中的分層調(diào)度數(shù)據(jù)庫的基本元件的示意圖；
[0080]圖5所示為根據(jù)一種實(shí)施形式的流量調(diào)度設(shè)備的框圖；
[0081]圖6所示為根據(jù)一種實(shí)施形式的XALU的框圖；
[0082]圖7所示為由多個(gè)處理器并行更新的數(shù)據(jù)庫存儲(chǔ)器的示意圖；
[0083]圖8所示為根據(jù)一種實(shí)施形式的由處理器收縮陣列更新的數(shù)據(jù)庫存儲(chǔ)器的示意圖；
[0084]圖9所示為通過使用硬件單元的流水線來選擇分層調(diào)度數(shù)據(jù)庫存儲(chǔ)器的選擇過程的示意圖；
[0085]圖10所示為根據(jù)一種實(shí)施形式的通過使用直接互連的存儲(chǔ)器集群?jiǎn)卧目删幊塘魉€來選擇分層調(diào)度數(shù)據(jù)庫存儲(chǔ)器的選擇過程的示意圖；
[0086]圖11所示為通過使用硬件單元的流水線來構(gòu)建分層調(diào)度數(shù)據(jù)庫存儲(chǔ)器的構(gòu)建過程的示意圖；
[0087]圖12所示為根據(jù)一種實(shí)施形式的通過使用由SPE共享集合互連的存儲(chǔ)器集群?jiǎn)卧目删幊塘魉€來構(gòu)建分層調(diào)度數(shù)據(jù)庫存儲(chǔ)器的構(gòu)建過程的示意圖；
[0088]圖13所示為根據(jù)一種實(shí)施形式的存儲(chǔ)器集群?jiǎn)卧目驁D；
[0089]圖14所示為根據(jù)一種實(shí)施形式的存儲(chǔ)器集群?jiǎn)卧目驁D；
[0090]圖15所示為根據(jù)一種實(shí)施形式的流量調(diào)度設(shè)備的框圖；以及
[0091]圖16所示為根據(jù)一種實(shí)施形式的流量調(diào)度設(shè)備的框圖。
【具體實(shí)施方式】
[0092]圖1所示為根據(jù)一種實(shí)施形式的流量調(diào)度設(shè)備100的框圖。流量調(diào)度設(shè)備100用于調(diào)度存儲(chǔ)在圖1中箭頭所指示的流量流隊(duì)列102中的數(shù)據(jù)包的傳輸序列。在分層調(diào)度數(shù)據(jù)庫104中維護(hù)用于調(diào)度的每個(gè)流量流隊(duì)列102的資格狀態(tài)，該分層調(diào)度數(shù)據(jù)庫由例如四個(gè)存儲(chǔ)器104a、104b、104c和104d形成。存儲(chǔ)器的數(shù)量并不限于4個(gè)，可以是任意其它數(shù)量。資格狀態(tài)描述基于QoS服務(wù)供應(yīng)商的配置的流量流隊(duì)列102之間的關(guān)系。
[0093]流量調(diào)度設(shè)備100示例性地包括四個(gè)互連的存儲(chǔ)器集群?jiǎn)卧?06a、106b、106c和106d。存儲(chǔ)器集群?jiǎn)卧臄?shù)量不限于4個(gè)，可以是任意其它數(shù)量。每個(gè)存儲(chǔ)器集群?jiǎn)卧?06a、106b、106c和106d與分層調(diào)度數(shù)據(jù)庫104的單個(gè)或多個(gè)層級(jí)關(guān)聯(lián)(這將在下文圖3進(jìn)行解釋)并耦合到例如三個(gè)協(xié)處理器108、110和112。耦合的協(xié)處理器的數(shù)量不限于3個(gè)，可以是任意其它數(shù)量。協(xié)處理器108、110和112可軟件編程，以實(shí)現(xiàn)調(diào)度算法。與圖1中的協(xié)處理器108、110和112關(guān)聯(lián)的計(jì)費(fèi)、選擇和構(gòu)建任務(wù)是調(diào)度算法的示例，軟件可實(shí)施另一方案，例如選擇和構(gòu)建任務(wù)在單個(gè)協(xié)處理器上實(shí)施。
[0094]在一種替代性的實(shí)施形式中，混合使用軟件可編程協(xié)處理器和硬件可配置協(xié)處理器，其中至少有一個(gè)協(xié)處理器是軟件可編程的。
[0095]流量調(diào)度設(shè)備100進(jìn)一步包括到流量流隊(duì)列102的接口 114，用于識(shí)別一個(gè)或多個(gè)與根據(jù)調(diào)度算法選擇傳輸?shù)奶囟髁苛麝?duì)列102關(guān)聯(lián)的包。接口 114將每個(gè)流量流隊(duì)列102的資格狀態(tài)發(fā)送到流量調(diào)度設(shè)備100。
[0096]下文圖2描述的流量管理單元200可用于管理有限的資源，例如網(wǎng)絡(luò)路由器傳輸線路的帶寬等。如果出流量由于帶寬不足而排隊(duì)，則可暫?；驂褐扑衅渌?duì)列，以在流量到達(dá)時(shí)從最高優(yōu)先級(jí)隊(duì)列發(fā)送流量。這就確保了實(shí)時(shí)流量等優(yōu)先流量，例如VoIP連接的RTP流，以最小時(shí)延轉(zhuǎn)發(fā)并最小化由于隊(duì)列達(dá)到最大能力而拒絕流量的可能性。當(dāng)最高優(yōu)先級(jí)隊(duì)列為空時(shí)可處理所有其它流量。另一種可由流量管理單元200使用的方法是不成比例地從高優(yōu)先級(jí)隊(duì)列發(fā)送比中優(yōu)先級(jí)隊(duì)列或低優(yōu)先級(jí)隊(duì)列更多的流量。
[0097]流量調(diào)度設(shè)備100可通過接口 114接入流量流隊(duì)列102。特定流量流隊(duì)列102的包可基于其頭字段進(jìn)行識(shí)別，例如通過其端口號(hào)、源地址或目的地址或者通過存儲(chǔ)在頭字段中的包標(biāo)識(shí)。資格狀態(tài)與每個(gè)流量流隊(duì)列102關(guān)聯(lián)。資格狀態(tài)可視為描述待轉(zhuǎn)發(fā)的各流量流隊(duì)列的權(quán)利。因此，資格狀態(tài)與各流隊(duì)列102的優(yōu)先級(jí)相關(guān)且依賴于服務(wù)供應(yīng)商的服務(wù)質(zhì)量(QoS)配置。資格狀態(tài)指示流量流隊(duì)列102是否可由流量調(diào)度設(shè)備100進(jìn)行調(diào)度。當(dāng)流量流隊(duì)列102的資格狀態(tài)為“不可用”時(shí)，流量調(diào)度設(shè)備100在其調(diào)度決定中不考慮該隊(duì)列。當(dāng)流量流隊(duì)列102的資格狀態(tài)為“可用”時(shí)，流量調(diào)度設(shè)備100在決定待轉(zhuǎn)發(fā)的下一流量流隊(duì)列102時(shí)會(huì)考慮該隊(duì)列。服務(wù)供應(yīng)商通過服務(wù)供應(yīng)商的QoS概念來為流量流保證一定的性能水平。服務(wù)質(zhì)量指的是向不同的應(yīng)用、用戶或數(shù)據(jù)流提供不同的優(yōu)先級(jí)或者保證數(shù)據(jù)流具有一定性能水平的能力。例如，可在流量合同中保證所需的比特率、時(shí)延、抖動(dòng)、丟包概率和/或誤碼率。如果網(wǎng)絡(luò)能力不足，則服務(wù)質(zhì)量保證十分重要，對(duì)于IP承載語音、在線游戲和IP-TV等實(shí)時(shí)流多媒體應(yīng)用尤為如此，這是因?yàn)檫@些應(yīng)用通常需要固定的比特率且對(duì)時(shí)延敏感，并且在例如蜂窩數(shù)據(jù)通信等能力是有限資源的網(wǎng)絡(luò)中也是如此。
[0098]存儲(chǔ)器集群?jiǎn)卧?06a、106b、106c和106d中的每個(gè)存儲(chǔ)器集群?jiǎn)卧ㄟx擇引擎110、構(gòu)建引擎108以及計(jì)費(fèi)引擎112。選擇引擎110是可編程的高靈活性高性能機(jī)器，用于實(shí)施調(diào)度算法的選擇過程，以選擇待發(fā)送的下一流隊(duì)列包。該選擇過程用于遍歷分層調(diào)度數(shù)據(jù)庫104以及基于成員的資格狀態(tài)在數(shù)據(jù)庫104的每個(gè)層級(jí)選擇成員。構(gòu)建引擎108是可編程的高靈活性高性能機(jī)器，用于實(shí)施調(diào)度算法的構(gòu)建過程。該構(gòu)建過程用于遍歷分層調(diào)度數(shù)據(jù)庫104以及在數(shù)據(jù)庫104的每個(gè)層級(jí)更新其成員的資格狀態(tài)。計(jì)費(fèi)引擎112是可編程的高靈活性高性能機(jī)器，用于實(shí)施調(diào)度算法的計(jì)費(fèi)過程。該計(jì)費(fèi)過程用于處理與調(diào)度算法相關(guān)的分層調(diào)度數(shù)據(jù)庫104的整形器、策略器和計(jì)數(shù)器。
[0099]整形器或流量整形器用于通過延遲滿足一定條件的其他種類包來為一些種類的包優(yōu)化或保證性能、改善延時(shí)和/或增加可用帶寬。如果鏈路飽和至存在重大水平的競(jìng)爭(zhēng)點(diǎn)時(shí)，延時(shí)可大大增高。因此，使用流量整形來防止此種情況發(fā)生并約束時(shí)延。流量整形提供一種控制在指定時(shí)期內(nèi)發(fā)送到網(wǎng)絡(luò)的流量數(shù)量的方法。由計(jì)費(fèi)過程進(jìn)行對(duì)流量整形器的處理，例如待用于整形過程的性能配置、時(shí)延配置和帶寬的配置。
[0100]策略器或流量策略器用于執(zhí)行流量策略,流量策略是獨(dú)特但相關(guān)的丟包和標(biāo)記包的實(shí)踐。流量策略包括選擇或?qū)⒘髁繗w類為不同類型或種類的技術(shù)，流量歸類(trafficcateorization)也表示為流量分類(traffic classification)。由計(jì)費(fèi)過程進(jìn)行流量策略器的處理，例如標(biāo)記過程的配置和包歸類的配置。
[0101 ] 計(jì)數(shù)器用于檢查流量管理單元或流量調(diào)度單元的內(nèi)部狀態(tài)、參數(shù)或者變量。它們提供了對(duì)流量調(diào)度過程的實(shí)際或過去的性能的一種見解。由計(jì)費(fèi)過程進(jìn)行計(jì)數(shù)器的處理，例如計(jì)數(shù)器的配置或讀取。
[0102]因此，流量調(diào)度設(shè)備100的子單元為:
[0103]1.保存分層數(shù)據(jù)的分層存儲(chǔ)數(shù)據(jù)庫(hierarchical memory database) 104或分層調(diào)度數(shù)據(jù)庫(hierarchical scheduling database) 104。分層存儲(chǔ)數(shù)據(jù)庫104通常劃分為與層級(jí)數(shù)量匹配的多個(gè)存儲(chǔ)器塊(memory bank) 104a、104b、104c和104d。圖1示例性的描述了四個(gè)層級(jí)。
[0104]2.可編程選擇引擎110，用于在分層數(shù)據(jù)庫104或分層調(diào)度數(shù)據(jù)庫104上執(zhí)行調(diào)度過程，以選擇待發(fā)送的下一流隊(duì)列包。通常，選擇引擎110劃分為附著到與層級(jí)數(shù)量匹配的存儲(chǔ)器塊104a、104b、104c和104d的多個(gè)流水線單元。WFQ和MDRR為選擇算法的示例。
[0105]3.可編程構(gòu)建引擎108，用于在分層數(shù)據(jù)庫上執(zhí)行構(gòu)建過程。構(gòu)建過程維護(hù)數(shù)據(jù)庫成員的資格狀態(tài)。通常，構(gòu)建引擎108劃分為附著到與層級(jí)數(shù)量匹配的存儲(chǔ)器塊104a、104b、104c和104d的多個(gè)流水線單元。
[0106]4.可編程計(jì)費(fèi)引擎112，用于更新調(diào)度計(jì)數(shù)器的值，例如MDDR的赤字計(jì)數(shù)器和分層整形器。通常，計(jì)費(fèi)引擎112劃分為附著到與層級(jí)數(shù)量匹配的存儲(chǔ)器塊104a、104b、104c和104d的多個(gè)流水線單元。
[0107]5.流隊(duì)列管理器接口(FQM i/f)或簡(jiǎn)稱為接口 114。流量調(diào)度設(shè)備100接受來自FQM接口 114的流隊(duì)列狀態(tài)消息，例如指示流隊(duì)列(i)變成非空的Enq (i)消息。流量調(diào)度設(shè)備100發(fā)送選擇(i)消息到FQM接口 114，指示接口 114從流隊(duì)列(i)發(fā)送包。
[0108]流量調(diào)度設(shè)備100的靈活性通過軟件的可編程性取得?；谲浖牧髁空{(diào)度設(shè)備100可針對(duì)各種調(diào)度算法和獨(dú)特特性進(jìn)行編程，因此其將來可被安全地更新以支持新特性或調(diào)度算法。流量調(diào)度設(shè)備100是流量管理單元內(nèi)的可編程分層流量調(diào)度器，其功能通過軟件定義，因此當(dāng)實(shí)現(xiàn)等同于硬件調(diào)度器的性能速率時(shí)其是比較靈活的。
[0109]圖2所示為根據(jù)一種實(shí)施形式的具有流量調(diào)度設(shè)備100的流量管理單元(TMU)200的框圖。流量管理單元200包括圖1所描述的具有分層調(diào)度數(shù)據(jù)庫104的流量調(diào)度設(shè)備100、用于提供流隊(duì)列系統(tǒng)的流隊(duì)列管理器202、用于接收(RX)包206的RX接口 204a、用于發(fā)送(TX)包208的TX接口 204b以及具有到外部包存儲(chǔ)器212的DMA接口 214的DMA (直接內(nèi)存訪問)單元210。圖1所描述的FQM接口 114對(duì)應(yīng)于到圖2的流隊(duì)列管理器202的接口。
[0110]因此，流量管理子單元如下:
[0111]1.流隊(duì)列管理器202，其通常通過包描述符來實(shí)施流隊(duì)列的分層排隊(duì)系統(tǒng)。在層級(jí)5至7中構(gòu)建的隊(duì)列數(shù)量通常是IK到I百萬個(gè)，但其可以是在任意層級(jí)中構(gòu)建的任意其它數(shù)量的隊(duì)列。
[0112]2.包DMA210，用于從/向外部包存儲(chǔ)器212或替代性的內(nèi)部(B卩，芯片上的)包存
儲(chǔ)器接收/傳輸包。
[0113]3.流量調(diào)度設(shè)備100或流量調(diào)度器，用于控制包傳出流隊(duì)列的傳輸序列。調(diào)度方法包括各種算法，例如WFQ、WRR、MDRR、嚴(yán)格優(yōu)先級(jí)以及其他算法。分層調(diào)度數(shù)據(jù)庫104存儲(chǔ)在數(shù)據(jù)庫存儲(chǔ)器內(nèi)，該數(shù)據(jù)庫存儲(chǔ)器可為內(nèi)部(IC的芯片上的)或外部存儲(chǔ)器(SRAM和DRAM)。流量調(diào)度設(shè)備100的性能，即吞吐量，以百萬包每秒(MPPS)測(cè)量。
[0114]流量管理單元200之前的設(shè)備(prior stage)將流量進(jìn)行分類為流并打上標(biāo)簽。例如，該之前的設(shè)備(prior stage)可以是網(wǎng)絡(luò)處理器單元(NPU)。流可由如VLAN、DiffServ或者TCP/IP五元組等一些內(nèi)部包字段定義。
[0115]流量管理單元200實(shí)施一種每流排隊(duì)系統(tǒng)，也稱為流隊(duì)列。對(duì)于流隊(duì)列數(shù)量較高(例如介于I千到I百萬之間)這種情況，采用分層調(diào)度模型。該模型將流隊(duì)列組織成用戶，將用戶組成用戶組，一直匯聚到物理接口，這將在下文參考圖3進(jìn)行詳細(xì)解釋。
[0116]TMU200接收到的包206標(biāo)有流隊(duì)列標(biāo)識(shí)(id標(biāo)簽)。TMU200操作包括如下步驟:
[0117]1.接收一包206按id標(biāo)簽存儲(chǔ)在正確的流隊(duì)列中。
[0118]2.調(diào)度一基于所有流隊(duì)列間的服務(wù)供應(yīng)商的QoS配置方案來調(diào)度流隊(duì)列包傳輸。[0119]3.發(fā)送一將包208發(fā)送出去。
[0120]圖3所示為根據(jù)一種實(shí)施形式的分層調(diào)度數(shù)據(jù)庫104的示意圖。
[0121]數(shù)據(jù)庫104從多個(gè)層級(jí)上構(gòu)建，其中圖3示例性地描述了六個(gè)層級(jí):L1、L2、L3、L4、L5和L6。然而，數(shù)據(jù)庫可具有任意其它數(shù)量的層級(jí)。
[0122]LI根接口層一物理接口 312中的所有可用物理端口 310。示例數(shù)量為64，但可以是任意其它數(shù)量。[0123]L2端口層一每個(gè)物理端口 310的所有可用子端口 308。示例數(shù)量為128，但可以是任意其它數(shù)量。
[0124]L3子端口層一每個(gè)子端口 308的所有可用用戶組306。示例數(shù)量為4K (=4000)，但可以是任意其它數(shù)量。
[0125]L4組層(GQ)—每個(gè)用戶組306的所有可用用戶304。示例數(shù)量為64K (=64000)，但可為任意其它數(shù)量。
[0126]L5用戶層(SQ) —每個(gè)用戶304的所有可用流隊(duì)列302。示例數(shù)量為16，但可為
任意其它數(shù)量。
[0127]L6流隊(duì)列層(FQ) —可用流隊(duì)列302的總和。示例數(shù)量為IM (=1，000, 000)，但可
為任意其它數(shù)量。
[0128]圖3示出了以樹形結(jié)構(gòu)表示的分層調(diào)度數(shù)據(jù)庫104。基本元件(basic element)是具有關(guān)聯(lián)成員的節(jié)點(diǎn)，該節(jié)點(diǎn)也稱為子級(jí)(Children)。圖4所示為分層調(diào)度數(shù)據(jù)庫104的示例性基本元件的示意圖。示例性的父節(jié)點(diǎn)表示用戶組(GQ)306。子級(jí)為父GQ組306的用戶(SQ)成員304a和304b。
[0129]典型節(jié)點(diǎn)的數(shù)據(jù)包括:
[0130].每個(gè)子級(jí)的狀態(tài)信息
[0131]?節(jié)點(diǎn)狀態(tài)信息
[0132].赤字計(jì)數(shù)器指針
[0133].整形器指針
[0134].軟件定義的信息
[0135]兩種主要過程利用調(diào)度分層數(shù)據(jù)庫104:運(yùn)行在圖1所描述的選擇引擎110上的選擇過程和運(yùn)行在圖1所描述的構(gòu)建引擎108上的構(gòu)建過程。選擇過程是數(shù)據(jù)庫104的消費(fèi)者。構(gòu)建過程是數(shù)據(jù)庫104的生產(chǎn)者。WFQ和MDRR等調(diào)度算法節(jié)約工作，意味著帶寬僅分配給活動(dòng)隊(duì)列。術(shù)語“隊(duì)列”廣義上指分層數(shù)據(jù)庫104內(nèi)的成員，例如用戶304。術(shù)語“活動(dòng)”廣義上指有資格調(diào)度(選擇)。換言之，選擇過程僅選擇所有層級(jí)內(nèi)有資格的成員。在接口 312層LI中為所有有資格的端口 310，在端口 310層L2中為所有有資格的子端口 308，在子端口 308層L3中為所有有資格的組306，在組306層L4中為所有有資格的用戶304，且在用戶304層L5中為所有有資格的流隊(duì)列302。
[0136]選擇過程沿根312到流隊(duì)列302的方向遍歷數(shù)據(jù)庫104，在每一層應(yīng)用MDRR、WFQ
和嚴(yán)格優(yōu)先級(jí)等調(diào)度算法。
[0137]與每個(gè)流量流隊(duì)列102關(guān)聯(lián)的資格狀態(tài)表示處理特定流隊(duì)列的資格。分層調(diào)度數(shù)據(jù)庫104的成員的資格狀態(tài)，也稱為該成員的處理狀態(tài)資格，表示待由調(diào)度算法處理的數(shù)據(jù)庫成員的資格。數(shù)據(jù)庫104的成員是接口、端口、子端口、用戶組、用戶和流隊(duì)列。分層調(diào)度數(shù)據(jù)庫104的成員的資格狀態(tài)可由服務(wù)供應(yīng)商根據(jù)其QoS合同進(jìn)行配置。例如，一些端口(或子端口)可具有比其它端口高的優(yōu)先級(jí)，這是由于這些端口用于實(shí)時(shí)流量，而其他端口(或子端口)具有低優(yōu)先級(jí)是由于他們用于非實(shí)時(shí)流量，例如文件傳送應(yīng)用。
[0138]選擇過程包括如下步驟:
[0139]1.從接口 312層LI中選擇一個(gè)有資格的端口 310，
[0140]2.從步驟I中選擇的端口 310中選擇一個(gè)有資格的子端口 308，
[0141]3.從步驟2中選擇的子端口 308中選擇一個(gè)有資格的用戶組306，
[0142]4.從步驟3中選擇的用戶組306中選擇一個(gè)有資格的用戶304，
[0143]5.從步驟4中選擇的用戶304中選擇一個(gè)有資格的流隊(duì)列302。
[0144]構(gòu)建過程沿流隊(duì)列302到根312的方向遍歷數(shù)據(jù)庫104。構(gòu)建過程持續(xù)更新分層數(shù)據(jù)庫104中的成員的資格狀態(tài)。
[0145]構(gòu)建過程的調(diào)用是由于如下事件等:
[0146].流隊(duì)列狀態(tài)消息一空，非空，
[0147].流控制消息一端口打開/關(guān)閉，
[0148].選擇后構(gòu)建一基于 選擇尺寸更新赤字計(jì)數(shù)器和整形器的值，
[0149].整形器變更狀態(tài)一整形器顏色變更，例如由紅色變?yōu)榫G色，
[0150].赤字計(jì)數(shù)器狀態(tài)變更，
[0151].以及其他。
[0152]整形器是一種使用顏色方案來限制成員的可獲取帶寬的元件。例如，這種行為定義如下:
[0153].綠色一所有其他綠色成員間的一個(gè)成員是有資格被選擇的，
[0154]?黃色一當(dāng)沒有綠色成員存在時(shí)，所有黃色成員間的一個(gè)成員是有資格被選擇的，
[0155].紅色一成員沒有資格被選擇。
[0156]赤字計(jì)數(shù)器關(guān)聯(lián)至MDRR調(diào)度器內(nèi)的每個(gè)成員，該MDRR調(diào)度器在選擇周期內(nèi)測(cè)量成員分配的帶寬的比例。
[0157]使用如下示例來說明構(gòu)建過程:
[0158]1.從FQM202接收的Enq (i)消息一流隊(duì)列(i)變?yōu)榉强铡?br> [0159]2.在FQ層L6內(nèi)構(gòu)建更新資格。現(xiàn)在可將資格沿根312方向傳遞(如果需要)至所有其他層級(jí)L5、L4、L3、L2和LI。
[0160]3.如果尚沒有資格，則在SQ304層L5內(nèi)構(gòu)建更新資格。
[0161]4.如果尚沒有資格，則在GQ306層L4內(nèi)構(gòu)建更新資格。
[0162]5.如果尚沒有資格，則在子端口 308層L3內(nèi)構(gòu)建更新資格。
[0163]6.如果尚沒有資格，則在端口 310層L2內(nèi)構(gòu)建更新資格。
[0164]7.如果尚沒有資格，則在根312層LI內(nèi)構(gòu)建更新資格。
[0165]圖5所示為根據(jù)一種實(shí)施形式的流量調(diào)度設(shè)備500的框圖。流量調(diào)度設(shè)備500包括例如三個(gè)(可以是任意其它數(shù)量的)存儲(chǔ)器集群?jiǎn)卧?06a、506b和506c。每個(gè)存儲(chǔ)器集群?jiǎn)卧ü?jié)點(diǎn)協(xié)處理器510a、510b和510c ;X_ALU508a、508b和508c ;計(jì)費(fèi)協(xié)處理器512a、512b和512c ；以及存儲(chǔ)器504a、504b和504c。流量調(diào)度設(shè)備500進(jìn)一步包括:
[0166]互連結(jié)構(gòu)(interconnect fabric) 516,用于互連存儲(chǔ)器集群?jiǎn)呜?06a、506b和506c,
[0167]一組調(diào)度處理器元件(scheduling processor element) 518,待由存儲(chǔ)器集群?jiǎn)卧?506a、506b 和 506c 使用，
[0168]共享消息收發(fā)系統(tǒng)(shared messaging system) 524,用于在調(diào)度處理器元件518間提供可選快速消息收發(fā)，
[0169]管理程序(hypervisor),即監(jiān)督單元(supervising unit)520,用于監(jiān)督將調(diào)度處理器元件518分配給存儲(chǔ)器集群?jiǎn)卧?06a、506b和506c，
[0170]隊(duì)列管理器接口 514，其形成到圖2所描述的流隊(duì)列管理器202的接口，以及
[0171]可選管理處理器522，用于配置和維護(hù)由存儲(chǔ)器504a、504b和504c形成的分層調(diào)
度數(shù)據(jù)庫。
[0172]因此，流量調(diào)度設(shè)備500的子單元為:
[0173]1.可選管理處理器(optional Management Processor) 522,其可按照標(biāo)準(zhǔn) RISC實(shí)現(xiàn)，并用于配置和維護(hù) 分層數(shù)據(jù)庫。該管理處理器522從上層管理實(shí)體接收成員創(chuàng)建、添加、刪除和修改命令。
[0174]2.SPE—調(diào)度處理器元件518，其為并行微RISC單元集群，用于執(zhí)行構(gòu)建和選擇軟件任務(wù)。
[0175]3.存儲(chǔ)器一存儲(chǔ)器集群?jiǎn)卧?06a、506b和506c的集合。每個(gè)MCU506a、506b和506c關(guān)聯(lián)于一個(gè)分層數(shù)據(jù)庫層級(jí)，即參見圖3所描述的層級(jí)L1、L2、L3、L4、L5和L6中的一個(gè)。每個(gè) MCU506a、506b 和 506c 包含存儲(chǔ)器庫(memory repository) 504a、504b 和 504c,存儲(chǔ)器庫可由多個(gè)物理存儲(chǔ)器和關(guān)聯(lián)緊耦合的協(xié)處理器單元508a、508b、508c、510a、510b、510c,512a,512b 和 512c 構(gòu)成。
[0176]4.互連結(jié)構(gòu) 516—將 SPE 集群 518 連接至 MCU506a、506b 和 506c。
[0177]5.管理程序520—將運(yùn)算任務(wù)構(gòu)建和選擇程序分配給SPE集群518。
[0178]6.共享消息收發(fā)系統(tǒng)524— SPE518之間的可選快速消息收發(fā)(Optional FastMessaging)。
[0179]7.隊(duì)列管理器接口 514。
[0180]每個(gè)MCU506a、506b和506c中引入三類協(xié)處理器。該協(xié)處理器緊耦合至MCU506a、506b和506c內(nèi)的存儲(chǔ)器504a、504b和504c。這種關(guān)聯(lián)方法確保了數(shù)據(jù)庫的一致性(coherency)和原子性(atomicity)。
[0181]節(jié)點(diǎn)協(xié)處理器(NCOP) 510a,510b和510c包含:
[0182]?數(shù)據(jù)庫拓?fù)溆成湫畔?Database topology mapping information),
[0183].數(shù)據(jù)字段映射信息(database fields mapping information)一節(jié)點(diǎn)的內(nèi)部數(shù)據(jù)字段的結(jié)構(gòu)。
[0184]由SPE518 執(zhí)行的軟件使用邏輯(虛擬)引用(logical (virtual)references)。
[0185]邏輯引用(logical(virtual)references)可以是:
[0186]?數(shù)據(jù)庫拓?fù)漕愋鸵恢赶驍?shù)據(jù)結(jié)構(gòu)的指針，例如指向節(jié)點(diǎn)、赤字計(jì)數(shù)器或者整形器的指針，
[0187].數(shù)據(jù)類型引用一指向數(shù)據(jù)結(jié)構(gòu)內(nèi)的字段的數(shù)據(jù)ID，例如節(jié)點(diǎn)狀態(tài)位。
[0188]節(jié)點(diǎn)協(xié)處理器510a、510b和510c使用拓?fù)溆成浠蛘邤?shù)據(jù)字段映射將邏輯參考翻譯成實(shí)際存儲(chǔ)器物理參考(以及反過來將物理參考翻譯成邏輯參考)。實(shí)施方式可以是可編程或者硬件可配置引擎。
[0189]計(jì)費(fèi)協(xié)處理器(AC0P)512a、512b和512c計(jì)算一般計(jì)數(shù)器以及MDRR赤字和整形器等調(diào)度器計(jì)數(shù)器的值。實(shí)施方式可以是可編程或者硬件可配置引擎。
[0190]擴(kuò)展ALU (XALU)508a、508b 和 508c 是可編程 VLIW 收縮陣列。XALU508a、508b 和508c在數(shù)據(jù)庫存儲(chǔ)器504a、504b和504c上執(zhí)行緊耦合的操作。XALU508a、508b和508c接收任務(wù)和/或發(fā)送結(jié)果從或者至SPE518 ;其他XALU508a、508b和508c (或通過回路調(diào)用發(fā)送至其自己);NC0P510a、510b 和 510c ；以及 AC0P512a、512b 和 512c。
[0191]根據(jù)另一種實(shí)施形式，提供了流量調(diào)度設(shè)備500的架構(gòu)，其中不包括管理處理器522，換言之，使用外部處理器執(zhí)行內(nèi)部管理處理器522任務(wù)。具有或不具有管理處理器522的流量調(diào)度設(shè)備500可在單個(gè)芯片上實(shí)施。
[0192]圖6所示為根據(jù)一種實(shí)施形式的XALU600的框圖。XALU600實(shí)施為由例如四個(gè)VUM處理器P0602a、P1602b、P2602c、P3602d和P4602d組成的線性收縮陣列。然而，可使用任意其它非四的數(shù)量。收縮陣列是一種公知的計(jì)算機(jī)架構(gòu)結(jié)構(gòu)。其由N個(gè)處理器P0602a、P1602b、P2602c、P3602d和P4602d的線性流水線組成。每個(gè)處理器在一個(gè)周期內(nèi)(VLIW)執(zhí)行m條指令，結(jié)果，每個(gè)周期內(nèi)，大小為N*m的新程序完成執(zhí)行。
[0193]收縮陣列被視為高性能引擎，但由于通過架構(gòu)結(jié)構(gòu)的單向流，其靈活性與標(biāo)準(zhǔn)的RISC相比有所下降。
[0194]XALU600的ISA (指令集架構(gòu))針對(duì)分層調(diào)度進(jìn)行了優(yōu)化。
[0195]圖7所示為由多個(gè)處理器702并行更新的數(shù)據(jù)庫存儲(chǔ)器704的示意圖。
[0196]使用可編程引擎實(shí)現(xiàn)高性能的一個(gè)典型方法是通過并行化。例如，軟件任務(wù)劃分為在N個(gè)并行可編程引擎702上獨(dú)立執(zhí)行的N個(gè)并行任務(wù)。在并行化的情況下，Amdahl定律規(guī)定如果P是一個(gè)程序可被并行化的比例(即，并行化的受益)且(1-P)是不可并行化的比例(剩余的串行)，則使用N個(gè)處理器可實(shí)現(xiàn)的最大加速比為:
[0197]1/((1_P)+P/N)。
[0198]當(dāng)完全并行獨(dú)立可能實(shí)現(xiàn)時(shí)，P等于I。則使用N個(gè)處理器的軟件任務(wù)的最大加速比為N。
[0199]在如圖7所示的一致性性能影響導(dǎo)致的調(diào)度數(shù)據(jù)庫操縱情況下，并行化加速方法失敗。一致性問題發(fā)生是由于處理器P (i)更新單個(gè)數(shù)據(jù)庫704內(nèi)的數(shù)據(jù)記錄時(shí)另一處理器P (j)更新相同的數(shù)據(jù)記錄導(dǎo)致的多個(gè)主干更新。使用信標(biāo)706來避免這種一致性競(jìng)爭(zhēng)機(jī)制，但是，這導(dǎo)致了串行行為。
[0200]如下示例闡述了這種并行行為:
[0201]?處理器 P (i)抓取信標(biāo)(semaphore) 706
[0202].處理器P (j )等待信標(biāo)706
[0203].處理器P (i )更新數(shù)據(jù)庫704
[0204].處理器P ( i )釋放信標(biāo)706
[0205].處理器P (j )抓取信標(biāo)706
[0206].處理器P ( j )更新數(shù)據(jù)庫704
[0207].處理器P ( i )釋放信標(biāo)706[0208]結(jié)果，處理器P (j)僅在處理器P (i)完成更新后才更新數(shù)據(jù)庫704，因此，并行化丟失。
[0209]圖8所示為根據(jù)一種實(shí)施形式的用于通過收縮陣列處理器P1、P2、P3和P4來更新數(shù)據(jù)庫存儲(chǔ)器804的收縮陣列實(shí)施方式800的示意圖。命令810在P0802a階段(stage)輸入到收縮陣列，結(jié)果814在P3802d階段從收縮陣列輸出并從P3802d階段轉(zhuǎn)發(fā)至P1802b階段。
[0210]數(shù)據(jù)庫存儲(chǔ)器804的更新由單個(gè)收縮陣列結(jié)構(gòu)處理。由于該收縮陣列結(jié)構(gòu)的緣故，性能速率(performance rate)很高,程序以最大可能速率完成每一周期。由于單個(gè)主干更新的緣故，多個(gè)主干更新的一致性(coherency)問題得以消除。
[0211]在圖5所示的收縮陣列中，使用一種公知的數(shù)據(jù)轉(zhuǎn)發(fā)的設(shè)計(jì)方法解決了數(shù)據(jù)依賴問題。如果程序(i )修改數(shù)據(jù)庫記錄，則會(huì)產(chǎn)生數(shù)據(jù)依賴，而隨后的程序(i+1)需要該最多更新的數(shù)據(jù)庫記錄。
[0212]在圖8所示的實(shí)施形式中，處理了例如如下四個(gè)階段802a、802b、802c和802d(但階段數(shù)量可為任意其他數(shù)值):
[0213].P0802a階段從數(shù)據(jù)庫存儲(chǔ)器讀取三個(gè)變量x、y和z，
[0214].P1802b階段基于x、y和z計(jì)算新變量w,
[0215].P2802c階段基于w計(jì)算x,
[0216].P3802d階段將x寫入數(shù)據(jù)庫存儲(chǔ)器804。
[0217]P0802a階段從數(shù)據(jù)庫804讀取X值，但P3802d階段包含X的更多更新的值。解決這種類型的數(shù)據(jù)依賴的方案是使用公知的數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)計(jì)方法。X的最多更新的數(shù)據(jù)庫值被從P3802d階段轉(zhuǎn)發(fā)至P1802b階段，從而無效化PO讀取的值。收縮陣列的高性能得以維持。
[0218]圖9所示為使用不可編程硬件單元906a、906b、906c和906d的傳遞通道(pipeline)來選擇分層調(diào)度數(shù)據(jù)庫存儲(chǔ)器904a、904b、904c和904d的選擇過程900的示意圖。
[0219]選擇過程900使用:
[0220].目標(biāo)調(diào)度速率75MPPS ；以及
[0221].四層分層調(diào)度器。
[0222]75MPPS為一數(shù)值示例，可采用高于或低于該值的速率。四層也是一個(gè)數(shù)值示例，可采用高于或低于該值的層數(shù)。
[0223]數(shù)據(jù)庫存儲(chǔ)在根據(jù)層級(jí)數(shù)量劃分的存儲(chǔ)器904a、904b、904c和904d中，換言之，4個(gè)層級(jí)意味著四個(gè)存儲(chǔ)器組904a、904b、904c和904d。每個(gè)存儲(chǔ)器組支持75MPPS的訪問速度(access rate)，該速率對(duì)應(yīng)于執(zhí)行選擇過程900所需的所有訪問的累計(jì)總數(shù)。每個(gè)存儲(chǔ)器組904a、904b、904c和904d附著有匹配的硬件流水線引擎(pipeline engine) 906a、906b,906c 和 906d。
[0224]選擇流程如下:
[0225]1.選擇流程通過調(diào)用流水線引擎l(906a)的75MPPS的自時(shí)鐘發(fā)生器(self-clockgennerator)發(fā)起。
[0226]2.流水線引擎I (906a)通過訪問存儲(chǔ)器I (904a)來執(zhí)行選擇。流水線引擎I(906a)使用該選擇結(jié)果來調(diào)用流水線引擎2 (906b)。
[0227]3.流水線引擎2 (906b)通過訪問存儲(chǔ)器2 (904b)來執(zhí)行選擇。流水線引擎2(906b)使用該選擇結(jié)果來調(diào)用流水線引擎3 (906c)。
[0228]4.流水線引擎3 (906c)通過訪問存儲(chǔ)器3 (904c)來執(zhí)行選擇。流水線引擎3(906c)使用該選擇結(jié)果來調(diào)用流水線引擎4 (906d)。
[0229]5.流水線引擎4 (906d)通過訪問存儲(chǔ)器4 (904d)來執(zhí)行選擇。該選擇的最終結(jié)果902發(fā)送至隊(duì)列管理器。
[0230]通過在存儲(chǔ)器上創(chuàng)建流水線行為(pipeline behavior)來實(shí)現(xiàn)高性能速率。以75MPPS的速率處理每個(gè)存儲(chǔ)器組904a、904b、904c和904d。因此，總體調(diào)度速率為75MPPS。
[0231]圖10所示為根據(jù)一種實(shí)施形式的通過使用直接互連的存儲(chǔ)器集群?jiǎn)卧?06a、506b、506c和506d的可編程流水線來選擇分層調(diào)度數(shù)據(jù)庫存儲(chǔ)器504a、504b、504c和504d的選擇過程1000的示意圖。存儲(chǔ)器集群?jiǎn)卧?06a、506b、506c和506d對(duì)應(yīng)于圖5描述的存儲(chǔ)器集群?jiǎn)卧?br> [0232]選擇過程1000使用可編程引擎的存儲(chǔ)器負(fù)載，該可編程引擎在性能上等同于圖9所描述的不可編程硬件單元906a、906b、906c和906d。選擇過程1000和圖9描述的選擇過程900使用相同的數(shù)值，SP:
[0233].目標(biāo)調(diào)度速率75MPPS ；以及
[0234].四層分層調(diào)度器。
[0235]75MPPS為一數(shù)值示例，可采用高于或低于該數(shù)值的速率。四層也是一個(gè)數(shù)值示例，可采用高于或低于該數(shù)值的層數(shù)。
[0236]存儲(chǔ)器結(jié)構(gòu)等同于上文圖9描述的存儲(chǔ)器結(jié)構(gòu)。數(shù)據(jù)庫104存儲(chǔ)在根據(jù)層級(jí)數(shù)量劃分的存儲(chǔ)器504a、504b、504c和504d中，換言之，4個(gè)層級(jí)意味著4個(gè)存儲(chǔ)器組(memorybank)504a、504b、504c和504d。然而,存儲(chǔ)器結(jié)構(gòu)并不限于四個(gè)存儲(chǔ)器組,可使用與層級(jí)數(shù)量對(duì)應(yīng)的任意其它數(shù)量的存儲(chǔ)器組。
[0237]每個(gè)存儲(chǔ)器組504a、504b、504c和504d支持75MPPS的訪問速度，該速率對(duì)應(yīng)于執(zhí)行選擇過程1000所需的所有訪問的累計(jì)總數(shù)。每個(gè)存儲(chǔ)器組504a、504b、504c和504d附著有匹配的可編程引擎508a、508b、508c和508d。匹配的可編程引擎508a、508b、508c和508d實(shí)現(xiàn)為XALU協(xié)處理器，它們中的每一個(gè)實(shí)現(xiàn)一個(gè)I維收縮陣列，該I維收縮陣列以75MPPS的訪問速度加載各存儲(chǔ)器組504a、504b、504c和504d，由于是單個(gè)存儲(chǔ)器用戶的緣故，同時(shí)保持一致性和原子性。
[0238]選擇過程1000如下:
[0239]1.選擇流程通過調(diào)用XALUl (508a)的75MPPS自時(shí)鐘發(fā)生器發(fā)起。
[0240]2.XALUl (508a)通過訪問存儲(chǔ)器I (504a)來執(zhí)行選擇。XALUl (508a)使用該選擇結(jié)果來調(diào)用XALU2 (508b)。
[0241]3.XALU2 (508b)通過訪問存儲(chǔ)器2 (504b)來執(zhí)行選擇。XALU2 (508b)使用該選擇結(jié)果來調(diào)用XALU3 (508c)。
[0242]4.XALU3 (508c)通過訪問存儲(chǔ)器3 (504c)來執(zhí)行選擇。XALU3 (508c)使用該選擇結(jié)果來調(diào)用XALU4 (508d)。
[0243]5.XALU4 (508d)通過訪問存儲(chǔ)器4 (504d)來執(zhí)行選擇。該選擇的最終結(jié)果1002發(fā)送至隊(duì)列管理器，該隊(duì)列管理器為圖2所示的流隊(duì)列管理器202。
[0244]該存儲(chǔ)器行為(memory behaviour)與選擇過程900的存儲(chǔ)器行為相同，選擇過程900應(yīng)用在圖9描述的不可編程硬件單元906a、906b、906c和906d的流水線上。通過在存儲(chǔ)器504a、504b、504c和504d上創(chuàng)建流水線行為來實(shí)現(xiàn)選擇過程1000的高性能速率。以75MPPS的訪問速度處理每個(gè)存儲(chǔ)器組504a、504b、504c和504d。因此，總體調(diào)度速率為75MPPS。
[0245]圖11所示為使用不可編程硬件單元906a、906b、906c和906d的流水線來構(gòu)建分層調(diào)度數(shù)據(jù)庫存儲(chǔ)器904a、904b、904c和904d的構(gòu)建過程1100的示意圖。
[0246]構(gòu)建過程1100使用:
[0247].目標(biāo)構(gòu)建速率120MPPS ；以及
[0248].四層分層調(diào)度器。
[0249]120MPPS為一數(shù)值示例，可采用高于或低于該數(shù)值的速率。四層也是一個(gè)數(shù)值示例，可采用高于或低于該數(shù)值的層數(shù)。
[0250]該數(shù)據(jù)庫存儲(chǔ)在根據(jù)層級(jí)數(shù)量劃分的存儲(chǔ)器904a、904b、904c和904d中，換言之，4個(gè)層級(jí)意味著四個(gè)存儲(chǔ)器組904a、904b、904c和904d。每個(gè)存儲(chǔ)器組904a、904b、904c和904d支持120MPPS的訪問速度，該速率對(duì)應(yīng)于執(zhí)行構(gòu)建過程1100所需的所有訪問的累計(jì)總數(shù)。每個(gè)存儲(chǔ)器組904a、904b、904c和904d附著有匹配的硬件流水線引擎。
[0251]構(gòu)建過程1100由指示流隊(duì)列(i)變?yōu)榉强盏牧麝?duì)列狀態(tài)消息Enq (i)1102調(diào)用。構(gòu)建過程1100如下:
[0252]1.構(gòu)建流程通過從隊(duì)列管理器到達(dá)的Enq (i)消息1102發(fā)起。最大消息速率為120MMPS。Enq消息1102調(diào)用流水線引擎4 (906d)。
[0253]2.流水線引擎4 (906d)通過訪問存儲(chǔ)器4 (904d)來執(zhí)行構(gòu)建。流水線引擎4(906d)使用該構(gòu)建結(jié)果來調(diào)用流水線引擎3 (906c)。
[0254]3.流水線引擎3 (906c)通過訪問存儲(chǔ)器3 (904c)來執(zhí)行構(gòu)建。流水線引擎3(906c)使用該構(gòu)建結(jié)果來調(diào)用流水線引擎2 (906b)。
[0255]4.流水線引擎2 (906b)通過訪問存儲(chǔ)器2 (904b)來執(zhí)行構(gòu)建。流水線引擎2(906b)使用該構(gòu)建結(jié)果來調(diào)用流水線引擎I (906a)。
[0256]5.流水線引擎I (906a)通過訪問存儲(chǔ)器I (904a)來完成構(gòu)建。
[0257]通過在存儲(chǔ)器904a、904b、904c和904d上創(chuàng)建流水線行為來實(shí)現(xiàn)高性能速率。以120MPPS的速率處理每個(gè)存儲(chǔ)器組904a、904b、904c和904d。因此，總體構(gòu)建速率為120MPPS。
[0258]圖12所示為根據(jù)一種實(shí)施形式的通過使用通過SPE518a、518b和518c的共享集合互連的存儲(chǔ)器集群?jiǎn)卧?06a、506b、506c和506d的可編程流水線來構(gòu)建圖3描述的分層調(diào)度數(shù)據(jù)庫存儲(chǔ)器104的構(gòu)建過程1200的示意圖。存儲(chǔ)器集群?jiǎn)卧?06a、506b、506c和506d對(duì)應(yīng)于圖5描述的存儲(chǔ)器集群?jiǎn)卧?br> [0259]構(gòu)建過程1200使用可編程引擎的存儲(chǔ)器負(fù)載，該可編程引擎在性能上等同于圖11所描述的不可編程硬件單元906a、906b、906c和906d。構(gòu)建過程1200和圖11描述的構(gòu)建過程1100使用相同的數(shù)值，即:
[0260].目標(biāo)構(gòu)建速率120MPPS ；以及[0261].四層分層調(diào)度器。
[0262]120MPPS為一數(shù)值示例，可采用高于或低于該數(shù)值的速率。四層也是一個(gè)數(shù)值示例，可采用高于或低于該數(shù)值的層數(shù)。
[0263]該存儲(chǔ)器結(jié)構(gòu)等同于上文圖11描述的存儲(chǔ)器結(jié)構(gòu)。數(shù)據(jù)庫104存儲(chǔ)在根據(jù)層級(jí)數(shù)量劃分的存儲(chǔ)器504a、504b、504c和504d中，換言之，4個(gè)層級(jí)意味著4個(gè)存儲(chǔ)器組504a、504b、504c和504d。然而，該存儲(chǔ)器結(jié)構(gòu)并不限于四個(gè)存儲(chǔ)器組，可使用與層級(jí)數(shù)量對(duì)應(yīng)的任意其它數(shù)量的存儲(chǔ)器組。
[0264]每個(gè)存儲(chǔ)器組504a、504b、504c和504d支持120MPPS的訪問速度，該速率對(duì)應(yīng)于執(zhí)行構(gòu)建過程1200所需的所有訪問的累計(jì)總數(shù)。每個(gè)存儲(chǔ)器組504a、504b、504c和504d附著有匹配的可編程引擎508a、508b、508c和508d。匹配的可編程引擎508a、508b、508c和508d實(shí)現(xiàn)為XALU協(xié)處理器，它們中的每一個(gè)實(shí)現(xiàn)一個(gè)I維收縮陣列，該I維收縮陣列以75MPPS的訪問速度加載各存儲(chǔ)器組504a、504b、504c和504d，由于是單個(gè)存儲(chǔ)器用戶的緣故，同時(shí)保持一致性和原子性。
[0265]使用兩個(gè)主要的構(gòu)建過程1200:基礎(chǔ)構(gòu)建過程1200a和高級(jí)構(gòu)建過程1200b。
[0266]基礎(chǔ)構(gòu)建過程1200a僅使用XALU引擎508a、508b、508c和508d并在圖12中通過XALU引擎508a、508b、508c和508d之間命名為“可選”的箭頭線(direct arrow)示出?；A(chǔ)構(gòu)建過程1200a如下:
[0267]1.構(gòu)建流程通過從與圖2描述的流隊(duì)列管理器202對(duì)應(yīng)的隊(duì)列管理器到達(dá)的Enq(i)消息1202發(fā)起。最大消息速率為120MMPS。該Enq消息1202調(diào)用XALU4 (508d)。
[0268]2.XALU4 (508d)通過訪問存儲(chǔ)器4 (504d)來執(zhí)行構(gòu)建。XALU4 (508d)使用該構(gòu)建結(jié)果來調(diào)用XALU3 (508c)。
[0269]3.XALU3 (508c)通過訪問存儲(chǔ)器3 (504c)來執(zhí)行構(gòu)建。XALU3 (508c)使用該構(gòu)建結(jié)果來調(diào)用XALU2 (508b)。
[0270]4.XALU2 (508b)通過訪問存儲(chǔ)器2 (504b)來執(zhí)行構(gòu)建。XALU2 (508b)使用該構(gòu)建結(jié)果來調(diào)用XALUl (508a)。
[0271]5.XALUl (508a)通過訪問存儲(chǔ)器I (504a)來完成構(gòu)建。
[0272]在完全靈活構(gòu)建過程1200b (也稱為高級(jí)構(gòu)建過程1200b)中，通過將構(gòu)建過程1200b流經(jīng)并行SPE集群518a、518b和518c可實(shí)現(xiàn)附加水平的可編程性能力。在一種實(shí)施形式中，這些SPE集群518a、518b和518c實(shí)施為標(biāo)準(zhǔn)的RISC引擎。創(chuàng)建了可編程的超級(jí)流水線，其中XALU (i) 508a、508b、508c和508d的每個(gè)結(jié)果調(diào)用SPE518a、518b和518c做進(jìn)一步處理。在一種實(shí)施形式中，該進(jìn)一步處理是分層流量調(diào)度設(shè)備500中的優(yōu)先級(jí)重映射。
[0273]構(gòu)建過程1200b的算法結(jié)構(gòu)使得任務(wù)的并行分布獨(dú)立于SPE518a、518b和518c。SPE518a、518b和518c的數(shù)量足以支持所需的120MPPS速率。SPE518a、518b和518c的結(jié)果傳遞給下一 XALU508a、508b、508c 和 508d。
[0274]在高級(jí)構(gòu)建過程1200b中使用了 XALU508a、508b、508c和508d以及SPE引擎518a、518b和518c。高級(jí)構(gòu)建過程1200b如下:
[0275]1.構(gòu)建流程通過從與圖2描述的流隊(duì)列管理器202對(duì)應(yīng)的隊(duì)列管理器到達(dá)的Enq
(i)消息1202發(fā)起。最大消息速率為120MMPS。該Enq消息1202調(diào)用XALU4 (508d)。[0276]2.XALU4 (508d)通過訪問存儲(chǔ)器4 (504d)來執(zhí)行構(gòu)建。XALU4 (508d)使用該構(gòu)建結(jié)果來調(diào)用自由SPE (518c)。
[0277]3.SPE (518c)處理構(gòu)建。SPE (518c)結(jié)果調(diào)用 XALU3 (508c)。
[0278]4.XALU3 (508c)通過訪問存儲(chǔ)器3 (504c)來執(zhí)行構(gòu)建。XALU3 (508c)使用該構(gòu)建結(jié)果來調(diào)用自由SPE (518b)。
[0279]5.SPE (518b)處理構(gòu)建。SPE (518b)結(jié)果調(diào)用 XALU2 (508b)。
[0280]6.XALU2 (508b)通過訪問存儲(chǔ)器2 (504b)來執(zhí)行構(gòu)建。XALU2 (508b)使用該構(gòu)建結(jié)果來調(diào)用空閑的SPE (518a)。[0281]7.SPE (518a)處理構(gòu)建。SPE (518a)結(jié)果調(diào)用 XALUl (508a)。
[0282]8.XALUl (508a)通過訪問存儲(chǔ)器I (504a)來完成構(gòu)建。
[0283]在一種實(shí)施形式中，基礎(chǔ)構(gòu)建過程1200a到高級(jí)構(gòu)建過程1200b的其它置換(permutation)由軟件創(chuàng)建。在一種實(shí)施形式中，一些層級(jí)僅由XALU處理,對(duì)應(yīng)于基礎(chǔ)構(gòu)建過程，而其它層級(jí)則由XALU和SPE處理，對(duì)應(yīng)于高級(jí)或者也稱為組合構(gòu)建過程1200b。
[0284]該存儲(chǔ)器行為與構(gòu)建過程1100的存儲(chǔ)器行為相同，構(gòu)建過程1100應(yīng)用在圖11描述的不可編程硬件單元906a、906b、906c和906d的流水線上。通過在存儲(chǔ)器504a、504b、504c和504d上創(chuàng)建流水線行為來實(shí)現(xiàn)構(gòu)建過程1200的高性能速率。以120MPPS的訪問速度處理每個(gè)存儲(chǔ)器組504a、504b、504c和504d。因此，總體構(gòu)建速率為120MPPS。
[0285]流量調(diào)度設(shè)備500的軟件架構(gòu)以調(diào)度任務(wù)的并發(fā)(并行)執(zhí)行為基礎(chǔ)。該軟件架構(gòu)為事件驅(qū)動(dòng)系統(tǒng)。輸入事件是獨(dú)立的。
[0286]輸入事件的示例性列表包括:
[0287].構(gòu)建類型事件
[0288]O流隊(duì)列管理器狀態(tài)消息，每個(gè)消息(事件)被獨(dú)立處理；
[0289]ο選擇后更新；
[0290]ο用于赤字計(jì)數(shù)器和整形器的內(nèi)部狀態(tài)變量閾交(Internal State variablethreshold cross),每個(gè)事件被獨(dú)立處理；
[0291]?選擇類型事件
[0292]ο自時(shí)鐘根觸發(fā)器(Self Clock root trigger),每個(gè)事件被獨(dú)立處理。
[0293]并發(fā)執(zhí)行以兩種維度實(shí)現(xiàn):
[0294].事件被獨(dú)立處理
[0295]?通常，一個(gè)事件需要處理數(shù)據(jù)庫的多個(gè)層級(jí)(節(jié)點(diǎn))。并發(fā)的第二維度為每個(gè)數(shù)據(jù)庫層的并發(fā)處理。
[0296]結(jié)果是在獨(dú)立處理器/協(xié)處理器上處理的大量獨(dú)立任務(wù)的深度并發(fā)(平行)。
[0297]圖13所示為根據(jù)一種實(shí)施形式的存儲(chǔ)器集群?jiǎn)卧?306的方框圖，具體為MCU類型A。
[0298]展示了三個(gè)協(xié)處理器引擎1310、1308和1312。通過劃分三個(gè)功能組(functionalbank)1304a、1304b和1304c來實(shí)現(xiàn)分層存儲(chǔ)器1304，三個(gè)功能組1304a、1304b和1304c中的每個(gè)緊耦合到其關(guān)聯(lián)的協(xié)處理器1310、1308和1312。節(jié)點(diǎn)存儲(chǔ)器1304a緊耦合至節(jié)點(diǎn)協(xié)處理器1310，XALU存儲(chǔ)器1304b緊耦合至X-ALU協(xié)處理器1308，計(jì)費(fèi)存儲(chǔ)器1304c緊耦合至計(jì)費(fèi)協(xié)處理器1312。[0299]圖14所示為根據(jù)一種實(shí)施形式的存儲(chǔ)器集群?jiǎn)卧?406的方框圖，具體為MCU類型B。
[0300]展示了三個(gè)協(xié)處理器引擎1410、1408和1412。通過劃分三個(gè)功能組1404a、1404b和1404c來實(shí)現(xiàn)分層存儲(chǔ)器1404，三個(gè)功能組1404a、1404b和1404c中的每個(gè)緊耦合至與其關(guān)聯(lián)的協(xié)處理器1410、1408和1412。節(jié)點(diǎn)存儲(chǔ)器1404a緊耦合至節(jié)點(diǎn)協(xié)處理器1410，XALU存儲(chǔ)器1404b緊耦合至X-ALU協(xié)處理器1408，計(jì)費(fèi)存儲(chǔ)器1404c緊耦合至計(jì)費(fèi)協(xié)處理器 1412。
[0301]每個(gè)MCU1406使用分布式SPE集合1318和分布式監(jiān)督器(稱為管理程序1320)，而不使用圖5描述的全局SPE集群518。
[0302]圖15所示為根據(jù)一種實(shí)施形式的流量調(diào)度設(shè)備1500的方框圖。修改的完整芯片架構(gòu)基于圖5描述的架構(gòu),但使用了不同的存儲(chǔ)器集群?jiǎn)呜?06a、506b和506c,即圖14描述的MCU類型B (1406)。
[0303]流量調(diào)度設(shè)備1500包括例如兩個(gè)(可以是任意其它數(shù)量)存儲(chǔ)器集群?jiǎn)卧?506a和1506b，每個(gè)存儲(chǔ)器集群?jiǎn)卧ü?jié)點(diǎn)協(xié)處理器1510a和1510b、X-ALU1508a和1508b、計(jì)費(fèi)協(xié)處理器1512a和1512b、存儲(chǔ)器1504a和1504b、分布式SPE集合1518a和1518b以及分布式監(jiān)督器(管理程序)1520a和1520b。流量調(diào)度設(shè)備1500進(jìn)一步包括:
[0304]互連結(jié)構(gòu)(interconnect fabric) 1516,用于互連存儲(chǔ)器集群?jiǎn)呜?506a和1506b ；
[0305]隊(duì)列管理器接口 1514，形成到圖2所述的流隊(duì)列管理器202的接口 ；以及
[0306]可選管理處理器1522，用于配置和維護(hù)由存儲(chǔ)器1504a和1504b形成的分層調(diào)度
數(shù)據(jù)庫。
[0307]因此，流量調(diào)度設(shè)備1500的子單元為:
[0308]1.可選管理處理器1522，其構(gòu)建和維護(hù)分層數(shù)據(jù)庫并從上層主機(jī)實(shí)體接收成員創(chuàng)建 / 添加 / 刪除 / 修改命令(setup/add/teardown/modify)。
[0309]2.MCU,存儲(chǔ)器集群?jiǎn)卧?506a和1506b。每個(gè)MCU1506a和1506b與分層數(shù)據(jù)庫層級(jí)關(guān)聯(lián)。存儲(chǔ)器庫(memory repository) 1504a和1504b可以是多個(gè)物理存儲(chǔ)器一起緊耦合到存儲(chǔ)器協(xié)處理器單元1508a、1510a、1512a、1508b、1510b和1512b、分布式SPE集群1518a和1518b以及分布式管理程序1520a和1520b。
[0310]3.互連結(jié)構(gòu) 1516，連接 MCU1506a 和 1506b。
[0311]4.隊(duì)列管理器接口 1514。
[0312]在另一種實(shí)施形式中，管理處理器1522替換為外部處理器來執(zhí)行內(nèi)部管理處理器任務(wù)。這點(diǎn)適用于在上述圖5、上述圖15和下述圖16中出現(xiàn)的所有的三種架構(gòu)。具有或不具有管理處理器1522的流量調(diào)度設(shè)備1500可在單個(gè)芯片上實(shí)施。
[0313]圖16所示為根據(jù)一種實(shí)施形式的流量調(diào)度設(shè)備1600的方框圖。修改的完整芯片架構(gòu)基于圖5描述的架構(gòu)，其中存儲(chǔ)器集群?jiǎn)卧?06a、506b和506c由圖13描述的MCU類型A，1306實(shí)現(xiàn)，且不需要共享消息收發(fā)系統(tǒng)524、SPE集合518以及監(jiān)督器(管理程序)520。
[0314]流量調(diào)度設(shè)備1600包括例如三個(gè)(可以是任意其它數(shù)量的)存儲(chǔ)器集群?jiǎn)卧?606a、1606b和1606c。每個(gè)存儲(chǔ)器集群?jiǎn)卧ü?jié)點(diǎn)協(xié)處理器1610a、1610b和1610c，X-ALU1608a、1608b 和 1608c,計(jì)費(fèi)協(xié)處理器 1612a、1612b 和 1612c,以及存儲(chǔ)器 1604a、1604b和1604c。流量調(diào)度設(shè)備1600進(jìn)一步包括:
[0315]互連結(jié)構(gòu)1616，用于互連存儲(chǔ)器集群?jiǎn)卧?606a、1606b和1606c ；
[0316]隊(duì)列管理器接口 1614，形成到圖2所述的流隊(duì)列管理器202的接口 ；以及
[0317]可選管理處理器1622，用于配置和維護(hù)由存儲(chǔ)器1604a、1604b和1604b形成的分
層調(diào)度數(shù)據(jù)庫。
[0318]因此，流量調(diào)度設(shè)備1600的子單元為:
[0319]1.可選管理處理器1622，其構(gòu)建和維護(hù)分層數(shù)據(jù)庫并從上層主機(jī)實(shí)體接收成員創(chuàng)建 / 添加 / 刪除 / 修改(setup/add/teardown/modify)命令。
[0320]2.MCU,存儲(chǔ)器集群?jiǎn)卧?1606a、1606b 和 1606c。每個(gè) MCU1606a、1606b 和 1606c 與分層數(shù)據(jù)庫層級(jí)關(guān)聯(lián)。存儲(chǔ)器庫(memory repository) 1604a、1604b和1604c可以是多個(gè)物理存儲(chǔ)器一起關(guān)聯(lián)的緊耦合至存儲(chǔ)器協(xié)處理器單元1608a、1610a、1612a、1608b、1610b、1612b、1608c、1610c 和 1612c。
[0321]3.互連結(jié)構(gòu) 1616，連接 MCU1606a 和 1606b。
[0322]4.隊(duì)列管理器接口 1614。
[0323]在另一種實(shí)施形式中，管理處理器1622替換為外部處理器來執(zhí)行內(nèi)部管理處理器任務(wù)。這點(diǎn)適用于在上述圖5、上述圖15和此處描述的圖16中出現(xiàn)的所有的三種架構(gòu)。具有或不具有管理處理器1622的流量調(diào)度設(shè)備1600可在單個(gè)芯片上實(shí)施。
[0324]通過上述內(nèi)容，所屬領(lǐng)域的技術(shù)人員將清楚地了解本發(fā)明提供了各種設(shè)備、方法、系統(tǒng)以及記錄媒質(zhì)上的計(jì)算機(jī)程序等等。
[0325]本發(fā)明還支持包含計(jì)算機(jī)可執(zhí)行代碼或計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)程序產(chǎn)品，這些計(jì)算機(jī)可執(zhí)行代碼或計(jì)算機(jī)可執(zhí)行指令在執(zhí)行時(shí)使得至少一臺(tái)計(jì)算機(jī)執(zhí)行本文所述的執(zhí)行及計(jì)算步驟。
[0326]本發(fā)明還支持用于執(zhí)行本文所述的執(zhí)行及計(jì)算步驟的系統(tǒng)。
[0327]通過以上啟示，對(duì)于本領(lǐng)域技術(shù)人員來說，許多替代產(chǎn)品、修改及變體是顯而易見的。當(dāng)然，所屬領(lǐng)域的技術(shù)人員容易意識(shí)到除本文所述的應(yīng)用之外，還存在本發(fā)明的眾多其他應(yīng)用。雖然已參考一個(gè)或多個(gè)特定實(shí)施例描述了本發(fā)明，但所屬領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到在不偏離本發(fā)明的范圍的前提下，仍可對(duì)本發(fā)明作出許多改變。因此，應(yīng)理解，只要是在所附權(quán)利要求及其等同的范圍內(nèi)，可以用不同于本文具體描述的方式來實(shí)踐本發(fā)明。
【權(quán)利要求】
1.流量調(diào)度設(shè)備(100)，其特征在于，用于調(diào)度存儲(chǔ)在多個(gè)流量流隊(duì)列(102)中的數(shù)據(jù)包的傳輸順序，每個(gè)用于調(diào)度的流量流隊(duì)列(102)的資格狀態(tài)在描述所述多個(gè)流量流隊(duì)列(102)之間關(guān)系的分層調(diào)度數(shù)據(jù)庫(104)中維護(hù)，所述流量調(diào)度設(shè)備(100)包括: 多個(gè)互連的存儲(chǔ)器集群?jiǎn)卧?106a、106b、106c和106d)，每個(gè)所述存儲(chǔ)器集群?jiǎn)卧c所述分層調(diào)度數(shù)據(jù)庫(104)的一個(gè)或多個(gè)層(L1、L2、L3、L4、L5和L6)關(guān)聯(lián)且耦合至至少一個(gè)協(xié)處理器(108、110和112)，所述至少一個(gè)協(xié)處理器(108、110和112)可被軟件編程以實(shí)施調(diào)度算法；以及 到所述多個(gè)流量流隊(duì)列(102)的接口( 114)，所述接口( 114)用于識(shí)別與根據(jù)所述調(diào)度算法選取的用于傳輸?shù)奶囟髁苛麝?duì)列(102)關(guān)聯(lián)的一個(gè)或多個(gè)包，且所述接口( 114)用于發(fā)送所述多個(gè)流量流隊(duì)列(102)中的每個(gè)流量流隊(duì)列(102)的資格狀態(tài)。
2.根據(jù)權(quán)利要求1所述的流量調(diào)度設(shè)備(100)，其特征在于，進(jìn)一步包括: 管理處理器(522)，用于基于上層實(shí)體的配置命令來構(gòu)建和維護(hù)所述分層調(diào)度數(shù)據(jù)庫(104)。
3.根據(jù)權(quán)利要求1或權(quán)利要求2所述的流量調(diào)度設(shè)備(100)，其特征在于，所述協(xié)處理器(108、110和112)用于實(shí)施事件驅(qū)動(dòng)軟件架構(gòu)。
4.根據(jù)前述權(quán)利要求中任一權(quán)利要求所述的流量調(diào)度設(shè)備(100)，其特征在于，所述分層調(diào)度數(shù)據(jù)庫(104)是從表示最高層級(jí)的每個(gè)物理接口的物理端口(310)的根接口(312)到表示最低層級(jí)的所述多個(gè)流量流隊(duì)列(302)的樹形結(jié)構(gòu)，所述分層調(diào)度數(shù)據(jù)庫(104)包括分層中的至少一個(gè)如下中間層級(jí): 每個(gè)物理端口(310)的子端口(308)層， 每個(gè)子端口(308)的用戶組(306)層， 每個(gè)用戶組(306)的用戶(304)層，以及 每個(gè)用戶(304)的流量流隊(duì)列(302)層。
5.根據(jù)權(quán)利要求4所述的流量調(diào)度設(shè)備(100)，其特征在于，所述調(diào)度算法包括選擇過程，所述選擇過程從所述根接口(312)向所述多個(gè)流隊(duì)列(302)對(duì)所述分層調(diào)度數(shù)據(jù)庫(104)進(jìn)行遍歷，并在所述分層調(diào)度數(shù)據(jù)庫(104)的每個(gè)層基于成員的調(diào)度資格狀態(tài)選取所述分層調(diào)度數(shù)據(jù)庫(104)的成員(312、310、308、306、304和302)。
6.根據(jù)權(quán)利要求5所述的流量調(diào)度設(shè)備(100)，其特征在于，所述調(diào)度算法包括但不限于包括如下項(xiàng)之一: 加權(quán)公平隊(duì)列調(diào)度(WFQ)算法， 加權(quán)輪詢隊(duì)列調(diào)度(WRR)算法， 修改赤字輪詢隊(duì)列調(diào)度(MDRR)算法， 嚴(yán)格優(yōu)先級(jí)算法，以及 先到先得算法。
7.根據(jù)權(quán)利要求5或權(quán)利要求6所述的流量調(diào)度設(shè)備(100)，其特征在于，所述調(diào)度算法包括構(gòu)建過程，所述構(gòu)建過程遍歷所述分層調(diào)度數(shù)據(jù)庫(104)，具體是從所述多個(gè)流量流隊(duì)列(302)到所述根接口(312)進(jìn)行遍歷，并在所述分層調(diào)度數(shù)據(jù)庫(104)的每個(gè)層更新所述分層調(diào)度數(shù)據(jù)庫(104)的所述成員(312、310、308、306、304和302)的調(diào)度資格狀態(tài)。
8 .根據(jù)前述權(quán)利要求中任一權(quán)利要求所述的流量調(diào)度設(shè)備(100)，其特征在于，所述多個(gè)存儲(chǔ)器集群?jiǎn)卧?506a、506b和506c)或者一組存儲(chǔ)器集群?jiǎn)卧?506a、506b和506c)中的每一個(gè)耦合至關(guān)聯(lián)的節(jié)點(diǎn)協(xié)處理器(510a、510b和510c)，所述節(jié)點(diǎn)協(xié)處理器用于處理所述分層調(diào)度數(shù)據(jù)庫(104)的拓?fù)溆成湫畔⒁约疤幚硭龇謱诱{(diào)度數(shù)據(jù)庫(104)的節(jié)點(diǎn)(312、310、308、306、304和302)的數(shù)據(jù)字段映射信息。
9.根據(jù)前述權(quán)利要求中任一權(quán)利要求所述的流量調(diào)度設(shè)備(100)，其特征在于，所述多個(gè)存儲(chǔ)器集群?jiǎn)卧?506a、506b和506c)或一組存儲(chǔ)器集群?jiǎn)卧?506a、506b和506c)中的每一個(gè)耦合至關(guān)聯(lián)的計(jì)費(fèi)協(xié)處理器(512a、512b和512c)，所述計(jì)費(fèi)協(xié)處理器用于處理整形器、策略器和計(jì)數(shù)器，所述整形器、策略器和計(jì)數(shù)器與所述調(diào)度算法相關(guān)。
10.根據(jù)前述權(quán)利要求中任一權(quán)利要求所述的流量調(diào)度設(shè)備(100)，其特征在于，所述多個(gè)存儲(chǔ)器集群?jiǎn)卧?506a、506b和506c)或一組存儲(chǔ)器集群?jiǎn)卧?506a、506b和506c)中的每一個(gè)耦合至關(guān)聯(lián)的增強(qiáng)算法邏輯協(xié)處理器單元(508a、508b和508c)，所述增強(qiáng)算法邏輯協(xié)處理器單元用于執(zhí)行所述分層調(diào)度數(shù)據(jù)庫(104)上的計(jì)算操作。
11.根據(jù)權(quán)利要求10所述的流量調(diào)度設(shè)備(100)，其特征在于，每個(gè)所述增強(qiáng)算法邏輯協(xié)處理器單元(508a、508b和508c)包括VLIW處理器(602a、602b、602c和602d)的線性收縮陣列(600)。
12.根據(jù)權(quán)利要求10或權(quán)利要求11所述的流量調(diào)度設(shè)備(100)，其特征在于，所述增強(qiáng)算法邏輯協(xié)處理器單元(508a、508b和508c)動(dòng)態(tài)或靜態(tài)地直接與彼此互連，以參照所述分層調(diào)度數(shù)據(jù)庫(104)的所述層級(jí)(L1、L2、L3、L4、L5和L6)來以流水線的方式處理所述存儲(chǔ)器集群?jiǎn)卧?506a 、506b和506c)。
13.根據(jù)權(quán)利要求10或權(quán)利要求11所述的流量調(diào)度設(shè)備(100)，其特征在于，所述增強(qiáng)算法邏輯協(xié)處理器單元(508a、508b和508c)通過調(diào)度處理器元件(518)的共享全局集合來動(dòng)態(tài)或靜態(tài)地與彼此互連，以參照所述分層調(diào)度數(shù)據(jù)庫(104)的所述層級(jí)(L1、L2、L3、L4、L5和L6)來以流水線的方式處理所述存儲(chǔ)器集群?jiǎn)卧?506a、506b和506c)，所述調(diào)度處理器元件(518)包括RISC/CISC處理器。
14.根據(jù)權(quán)利要求10或權(quán)利要求11所述的流量調(diào)度設(shè)備(100)，其特征在于，所述增強(qiáng)算法邏輯協(xié)處理器單元(508a、508b和508c)通過分配給所述多個(gè)存儲(chǔ)器集群?jiǎn)卧?506a、506b和506c)中的一個(gè)或多個(gè)存儲(chǔ)器集群?jiǎn)呜５恼{(diào)度處理器兀件(518)的分布式集合來動(dòng)態(tài)或靜態(tài)地與彼此互連，以參照所述分層調(diào)度數(shù)據(jù)庫(104)的所述層級(jí)(L1、L2、L3、L4、L5和L6)來以流水線的方式處理所述存儲(chǔ)器集群?jiǎn)卧?506a、506b和506c)，所述調(diào)度處理器元件(518)包括RISC/CISC處理器。
15.根據(jù)權(quán)利要求13或權(quán)利要求14所述的流量調(diào)度設(shè)備，其特征在于，所述調(diào)度處理器元件(518)的每一個(gè)所述集合由監(jiān)督單元(520)監(jiān)督。
【文檔編號(hào)】H04L12/861GK103931148SQ201280051497
【公開日】2014年7月16日 申請(qǐng)日期:2012年2月2日 優(yōu)先權(quán)日:2012年2月2日
【發(fā)明者】亞歷克斯·塔勒, 約阿夫·皮萊格, 亞歷克斯·烏曼斯基, 張克亮, 張健 申請(qǐng)人:華為技術(shù)有限公司