專利名稱：用于執(zhí)行算術(shù)運(yùn)算的硬件的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于執(zhí)行與數(shù)據(jù)結(jié)構(gòu)相關(guān)的重復(fù)性算術(shù)或邏輯運(yùn)算的硬件。更特別地本發(fā)明涉及的硬件包括計(jì)劃機(jī)，所述計(jì)劃機(jī)能夠運(yùn)行以基于位圖產(chǎn)生指令計(jì)劃以及相關(guān)聯(lián)的地址基準(zhǔn)(address references),其中所述位圖指示矩陣中的條目是否為零,所述硬件進(jìn)一步包括算術(shù)線路，所述算術(shù)線路構(gòu)造成根據(jù)所述計(jì)劃使用非零值對(duì)所述矩陣進(jìn)行算術(shù)運(yùn)算。
背景技術(shù)：
在計(jì)算系統(tǒng)的設(shè)計(jì)中有一個(gè)基本問題，即使得存儲(chǔ)器訪問的時(shí)間成本最小化。這是對(duì)計(jì)算機(jī)系統(tǒng)的基本限制，其原因在于，不論使用什么存儲(chǔ)器技術(shù)來支持計(jì) 算以及不論使用什么技術(shù)來講所述存儲(chǔ)器連接至處理器，在給定時(shí)間內(nèi)有多少信息能夠在處理器和存儲(chǔ)器之間傳輸有最大的限制，這是可用的存儲(chǔ)器帶寬，并且可用的存儲(chǔ)器帶寬對(duì)計(jì)算機(jī)能力的限制通常稱為“存儲(chǔ)器壁(memory-wall )”。已知采用數(shù)據(jù)壓縮來減少“存儲(chǔ)器壁”的效應(yīng)。然而，對(duì)于編程器使用壓縮的存儲(chǔ)器子系統(tǒng)的問題在于數(shù)據(jù)必須在器能夠在圖I所示的系統(tǒng)操作之前被壓縮。這通常涉及從一部分存儲(chǔ)器讀取壓縮數(shù)據(jù)至處理器16的寄存器文件14，使用從程序存儲(chǔ)器18獲得的程序?qū)χM(jìn)行解壓，并且將解壓的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器12的另一非壓縮部分中。、然而，這種方法具有下述缺點(diǎn)需要附加的存儲(chǔ)器帶寬來讀取壓縮數(shù)據(jù)庫，將其以非壓縮形式存儲(chǔ)，以及在運(yùn)算時(shí)將其讀回至所述處理器。還需要附加的存儲(chǔ)器容量來保持解壓的數(shù)據(jù)，并且解壓過程將增加對(duì)處理器寄存器文件的壓力。顯然，這是不太好的方案，說明此種壓縮的存儲(chǔ)器子系統(tǒng)還是停留在學(xué)術(shù)上而沒有進(jìn)入主流微處理工業(yè)。寄存器分塊對(duì)于加速矩陣計(jì)算(特別是有限元)是有用的技術(shù)，但是它具有下述缺點(diǎn)對(duì)于許多矩陣(例如，用在諸如G00GLETM的搜索引擎中)，必須增加零，降低了有效的FLOPS，并且增加了存儲(chǔ)器帶寬要求，這兩項(xiàng)是在現(xiàn)代計(jì)算系統(tǒng)中供應(yīng)不足的。實(shí)際上，處理能力和存儲(chǔ)器帶寬之間的增長差異(分別以每年50%和7%的高差別速度增長)如上所述地稱為“存儲(chǔ)器壁”。已經(jīng)有許多“破開”存儲(chǔ)器壁的方法，這些方法通常使用高速緩存器來降低必須與芯片外進(jìn)行通信的可能性，和/或使用多線程使得響應(yīng)時(shí)間和與芯片外通信相關(guān)聯(lián)的損失能夠被降低。這些方法僅僅將受限制的外部存儲(chǔ)器帶寬隱藏起來，而不是解決這個(gè)問題，并且通常依賴于數(shù)據(jù)組呈現(xiàn)足夠的數(shù)據(jù)局部性，以及程序呈現(xiàn)足夠的線程級(jí)并行能力(TLP)，以便整體上更加有效。實(shí)際上，許多較大和更主要的問題既不呈現(xiàn)有效的數(shù)據(jù)局部性，也不呈現(xiàn)足夠的TLP，并且整個(gè)系統(tǒng)的能力下降至由外部存儲(chǔ)器帶寬限制的點(diǎn)，并且已經(jīng)加在芯片上的其他硬件不可使用。為此，大的工程應(yīng)用的處理器性能下降至制造商標(biāo)稱峰值性能參數(shù)的1%或更低并不罕見。用于計(jì)算稀疏矩陣向量產(chǎn)物(SMVM)的現(xiàn)有技術(shù)方法在過去的幾十年中進(jìn)步很小，并且性能改進(jìn)主要由于處理器和半導(dǎo)體處理技術(shù)的改進(jìn)。通常SMVM對(duì)于主流微處理器的設(shè)計(jì)的影響微乎其微(如果有的話)，盡管與放大I/O帶寬性能的明顯問題，特別是芯片多處理器(CMPs)通過逐漸地放大I/O帶寬加劇問題。典型的分塊稀疏矩陣中的條目的可調(diào)整數(shù)量由零值數(shù)量確的。即使這些值(即使不會(huì)有助于SMVM的結(jié)果)從存儲(chǔ)器獲取，并且與功率消耗和系統(tǒng)工作容量方面的所有相關(guān)問題聯(lián)系在一起。圖2是現(xiàn)有技術(shù)的分塊壓縮稀疏行(BCSR)數(shù)據(jù)結(jié)構(gòu)的狀態(tài)的示例性說明，該數(shù)據(jù)結(jié)構(gòu)由3個(gè)陣列組成。行陣列(row_start)保持含有非零片的行條目，第二 col陣列(col_idx)含有所述非零片的列地址，val (value)陣列含有稀疏矩陣中所有非零值的實(shí)際非零條目(帶有內(nèi)容)——以逐片的順序設(shè)置。如果A矩陣條目是零，然后處理器將不必使用零值執(zhí)行計(jì)算，從而不會(huì)導(dǎo)致不必要的帶寬和功率消耗。由處理器執(zhí)行的許多計(jì)算包括大量的簡單運(yùn)算。結(jié)果，乘法運(yùn)算會(huì)占用大量的時(shí)鐘循環(huán)來進(jìn)行。盡管該運(yùn)算不能算作復(fù)雜計(jì)算，同樣也不能稱為細(xì)微運(yùn)算，例如一個(gè)數(shù)乘以
0、+1或-1，答案可以非常簡單的方式獲得。
JP 60247782公開了一種技術(shù)方案，其中稀疏矩陣被加載，然后被檢查以識(shí)別矩陣內(nèi)的微小值。然而，該方法不能克服下述限制必須從存儲(chǔ)器加載完整的矩陣。JP 61025275公開了一種處理器，所述處理器詢問矩陣內(nèi)的值，以減小矩陣運(yùn)算所需的時(shí)間。類似地，JP58022446公開了一種處理器，其中根據(jù)寄存器內(nèi)含有的值避免算術(shù)運(yùn)算。JP58109971檢查寄存器內(nèi)的值以減少管線處理器結(jié)構(gòu)內(nèi)用于計(jì)算的整體計(jì)算時(shí)間——當(dāng)在計(jì)算期間產(chǎn)生的中間值是微小值時(shí)。類似地，GB1479404公開了一種技術(shù)方案，其中檢查矩陣內(nèi)的數(shù)據(jù)值，以確定它們是否含有微小值，以及該確定結(jié)果是否在計(jì)算性能中使用。所有這些方法還是涉及從存儲(chǔ)器加載完整矩陣。在一些應(yīng)用中，涉及稀疏矩陣，執(zhí)行的微小運(yùn)算能夠使非常顯著的，原因在于大量零的存在。稀疏矩陣中零的數(shù)量能夠被減少或消除通過將所述矩陣存儲(chǔ)為諸如壓縮行存儲(chǔ)(CRS)格式的稀疏形式，然而，由于地址產(chǎn)生方面的開銷，此種存儲(chǔ)格式經(jīng)常導(dǎo)致商用計(jì)算機(jī)系統(tǒng)具有非常差的性能。因此需要一種解決方案來解決現(xiàn)有技術(shù)的至少一些缺點(diǎn)。

發(fā)明內(nèi)容
通過提供用于執(zhí)行算術(shù)運(yùn)算的硬件來解決這些問題，所述硬件包括計(jì)劃機(jī)，其能夠運(yùn)行以基于指示矩陣中的條目是否為零的位圖來生成指令計(jì)劃和相關(guān)的地址(陣列基準(zhǔn))；以及算術(shù)線路，其構(gòu)造成根據(jù)所述計(jì)劃來使用非零值對(duì)所述矩陣執(zhí)行算術(shù)運(yùn)算。所述硬件不需要執(zhí)行由于矩陣中含有的零值而導(dǎo)致的瑣碎運(yùn)算。消除了對(duì)下述運(yùn)算的需求將零值存儲(chǔ)至存儲(chǔ)器以及從存儲(chǔ)器載入零值，通過共享的總線移動(dòng)所述零值，或者實(shí)際上使用這些零值執(zhí)行算術(shù)運(yùn)算。相應(yīng)地，本發(fā)明的第一實(shí)施例提供如權(quán)利要求I中限定的硬件。本發(fā)明還提供如權(quán)利要求50中限定的硬件組件。此外，本發(fā)明涉及如權(quán)利要求55中所限定的方法。附加地，本發(fā)明提供如權(quán)利要求56中所限定的方法。有利的實(shí)施例在從屬權(quán)利要求中提供。參考附圖將更好地理解這些和其他特征，所述附圖是為了輔助理解本發(fā)明的教示而提供的。


下面將結(jié)合附圖對(duì)本發(fā)明進(jìn)行說明。在所述附圖中圖I是現(xiàn)有技術(shù)中已知的處理器結(jié)構(gòu)的框圖。圖2是現(xiàn)有技術(shù)中已知的分塊壓縮稀疏行(BCSR)數(shù)據(jù)結(jié)構(gòu)的圖示。圖3是根據(jù)本發(fā)明一實(shí)施例的硬件的框圖。圖4是包括圖3的硬件和其它硬件元件的硬件組件的框圖。圖5是由圖3的硬件所使用的位圖分塊壓縮稀疏行(BBCSR)數(shù)據(jù)結(jié)構(gòu)的圖示。圖6是圖3的硬件的控制寄存器的的圖示。圖7是用于的壓縮所述計(jì)劃的示例性位圖?！D8是圖3的硬件的元件的示意性線路圖。圖9是圖3的硬件的元件的示意性線路圖。圖10是帶有相關(guān)數(shù)據(jù)結(jié)構(gòu)的示例性矩陣的圖示。圖11是示出由圖3的硬件所執(zhí)行的操作的控制邏輯時(shí)序圖。圖12是圖3的硬件的元件的示意性線路圖。圖13是由圖3的硬件所實(shí)施的示例性計(jì)劃結(jié)構(gòu)。
具體實(shí)施例方式現(xiàn)在將結(jié)合示例性硬件來對(duì)本發(fā)明進(jìn)行說明，所述示例性硬件是提供用來輔助理解本發(fā)明的教示的。參見附圖，首先參見圖3和圖4，在圖3和圖4中提供硬件100用于執(zhí)行算術(shù)運(yùn)算。硬件100設(shè)計(jì)成在處理矩陣時(shí)避免對(duì)零條目進(jìn)行操作。這需要執(zhí)行諸如存儲(chǔ)或加載零值至存儲(chǔ)器的操作，避免通過共享的總線移動(dòng)它們或者避免實(shí)際上使用零值進(jìn)行算術(shù)運(yùn)算。圖4的硬件組件108包含能夠通過處理器總線110偶聯(lián)至外部硬件元件的硬件100。處理器總線110允許在硬件100和外部硬件元件之間進(jìn)行數(shù)據(jù)交換，所述外部硬件元件例如可以包含處理器、緩沖儲(chǔ)存器(cache)、SDRAM控制器、SDRAM等。稀疏數(shù)據(jù)結(jié)構(gòu)在計(jì)算機(jī)科學(xué)和工程應(yīng)用中的一個(gè)主要用途是存儲(chǔ)稀疏矩陣，系數(shù)矩陣的主要應(yīng)用是直接或迭代方法的聯(lián)立式的系統(tǒng)的解決。在這些直接或迭代方法的核心的中心操作是通過對(duì)稀疏矩陣乘以密集向量來產(chǎn)生密集結(jié)果向量。所述計(jì)算的形式是y=Ax，其中A是稀疏矩陣，y和X是密集向量。下面是示例的稀疏矩陣-向量乘法。
權(quán)利要求
1.用于對(duì)存儲(chǔ)在存儲(chǔ)器中的壓縮矩陣格式進(jìn)行算術(shù)運(yùn)算的硬件，所述壓縮矩陣格式包括位圖，所述位圖指示所述矩陣中的條目是否為零，所述硬件包括 計(jì)劃機(jī)，其能夠運(yùn)行以基于指示所述矩陣中的條目是否為零的所述位圖來生成指令計(jì)劃；以及 算術(shù)線路，其構(gòu)造成根據(jù)所產(chǎn)生的計(jì)劃來使用非零值對(duì)所述矩陣執(zhí)行算術(shù)運(yùn)算。
2.如權(quán)利要求I所述的硬件，其中，所述算術(shù)線路是單指令多數(shù)據(jù)(SIMD)浮點(diǎn)單元。
3.如權(quán)利要求I或2所述的硬件，進(jìn)一步包括構(gòu)造用于接收所述位圖的軟件接口。
4.如權(quán)利要求3所述的硬件，其中，所述軟件接口能夠運(yùn)行以讀取所述矩陣中的位圖分塊的片的數(shù)量。
5.如權(quán)利要求3或4所述的硬件，其中，所述軟件接口能夠運(yùn)行以讀取所述矩陣中的行的數(shù)量。
6.如權(quán)利要求3至5中任一項(xiàng)所述的硬件，其中，所述軟件接口能夠運(yùn)行以讀取所述矩陣中的列的數(shù)量。
7.如權(quán)利要求3至6中任一項(xiàng)所述的硬件，其中，所述軟件接口能夠運(yùn)行以讀取所述矩陣中的非零條目的數(shù)量。
8.如權(quán)利要求3至7中任一項(xiàng)所述的硬件，其中，所述軟件接口能夠運(yùn)行以讀取所述矩陣中的分塊的片的行的數(shù)量。
9.如權(quán)利要求3至8中任一項(xiàng)所述的硬件，其中，所述軟件接口能夠運(yùn)行以讀取所述矩陣中的分塊的片的行的數(shù)量。
10.如權(quán)利要求3至9中任一項(xiàng)所述的硬件，其中，所述軟件接口能夠運(yùn)行以讀取含有所述矩陣的非零數(shù)據(jù)元的第一陣列的基本地址。
11.如權(quán)利要求3至10中任一項(xiàng)所述的硬件，其中，所述軟件接口能夠運(yùn)行以讀取保持含有非零片的行條目的第二陣列的基本地址。
12.如權(quán)利要求3至11中任一項(xiàng)所述的硬件，其中，所述軟件接口能夠運(yùn)行以讀取含有非零片的列地址的第三陣列的基本地址。
13.如權(quán)利要求3至12中任一項(xiàng)所述的硬件，其中，所述軟件接口能夠運(yùn)行以讀取保持所述位圖的第四陣列的基本地址。
14.如權(quán)利要求10至13中任一項(xiàng)所述的硬件，其中，所述第一、第二、第三和第四陣列存儲(chǔ)在外部存儲(chǔ)器內(nèi)。
15.如權(quán)利要求3至14中任一項(xiàng)所述的硬件，進(jìn)一步包括寄存器用于存儲(chǔ)通過所述軟件接口接收的數(shù)據(jù)。
16.如權(quán)利要求15所述的硬件，進(jìn)一步包括映射的存儲(chǔ)器接口用于促進(jìn)將通過所述軟件接口接收的數(shù)據(jù)寫入所述寄存器。
17.如權(quán)利要求16所述的硬件，其中，所述寄存器存儲(chǔ)存儲(chǔ)器映射。
18.如權(quán)利要求15至17中任一項(xiàng)所述的硬件，其中，寄存器存儲(chǔ)用于執(zhí)行系數(shù)矩陣向量產(chǎn)物(SMVM)的命令。
19.如權(quán)利要求18所述的硬件,其中,所述命令包括啟動(dòng)SMVM的命令。
20.如權(quán)利要求18或19所述的硬件，其中，所述命令包括暫停SMVM計(jì)算的命令。
21.如權(quán)利要求18至20中任一項(xiàng)所述的硬件，其中，所述命令包括使得暫停的SMVM計(jì)算重新開始的命令。
22.如權(quán)利要求18至21中任一項(xiàng)所述的硬件，其中，所述命令包括使得暫停的SMVM計(jì)算終止的命令。
23.如權(quán)利要求18至22中任一項(xiàng)所述的硬件，其中，所述命令包括復(fù)位寄存器的命令。
24.如權(quán)利要求18至23中任一項(xiàng)所述的硬件，其中，所述命令包括停止命令。
25.如前述權(quán)利要求中任一項(xiàng)所述的硬件，其中，所述計(jì)劃機(jī)構(gòu)造成產(chǎn)生一系列待評(píng)價(jià)的非零部分產(chǎn)物，以及從所述位圖產(chǎn)生的相關(guān)列和行地址。
26.如權(quán)利要求25所述的硬件，其中，由計(jì)劃機(jī)產(chǎn)生的計(jì)劃根據(jù)位圖被壓縮。
27.如前述權(quán)利要求中任一項(xiàng)所述的硬件，其中，所述計(jì)劃機(jī)包括多路器陣列。
28.如前述權(quán)利要求中任一項(xiàng)所述的硬件，其中，所述計(jì)劃機(jī)包括多個(gè)位片。
29.如權(quán)利要求28所述的硬件，其中，所述多路器具有相關(guān)查詢表(LUTs)。
30.如前述權(quán)利要求中任一項(xiàng)所述的硬件，其中，所述計(jì)劃機(jī)形成可編程處理器的一部分。
31.如前述權(quán)利要求中任一項(xiàng)所述的硬件，其中，所述計(jì)劃機(jī)進(jìn)一步包括迭代計(jì)數(shù)器，所述迭代計(jì)數(shù)器能夠運(yùn)行以確定所需算術(shù)迭代的數(shù)量。
32.如權(quán)利要求31所述的硬件，其中，所述迭代計(jì)數(shù)器包括多個(gè)全加法器。
33.如權(quán)利要求32所述的硬件，其中，所述迭代計(jì)數(shù)器進(jìn)一步包括或門。
34.如前述權(quán)利要求中任一項(xiàng)所述的硬件，進(jìn)一步包括構(gòu)造成用于產(chǎn)生控制信號(hào)的控制器。
35.如權(quán)利要求34所述的硬件，其中，所述控制器構(gòu)造用于將控制信號(hào)施加至控制算術(shù)運(yùn)算的算術(shù)線路。
36.如權(quán)利要求35所述的硬件，其中，所述控制信號(hào)包括用于加載y向量條目的信號(hào)。
37.如權(quán)利要求35或36所述的硬件，其中，所述控制信號(hào)包括用于加載位圖的信號(hào)。
38.如權(quán)利要求35至37中任一項(xiàng)所述的硬件，其中，所述控制信號(hào)包括用于產(chǎn)生計(jì)劃的信號(hào)。
39.如權(quán)利要求35至38中任一項(xiàng)所述的硬件，其中，所述控制信號(hào)包括用于加載X向量條目的信號(hào)。
40.如權(quán)利要求39所述的硬件，其中，所述控制信號(hào)包括用于從存儲(chǔ)器讀取矩陣條目的信號(hào)。
41.如權(quán)利要求40所述的硬件，其中，所述控制信號(hào)包括用于選擇與各矩陣條目相乘的正確X向量條目的信號(hào)。
42.如權(quán)利要求41所述的硬件，其中，所述控制信號(hào)包括用于評(píng)測(cè)部分產(chǎn)物的信號(hào)。
43.如權(quán)利要求42所述的硬件，其中，所述控制信號(hào)包括用于評(píng)測(cè)算術(shù)的信號(hào)。
44.如權(quán)利要求42所述的硬件，其中，所述控制信號(hào)包括用于選擇待更新的正確y值的信號(hào)。
45.如權(quán)利要求44所述的硬件，其中，所述控制信號(hào)包括用于將內(nèi)容寫至外部存儲(chǔ)器的信號(hào)。
46.如權(quán)利要求35至45中任一項(xiàng)所述的硬件，其中，所述控制器構(gòu)造成用于檢測(cè)能夠?qū)е聰?shù)據(jù)風(fēng)險(xiǎn)的數(shù)據(jù)依賴性。
47.如權(quán)利要求46所述的硬件，其中，所述控制器構(gòu)造成停止數(shù)據(jù)路徑，直到所述數(shù)據(jù)依賴性已經(jīng)解決。
48.如權(quán)利要求35至47中任一項(xiàng)所述的硬件，其中，所述控制器能夠運(yùn)行以暫停操作，以便等待來自外部總線、數(shù)據(jù)高速緩存器或外部SDRAM的數(shù)據(jù)。
49.如前述權(quán)利要求中任一項(xiàng)所述的硬件，其中，所述計(jì)劃機(jī)構(gòu)造成執(zhí)行前瞻以解決依賴性。
50.如權(quán)利要求28所述的硬件，其中，在由計(jì)劃機(jī)使用以產(chǎn)生在所述計(jì)劃中使用的地址的行和列地址查詢表(LUTs)是可編程的。
51.如權(quán)利要求I至50中任一項(xiàng)所述的硬件，其中，從所述位圖解碼的行和列的數(shù)量是可編程的。
52.如權(quán)利要求I至51中任一項(xiàng)所述的硬件，其中，所述位圖能夠用于產(chǎn)生一系列的邏輯和/或算術(shù)指令和陣列基準(zhǔn)用于不同于稀疏矩陣向量產(chǎn)物的操作。
53.一種硬件組件，其包括如權(quán)利要求I至52中任一項(xiàng)所述的硬件。
54.如權(quán)利要求53所述的硬件組件，進(jìn)一步包括處理器。
55.如權(quán)利要求53或54所述的硬件組件，進(jìn)一步包括高速緩存器。
56.如權(quán)利要求53至55中任一項(xiàng)所述的硬件組件，進(jìn)一步包括SDRAM控制器。
57.如權(quán)利要求53至56中任一項(xiàng)所述的硬件組件，進(jìn)一步包括SDRAM。
58.如權(quán)利要求54至57中任一項(xiàng)所述的硬件組件，進(jìn)一步包括用于所述硬件和其他硬件元件的通信的總線。
59.一種將如權(quán)利要求I至52中任一項(xiàng)所述的硬件改造成存在的硬件組件的方法，所述方法包括使得所述硬件與其他硬件組件通過總線進(jìn)行通信。
60.一種構(gòu)造硬件組件的方法，所述方法包括通過總線將如權(quán)利要求I至52中任一項(xiàng)所述的硬件與至少一個(gè)其他硬件元件通信。
全文摘要
用于執(zhí)行一系列算術(shù)運(yùn)算的硬件。所述硬件包括計(jì)劃機(jī)，其能夠運(yùn)行以基于指示所述矩陣中的條目是否為零的所述位圖來生成指令計(jì)劃。所述硬件還包括算術(shù)線路，所述算術(shù)線路構(gòu)造成根據(jù)所述計(jì)劃來對(duì)所述矩陣執(zhí)行算術(shù)運(yùn)算。
文檔編號(hào)G06F9/302GK102918495SQ201180012812
公開日2013年2月6日 申請(qǐng)日期2011年1月7日 優(yōu)先權(quán)日2010年1月7日
發(fā)明者大衛(wèi)·莫洛尼 申請(qǐng)人:線性代數(shù)技術(shù)有限公司