片上重復(fù)尋址的方法及裝置的制造方法
【專利摘要】本發(fā)明提供一種片上重復(fù)尋址的方法及其相應(yīng)的裝置，該方法包括：數(shù)據(jù)劃分步驟，根據(jù)預(yù)定的數(shù)據(jù)劃分原則將片上存儲(chǔ)介質(zhì)和/或片外存儲(chǔ)介質(zhì)的數(shù)據(jù)劃分為不同的數(shù)據(jù)塊，所述數(shù)據(jù)劃分原則包括將重用距離低于預(yù)定距離閾值的數(shù)據(jù)劃分在同一個(gè)數(shù)據(jù)塊；數(shù)據(jù)索引步驟，根據(jù)預(yù)定的替換策略的順序關(guān)系，依次載入不同的所述數(shù)據(jù)塊到至少一個(gè)片上處理單元，被載入的所述數(shù)據(jù)塊中的重復(fù)數(shù)據(jù)在片內(nèi)重復(fù)尋址。本發(fā)明將重用距離小于預(yù)定的距離閾值的數(shù)據(jù)劃分在同一個(gè)數(shù)據(jù)塊，這些數(shù)據(jù)劃分在同一數(shù)據(jù)塊上可以一次載入片內(nèi)存儲(chǔ)然后使用盡可能多的次數(shù)，從而訪存更加高效。
【專利說明】
片上重復(fù)尋址的方法及裝置
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及一種片上重復(fù)尋址的方法及裝置。
【背景技術(shù)】
[0002]在大數(shù)據(jù)時(shí)代，越來越多的設(shè)備需要對(duì)于真實(shí)世界的實(shí)時(shí)輸入進(jìn)行越來越復(fù)雜的處理，如工業(yè)機(jī)器人、自動(dòng)駕駛無人汽車以及移動(dòng)設(shè)備等等。這些任務(wù)大多數(shù)偏向于機(jī)器學(xué)習(xí)領(lǐng)域，其中大部分運(yùn)算為向量運(yùn)算或者矩陣運(yùn)算，具有極高的并行度。相較于傳統(tǒng)通用的GPU/CPU加速方案，硬件ASIC加速器是目前最受歡迎的加速方案，一方面可以提供極高的并行度可以實(shí)現(xiàn)極高的性能，另外一方面具有極高的能效性。
[0003]然而這其中帶寬成為限制加速器性能的一大瓶頸，常見的解決方案是通過放置在片上的緩存來平衡帶寬的不均衡性。這些常見的解決方案并沒有對(duì)數(shù)據(jù)讀寫進(jìn)行優(yōu)化，從而不能很好的利用數(shù)據(jù)的特性使得片上存儲(chǔ)開銷過大，數(shù)據(jù)讀寫開銷過大。對(duì)于目前常見的機(jī)器學(xué)習(xí)類算法，其數(shù)據(jù)大多具有重用性，也即同樣的數(shù)據(jù)會(huì)被多次使用，從而數(shù)據(jù)具有多次重復(fù)尋址的特性，如神經(jīng)網(wǎng)絡(luò)中的權(quán)值。
[0004]綜上可知，現(xiàn)有技術(shù)在實(shí)際使用上顯然存在不便與缺陷，所以有必要加以改進(jìn)。

【發(fā)明內(nèi)容】

[0005]針對(duì)上述的缺陷，本發(fā)明的目的在于提供一種片上重復(fù)尋址的方法及裝置，將數(shù)據(jù)按照預(yù)定的數(shù)據(jù)劃分原則劃分成數(shù)據(jù)塊，使得劃分在同一數(shù)據(jù)塊上的數(shù)據(jù)可以一次載入片內(nèi)存儲(chǔ)然后使用盡可能多的次數(shù)，從而使得訪存更加高效。
[0006]為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種片上重復(fù)尋址的方法，包括:
[0007]數(shù)據(jù)劃分步驟，根據(jù)預(yù)定的數(shù)據(jù)劃分原則將片上存儲(chǔ)介質(zhì)和/或片外存儲(chǔ)介質(zhì)的數(shù)據(jù)劃分為不同的數(shù)據(jù)塊，所述數(shù)據(jù)劃分原則包括將重用距離低于預(yù)定距離閾值的數(shù)據(jù)劃分在同一個(gè)數(shù)據(jù)塊；
[0008]數(shù)據(jù)索引步驟，根據(jù)預(yù)定的替換策略的順序關(guān)系，依次載入不同的所述數(shù)據(jù)塊到至少一個(gè)片上處理單元，被載入的所述數(shù)據(jù)塊中的重復(fù)數(shù)據(jù)在片內(nèi)重復(fù)尋址。
[0009]根據(jù)本發(fā)明所述的方法，所述數(shù)據(jù)的索引地址包括數(shù)據(jù)塊地址與塊內(nèi)地址；
[0010]所述數(shù)據(jù)索引步驟包括:根據(jù)所述替換策略的順序關(guān)系和所述數(shù)據(jù)塊地址，依次載入不同的所述數(shù)據(jù)塊到至少一個(gè)所述片上處理單元，被載入的所述數(shù)據(jù)塊中的重復(fù)數(shù)據(jù)在片內(nèi)重復(fù)尋址，當(dāng)所述數(shù)據(jù)塊的所述塊內(nèi)地址全部索引完成后才替換新的數(shù)據(jù)塊，直至沒有數(shù)據(jù)塊被需要載入為止。
[0011]根據(jù)本發(fā)明所述的方法，所述片上存儲(chǔ)介質(zhì)與所述片上處理單元通過片內(nèi)數(shù)據(jù)通路進(jìn)行數(shù)據(jù)交換；
[0012]所述片上存儲(chǔ)介質(zhì)與所述片外存儲(chǔ)介質(zhì)通過片內(nèi)外數(shù)據(jù)通路進(jìn)行數(shù)據(jù)交換，所述片上存儲(chǔ)介質(zhì)或所述片外存儲(chǔ)介質(zhì)至少一次從內(nèi)部或外部進(jìn)行讀寫；
[0013]所述數(shù)據(jù)以數(shù)據(jù)塊為單位在所述片上存儲(chǔ)介質(zhì)、所述片外存儲(chǔ)介質(zhì)和/或所述片上處理單元兩兩之間搬運(yùn)。
[0014]根據(jù)本發(fā)明所述的方法，所述數(shù)據(jù)塊的數(shù)據(jù)量小于所述片上存儲(chǔ)介質(zhì)的容量。
[0015]根據(jù)本發(fā)明所述的方法，所述片上存儲(chǔ)介質(zhì)采用讀寫端口分離設(shè)計(jì)。
[0016]根據(jù)本發(fā)明所述的方法，所述方法應(yīng)用于學(xué)習(xí)類加速器。
[0017]根據(jù)本發(fā)明所述的方法，所述方法應(yīng)用于異構(gòu)環(huán)境。
[0018]根據(jù)本發(fā)明所述的方法，所述片上處理單元為片上運(yùn)算模塊，所述根據(jù)預(yù)定條件選取數(shù)據(jù)，滿足所述預(yù)定條件的所述數(shù)據(jù)被劃分在相同的所述數(shù)據(jù)塊中。
[0019]根據(jù)本發(fā)明所述的方法，所述預(yù)定條件包括簡(jiǎn)單劃分條件、平均為預(yù)定數(shù)目的數(shù)據(jù)塊條件、與不同輸出神經(jīng)元相關(guān)條件或者滿足預(yù)定數(shù)學(xué)關(guān)系條件。
[0020]根據(jù)本發(fā)明所述的方法，所述替換策略包括順序替換、逆序替換或者亂序替換;或者
[0021]所述替換策略包括數(shù)據(jù)寫回，在數(shù)據(jù)處理完成后將最終結(jié)果或中間結(jié)果寫回所述片上存儲(chǔ)介質(zhì)、所述片外存儲(chǔ)介質(zhì)和/或所述片上處理單元。
[0022]本發(fā)明相應(yīng)提供一種實(shí)現(xiàn)上述所述方法的片上重復(fù)尋址的裝置，包括:
[0023]數(shù)據(jù)劃分模塊，用于根據(jù)預(yù)定的數(shù)據(jù)劃分原則將片上存儲(chǔ)介質(zhì)和/或片外存儲(chǔ)介質(zhì)的數(shù)據(jù)劃分為不同的數(shù)據(jù)塊，所述數(shù)據(jù)劃分原則包括將重用距離低于預(yù)定距離閾值的數(shù)據(jù)劃分在同一個(gè)數(shù)據(jù)塊；
[0024]數(shù)據(jù)索引模塊，用于根據(jù)預(yù)定的替換策略的順序關(guān)系，依次載入不同的所述數(shù)據(jù)塊到至少一個(gè)片上處理單元，被載入的所述數(shù)據(jù)塊中的重復(fù)數(shù)據(jù)在片內(nèi)重復(fù)尋址。
[0025]本發(fā)明將重用距離小于預(yù)定的距離閾值的數(shù)據(jù)劃分在同一個(gè)數(shù)據(jù)塊，重用距離指的是一個(gè)數(shù)據(jù)兩次使用的距離，距離是指訪存次數(shù)，重用距離近的數(shù)據(jù)在運(yùn)行短期內(nèi)就會(huì)被訪問，也即就有很強(qiáng)的時(shí)間上的相關(guān)性。這些數(shù)據(jù)劃分在同一數(shù)據(jù)塊上可以一次載入片內(nèi)存儲(chǔ)然后使用盡可能多的次數(shù)，從而訪存更加高效。
【附圖說明】
[0026]圖1是本發(fā)明片上重復(fù)尋址的裝置的優(yōu)選實(shí)施例的總體結(jié)構(gòu)的示例的框圖；
[0027]圖2是本發(fā)明片上重復(fù)尋址的方法的優(yōu)選實(shí)施例的數(shù)據(jù)地址劃分圖；
[0028]圖3是本發(fā)明片上重復(fù)尋址的方法的優(yōu)選實(shí)施例的數(shù)據(jù)劃分示意圖之一；
[0029]圖4是本發(fā)明片上重復(fù)尋址的方法的優(yōu)選實(shí)施例的數(shù)據(jù)劃分示意圖之二；
[0030]圖5是本發(fā)明片上重復(fù)尋址的方法的優(yōu)選實(shí)施例的替換策略示意圖；
[0031]圖6是本發(fā)明片上重復(fù)尋址的方法的一種具體實(shí)施例的流程圖；
[0032]圖7是本發(fā)明片上重復(fù)尋址的方法的片上重復(fù)索引優(yōu)選實(shí)施例示意圖。
【具體實(shí)施方式】
[0033]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0034]本發(fā)明包括用于片上重復(fù)數(shù)據(jù)尋址的裝置及該裝置的調(diào)度使用方法，目的在于針對(duì)重復(fù)數(shù)據(jù)高效地進(jìn)行讀寫，可以有效的實(shí)現(xiàn)片上重復(fù)尋址，同時(shí)支持片上片外數(shù)據(jù)交換，通過數(shù)據(jù)和地址劃分，片上數(shù)據(jù)重復(fù)尋址空間可以被擴(kuò)展到片外地址空間。本發(fā)明能夠降低訪存帶寬需求，同時(shí)提供良好的靈活性，從而降低片上存儲(chǔ)開銷，而且能夠適用于不同場(chǎng)景，并不僅僅局限于機(jī)器學(xué)習(xí)類加速器。
[0035]本發(fā)明同時(shí)可通過合理調(diào)度數(shù)據(jù)，縮減片上緩存開銷，從而可提供更加高效的加速器設(shè)計(jì)支持。合理調(diào)度數(shù)據(jù)不僅僅指數(shù)據(jù)替換策略，也包括對(duì)于計(jì)算的劃分，重新安排計(jì)算順序，使得集中訪問的數(shù)據(jù)可被安排在相同的數(shù)據(jù)塊中。本發(fā)明為異構(gòu)環(huán)境下利用片上重復(fù)尋址用于降低訪存帶寬，涉及存儲(chǔ)單元、尋址單元的實(shí)施和調(diào)度。
[0036]圖1是優(yōu)選實(shí)施例的總體結(jié)構(gòu)的示例框圖。舉例說明，對(duì)于異構(gòu)平臺(tái)來說，加速器的片上存儲(chǔ)介質(zhì)20能夠存儲(chǔ)的數(shù)據(jù)十分有限，通常來講片上有限的資源限制了將所有數(shù)據(jù)放置在片上的可能性，所以將大存儲(chǔ)介質(zhì)(廉價(jià)，速度稍慢)放在片外，小存儲(chǔ)介質(zhì)(昂貴，速度快)集成在片上，需要將所有的數(shù)據(jù)劃分成為大小可以存儲(chǔ)在片上存儲(chǔ)介質(zhì)20的數(shù)據(jù)塊，通過存儲(chǔ)容量大的片外存儲(chǔ)介質(zhì)10和存儲(chǔ)容量小的片上存儲(chǔ)介質(zhì)20上的數(shù)據(jù)交互將所需數(shù)據(jù)塊讀入或者寫出。其間，片內(nèi)地址索引單元40將片內(nèi)數(shù)據(jù)地址按需提供給片上處理單元30。本發(fā)明的存儲(chǔ)介質(zhì)并不限定，可以是靜態(tài)隨機(jī)存儲(chǔ)器(Static Random AccessMemory，SRAM)，動(dòng)態(tài)隨機(jī)存儲(chǔ)器(Dynamic Random Access Memory，DRAM)，增強(qiáng)動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(Enhanced Dynamic Random Access Memory，eDRAM)，寄存器堆(Register file，RF)等常見存儲(chǔ)介質(zhì)，也可是新型的存儲(chǔ)器件，如非易失存儲(chǔ)器(Non-Vo Iati Ie Memory,NVM)或3D存儲(chǔ)器件等。
[0037]本發(fā)明提供一種片上重復(fù)尋址的方法，是一種當(dāng)總數(shù)據(jù)過大，大于片上存儲(chǔ)介質(zhì)20的存儲(chǔ)容量時(shí)所使用的數(shù)據(jù)管理策略，從而可以把片外的數(shù)據(jù)讀取至片內(nèi)進(jìn)行快速重復(fù)尋址，當(dāng)然，也可以實(shí)現(xiàn)片外重復(fù)尋址，然而高效的做法是將集中訪問的數(shù)據(jù)放在一起，一次搬至片內(nèi)，然后直接在片內(nèi)快速尋址。該方法包括:
[0038]數(shù)據(jù)劃分步驟，根據(jù)預(yù)定的數(shù)據(jù)劃分原則將片上存儲(chǔ)介質(zhì)和/或片外存儲(chǔ)介質(zhì)的數(shù)據(jù)劃分為不同的數(shù)據(jù)塊，所述數(shù)據(jù)劃分原則包括將重用距離低于預(yù)定距離閾值的數(shù)據(jù)劃分在同一個(gè)數(shù)據(jù)塊。重用距離指的是一個(gè)數(shù)據(jù)兩次使用的距離，距離是指訪存次數(shù)，重用距離近的數(shù)據(jù)在運(yùn)行短期內(nèi)就會(huì)被訪問，也即就有很強(qiáng)的時(shí)間上的相關(guān)性。這些數(shù)據(jù)劃分在同一數(shù)據(jù)塊上可以一次載入片內(nèi)存儲(chǔ)然后使用盡可能多的次數(shù)，從而訪存更加高效。在每個(gè)數(shù)據(jù)塊中，數(shù)據(jù)則按照預(yù)定的規(guī)則存儲(chǔ)介質(zhì)內(nèi)，例如，順序存儲(chǔ)。
[0039]數(shù)據(jù)索引步驟，根據(jù)預(yù)定的替換策略的順序關(guān)系，依次載入不同的所述數(shù)據(jù)塊到至少一個(gè)片上處理單元，被載入的所述數(shù)據(jù)塊中的重復(fù)數(shù)據(jù)在片內(nèi)重復(fù)尋址。該數(shù)據(jù)塊里的數(shù)據(jù)可在片內(nèi)直接重復(fù)尋址，避免從片外存儲(chǔ)或10多次讀寫(速度慢，功耗高)。采用有效的數(shù)據(jù)劃分原則，從而使得上述替換發(fā)生次數(shù)盡可能的少(有效的數(shù)據(jù)劃分原則可減少替換次數(shù)，有效的數(shù)據(jù)替換策略在此基礎(chǔ)上可進(jìn)一步減少替換次數(shù))。
[0040]優(yōu)選的是，圖2所示即為數(shù)據(jù)地址劃分圖，所述數(shù)據(jù)的索引地址50包括數(shù)據(jù)塊地址51與塊內(nèi)地址52;即每個(gè)數(shù)據(jù)的地址為當(dāng)前數(shù)據(jù)塊地址51與塊內(nèi)地址52拼接而成。將數(shù)據(jù)劃分成為合理的數(shù)據(jù)塊后，通過將地址劃分成為片內(nèi)和片外使得片內(nèi)重復(fù)尋址更加高效。地址索引所采用的技術(shù)并不局限于簡(jiǎn)單的數(shù)據(jù)索引，也包括codebook(碼本)等劃分實(shí)施方案。
[0041]所述數(shù)據(jù)索引步驟包括:根據(jù)所述替換策略的順序關(guān)系和數(shù)據(jù)塊地址51，依次載入不同的所述數(shù)據(jù)塊到至少一個(gè)片上處理單元30，被載入的所述數(shù)據(jù)塊中的重復(fù)數(shù)據(jù)在片內(nèi)重復(fù)尋址，當(dāng)所述數(shù)據(jù)塊的塊內(nèi)地址52全部索引完成后才替換新的數(shù)據(jù)塊，直至沒有數(shù)據(jù)塊被需要載入為止。在數(shù)據(jù)塊內(nèi)進(jìn)行索引時(shí)，只有數(shù)據(jù)的塊內(nèi)地址52有用，則索引的硬件單元不需要使用數(shù)據(jù)塊地址51，然而數(shù)據(jù)塊地址51仍然需要記錄從而可以被后續(xù)使用。
[0042]優(yōu)選的是，片上存儲(chǔ)介質(zhì)20與片上處理單元30通過片內(nèi)數(shù)據(jù)通路進(jìn)行數(shù)據(jù)交換；片上存儲(chǔ)介質(zhì)20與片外存儲(chǔ)介質(zhì)10通過片內(nèi)外數(shù)據(jù)通路進(jìn)行數(shù)據(jù)交換，片上存儲(chǔ)介質(zhì)20或片外存儲(chǔ)介質(zhì)10至少一次從內(nèi)部或外部進(jìn)行讀寫;所述數(shù)據(jù)以數(shù)據(jù)塊為單位在片上存儲(chǔ)介質(zhì)20、片外存儲(chǔ)介質(zhì)10和/或片上處理單元30兩兩之間搬運(yùn)。
[0043]優(yōu)選的是，所述數(shù)據(jù)塊的數(shù)據(jù)量小于片上存儲(chǔ)介質(zhì)20的容量，優(yōu)選能夠被其整除。
[0044]優(yōu)選的是，片上存儲(chǔ)介質(zhì)20采用讀寫端口分離設(shè)計(jì)，從而使得數(shù)據(jù)的讀出和寫入相互獨(dú)立，可以同時(shí)進(jìn)行。
[0045]優(yōu)選的是，所述方法應(yīng)用于學(xué)習(xí)類加速器。
[0046]優(yōu)選的是，所述方法應(yīng)用于異構(gòu)環(huán)境。
[0047]優(yōu)選的是，片上處理單元30為片上運(yùn)算模塊，所述根據(jù)預(yù)定條件選取數(shù)據(jù)，滿足所述預(yù)定條件的所述數(shù)據(jù)被劃分在相同的所述數(shù)據(jù)塊中。具體的是，所述預(yù)定條件包括簡(jiǎn)單劃分條件、平均為預(yù)定數(shù)目的數(shù)據(jù)塊條件、與不同輸出神經(jīng)元相關(guān)條件或者滿足預(yù)定數(shù)學(xué)關(guān)系條件。這些是針對(duì)不同情況下具體的數(shù)據(jù)劃分準(zhǔn)則，仍在數(shù)據(jù)劃分原則限定的范圍內(nèi)。
[0048]如圖3所示為一個(gè)優(yōu)選實(shí)施例的數(shù)據(jù)劃分示意圖。以常見的神經(jīng)網(wǎng)絡(luò)為例(向量運(yùn)算)，不同輸出神經(jīng)元所需的權(quán)值數(shù)據(jù)存儲(chǔ)在不同的數(shù)據(jù)塊，運(yùn)算時(shí)，需要在不同的時(shí)刻載入不同的數(shù)據(jù)塊進(jìn)行索引。輸入神經(jīng)元的值是被復(fù)用，計(jì)算兩個(gè)輸出神經(jīng)元用的是同樣的輸入。在計(jì)算輸出神經(jīng)元的時(shí)候需要載入相關(guān)的權(quán)值，計(jì)算完成后則這部分權(quán)值完全不需要了；計(jì)算輸出神經(jīng)元時(shí)，需要載入相關(guān)的權(quán)值。其中相同輸入神經(jīng)元的值只存了一份，也即計(jì)算時(shí)需要重復(fù)尋址。相同的權(quán)值也只存了一份，也需要重復(fù)尋址獲得。
[0049]如圖4所示為一個(gè)優(yōu)選實(shí)施例的數(shù)據(jù)劃分示意圖。同樣以常見的神經(jīng)網(wǎng)絡(luò)為例(向量運(yùn)算)，滿足指定條件的權(quán)值連接被劃分存儲(chǔ)在同樣的數(shù)據(jù)塊中，如實(shí)線權(quán)值連接和虛線權(quán)值連接。在不同的時(shí)刻，不同數(shù)據(jù)塊被載入，運(yùn)算單元根據(jù)指定條件選取數(shù)據(jù)，如所有的輸出神經(jīng)元先計(jì)算與實(shí)線權(quán)值連接的相關(guān)計(jì)算，在數(shù)據(jù)塊替換后再計(jì)算與虛線權(quán)值連接的相關(guān)計(jì)算。
[0050]優(yōu)選的是，所述替換策略包括順序替換、逆序替換或者亂序替換；圖5所示即為一個(gè)優(yōu)選實(shí)施例的替換策略示意圖，數(shù)據(jù)被劃分成為不同的數(shù)據(jù)塊，在不同時(shí)刻，根據(jù)不同的替換策略載入不同的數(shù)據(jù)塊。如順序替換，數(shù)據(jù)塊按照#1、#2、#3以此類推的順序載入;逆序替換，數(shù)據(jù)塊按照.、#(N-1)、#(N_2)的順序載入;亂序替換，則根據(jù)指定的順序讀入數(shù)據(jù)塊?；蛘撸鎏鎿Q策略包括數(shù)據(jù)寫回，在數(shù)據(jù)處理完成后將最終結(jié)果或中間結(jié)果寫回所述片上存儲(chǔ)介質(zhì)、所述片外存儲(chǔ)介質(zhì)和/或所述片上處理單元。不同的替換策略應(yīng)當(dāng)考慮到數(shù)據(jù)的一致性。
[0051]本發(fā)明相應(yīng)提供一種實(shí)現(xiàn)片上重復(fù)尋址的方法的裝置，該裝置包括:
[0052]數(shù)據(jù)劃分模塊，用于根據(jù)預(yù)定的數(shù)據(jù)劃分原則將片上存儲(chǔ)介質(zhì)和/或片外存儲(chǔ)介質(zhì)的數(shù)據(jù)劃分為不同的數(shù)據(jù)塊，所述數(shù)據(jù)劃分原則包括將重用距離低于預(yù)定距離閾值的數(shù)據(jù)劃分在同一個(gè)數(shù)據(jù)塊；
[0053]數(shù)據(jù)索引模塊，用于根據(jù)預(yù)定的替換策略的順序關(guān)系，依次載入不同的所述數(shù)據(jù)塊到至少一個(gè)片上處理單元，被載入的所述數(shù)據(jù)塊中的重復(fù)數(shù)據(jù)在片內(nèi)重復(fù)尋址。
[0054]優(yōu)選的是，所述數(shù)據(jù)的索引地址包括數(shù)據(jù)塊地址與塊內(nèi)地址；
[0055]所述數(shù)據(jù)索引模塊用于根據(jù)所述替換策略的順序關(guān)系和所述數(shù)據(jù)塊地址，依次載入不同的所述數(shù)據(jù)塊到至少一個(gè)所述片上處理單元，被載入的所述數(shù)據(jù)塊中的重復(fù)數(shù)據(jù)在片內(nèi)重復(fù)尋址，當(dāng)所述數(shù)據(jù)塊的所述塊內(nèi)地址全部索引完成后才替換新的數(shù)據(jù)塊，直至沒有數(shù)據(jù)塊被需要載入為止。
[0056]優(yōu)選的是，所述片上存儲(chǔ)介質(zhì)與所述片上處理單元通過片內(nèi)數(shù)據(jù)通路進(jìn)行數(shù)據(jù)交換；
[0057]所述片上存儲(chǔ)介質(zhì)與所述片外存儲(chǔ)介質(zhì)通過片內(nèi)外數(shù)據(jù)通路進(jìn)行數(shù)據(jù)交換，所述片上存儲(chǔ)介質(zhì)或所述片外存儲(chǔ)介質(zhì)至少一次從內(nèi)部或外部進(jìn)行讀寫；
[0058]所述數(shù)據(jù)以數(shù)據(jù)塊為單位在所述片上存儲(chǔ)介質(zhì)、所述片外存儲(chǔ)介質(zhì)和/或所述片上處理單元兩兩之間搬運(yùn)。
[0059]優(yōu)選的是，所述數(shù)據(jù)塊的數(shù)據(jù)量小于所述片上存儲(chǔ)介質(zhì)的容量。
[0060]優(yōu)選的是，所述片上存儲(chǔ)介質(zhì)采用讀寫端口分離設(shè)計(jì)。
[0061]優(yōu)選的是，所述裝置應(yīng)用于學(xué)習(xí)類加速器。
[0062]優(yōu)選的是，所述裝置應(yīng)用于異構(gòu)環(huán)境。
[0063]優(yōu)選的是，所述片上處理單元為片上運(yùn)算模塊，所述根據(jù)預(yù)定條件選取數(shù)據(jù)，滿足所述預(yù)定條件的所述數(shù)據(jù)被劃分在相同的所述數(shù)據(jù)塊中。
[0064]優(yōu)選的是，所述預(yù)定條件包括簡(jiǎn)單劃分條件、平均為預(yù)定數(shù)目的數(shù)據(jù)塊條件、與不同輸出神經(jīng)元相關(guān)條件或者滿足預(yù)定數(shù)學(xué)關(guān)系條件。
[0065]優(yōu)選的是，所述替換策略包括順序替換、逆序替換或者亂序替換;或者
[0066]所述替換策略包括數(shù)據(jù)寫回，在數(shù)據(jù)處理完成后將最終結(jié)果或中間結(jié)果寫回所述片上存儲(chǔ)介質(zhì)、所述片外存儲(chǔ)介質(zhì)和/或所述片上處理單元。
[0067]圖6所示即為一個(gè)優(yōu)選實(shí)施例的利用片上數(shù)據(jù)重復(fù)尋址降低訪存帶寬需求裝置使用的流程圖。開始計(jì)算后，
[0068]步驟SlOl，數(shù)據(jù)按照數(shù)據(jù)劃分原則劃分成為不同的數(shù)據(jù)塊。
[0069]步驟S102，將數(shù)據(jù)塊載入片上存儲(chǔ)介質(zhì)20。在某一時(shí)刻，只有一塊數(shù)據(jù)塊被載入片上存儲(chǔ)介質(zhì)20用于片上計(jì)算，根據(jù)不同的替換策略，不同的數(shù)據(jù)塊按不同的順序被載入用于運(yùn)算。
[0070]步驟S103，對(duì)獲取的數(shù)據(jù)進(jìn)行片上計(jì)算。
[0071]步驟S104，判斷是否所有的計(jì)算完畢沒有數(shù)據(jù)塊需要再次載入，如果是則全部計(jì)算結(jié)束，否則，回到步驟S102。
[0072]圖7所示即為一個(gè)優(yōu)選實(shí)施例的計(jì)算單元根據(jù)地址進(jìn)行重復(fù)尋址的框圖。根據(jù)地址索引，存儲(chǔ)于地址DA的數(shù)據(jù)被計(jì)算單元#0、#2、#4所需要，則實(shí)施例索引至地址DA，并將DA中的數(shù)據(jù)傳播給所需的計(jì)算單元，即#0、#2和#4。這個(gè)例子中，三個(gè)計(jì)算單元所需要的數(shù)據(jù)因?yàn)槭且粯拥模栽谄现淮鎯?chǔ)了一份，也即同一個(gè)數(shù)據(jù)要被重復(fù)尋址三次。圖7中數(shù)據(jù)傳遞給片上計(jì)算單元的方式并不局限于BUS總線的連接方式，也包括Crossbar結(jié)構(gòu)、FAT-TREE、H-TREE等其他連接方式。
[0073]綜上所述，本發(fā)明將重用距離小于預(yù)定的距離閾值的數(shù)據(jù)劃分在同一個(gè)數(shù)據(jù)塊，重用距離指的是一個(gè)數(shù)據(jù)兩次使用的距離，距離是指訪存次數(shù)，重用距離近的數(shù)據(jù)在運(yùn)行短期內(nèi)就會(huì)被訪問，也即就有很強(qiáng)的時(shí)間上的相關(guān)性。這些數(shù)據(jù)劃分在同一數(shù)據(jù)塊上可以一次載入片內(nèi)存儲(chǔ)然后使用盡可能多的次數(shù)，從而訪存更加高效。本發(fā)明旨在利用片上的重復(fù)尋址用于降低訪存帶寬。本發(fā)明的裝置及其相關(guān)使用方法可以有效的提供數(shù)據(jù)的復(fù)用性和其靈活尋址的需求，能夠適用于不同場(chǎng)景，并不僅僅局限于機(jī)器學(xué)習(xí)類加速器。
[0074]當(dāng)然，本發(fā)明還可有其它多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.一種片上重復(fù)尋址的方法，其特征在于，包括: 數(shù)據(jù)劃分步驟，根據(jù)預(yù)定的數(shù)據(jù)劃分原則將片上存儲(chǔ)介質(zhì)和/或片外存儲(chǔ)介質(zhì)的數(shù)據(jù)劃分為不同的數(shù)據(jù)塊，所述數(shù)據(jù)劃分原則包括將重用距離低于預(yù)定距離閾值的數(shù)據(jù)劃分在同一個(gè)數(shù)據(jù)塊； 數(shù)據(jù)索引步驟，根據(jù)預(yù)定的替換策略的順序關(guān)系，依次載入不同的所述數(shù)據(jù)塊到至少一個(gè)片上處理單元，被載入的所述數(shù)據(jù)塊中的重復(fù)數(shù)據(jù)在片內(nèi)重復(fù)尋址。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)的索引地址包括數(shù)據(jù)塊地址與塊內(nèi)地址； 所述數(shù)據(jù)索引步驟包括:根據(jù)所述替換策略的順序關(guān)系和所述數(shù)據(jù)塊地址，依次載入不同的所述數(shù)據(jù)塊到至少一個(gè)所述片上處理單元，被載入的所述數(shù)據(jù)塊中的重復(fù)數(shù)據(jù)在片內(nèi)重復(fù)尋址，當(dāng)所述數(shù)據(jù)塊的所述塊內(nèi)地址全部索引完成后才替換新的數(shù)據(jù)塊，直至沒有數(shù)據(jù)塊被需要載入為止。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述片上存儲(chǔ)介質(zhì)與所述片上處理單元通過片內(nèi)數(shù)據(jù)通路進(jìn)行數(shù)據(jù)交換； 所述片上存儲(chǔ)介質(zhì)與所述片外存儲(chǔ)介質(zhì)通過片內(nèi)外數(shù)據(jù)通路進(jìn)行數(shù)據(jù)交換，所述片上存儲(chǔ)介質(zhì)或所述片外存儲(chǔ)介質(zhì)至少一次從內(nèi)部或外部進(jìn)行讀寫； 所述數(shù)據(jù)以數(shù)據(jù)塊為單位在所述片上存儲(chǔ)介質(zhì)、所述片外存儲(chǔ)介質(zhì)和/或所述片上處理單元兩兩之間搬運(yùn)。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)塊的數(shù)據(jù)量小于所述片上存儲(chǔ)介質(zhì)的容量。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述片上存儲(chǔ)介質(zhì)采用讀寫端口分離設(shè)i+o6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法應(yīng)用于學(xué)習(xí)類加速器;和/或 所述方法應(yīng)用于異構(gòu)環(huán)境。7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述片上處理單元為片上運(yùn)算模塊，所述根據(jù)預(yù)定條件選取數(shù)據(jù)，滿足所述預(yù)定條件的所述數(shù)據(jù)被劃分在相同的所述數(shù)據(jù)塊中。8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述預(yù)定條件包括簡(jiǎn)單劃分條件、平均為預(yù)定數(shù)目的數(shù)據(jù)塊條件、與不同輸出神經(jīng)元相關(guān)條件或者滿足預(yù)定數(shù)學(xué)關(guān)系條件。9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述替換策略包括順序替換、逆序替換或者亂序替換;或者 所述替換策略包括數(shù)據(jù)寫回，在數(shù)據(jù)處理完成后將最終結(jié)果或中間結(jié)果寫回所述片上存儲(chǔ)介質(zhì)、所述片外存儲(chǔ)介質(zhì)和/或所述片上處理單元。10.—種實(shí)現(xiàn)如權(quán)利要求1?9任一項(xiàng)所述方法的片上重復(fù)尋址的裝置，其特征在于，包括: 數(shù)據(jù)劃分模塊，用于根據(jù)預(yù)定的數(shù)據(jù)劃分原則將片上存儲(chǔ)介質(zhì)和/或片外存儲(chǔ)介質(zhì)的數(shù)據(jù)劃分為不同的數(shù)據(jù)塊，所述數(shù)據(jù)劃分原則包括將重用距離低于預(yù)定距離閾值的數(shù)據(jù)劃分在同一個(gè)數(shù)據(jù)塊； 數(shù)據(jù)索引模塊，用于根據(jù)預(yù)定的替換策略的順序關(guān)系，依次載入不同的所述數(shù)據(jù)塊到至少一個(gè)片上處理單元，被載入的所述數(shù)據(jù)塊中的重復(fù)數(shù)據(jù)在片內(nèi)重復(fù)尋址。
【文檔編號(hào)】G06F12/0831GK105912476SQ201610210095
【公開日】2016年8月31日
【申請(qǐng)日】2016年4月6日
【發(fā)明人】郭崎, 陳天石, 陳云霽
【申請(qǐng)人】中國(guó)科學(xué)院計(jì)算技術(shù)研究所