本申請涉及遠(yuǎn)程直接內(nèi)存訪問(rdma)，具體涉及一種基于rdma的請求裝置、響應(yīng)裝置和系統(tǒng)。
背景技術(shù)：
：：1、如圖1為目前使用的基于rdma實(shí)現(xiàn)的讀數(shù)據(jù)方法的原理圖，圖1的方法包括以下步驟：2、(1)驅(qū)動程序向請求裝置(requester)的發(fā)送隊列(send?queue,sq)下發(fā)一個工作隊列元素(wqe)；該wqe具體是一個rdma讀操作，用于指示requester向響應(yīng)裝置(responder)請求讀取數(shù)據(jù)；3、(2)requester的發(fā)送處理器(txp)將wqe轉(zhuǎn)換成rdma讀請求(rdma?readrequest)，并將接收讀響應(yīng)的相關(guān)信息寫入客戶端側(cè)rdma讀鏈表(client?rdma?readlist，crrl)，如起始報文序列號(packet?sequence?number，psn)和放置讀響應(yīng)的sge；4、(3)requester的txp將rdma讀請求通過網(wǎng)絡(luò)發(fā)送到responder；5、(4)responder的接收端(rxp)接收到rdma讀請求，解析rdma讀請求得到生成讀響應(yīng)的相關(guān)信息，并將生成讀響應(yīng)的相關(guān)信息寫入srrl(服務(wù)器側(cè)rdma讀鏈表)，比如reth(read?encyclopedia?table?header，是一種數(shù)據(jù)結(jié)構(gòu))，并且生成到responder的txp的請求隊列門鈴(receive?queue?doorbell，rqdb)；6、(5)rqdb從responder的rxp發(fā)送到responder的txp；7、(6)responder的txp收到rqdb，讀取服務(wù)器側(cè)rdma讀鏈表(service?rdma?readlist，srrl)中的生成讀響應(yīng)的相關(guān)信息，根據(jù)該相關(guān)信息生成讀響應(yīng)(read?response)；8、(7)responder的txp將read?response通過網(wǎng)絡(luò)發(fā)送到requester的rxp；9、(8)requester的rxp收到read?response，讀取crrl中的接收讀響應(yīng)的相關(guān)信息，根據(jù)該相關(guān)信息將read?response的數(shù)據(jù)寫入對應(yīng)的buffer，并生成一個到sq的cqe(cqe為完成隊列元素)；10、(9)將cqe返回給驅(qū)動程序，rdma讀操作完成。11、上述方法存在以下技術(shù)問題：12、requester的每個隊列對(queue?pair,qp)需要有一個crrl數(shù)據(jù)結(jié)構(gòu)，responder的每個qp需要有一個srrl數(shù)據(jù)結(jié)構(gòu)，例如，crrl數(shù)據(jù)結(jié)構(gòu)的每個條目(entry)為512bit，深度為128；srrl數(shù)據(jù)結(jié)構(gòu)的每個entry為256bit，深度為128，如果支持1m個qp，需要的內(nèi)存資源為12gb，因此需要消耗大量內(nèi)存和緩存(cache)資源；此外，由于一個rdma讀操作可能需要生成多個read?response，多個read?response可能以亂序到達(dá)，不同message的readresponsepsn不連續(xù)，導(dǎo)致read?response亂序處理較為復(fù)雜；而且，每個qp都有一個隊列對上下文(queue?pair?context，qpc)，在qp數(shù)量較多的情況下，需要維護(hù)很多相關(guān)的qpc，導(dǎo)致qpc位寬很大，且復(fù)雜度相應(yīng)增加。技術(shù)實(shí)現(xiàn)思路1、本申請的目的在于提出一種基于rdma的請求裝置、響應(yīng)裝置和系統(tǒng)，以解決上述技術(shù)問題。2、為實(shí)現(xiàn)上述目的，根據(jù)本申請第一方面，提供一種基于rdma的請求裝置，所述請求裝置包括發(fā)送處理器和接收處理器；3、所述發(fā)送處理器，用于接收驅(qū)動程序下發(fā)的工作隊列元素，若所述工作隊列元素為rdma讀操作，將所述rdma讀操作進(jìn)行轉(zhuǎn)換得到請求側(cè)寫請求；4、所述發(fā)送處理器，還用于將所述請求側(cè)寫請求發(fā)送至響應(yīng)裝置；5、所述接收處理器，用于接收并解析所述響應(yīng)裝置發(fā)送的響應(yīng)側(cè)寫請求得到所述rdma讀操作對應(yīng)的目標(biāo)數(shù)據(jù)和目的地址，將所述目標(biāo)數(shù)據(jù)寫入與所述目的地址對應(yīng)的存儲空間。6、根據(jù)本申請第二方面，還提供一種基于rdma的響應(yīng)裝置，所述響應(yīng)裝置包括接收處理器、發(fā)送處理器和數(shù)據(jù)存儲結(jié)構(gòu)；7、所述響應(yīng)裝置包括接收處理器、發(fā)送處理器和數(shù)據(jù)存儲結(jié)構(gòu)；8、所述接收處理器，用于接收請求裝置發(fā)送的請求側(cè)寫請求；其中，所述請求側(cè)寫請求為當(dāng)驅(qū)動程序下發(fā)給所述請求裝置的工作隊列元素為rdma讀操作時，所述請求裝置將所述rdma讀操作進(jìn)行轉(zhuǎn)換得到；9、所述接收處理器，還用于解析所述請求側(cè)寫請求得到源數(shù)據(jù)地址、目的地址和數(shù)據(jù)長度，將所述源數(shù)據(jù)地址、目的地址和數(shù)據(jù)長度寫入所述數(shù)據(jù)存儲結(jié)構(gòu)，并生成請求隊列門鈴；10、所述發(fā)送處理器，用于根據(jù)所述請求隊列門鈴從所述數(shù)據(jù)存儲結(jié)構(gòu)讀取所述源數(shù)據(jù)地址、目的地址和數(shù)據(jù)長度，根據(jù)所述源數(shù)據(jù)地址和數(shù)據(jù)長度讀取目標(biāo)數(shù)據(jù)，根據(jù)所述目標(biāo)數(shù)據(jù)和目的地址生成響應(yīng)側(cè)寫請求，將所述響應(yīng)側(cè)寫請求發(fā)送至所述請求裝置，以使得所述請求裝置根據(jù)所述響應(yīng)側(cè)寫請求將所述目標(biāo)數(shù)據(jù)寫入與所述目的地址對應(yīng)的存儲空間。11、根據(jù)本申請第三方面，還提供一種基于rdma的系統(tǒng)，包括：根據(jù)第一方面所述的請求裝置和根據(jù)第二方面所述的響應(yīng)裝置。12、上述一種基于rdma的請求裝置、響應(yīng)裝置和系統(tǒng)，具有以下有益效果：13、請求裝置和響應(yīng)裝置配套使用，同一個裝置可以同時具備上述請求裝置和響應(yīng)裝置的功能，驅(qū)動程序下發(fā)給請求裝置的rdma讀操作被轉(zhuǎn)換成了請求側(cè)寫請求，使得在請求裝置中不需要設(shè)置數(shù)據(jù)存儲結(jié)構(gòu)(crrl)來存儲接收讀響應(yīng)的相關(guān)信息，由于讀取的目標(biāo)數(shù)據(jù)是由響應(yīng)裝置直接寫入請求裝置中與目的地址對應(yīng)的存儲空間，因此請求裝置無需執(zhí)行復(fù)雜的亂序處理和重排邏輯。而且，在將讀操作轉(zhuǎn)換為寫操作后，每個寫操作都是獨(dú)立的，不需要跟蹤多個未完成的讀操作，因此減少了qpc的維護(hù)，綜上，能夠避免消耗大量內(nèi)存和緩存資源。14、上述一種基于rdma的請求裝置、響應(yīng)裝置和系統(tǒng)的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述。技術(shù)特征：1.一種基于rdma的請求裝置，其特征在于，所述請求裝置包括發(fā)送處理器和接收處理器；2.根據(jù)權(quán)利要求1所述的基于rdma的請求裝置，其特征在于，所述請求側(cè)寫請求包括local?routing?header字段、global?routing?header字段、base?transport?header字段、message?payload字段、invariant?crc字段和variant?crc字段；所述請求側(cè)寫請求的basetransport?header字段中的opcode使用自定義的預(yù)設(shè)編碼，以使得所述響應(yīng)裝置能夠根據(jù)所述自定義的預(yù)設(shè)編碼識別所述請求側(cè)寫請求的操作類型為讀請求轉(zhuǎn)換成的寫請求。3.根據(jù)權(quán)利要求1所述的請求裝置，其特征在于，所述裝置還包括計數(shù)器，4.根據(jù)權(quán)利要求3所述的請求裝置，其特征在于，所述發(fā)送處理器，還用于將所述請求側(cè)寫請求存儲至請求側(cè)發(fā)送鏈表；其中，所述請求側(cè)發(fā)送鏈表按發(fā)送順序存儲各個請求側(cè)寫請求；5.根據(jù)權(quán)利要求4所述的請求裝置，其特征在于，所述請求側(cè)寫請求、所述響應(yīng)側(cè)寫請求、所述請求側(cè)ack信號以及所述請求側(cè)ack信號均攜帶有序列號，所述請求側(cè)寫請求攜帶的序列號和所述響應(yīng)側(cè)寫請求攜帶的序列號相互獨(dú)立，所述請求側(cè)ack信號攜帶的序列號與其對應(yīng)的響應(yīng)側(cè)寫請求攜帶的序列號相同，所述響應(yīng)側(cè)ack信號攜帶的序列號與其對應(yīng)的請求側(cè)寫請求攜帶的序列號相同。6.根據(jù)權(quán)利要求1所述的請求裝置，其特征在于，所述發(fā)送處理器，還用于當(dāng)在預(yù)設(shè)時間內(nèi)所述接收處理器未成功接收到與所述請求側(cè)寫請求對應(yīng)的響應(yīng)側(cè)ack信號時，從所述請求側(cè)發(fā)送鏈表中讀取所述請求側(cè)寫請求，并重新發(fā)送至所述響應(yīng)裝置。7.一種基于rdma的響應(yīng)裝置，其特征在于，所述響應(yīng)裝置包括接收處理器、發(fā)送處理器和數(shù)據(jù)存儲結(jié)構(gòu)；8.根據(jù)權(quán)利要求7所述的響應(yīng)裝置，其特征在于，所述響應(yīng)側(cè)寫請求包括localrouting?header字段、global?routing?header字段、base?transport?header字段、extended?transport?header字段、message?payload字段、invariant?crc字段和variantcrc字段；所述響應(yīng)側(cè)寫請求的base?transport?header字段中的opcode使用自定義的預(yù)設(shè)編碼，以使得所述請求裝置能夠根據(jù)所述自定義的預(yù)設(shè)編碼識別所述響應(yīng)側(cè)寫請求的操作類型。9.根據(jù)權(quán)利要求7所述的響應(yīng)裝置，其特征在于，所述接收處理器解析所述請求側(cè)寫請求還得到序列號，將所述序列號寫入所述數(shù)據(jù)存儲結(jié)構(gòu)；10.根據(jù)權(quán)利要求9所述的響應(yīng)裝置，其特征在于，所述發(fā)送處理器，還用于將所述響應(yīng)側(cè)寫請求存儲至響應(yīng)側(cè)發(fā)送鏈表；其中，所述響應(yīng)側(cè)發(fā)送鏈表按發(fā)送順序存儲各個響應(yīng)側(cè)寫請求；11.根據(jù)權(quán)利要求9所述的響應(yīng)裝置，其特征在于，所述接收處理器，還用于響應(yīng)所述請求裝置發(fā)送的請求側(cè)ack信號，根據(jù)所述請求側(cè)ack信號更新所述響應(yīng)側(cè)發(fā)送鏈表；12.根據(jù)權(quán)利要求7所述的請求裝置，其特征在于，所述請求側(cè)寫請求、所述響應(yīng)側(cè)寫請求、所述請求側(cè)ack信號以及所述請求側(cè)ack信號均攜帶有序列號，所述請求側(cè)寫請求攜帶的序列號和所述響應(yīng)側(cè)寫請求攜帶的序列號相互獨(dú)立，所述請求側(cè)ack信號攜帶的序列號與其對應(yīng)的響應(yīng)側(cè)寫請求攜帶的序列號相同，所述響應(yīng)側(cè)ack信號攜帶的序列號與其對應(yīng)的請求側(cè)寫請求攜帶的序列號相同。13.一種基于rdma的系統(tǒng)，其特征在于，包括：如權(quán)利要求1-6所述的請求裝置和如權(quán)利要求7-12所述的響應(yīng)裝置。技術(shù)總結(jié)本申請涉及一種基于RDMA的請求裝置和響應(yīng)裝置，包括：所述請求裝置包括發(fā)送處理器和接收處理器；所述發(fā)送處理器，用于接收驅(qū)動程序下發(fā)的工作隊列元素，若所述工作隊列元素為RDMA讀操作，將所述RDMA讀操作進(jìn)行轉(zhuǎn)換得到請求側(cè)寫請求；所述發(fā)送處理器，還用于將所述請求側(cè)寫請求發(fā)送至響應(yīng)裝置；所述接收處理器，用于接收并解析所述響應(yīng)裝置發(fā)送的響應(yīng)側(cè)寫請求得到所述RDMA讀操作對應(yīng)的目標(biāo)數(shù)據(jù)和目的地址，將所述目標(biāo)數(shù)據(jù)寫入與所述目的地址對應(yīng)的存儲空間。通過本申請，減少了QPC數(shù)據(jù)結(jié)構(gòu)域段和設(shè)計難度，降低報文亂序處理復(fù)雜度，避免消耗大量主機(jī)內(nèi)存和緩存資源。技術(shù)研發(fā)人員：張學(xué)利,陳新光受保護(hù)的技術(shù)使用者：深圳云豹智能有限公司技術(shù)研發(fā)日：技術(shù)公布日：2025/1/9