本發(fā)明涉及數(shù)據(jù)通信，尤其涉及一種rdma應(yīng)用io性能監(jiān)測(cè)方法、裝置、系統(tǒng)和設(shè)備。

背景技術(shù)：

1、隨著高性能計(jì)算(hpc)、大數(shù)據(jù)處理和數(shù)據(jù)中心快速發(fā)展，對(duì)網(wǎng)絡(luò)通信性能的要求也越來(lái)越高。傳統(tǒng)的網(wǎng)絡(luò)由于需要操作系統(tǒng)內(nèi)核參與，進(jìn)行協(xié)議棧處理、上下文切換、高頻中斷處理以及仲裁網(wǎng)絡(luò)資源，帶來(lái)了較高的傳輸延遲和巨大的cpu消耗，已經(jīng)不能滿足高性能網(wǎng)絡(luò)的要求。為了提高網(wǎng)絡(luò)設(shè)備的性能和可擴(kuò)展性，越來(lái)越多的廠商開(kāi)始采用用戶態(tài)驅(qū)動(dòng)的遠(yuǎn)程直接內(nèi)存訪問(wèn)(remote?direct?memory?access，rdma)技術(shù)，因其低延遲、高帶寬以及低開(kāi)銷(xiāo)等特點(diǎn)已經(jīng)被廣泛應(yīng)用于上述各個(gè)領(lǐng)域。

2、然而，rdma在提供高性能網(wǎng)絡(luò)的同時(shí)也帶來(lái)了一些挑戰(zhàn)，因其獨(dú)特的架構(gòu)設(shè)計(jì)，數(shù)據(jù)是從用戶態(tài)應(yīng)用程序的內(nèi)存區(qū)域直接傳輸?shù)骄W(wǎng)卡，由于不經(jīng)過(guò)內(nèi)核，雖然減少了內(nèi)存復(fù)制次數(shù)和開(kāi)銷(xiāo)，但是也導(dǎo)致其在內(nèi)核態(tài)無(wú)法進(jìn)行精準(zhǔn)統(tǒng)計(jì)。如果用戶需要性能統(tǒng)計(jì)功能來(lái)完成瓶頸分析，那么每次在開(kāi)發(fā)rdma應(yīng)用程序時(shí)都還需要單獨(dú)進(jìn)行設(shè)計(jì)，再加上無(wú)限帶寬傳輸(infiniband?verbs，ibv)協(xié)議庫(kù)中部分關(guān)鍵數(shù)據(jù)結(jié)構(gòu)對(duì)上層應(yīng)用的不可見(jiàn)性導(dǎo)致有些統(tǒng)計(jì)細(xì)節(jié)難以實(shí)現(xiàn)。

3、目前，rdma網(wǎng)卡廠商提供的開(kāi)放架構(gòu)企業(yè)分發(fā)(open?fabrics?enterprisedistribution，ofed)驅(qū)動(dòng)包和相關(guān)開(kāi)源項(xiàng)目中，只提供一些相對(duì)零散的用于性能測(cè)試和帶寬查看的簡(jiǎn)單配套工具，而且只能針對(duì)rdma網(wǎng)卡進(jìn)行打流測(cè)試或查看收發(fā)包統(tǒng)計(jì)，無(wú)法針對(duì)復(fù)雜的用戶場(chǎng)景進(jìn)行有效的io性能數(shù)據(jù)監(jiān)控。

4、總之，在rdma的用戶態(tài)輸入/輸出即io流性能數(shù)據(jù)監(jiān)控方面，現(xiàn)有的一些工具和方法都難以滿足一些高精度的性能分析和優(yōu)化需求，比如根據(jù)每個(gè)rdma用戶應(yīng)用程序的每秒發(fā)包數(shù)、帶寬和io時(shí)延等，來(lái)分析其性能表現(xiàn)和瓶頸，或者監(jiān)控rdma應(yīng)用程序的流量波動(dòng)查找問(wèn)題原因等。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供一種rdma應(yīng)用io性能監(jiān)測(cè)方法、裝置、系統(tǒng)和設(shè)備，用于解決缺少專(zhuān)門(mén)針對(duì)rdma應(yīng)用程序的io性能統(tǒng)計(jì)和監(jiān)控系統(tǒng)的技術(shù)問(wèn)題。

2、基于本發(fā)明一方面，本發(fā)明提供了一種rdma應(yīng)用io性能監(jiān)測(cè)方法，該方法應(yīng)用于部署遠(yuǎn)程直接內(nèi)存訪問(wèn)rdma網(wǎng)卡和rdma應(yīng)用的設(shè)備，所述rdma應(yīng)用通過(guò)無(wú)線帶寬傳輸ibverbs標(biāo)準(zhǔn)庫(kù)調(diào)用用戶態(tài)驅(qū)動(dòng)庫(kù)，用戶態(tài)驅(qū)動(dòng)庫(kù)基于隊(duì)列對(duì)qp通過(guò)rdma網(wǎng)卡與對(duì)端設(shè)備建立qp鏈接，該方法包括：

3、在用戶態(tài)驅(qū)動(dòng)庫(kù)中的用于下發(fā)工作請(qǐng)求wr到發(fā)送隊(duì)列sq的接口、用于下發(fā)工作請(qǐng)求wr到接收隊(duì)列rq的接口以及用于從完成隊(duì)列cq輪詢工作完成wc信息的接口獲取rdma應(yīng)用的io性能相關(guān)數(shù)據(jù)；

4、通過(guò)用戶態(tài)驅(qū)動(dòng)庫(kù)中的用戶態(tài)性能統(tǒng)計(jì)服務(wù)對(duì)外提供rdma應(yīng)用io性能相關(guān)數(shù)據(jù)的訪問(wèn)接口。

5、進(jìn)一步地，所述rdma應(yīng)用在啟動(dòng)時(shí)在自己的進(jìn)程空間中加載運(yùn)行所述ib?verbs標(biāo)準(zhǔn)庫(kù)和用戶態(tài)驅(qū)動(dòng)庫(kù)，所述用戶態(tài)驅(qū)動(dòng)庫(kù)中的用戶態(tài)性能統(tǒng)計(jì)服務(wù)基于rdma應(yīng)用的唯一性標(biāo)識(shí)對(duì)外提供訪問(wèn)該rdma應(yīng)用的io性能相關(guān)數(shù)據(jù)的接口。

6、進(jìn)一步地，所述rdma應(yīng)用的io性能相關(guān)數(shù)據(jù)包括以下數(shù)據(jù)中的一種或多種：

7、統(tǒng)計(jì)時(shí)間、應(yīng)用每秒io處理速率、網(wǎng)卡實(shí)際每秒io處理速率、應(yīng)用發(fā)送io總數(shù)、網(wǎng)卡實(shí)際發(fā)送io總數(shù)、應(yīng)用數(shù)據(jù)發(fā)送速率、網(wǎng)卡實(shí)際數(shù)據(jù)發(fā)送速率、發(fā)送隊(duì)列sq排隊(duì)情況、工作請(qǐng)求wr延時(shí)、wr長(zhǎng)度、應(yīng)用發(fā)送wr總數(shù)。

8、進(jìn)一步地，在統(tǒng)計(jì)應(yīng)用發(fā)送io總數(shù)、網(wǎng)卡實(shí)際發(fā)送io總、wr時(shí)延、應(yīng)用數(shù)據(jù)發(fā)送速率、網(wǎng)卡實(shí)際數(shù)據(jù)發(fā)送速率時(shí)，根據(jù)wr攜帶信號(hào)標(biāo)記ib?sig的情況分為每次發(fā)送最后一個(gè)wr必帶ib?sig的常規(guī)情況和多次發(fā)送只有一次帶ib?sig的非常規(guī)情況，針對(duì)兩種情況分別進(jìn)行統(tǒng)計(jì)。

9、基于本發(fā)明另一方面，本發(fā)明還提供一種rdma應(yīng)用io性能監(jiān)測(cè)裝置，該裝置應(yīng)用于部署rdma網(wǎng)卡和rdma應(yīng)用的設(shè)備，所述rdma應(yīng)用通過(guò)無(wú)線帶寬傳輸ib?verbs標(biāo)準(zhǔn)庫(kù)調(diào)用用戶態(tài)驅(qū)動(dòng)庫(kù)，用戶態(tài)驅(qū)動(dòng)庫(kù)基于隊(duì)列對(duì)qp通過(guò)rdma網(wǎng)卡與對(duì)端設(shè)備建立qp鏈接，該裝置包括：

10、數(shù)據(jù)獲取模塊，位于用戶態(tài)驅(qū)動(dòng)庫(kù)中，在用戶態(tài)驅(qū)動(dòng)庫(kù)中的用于下發(fā)工作請(qǐng)求wr到發(fā)送隊(duì)列sq的接口、用于下發(fā)工作請(qǐng)求wr到接收隊(duì)列rq的接口以及用于從完成隊(duì)列cq輪詢工作完成wc信息的接口獲取rdma應(yīng)用的io性能相關(guān)數(shù)據(jù)；

11、用戶態(tài)性能統(tǒng)計(jì)服務(wù)單元，位于用戶態(tài)驅(qū)動(dòng)庫(kù)中，用于對(duì)外提供rdma應(yīng)用io性能相關(guān)數(shù)據(jù)的訪問(wèn)接口。

12、進(jìn)一步地，所述rdma應(yīng)用在啟動(dòng)時(shí)在自己的進(jìn)程空間中加載運(yùn)行所述ib?verbs標(biāo)準(zhǔn)庫(kù)和用戶態(tài)驅(qū)動(dòng)庫(kù)；

13、所述用戶態(tài)性能統(tǒng)計(jì)服務(wù)單元基于rdma應(yīng)用的唯一性標(biāo)識(shí)對(duì)外提供訪問(wèn)該rdma應(yīng)用的io性能相關(guān)數(shù)據(jù)的接口。

14、進(jìn)一步地，所述rdma應(yīng)用的io性能相關(guān)數(shù)據(jù)包括以下數(shù)據(jù)中的一種或多種：

15、統(tǒng)計(jì)時(shí)間、應(yīng)用每秒io處理速率、網(wǎng)卡實(shí)際每秒io處理速率、應(yīng)用發(fā)送io總數(shù)、網(wǎng)卡實(shí)際發(fā)送io總數(shù)、應(yīng)用數(shù)據(jù)發(fā)送速率、網(wǎng)卡實(shí)際數(shù)據(jù)發(fā)送速率、發(fā)送隊(duì)列sq排隊(duì)情況、工作請(qǐng)求wr延時(shí)、wr長(zhǎng)度、應(yīng)用發(fā)送wr總數(shù)。

16、基于本發(fā)明的一方面，本發(fā)明還提供一種rdma應(yīng)用io性能監(jiān)測(cè)系統(tǒng)，該系統(tǒng)包括：

17、rdma應(yīng)用，用于通過(guò)無(wú)線帶寬傳輸ib?verbs標(biāo)準(zhǔn)庫(kù)調(diào)用用戶態(tài)驅(qū)動(dòng)庫(kù)，基于隊(duì)列對(duì)qp通過(guò)rdma網(wǎng)卡與對(duì)端設(shè)備建立qp鏈接；

18、ib?verbs標(biāo)準(zhǔn)庫(kù)，用于為rdma應(yīng)用提供統(tǒng)一抽象的接口；

19、用戶態(tài)驅(qū)動(dòng)庫(kù)，用于為ib?verbs標(biāo)準(zhǔn)庫(kù)中的統(tǒng)一抽象的接口提供具體實(shí)現(xiàn)接口實(shí)現(xiàn)與ib?verbs標(biāo)準(zhǔn)庫(kù)的統(tǒng)一抽象接口的掛接；在用戶態(tài)驅(qū)動(dòng)庫(kù)中的用于下發(fā)工作請(qǐng)求wr到發(fā)送隊(duì)列sq的接口、用于下發(fā)工作請(qǐng)求wr到接收隊(duì)列rq的接口以及用于從完成隊(duì)列cq輪詢工作完成wc信息的接口獲取rdma應(yīng)用的io性能相關(guān)數(shù)據(jù)；

20、rdma網(wǎng)卡，用于為用戶態(tài)驅(qū)動(dòng)庫(kù)提供基于rdma協(xié)議的數(shù)據(jù)傳輸；

21、用戶態(tài)性能統(tǒng)計(jì)服務(wù)，位于用戶態(tài)驅(qū)動(dòng)庫(kù)，用于對(duì)外提供rdma應(yīng)用io性能相關(guān)數(shù)據(jù)的訪問(wèn)接口；

22、客戶端工具，用于從用戶態(tài)性能統(tǒng)計(jì)服務(wù)獲取rdma應(yīng)用的io性能相關(guān)數(shù)據(jù)。

23、進(jìn)一步地，所述系統(tǒng)還包括：

24、系統(tǒng)監(jiān)控和告警工具，用于連接多個(gè)客戶端工具，通過(guò)多個(gè)客戶端工具獲取多個(gè)rdma應(yīng)用的io性能相關(guān)數(shù)據(jù)并存儲(chǔ)；

25、數(shù)據(jù)可視化和監(jiān)控平臺(tái)，用于連接系統(tǒng)監(jiān)控和告警工具，為用戶提供可視化的rdma應(yīng)用的io性能相關(guān)數(shù)據(jù)的呈現(xiàn)功能。

26、本發(fā)明提供的技術(shù)方案無(wú)需額外的硬件支持，僅需對(duì)rdma網(wǎng)卡廠商提供的用戶態(tài)驅(qū)動(dòng)庫(kù)進(jìn)行改進(jìn)，在wr下發(fā)接口和輪詢接口獲取rdma應(yīng)用的io性能相關(guān)數(shù)據(jù)并通過(guò)用戶態(tài)性能統(tǒng)計(jì)服務(wù)對(duì)外提供訪問(wèn)接口，從而實(shí)現(xiàn)對(duì)使用rdma網(wǎng)卡驅(qū)動(dòng)的rdma應(yīng)用進(jìn)行性能監(jiān)測(cè)的目的。