后的數(shù)據(jù)生成至少一個數(shù)據(jù)塊。
[0103]具體的，所述解析單元304，具體用于利用預(yù)設(shè)的解析函數(shù)，將所述數(shù)據(jù)集合類型中的數(shù)據(jù)的數(shù)據(jù)格式轉(zhuǎn)換為所述GPU進行計算處理時所需的數(shù)據(jù)格式。將轉(zhuǎn)換數(shù)據(jù)格式后的數(shù)據(jù)生成至少一個數(shù)據(jù)塊。
[0104]發(fā)送單元305，用于將所述解析單元304生成的所述至少一個數(shù)據(jù)塊發(fā)送給所述分配單元分配的GPU，以使得所述GPU根據(jù)所述待處理任務(wù)對所述至少一個數(shù)據(jù)塊進行計算處理。
[0105]具體的，所述發(fā)送單元305，具體用于將所述生成的至少一個數(shù)據(jù)塊發(fā)送給所述被分配的GPU的緩存區(qū)中。
[0106]進一步的，所述獲取單元301，還用于獲取預(yù)先配置的資源信息表。
[0107]其中，所述資源信息表用于記錄GPU的數(shù)量以及所述GPU的使用情況信息。
[0108]進一步的，所述資源信息表還用于記錄中央處理器CPU的數(shù)量以及所述CPU的使用情況信息。
[0109]所述數(shù)據(jù)處理的裝置，如圖4所示，還包括:
[0110]確定單元306，用于確定所述待處理任務(wù)需要的GPU的使用數(shù)量。
[0111]此時，所述分配單元302，具體用于根據(jù)所述獲取單元301獲取的資源信息表中GPU的數(shù)量及所述GPU的使用情況信息，確定未使用的GPU的數(shù)量滿足所述確定單元306確定的所述待處理任務(wù)需要的GPU的使用數(shù)量時，為所述待處理任務(wù)分配GPU。
[0112]進一步的，所述分配單元302，還用于確定未使用的GPU的數(shù)量不滿足所述確定單元306確定的所述待處理任務(wù)需要的GPU的使用數(shù)量時，為所述待處理任務(wù)分配CPU。
[0113]進一步的，所述數(shù)據(jù)處理的裝置，如圖5所示，還包括:
[0114]接收單元307，用于接收所述被分配的GPU發(fā)送的計算處理結(jié)果。
[0115]處理單元308，用于對所述計算處理結(jié)果進行分區(qū)、排序及合并處理。
[0116]具體的，在所述接收單元307接收到所述被分配的GPU發(fā)送的計算處理結(jié)果后，處理單元308可以將所述計算處理結(jié)果進行分區(qū)、排序及合并處理，即分區(qū)為將關(guān)鍵字相同的計算結(jié)果劃分到同一個組中。針對分組后的計算結(jié)果，根據(jù)各組對應(yīng)的關(guān)鍵字，對每組的計算結(jié)果進行排序。將相同關(guān)鍵字的計算結(jié)果進行合并處理。
[0117]本發(fā)明實施例提供了一種數(shù)據(jù)處理的轉(zhuǎn)置，數(shù)據(jù)處理的裝置獲取待處理任務(wù)及待處理任務(wù)對應(yīng)的至少一個待處理數(shù)據(jù)，為此待處理任務(wù)分配GPU ;將待處理任務(wù)對應(yīng)的至少一個待處理數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)集合類型的數(shù)據(jù)，并將數(shù)據(jù)集合類型中的數(shù)據(jù)進行解析，將解析后的數(shù)據(jù)生成至少一個數(shù)據(jù)塊，將生成的至少一個數(shù)據(jù)塊發(fā)送至被分配的GPU中，以使得GPU進行計算處理。這樣，數(shù)據(jù)處理的裝置在獲取到待處理任務(wù)及其對應(yīng)的至少一個待處理數(shù)據(jù)后，可以為其分配GPU，并將此待處理任務(wù)對應(yīng)的待處理數(shù)據(jù)發(fā)送至被分配的GPU,觸發(fā)GPU對待處理數(shù)據(jù)進行計算處理，提高了處理數(shù)據(jù)的效率。并且上述過程并不要求對待處理任務(wù)的對應(yīng)的至少一個待處理數(shù)據(jù)的數(shù)據(jù)格式為等長數(shù)據(jù)類型，提高了系統(tǒng)的性能。在運行過程中無需用戶手動參與，進一步提高了處理數(shù)據(jù)的效率。
[0118]本發(fā)明實施例提供了一種數(shù)據(jù)處理的裝置，如圖6所示，包括:處理器601，存儲器602，通信接口 603，和總線604，其中，所述處理器601、所述存儲器602和所述通信接口 603通過所述總線604通信。
[0119]所述存儲器602，用于存放程序。
[0120]所述處理器601，用于執(zhí)行所述存儲器存儲的執(zhí)行指令。
[0121]所述通信接口 603，用于接收待處理任務(wù)以及與所述待處理任務(wù)對應(yīng)的至少一個待處理的數(shù)據(jù)，
[0122]當(dāng)所述數(shù)據(jù)處理裝置運行時，所述處理器601運行程序，以執(zhí)行以下指令:
[0123]所述處理器601，用于獲取待處理任務(wù)以及和所述待處理任務(wù)對應(yīng)的至少一個待處理的數(shù)據(jù)。
[0124]所述處理器601，還用于為所述待處理任務(wù)分配圖形處理器GPU。
[0125]具體的，處理器601可以根據(jù)此待處理任務(wù)的需求確定此待處理任務(wù)的對應(yīng)的至少一個待處理數(shù)據(jù)是否由GPU處理。若此待處理任務(wù)需要GPU處理其對應(yīng)的至少一個待處理數(shù)據(jù)，則處理器601可以為此待處理任務(wù)分配GPU。
[0126]所述處理器601，還用于將所述待處理任務(wù)對應(yīng)的所述至少一個待處理數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)集合類型的數(shù)據(jù)。
[0127]具體的，處理器601具體用于確定所述數(shù)據(jù)集合類型的數(shù)據(jù)的大??；根據(jù)所述數(shù)據(jù)集合類型的數(shù)據(jù)的大小，將所述至少一個待處理數(shù)據(jù)分配至至少一個數(shù)據(jù)集合中。
[0128]其中，所述數(shù)據(jù)集合中包含的待處理數(shù)據(jù)的大小不大于所述數(shù)據(jù)集合類型的數(shù)據(jù)的大小。
[0129]進一步的，所述處理器601，具體用于在所述待處理任務(wù)對應(yīng)的所述至少一個待處理數(shù)據(jù)的數(shù)據(jù)類型為變長數(shù)據(jù)類型時，根據(jù)所述數(shù)據(jù)集合類型的數(shù)據(jù)的大小，將所述至少一個待處理數(shù)據(jù)分配至至少一個數(shù)據(jù)集合中，且記錄所述至少一個待處理數(shù)據(jù)在所述至少一個數(shù)據(jù)集合中的位置信息，以使得所述GPU根據(jù)所述位置信息，獲取所述待處理數(shù)據(jù)。
[0130]其中，所述位置信息用于記錄變長類型的待處理數(shù)據(jù)在數(shù)據(jù)集合中的位置相關(guān)信肩、O
[0131 ] 所述處理器601，具體用于在所述至少一個待處理數(shù)據(jù)的數(shù)據(jù)類型是等長數(shù)據(jù)類型時，根據(jù)所述數(shù)據(jù)集合類型的數(shù)據(jù)大小，可以將至少一個待處理數(shù)據(jù)的數(shù)據(jù)直接分配至至少一個數(shù)據(jù)集合中。由于每個數(shù)據(jù)的大小是一定的，則在數(shù)據(jù)集合中的位置也是一定的，所以無需記錄等長數(shù)據(jù)類型的至少一個待處理數(shù)據(jù)在數(shù)據(jù)集合中的位置。
[0132]所述處理器601，還用于將所述數(shù)據(jù)集合類型中的數(shù)據(jù)進行解析，將解析后的數(shù)據(jù)生成至少一個數(shù)據(jù)塊。
[0133]具體的，處理器601，具體用于利用預(yù)設(shè)的解析函數(shù)，將所述數(shù)據(jù)集合類型中的數(shù)據(jù)的數(shù)據(jù)格式轉(zhuǎn)換為所述GPU進行計算處理時所需的數(shù)據(jù)格式。將轉(zhuǎn)換數(shù)據(jù)格式后的數(shù)據(jù)生成至少一個數(shù)據(jù)塊。
[0134]所述處理器601，還用于將所述生成的至少一個數(shù)據(jù)塊發(fā)送給所述被分配的GPU，以使得所述GPU根據(jù)所述待處理任務(wù)對所述至少一個數(shù)據(jù)塊進行計算處理。
[0135]具體的，所述處理器601，具體用于將所述生成的至少一個數(shù)據(jù)塊發(fā)送給所述被分配的GPU的緩存區(qū)中。
[0136]進一步的，所述處理器601，還用于獲取預(yù)先配置的資源信息表。
[0137]其中，所述資源信息表用于記錄GPU的數(shù)量以及所述GPU的使用情況信息。
[0138]進一步的，所述資源信息表還用于記錄中央處理器CPU的數(shù)量以及所述CPU的使用情況信息。
[0139]所述處理器601，還用于確定所述待處理任務(wù)需要的GPU的使用數(shù)量。
[0140]此時，所述處理器601，用于為所述待處理任務(wù)分配圖形處理器GPU具體為:
[0141]所述處理器601，具體用于根據(jù)所述資源信息表中GPU的數(shù)量及所述GPU的使用情況信息，確定未使用的GPU的數(shù)量滿足所述待處理任務(wù)需要的GPU的使用數(shù)量時，為所述待處理任務(wù)分配GPU。
[0142]進一步的，所述處理器601，還用于確定未使用的GPU的數(shù)量不滿足所述確定單元306確定的所述待處理任務(wù)需要的GPU的使用數(shù)量時，為所述待處理任務(wù)分配CPU。
[0143]進一步的，所述通信接口 603，還用于接收所述被分配的GPU發(fā)送的計算處理結(jié)果。
[0144]所述處理器601，還用于對所述計算處理結(jié)果進行分區(qū)、排序及合并處理。
[0145]具體的，在所述通信接口 603接收到所述被分配的GPU發(fā)送的計算處理結(jié)果后，處理器601可以將所述計算處理結(jié)果進行分區(qū)、排序及合并處理，即分區(qū)為將關(guān)鍵字相同的計算結(jié)果劃分到同一個組中。針對分組后的計算結(jié)果，根據(jù)各組對應(yīng)的關(guān)鍵字，對每組的計算結(jié)果進行排序。將相同關(guān)鍵字的計算結(jié)果進行合并處理。
[0146]本發(fā)明實施例提供了一種數(shù)據(jù)處理的轉(zhuǎn)置，數(shù)據(jù)處理的裝置獲取待處理任務(wù)及待處理任務(wù)對應(yīng)的至少一個待處理數(shù)據(jù)，為此待處理任務(wù)分配GPU ;將待處理任務(wù)對應(yīng)的至少一個待處理數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)集合類型的數(shù)據(jù)，并將數(shù)據(jù)集合類型中的數(shù)據(jù)進行解析，將解析后的數(shù)據(jù)生成至少一個數(shù)據(jù)塊，將生成的至少一個數(shù)據(jù)塊發(fā)送至被分配的GPU中，以使得GPU進行計算處理。這樣，數(shù)據(jù)處理的裝置在獲取到待處理任務(wù)及其對應(yīng)的至少一個待處理數(shù)據(jù)后，可以為其分配GPU，并將此待處理任務(wù)對應(yīng)的待處理數(shù)據(jù)發(fā)送至被分配的GPU，觸發(fā)GPU對待處理數(shù)據(jù)進行計算處理，提高了處理數(shù)據(jù)的效率。并且上述過程并不要求對待處理任務(wù)的對應(yīng)的至少一個待處理數(shù)據(jù)的數(shù)據(jù)格式為等長數(shù)據(jù)類型，提高了系統(tǒng)的性能。在運行過程中無需用戶手動參與，進一步提高了處理數(shù)據(jù)的效率。
[0147]通過以上的實施方式的描述，所屬領(lǐng)域的技術(shù)人