全量日志抓取方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體涉及一種全量日志抓取方法及裝置。
【背景技術(shù)】
[0002]目前的虛擬機通過軟件模擬的方式實現(xiàn)具有完整硬件系統(tǒng)功能的、運行在一個完全隔離環(huán)境中的完整計算機系統(tǒng)。通過虛擬機軟件，可以在一臺實體機上模擬出一臺或多臺虛擬機，這些虛擬機完全就像真正的實體機那樣進行工作，例如，可以安裝操作系統(tǒng)、安裝應(yīng)用程序、訪問網(wǎng)絡(luò)資源等等。
[0003]—般情況下，當客戶端需要對虛擬機的數(shù)據(jù)進行操作時，可以將請求通過實體機發(fā)送到虛擬機，虛擬機執(zhí)行的操作也將記錄到全量日志中，虛擬機的全量日志一般存儲于實體機的磁盤，也就是說，多臺虛擬機將向?qū)嶓w機的磁盤寫入日志信息，這樣就加重了實體機的負擔，降低了實體機CPU的性能，嚴重影響了實體機的磁盤的性能。

【發(fā)明內(nèi)容】

[0004]鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的全量日志抓取方法和相應(yīng)的全量日志抓取裝置。
[0005]根據(jù)本發(fā)明的一個方面，提供了一種全量日志抓取方法，用于抓取一個實體機所承載的多個虛擬機的請求日志信息，方法包括:
[0006]抓取實體機的網(wǎng)卡接收到的網(wǎng)卡數(shù)據(jù)；
[0007]根據(jù)預(yù)設(shè)協(xié)議，對網(wǎng)卡數(shù)據(jù)進行解析，得到請求數(shù)據(jù)包，并識別出請求數(shù)據(jù)包所對應(yīng)的虛擬機；
[0008]根據(jù)請求數(shù)據(jù)包攜帶的信息，向請求數(shù)據(jù)包所對應(yīng)的虛擬機的日志文件中寫入請求日志信息。
[0009]根據(jù)本發(fā)明的另一方面，提供了一種全量日志抓取裝置，用于抓取一個實體機所承載的多個虛擬機的請求日志信息，裝置包括:
[0010]抓取模塊，適于抓取實體機的網(wǎng)卡接收到的網(wǎng)卡數(shù)據(jù)；
[0011 ]解析模塊，適于根據(jù)預(yù)設(shè)協(xié)議，對網(wǎng)卡數(shù)據(jù)進行解析，得到請求數(shù)據(jù)包，并識別出請求數(shù)據(jù)包所對應(yīng)的虛擬機；
[0012]寫入模塊，適于根據(jù)請求數(shù)據(jù)包攜帶的信息，向請求數(shù)據(jù)包所對應(yīng)的虛擬機的日志文件中寫入請求日志信息。
[0013]根據(jù)本發(fā)明提供的全量日志抓取方法及裝置，通過抓取實體機的網(wǎng)卡接收到的網(wǎng)卡數(shù)據(jù);根據(jù)預(yù)設(shè)協(xié)議，對網(wǎng)卡數(shù)據(jù)進行解析，得到請求數(shù)據(jù)包，并識別出請求數(shù)據(jù)包所對應(yīng)的虛擬機;根據(jù)請求數(shù)據(jù)包攜帶的信息，向請求數(shù)據(jù)包所對應(yīng)的虛擬機的日志文件中寫入請求日志信息，可以克服因所有的虛擬機都向?qū)嶓w機的磁盤寫日志，而造成加重的實體機負擔的缺陷，避免對實體機CPU的性能、實體機磁盤的性能造成影響，且便于對日志信息進行管理。
[0014]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的【具體實施方式】。
【附圖說明】
[0015]通過閱讀下文優(yōu)選實施方式的詳細描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0016]圖1示出了根據(jù)本發(fā)明一個實施例的全量日志抓取方法的流程示意圖；
[0017]圖2示出了根據(jù)本發(fā)明另一個實施例的全量日志抓取方法的流程示意圖；
[0018]圖3示出了根據(jù)本發(fā)明一個實施例的全量日志抓取裝置的功能框圖。
【具體實施方式】
[0019]下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達給本領(lǐng)域的技術(shù)人員。
[0020]為了提高服務(wù)端處理能力，經(jīng)常需要在實體機上模擬虛擬機，提高事務(wù)處理能力，一般情況下，一臺實體機上可以模擬多臺虛擬機，各個虛擬機都可以提供MySQL服務(wù)，MySQL服務(wù)下的全量日志一般會存儲到實體機的磁盤，也就是說，同一臺實體機上每個提供MySQL服務(wù)的虛擬機都要啟動一個進程用于將向?qū)嶓w機的磁盤寫入各自的服務(wù)對應(yīng)的全量日志，這樣就加重了實體機的負擔，降低了實體機CPU的性能，嚴重影響了實體機的磁盤的性能。為了解決上述技術(shù)問題，提出了本申請。
[0021]圖1示出了根據(jù)本發(fā)明一個實施例的全量日志抓取方法的流程示意圖。如圖1所示，該方法包括以下步驟:
[0022]步驟S100，抓取實體機的網(wǎng)卡接收到的網(wǎng)卡數(shù)據(jù)。
[0023]具體地，MySQL服務(wù)的客戶端對虛擬機的操作都需要經(jīng)過實體機的網(wǎng)卡才可以到達虛擬機，例如，客戶端想要對虛擬機的數(shù)據(jù)進行修改，則將請求發(fā)送至實體機，經(jīng)實體機的網(wǎng)卡發(fā)送到虛擬機上。其中，網(wǎng)卡是工作在鏈路層的網(wǎng)絡(luò)組件，是局域網(wǎng)中連接計算機和傳輸介質(zhì)的接口，不僅能實現(xiàn)與局域網(wǎng)傳輸介質(zhì)之間的物理連接和電信號匹配，還涉及幀的發(fā)送與接收、幀的封裝與拆封、介質(zhì)訪問控制、數(shù)據(jù)的編碼與解碼以及數(shù)據(jù)緩存的功能等。
[0024]網(wǎng)卡數(shù)據(jù)是裸數(shù)據(jù)，僅根據(jù)網(wǎng)卡數(shù)據(jù)并不能直觀地獲知該網(wǎng)卡數(shù)據(jù)具體包含哪些數(shù)據(jù)以及該網(wǎng)卡數(shù)據(jù)所具有的含義，因此需要對該網(wǎng)卡數(shù)據(jù)進行相應(yīng)的處理。
[0025]步驟SlOl，根據(jù)預(yù)設(shè)協(xié)議，對網(wǎng)卡數(shù)據(jù)進行解析，得到請求數(shù)據(jù)包，并識別出請求數(shù)據(jù)包所對應(yīng)的虛擬機。
[0026]在本發(fā)明實施例中，預(yù)設(shè)協(xié)議為MySQL協(xié)議，根據(jù)MySQL協(xié)議對網(wǎng)卡數(shù)據(jù)進行解析，具體指按照協(xié)議規(guī)則對網(wǎng)卡數(shù)據(jù)劃分，從而確定網(wǎng)卡數(shù)據(jù)各部分的含義，例如是請求數(shù)據(jù)還是握手數(shù)據(jù)等，得到對應(yīng)的請求數(shù)據(jù)包，并識別出請求數(shù)據(jù)包所對應(yīng)的虛擬機。
[0027]步驟S102，根據(jù)請求數(shù)據(jù)包攜帶的信息，向請求數(shù)據(jù)包所對應(yīng)的虛擬機的日志文件中寫入請求日志信息。
[0028]在本發(fā)明實施例中，虛擬機的日志文件可以存儲于實體機中，也可以將虛擬機的日志文件存儲于其他服務(wù)器。
[0029]請求數(shù)據(jù)包攜帶有對數(shù)據(jù)進行執(zhí)行的操作等，例如，客戶端想要寫入數(shù)據(jù)A=I，則該請求數(shù)據(jù)包攜帶有信息:A=I，在根據(jù)步驟S204識別出請求數(shù)據(jù)包對應(yīng)的虛擬機后，將數(shù)據(jù)信息、請求數(shù)據(jù)包的類型信息、請求時間等寫入到請求數(shù)據(jù)包所對應(yīng)的虛擬機的日志文件中。
[0030]根據(jù)本發(fā)明上述實施例提供的方法，通過抓取實體機的網(wǎng)卡接收到的網(wǎng)卡數(shù)據(jù)，根據(jù)預(yù)設(shè)協(xié)議，對網(wǎng)卡數(shù)據(jù)進行解析，得到請求數(shù)據(jù)包，并識別出請求數(shù)據(jù)包所對應(yīng)的虛擬機，根據(jù)請求數(shù)據(jù)包攜帶的信息，向請求數(shù)據(jù)包所對應(yīng)的虛擬機的日志文件中寫入請求日志信息，可以克服因所有的虛擬機都向?qū)嶓w機的磁盤寫日志，而造成加重的實體機負擔的缺陷，避免對實體機CPU的性能、實體機磁盤的性能造成影響，且便于對日志信息進行管理。
[0031]圖2示出了根據(jù)本發(fā)明另一個實施例的全量日志抓取方法的流程示意圖。如圖2所示，該方法包括以下步驟:
[0032 ]步驟S200，抓取實體機的網(wǎng)卡接收到的網(wǎng)卡數(shù)據(jù)。
[0033]—般情況下，一臺實體機會模擬多臺虛擬機，因此，實體機會為所模擬的多臺虛擬機分配相應(yīng)的端口，所有虛擬機的數(shù)據(jù)等都經(jīng)過實體機的網(wǎng)卡，因此可以通過解析網(wǎng)卡數(shù)據(jù)得到數(shù)據(jù)對應(yīng)的虛擬機。
[0034]其中，網(wǎng)卡數(shù)據(jù)包括:數(shù)據(jù)包頭和數(shù)據(jù)流，數(shù)據(jù)流是指一組有順序的、有起點和終點的字節(jié)集合，程序從鍵盤接收數(shù)據(jù)或向文件中寫數(shù)據(jù)，以及在網(wǎng)絡(luò)連接上進行數(shù)據(jù)的讀寫操作，都可以使用數(shù)據(jù)流來完成，從數(shù)據(jù)流并不能直觀獲知網(wǎng)卡數(shù)據(jù)的含義，只