本發(fā)明涉及容器日志技術(shù)領(lǐng)域，特別是涉及一種基于容器云系統(tǒng)的日志處理方法、裝置及其系統(tǒng)。

背景技術(shù)：

近年來(lái)，隨著互聯(lián)網(wǎng)的快速發(fā)展，以docker(一個(gè)開(kāi)源的應(yīng)用容器引擎)為主的容器技術(shù)受到了越來(lái)越多大型公司的使用，容器內(nèi)封裝有相應(yīng)的業(yè)務(wù)及應(yīng)用，不同容器之間相互獨(dú)立。

目前，Docker容器技術(shù)的日志處理機(jī)制多采用ELK(elasticsearch、logstash、kibana)來(lái)對(duì)容器云系統(tǒng)(即面向容器的云操作系統(tǒng)，這里簡(jiǎn)稱容器云系統(tǒng))中的容器的日志進(jìn)行收集、搜索及展示。其中，容器云系統(tǒng)包括主節(jié)點(diǎn)以及多個(gè)子節(jié)點(diǎn)，每個(gè)子節(jié)點(diǎn)內(nèi)包括若干個(gè)容器；Elasticsearch是一個(gè)基于Lucene的搜索服務(wù)器，Logstash是一款輕量級(jí)的日志搜索處理框架，Kibana是一個(gè)基于瀏覽器頁(yè)面的Elasticsearch前端展示工具。

但是，采用ELK技術(shù)對(duì)容器云系統(tǒng)進(jìn)行日志處理時(shí)，在采集每個(gè)子節(jié)點(diǎn)內(nèi)的容器日志的過(guò)程中，會(huì)將采集到的日志先進(jìn)行過(guò)濾處理，之后才會(huì)發(fā)送至主節(jié)點(diǎn)，即需要在每個(gè)子節(jié)點(diǎn)均進(jìn)行采集和過(guò)濾等處理，運(yùn)行占用子節(jié)點(diǎn)的CPU和內(nèi)存高，消耗子節(jié)點(diǎn)的資源較大。

因此，如何提供一種能夠減少對(duì)子節(jié)點(diǎn)的資源占用率的基于容器云系統(tǒng)的日志處理方法、裝置及其系統(tǒng)是本領(lǐng)域技術(shù)人員目前需要解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于容器云系統(tǒng)的日志處理方法、裝置及其系統(tǒng)，不需要在各個(gè)子節(jié)點(diǎn)內(nèi)進(jìn)行日志過(guò)濾等操作，對(duì)各個(gè)子節(jié)點(diǎn)的資源占用率低。

為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于容器云系統(tǒng)的日志處理方法，用于容器云系統(tǒng)的主節(jié)點(diǎn)，包括：

發(fā)送收集請(qǐng)求至相應(yīng)的子節(jié)點(diǎn)，供接收到所述收集請(qǐng)求的子節(jié)點(diǎn)收集自身包含的各個(gè)容器的日志并發(fā)送至所述主節(jié)點(diǎn)；

對(duì)接收到的日志進(jìn)行數(shù)據(jù)過(guò)濾處理；

對(duì)過(guò)濾后的日志進(jìn)行存儲(chǔ)并發(fā)送至顯示界面進(jìn)行顯示。

優(yōu)選地，將所述過(guò)濾后的日志發(fā)送至顯示界面進(jìn)行顯示的過(guò)程具體為：

對(duì)所述過(guò)濾后的日志進(jìn)行日志挖掘操作，得到挖掘結(jié)果；

將所述挖掘結(jié)果發(fā)送至所述顯示界面進(jìn)行顯示。

優(yōu)選地，所述對(duì)所述過(guò)濾后的日志進(jìn)行日志挖掘操作，得到挖掘結(jié)果的過(guò)程具體包括：

按照預(yù)設(shè)的挖掘標(biāo)準(zhǔn)對(duì)所述過(guò)濾后的日志進(jìn)行數(shù)據(jù)預(yù)處理，得到結(jié)構(gòu)化日志數(shù)據(jù)；

對(duì)所述結(jié)構(gòu)化日志數(shù)據(jù)按照預(yù)設(shè)算法進(jìn)行分析處理，得到所述挖掘結(jié)果。

為解決上述技術(shù)問(wèn)題，本發(fā)明還提供了一種基于容器云系統(tǒng)的日志處理裝置，用于容器云系統(tǒng)的主節(jié)點(diǎn)，包括：

收集層，用于發(fā)送收集請(qǐng)求至相應(yīng)的子節(jié)點(diǎn)，供接收到所述收集請(qǐng)求的子節(jié)點(diǎn)收集自身包含的各個(gè)容器的日志并發(fā)送至所述主節(jié)點(diǎn)；

過(guò)濾層，用于對(duì)接收到的日志進(jìn)行數(shù)據(jù)過(guò)濾處理；

存儲(chǔ)層，用于對(duì)過(guò)濾后的日志進(jìn)行存儲(chǔ)；

顯示層，用于將所述過(guò)濾后的日志發(fā)送至顯示界面進(jìn)行顯示。

優(yōu)選地，所述顯示層具體包括：

數(shù)據(jù)挖掘單元，用于對(duì)所述過(guò)濾后的日志進(jìn)行日志挖掘操作，得到挖掘結(jié)果；

數(shù)據(jù)顯示單元，用于將所述挖掘結(jié)果發(fā)送至所述顯示界面進(jìn)行顯示。

優(yōu)選地，所述數(shù)據(jù)挖掘單元具體用于：

按照預(yù)設(shè)的挖掘標(biāo)準(zhǔn)對(duì)所述過(guò)濾后的日志進(jìn)行數(shù)據(jù)預(yù)處理，得到結(jié)構(gòu)化日志數(shù)據(jù)；對(duì)所述結(jié)構(gòu)化日志數(shù)據(jù)按照預(yù)設(shè)算法進(jìn)行分析處理，得到所述挖掘結(jié)果。

為解決上述技術(shù)問(wèn)題，本發(fā)明還提供了一種基于容器云系統(tǒng)的日志處理系統(tǒng)，包括如以上任一項(xiàng)所述的日志處理裝置，以及分別位于所述容器云系統(tǒng)的各個(gè)子節(jié)點(diǎn)內(nèi)的若干個(gè)前置采集層；

所述前置采集層，用于接收到主節(jié)點(diǎn)發(fā)送的收集請(qǐng)求后，收集自身所在的子節(jié)點(diǎn)包含的各個(gè)容器的日志并發(fā)送至所述主節(jié)點(diǎn)。

優(yōu)選地，所述前置采集層還包括：

緩存單元，用于緩存自身所在的子節(jié)點(diǎn)內(nèi)的前置采集層收集的日志。

本發(fā)明提供了一種基于容器云系統(tǒng)的日志處理方法、裝置及其系統(tǒng)，采集各個(gè)子節(jié)點(diǎn)的容器的日志后，先將這些日志發(fā)送至主節(jié)點(diǎn)，然后再在主節(jié)點(diǎn)內(nèi)對(duì)這些日志進(jìn)行后續(xù)的過(guò)濾處理。即本發(fā)明不需要在各個(gè)子節(jié)點(diǎn)內(nèi)進(jìn)行日志過(guò)濾等操作，減少了對(duì)各個(gè)子節(jié)點(diǎn)的CPU和內(nèi)存等資源的占用，降低了對(duì)各個(gè)子節(jié)點(diǎn)的資源占用率。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)現(xiàn)有技術(shù)和實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明提供的一種基于容器云系統(tǒng)的日志處理方法的過(guò)程的流程圖；

圖2為本發(fā)明提供的另一種基于容器云系統(tǒng)的日志處理方法的過(guò)程的流程圖；

圖3為本發(fā)明提供的一種基于容器云系統(tǒng)的日志處理系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

本發(fā)明的核心是提供一種基于容器云系統(tǒng)的日志處理方法、裝置及其系統(tǒng)，不需要在各個(gè)子節(jié)點(diǎn)內(nèi)進(jìn)行日志過(guò)濾等操作，對(duì)各個(gè)子節(jié)點(diǎn)的資源占用率低。

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

實(shí)施例一

本發(fā)明提供了一種基于容器云系統(tǒng)的日志處理方法，用于容器云系統(tǒng)的主節(jié)點(diǎn)，參見(jiàn)圖1所示，圖1為本發(fā)明提供的一種基于容器云系統(tǒng)的日志處理方法的過(guò)程的流程圖；該方法包括：

步驟s101：發(fā)送收集請(qǐng)求至相應(yīng)的子節(jié)點(diǎn)，供接收到收集請(qǐng)求的子節(jié)點(diǎn)收集自身包含的各個(gè)容器的日志并發(fā)送至主節(jié)點(diǎn)；

步驟s102：對(duì)接收到的日志進(jìn)行數(shù)據(jù)過(guò)濾處理；

其中，這里的過(guò)濾處理是為了濾除一些無(wú)用的日志數(shù)據(jù)，使得數(shù)據(jù)更有價(jià)值。

步驟s103：對(duì)過(guò)濾后的日志進(jìn)行存儲(chǔ)并發(fā)送至顯示界面進(jìn)行顯示。

可以理解的是，過(guò)濾操作僅運(yùn)行在主節(jié)點(diǎn)，能夠降低子節(jié)點(diǎn)的運(yùn)行負(fù)載，降低子節(jié)點(diǎn)因負(fù)載過(guò)高而出現(xiàn)運(yùn)行故障的風(fēng)險(xiǎn)。

本發(fā)明提供了一種基于容器云系統(tǒng)的日志處理方法，采集各個(gè)子節(jié)點(diǎn)的容器的日志后，先將這些日志發(fā)送至主節(jié)點(diǎn)，然后再在主節(jié)點(diǎn)內(nèi)對(duì)這些日志進(jìn)行后續(xù)的過(guò)濾處理。即本發(fā)明不需要在各個(gè)子節(jié)點(diǎn)內(nèi)進(jìn)行日志過(guò)濾等操作，減少了對(duì)各個(gè)子節(jié)點(diǎn)的CPU和內(nèi)存等資源的占用，降低了對(duì)各個(gè)子節(jié)點(diǎn)的資源占用率。

實(shí)施例二

基于實(shí)施例一的基礎(chǔ)上，本發(fā)明還提供了另一種基于容器云系統(tǒng)的日志處理方法。

其中，步驟s103的過(guò)程具體為：

對(duì)過(guò)濾后的日志進(jìn)行日志挖掘操作，得到挖掘結(jié)果；

將挖掘結(jié)果發(fā)送至顯示界面進(jìn)行顯示。

可以理解的是，目前的ELK方法沒(méi)有對(duì)日志進(jìn)行深層挖掘，用戶想要得到的一些信息不能夠直接得到，用戶體驗(yàn)較差；而通過(guò)上述日志挖掘操作，能夠?qū)⒂脩粝胍吹降囊恍┨幚斫Y(jié)果展示出來(lái)，提高了用戶體驗(yàn)。

具體的，對(duì)過(guò)濾后的日志進(jìn)行日志挖掘操作，得到挖掘結(jié)果的過(guò)程具體包括：

按照預(yù)設(shè)的挖掘標(biāo)準(zhǔn)對(duì)過(guò)濾后的日志進(jìn)行數(shù)據(jù)預(yù)處理，得到結(jié)構(gòu)化日志數(shù)據(jù)；

對(duì)結(jié)構(gòu)化日志數(shù)據(jù)按照預(yù)設(shè)算法進(jìn)行分析處理，得到挖掘結(jié)果。

其中，這里的挖掘標(biāo)準(zhǔn)可由用戶進(jìn)行自定義設(shè)置。這里的預(yù)設(shè)算法包括聚類算法、分類算法、關(guān)聯(lián)分析算法中的一種或多種，當(dāng)然，預(yù)設(shè)算法也可以為其他算法，本發(fā)明對(duì)此不作特別限定。

參見(jiàn)圖2所示，圖2為本發(fā)明提供的另一種基于容器云系統(tǒng)的日志處理方法的過(guò)程的流程圖。

與實(shí)施例一相比，本實(shí)施例增加了數(shù)據(jù)挖掘的操作，能夠根據(jù)用戶需要進(jìn)行不同類型的數(shù)據(jù)挖掘，并將挖掘結(jié)果進(jìn)行展示，盡可能滿足了用戶需求，提高了用戶體驗(yàn)。

本發(fā)明還提供了一種基于容器云系統(tǒng)的日志處理裝置，用于容器云系統(tǒng)的主節(jié)點(diǎn)，該裝置包括：

收集層21，用于發(fā)送收集請(qǐng)求至相應(yīng)的子節(jié)點(diǎn)1，供接收到收集請(qǐng)求的子節(jié)點(diǎn)1收集自身包含的各個(gè)容器的日志并發(fā)送至主節(jié)點(diǎn)2；

過(guò)濾層22，用于對(duì)接收到的日志進(jìn)行數(shù)據(jù)過(guò)濾處理；

存儲(chǔ)層23，用于對(duì)過(guò)濾后的日志進(jìn)行存儲(chǔ)；

顯示層24，用于將過(guò)濾后的日志發(fā)送至顯示界面進(jìn)行顯示。

具體的，顯示層24具體包括：

數(shù)據(jù)挖掘單元，用于對(duì)過(guò)濾后的日志進(jìn)行日志挖掘操作，得到挖掘結(jié)果；

數(shù)據(jù)顯示單元，用于將挖掘結(jié)果發(fā)送至顯示界面進(jìn)行顯示。

其中，數(shù)據(jù)挖掘單元具體用于：

按照預(yù)設(shè)的挖掘標(biāo)準(zhǔn)對(duì)過(guò)濾后的日志進(jìn)行數(shù)據(jù)預(yù)處理，得到結(jié)構(gòu)化日志數(shù)據(jù)；對(duì)結(jié)構(gòu)化日志數(shù)據(jù)按照預(yù)設(shè)算法進(jìn)行分析處理，得到挖掘結(jié)果。

本發(fā)明提供了一種基于容器云系統(tǒng)的日志處理裝置，采集各個(gè)子節(jié)點(diǎn)的容器的日志后，先將這些日志發(fā)送至主節(jié)點(diǎn)，然后再在主節(jié)點(diǎn)內(nèi)對(duì)這些日志進(jìn)行后續(xù)的過(guò)濾處理。即本發(fā)明不需要在各個(gè)子節(jié)點(diǎn)內(nèi)進(jìn)行日志過(guò)濾等操作，減少了對(duì)各個(gè)子節(jié)點(diǎn)的CPU和內(nèi)存等資源的占用，降低了對(duì)各個(gè)子節(jié)點(diǎn)的資源占用率。

本發(fā)明還提供了一種基于容器云系統(tǒng)的日志處理系統(tǒng)，包括以上處理裝置，以及分別位于容器云系統(tǒng)的各個(gè)子節(jié)點(diǎn)1內(nèi)的若干個(gè)前置采集層11；參見(jiàn)圖3所示，圖3為本發(fā)明提供的一種基于容器云系統(tǒng)的日志處理系統(tǒng)的結(jié)構(gòu)示意圖。

前置采集層11，用于接收到主節(jié)點(diǎn)2發(fā)送的收集請(qǐng)求后，收集自身所在的子節(jié)點(diǎn)1包含的各個(gè)容器的日志并發(fā)送至主節(jié)點(diǎn)2。

作為優(yōu)選地，前置采集層11還包括：

緩存單元，用于緩存自身所在的子節(jié)點(diǎn)內(nèi)的前置采集層11收集的日志。

此時(shí)，前置采集層11先將收集的日志發(fā)送至緩存單元進(jìn)行緩存，再由緩存單元將日志發(fā)送至主節(jié)點(diǎn)2。

可以理解的是，通過(guò)設(shè)置緩存單元，當(dāng)主節(jié)點(diǎn)2中的收集層21故障而停止運(yùn)行時(shí)，或子節(jié)點(diǎn)1中的前置采集層11故障而停止運(yùn)行時(shí)，由于之前采集的日志均緩存至對(duì)應(yīng)的緩存單元內(nèi)，故能夠避免日志數(shù)據(jù)的丟失，保證了日志數(shù)據(jù)的安全性。

本說(shuō)明書中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見(jiàn)即可。對(duì)于實(shí)施例公開(kāi)的裝置而言，由于其與實(shí)施例公開(kāi)的方法相對(duì)應(yīng)，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法部分說(shuō)明即可。

還需要說(shuō)明的是，在本說(shuō)明書中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開(kāi)來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。

對(duì)所公開(kāi)的實(shí)施例的上述說(shuō)明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專業(yè)技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其他實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開(kāi)的原理和新穎特點(diǎn)相一致的最寬的范圍。