數(shù)據(jù)處理方法及數(shù)據(jù)處理裝置的制造方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法和一種數(shù)據(jù)處理裝置。
【背景技術(shù)】
[0002]目前，移動(dòng)端的數(shù)據(jù)采集有很多種方式，最常見(jiàn)的是消息總線的方式。但消息總線的方式存在以下幾個(gè)問(wèn)題:
[0003]1、數(shù)據(jù)量太大，導(dǎo)致數(shù)據(jù)收集服務(wù)器的壓力過(guò)大；
[0004]2、由于大量的數(shù)據(jù)到達(dá)數(shù)據(jù)收集服務(wù)器，因此數(shù)據(jù)質(zhì)量難以保證；
[0005]3、收集到的數(shù)據(jù)存在異常的情況，如數(shù)據(jù)量突增或突減；
[0006]4、無(wú)法保證實(shí)現(xiàn)攻擊預(yù)防，可能會(huì)受到惡意攻擊。

【發(fā)明內(nèi)容】

[0007]本發(fā)明正是基于上述技術(shù)問(wèn)題至少之一，提出了一種新的數(shù)據(jù)處理方案，提高了數(shù)據(jù)接收過(guò)程的可靠性，并保證了數(shù)據(jù)接收過(guò)程的高性能要求，同時(shí)能夠?qū)邮盏降臄?shù)據(jù)質(zhì)量進(jìn)行監(jiān)控。
[0008]有鑒于此，根據(jù)本發(fā)明的第一方面，提出了一種數(shù)據(jù)處理方法，包括:構(gòu)建分布式的消息接收系統(tǒng);通過(guò)所述分布式的消息接收系統(tǒng)接收客戶端發(fā)送的數(shù)據(jù);對(duì)所述分布式的消息接收系統(tǒng)接收到的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換處理，以得到格式化數(shù)據(jù);對(duì)所述格式化數(shù)據(jù)進(jìn)行格式檢測(cè)和數(shù)據(jù)量檢測(cè)，以對(duì)所述客戶端發(fā)送的數(shù)據(jù)進(jìn)行質(zhì)量監(jiān)控。
[0009]在該技術(shù)方案中，通過(guò)構(gòu)建分布式的消息接收系統(tǒng)，并通過(guò)分布式的消息接收系統(tǒng)接收客戶端發(fā)送的數(shù)據(jù)，使得能夠避免現(xiàn)有技術(shù)中通過(guò)單一的數(shù)據(jù)收集服務(wù)器來(lái)接收客戶端發(fā)送的大量數(shù)據(jù)而導(dǎo)致數(shù)據(jù)收集服務(wù)器的壓力過(guò)大的問(wèn)題，提高了在數(shù)據(jù)接收過(guò)程中的可靠性，并保證了數(shù)據(jù)接收過(guò)程的高性能要求;通過(guò)對(duì)分布式的消息接收系統(tǒng)接收到的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換處理，使得能夠便于后續(xù)對(duì)數(shù)據(jù)質(zhì)量進(jìn)行分析和監(jiān)控處理;通過(guò)對(duì)格式化數(shù)據(jù)進(jìn)行格式檢測(cè)和數(shù)據(jù)量檢測(cè)，使得能夠保證接收到的數(shù)據(jù)的質(zhì)量，并且避免接收到的數(shù)據(jù)出現(xiàn)數(shù)據(jù)量突增突減等問(wèn)題。
[0010]在上述任一技術(shù)方案中，優(yōu)選地，對(duì)所述格式化數(shù)據(jù)進(jìn)行格式檢測(cè)和數(shù)據(jù)量檢測(cè)，以對(duì)所述客戶端發(fā)送的數(shù)據(jù)進(jìn)行質(zhì)量監(jiān)控的步驟，具體包括:檢測(cè)所述格式化數(shù)據(jù)的格式是否異常；確定所述格式化數(shù)據(jù)中格式異常的數(shù)據(jù)所占的比例;在所述比例大于或等于預(yù)定值時(shí)，確定所述客戶端發(fā)送的數(shù)據(jù)出現(xiàn)異常，并進(jìn)行報(bào)警提示。
[0011]在該技術(shù)方案中，通過(guò)在格式化數(shù)據(jù)中格式異常的數(shù)據(jù)所占的比例大于或等于預(yù)定值時(shí)，確定客戶端發(fā)送的數(shù)據(jù)出現(xiàn)異常，使得數(shù)據(jù)處理裝置能夠在監(jiān)控?cái)?shù)據(jù)質(zhì)量的前提下，具有一定的容錯(cuò)性能，即在格式化數(shù)據(jù)中格式異常的數(shù)據(jù)所占的比例小于預(yù)定值時(shí)，不進(jìn)行報(bào)警提示。
[0012]在上述任一技術(shù)方案中，優(yōu)選地，對(duì)所述格式化數(shù)據(jù)進(jìn)行格式檢測(cè)和數(shù)據(jù)量檢測(cè)，以對(duì)所述客戶端發(fā)送的數(shù)據(jù)進(jìn)行質(zhì)量監(jiān)控的步驟，具體還包括:統(tǒng)計(jì)對(duì)所述格式化數(shù)據(jù)的歷史接收量;根據(jù)所述歷史接收量，判斷當(dāng)前接收到的所述格式化數(shù)據(jù)的接收量變化率是否處于預(yù)定范圍內(nèi)；在判定當(dāng)前接收到的所述格式化數(shù)據(jù)的接收量變化率未處于所述預(yù)定范圍內(nèi)時(shí)，進(jìn)行報(bào)警提示。
[0013]在該技術(shù)方案中，通過(guò)根據(jù)歷史接收量對(duì)當(dāng)前接收到的格式化數(shù)據(jù)的接收量變化量是否處于預(yù)定范圍內(nèi)進(jìn)行判斷，使得能夠在數(shù)據(jù)接收量發(fā)生異常時(shí)，及時(shí)進(jìn)行報(bào)警提示。具體地，如在通過(guò)由Kafka(—種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng))集群構(gòu)成的分布式的消息接收系統(tǒng)來(lái)接收數(shù)據(jù)時(shí)，通過(guò)該技術(shù)方案，能夠有效檢測(cè)到由于Kafka原因?qū)е碌臄?shù)據(jù)量驟降的問(wèn)題；同時(shí)，也能夠避免客戶端重復(fù)上傳重復(fù)的數(shù)據(jù)而導(dǎo)致接收到的數(shù)據(jù)量過(guò)高的問(wèn)題。
[0014]在上述任一技術(shù)方案中，優(yōu)選地，在通過(guò)所述分布式的消息接收系統(tǒng)接收客戶端發(fā)送的數(shù)據(jù)的步驟之前，還包括:判斷任一客戶端在預(yù)定時(shí)間內(nèi)發(fā)送的數(shù)據(jù)量是否超過(guò)數(shù)據(jù)量閾值，若是，則拒絕接收所述任一客戶端發(fā)送的數(shù)據(jù)。
[0015]在該技術(shù)方案中，若任一客戶端在預(yù)定時(shí)間內(nèi)發(fā)送的數(shù)據(jù)量過(guò)大，則可能是惡意攻擊，因此通過(guò)在判定任一客戶端在預(yù)定時(shí)間內(nèi)發(fā)送的數(shù)據(jù)量超過(guò)數(shù)據(jù)量閾值時(shí)，拒絕接收該客戶端發(fā)送的數(shù)據(jù)，使得能夠進(jìn)行攻擊預(yù)防，避免可能出現(xiàn)的惡性攻擊問(wèn)題，保證數(shù)據(jù)處理裝置的正常穩(wěn)定運(yùn)行。
[0016]在上述任一技術(shù)方案中，優(yōu)選地，通過(guò)Spark streaming(構(gòu)建在Spark上處理Stream數(shù)據(jù)的框架)對(duì)所述分布式的消息接收系統(tǒng)接收到的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換處理；
[0017]所述構(gòu)建分布式的消息接收系統(tǒng)的步驟，具體包括:構(gòu)建Kafka集群，以構(gòu)成所述分布式的消息接收系統(tǒng)。
[0018]根據(jù)本發(fā)明的第二方面，還提出了一種數(shù)據(jù)處理裝置，包括:系統(tǒng)構(gòu)建單元，用于構(gòu)建分布式的消息接收系統(tǒng);數(shù)據(jù)接收單元，用于通過(guò)所述分布式的消息接收系統(tǒng)接收客戶端發(fā)送的數(shù)據(jù);格式化單元，用于對(duì)所述分布式的消息接收系統(tǒng)接收到的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換處理，以得到格式化數(shù)據(jù);質(zhì)量監(jiān)控單元，用于對(duì)所述格式化數(shù)據(jù)進(jìn)行格式檢測(cè)和數(shù)據(jù)量檢測(cè)，以對(duì)所述客戶端發(fā)送的數(shù)據(jù)進(jìn)行質(zhì)量監(jiān)控。
[0019]在該技術(shù)方案中，通過(guò)構(gòu)建分布式的消息接收系統(tǒng)，并通過(guò)分布式的消息接收系統(tǒng)接收客戶端發(fā)送的數(shù)據(jù)，使得能夠避免現(xiàn)有技術(shù)中通過(guò)單一的數(shù)據(jù)收集服務(wù)器來(lái)接收客戶端發(fā)送的大量數(shù)據(jù)而導(dǎo)致數(shù)據(jù)收集服務(wù)器的壓力過(guò)大的問(wèn)題，提高了在數(shù)據(jù)接收過(guò)程中的可靠性，并保證了數(shù)據(jù)接收過(guò)程的高性能要求;通過(guò)對(duì)分布式的消息接收系統(tǒng)接收到的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換處理，使得能夠便于后續(xù)對(duì)數(shù)據(jù)質(zhì)量進(jìn)行分析和監(jiān)控處理;通過(guò)對(duì)格式化數(shù)據(jù)進(jìn)行格式檢測(cè)和數(shù)據(jù)量檢測(cè)，使得能夠保證接收到的數(shù)據(jù)的質(zhì)量，并且避免接收到的數(shù)據(jù)出現(xiàn)數(shù)據(jù)量突增突減等問(wèn)題。
[0020]在上述技術(shù)方案中，優(yōu)選地，所述質(zhì)量監(jiān)控單元包括:第一檢測(cè)單元，用于檢測(cè)所述格式化數(shù)據(jù)的格式是否異常;確定單元，用于確定所述格式化數(shù)據(jù)中格式異常的數(shù)據(jù)所占的比例;處理單元，用于在所述比例大于或等于預(yù)定值時(shí)，確定所述客戶端發(fā)送的數(shù)據(jù)出現(xiàn)異常，并進(jìn)行報(bào)警提示。
[0021]在該技術(shù)方案中，通過(guò)在格式化數(shù)據(jù)中格式異常的數(shù)據(jù)所占的比例大于或等于預(yù)定值時(shí)，確定客戶端發(fā)送的數(shù)據(jù)出現(xiàn)異常，使得數(shù)據(jù)處理裝置能夠在監(jiān)控?cái)?shù)據(jù)質(zhì)量的前提下，具有一定的容錯(cuò)性能，即在格式化數(shù)據(jù)中格式異常的數(shù)據(jù)所占的比例小于預(yù)定值時(shí)，不進(jìn)行報(bào)警提示。
[0022]在上述任一技術(shù)方案中，優(yōu)選地，所述質(zhì)量監(jiān)控單元還包括:統(tǒng)計(jì)單元，用于統(tǒng)計(jì)對(duì)所述格式化數(shù)據(jù)的歷史接收量;第一判斷單元，用于根據(jù)所述歷史接收量，判斷當(dāng)前接收到的所述格式化數(shù)據(jù)的接收量變化率是否處于預(yù)定范圍內(nèi)；所述處理單元，還用于在所述第一判斷單元判定當(dāng)前接收到的所述格式化數(shù)據(jù)的接收量變化率未處于所述預(yù)定范圍內(nèi)時(shí)，進(jìn)行報(bào)警提示。
[0023]在該技術(shù)方案中，通過(guò)根據(jù)歷史接收量對(duì)當(dāng)前接收到的格式化數(shù)據(jù)的接收量變化量是否處于預(yù)定范圍內(nèi)進(jìn)行判斷，使得能夠在數(shù)據(jù)接收量發(fā)生異常時(shí)，及時(shí)進(jìn)行報(bào)警提示。具體地，如在通過(guò)由Kafka集群構(gòu)成的分布式的消息接收系統(tǒng)來(lái)接收數(shù)據(jù)時(shí)，通過(guò)該技術(shù)方案，能夠有效檢測(cè)到由于Kafka原因?qū)е碌臄?shù)據(jù)量驟降的問(wèn)題；同時(shí)，也能夠避免客戶端重復(fù)上傳重復(fù)的數(shù)據(jù)而導(dǎo)致接收到的數(shù)據(jù)量過(guò)高的問(wèn)題。
[0024]在上述任一技術(shù)方案中，優(yōu)選地，還包括:第二判斷單元，用于所述數(shù)據(jù)接收單元接收客戶端發(fā)送的數(shù)據(jù)之前，判斷任一客戶端在預(yù)定時(shí)間內(nèi)發(fā)送的數(shù)據(jù)量是否超過(guò)數(shù)據(jù)量閾值;所述數(shù)據(jù)接收單元還用于，在所述第二判斷單元判定所述任一客戶端在預(yù)定時(shí)間內(nèi)發(fā)送的數(shù)據(jù)量是否超過(guò)所述數(shù)據(jù)量閾值時(shí)，拒絕接收所述任一客戶端發(fā)送的數(shù)據(jù)。
[0025]在該技術(shù)方案中，若任一客戶端在預(yù)定時(shí)間內(nèi)發(fā)送的數(shù)據(jù)量過(guò)大，則可能是惡意攻擊，因此通過(guò)在判定任一客戶端在預(yù)定時(shí)間內(nèi)發(fā)送的數(shù)據(jù)量超過(guò)數(shù)據(jù)量閾值時(shí)，拒絕接收該客戶端發(fā)送的數(shù)據(jù)，使得能夠進(jìn)行攻擊預(yù)防，避免可能出現(xiàn)的惡性攻擊問(wèn)題，保證數(shù)據(jù)處理裝置的正常穩(wěn)定運(yùn)行。
[0026]在上述任一技術(shù)方案中，優(yōu)選地，所述格式化單元具體用于，通過(guò)Sparkstreaming對(duì)所述分布式的消息接收系統(tǒng)接收到的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換處理;所述系統(tǒng)構(gòu)建單元具體用于:構(gòu)建Kafka集群，以構(gòu)成所述分布式的消息接收系統(tǒng)。
[0027]通過(guò)以上技術(shù)方案，提高了數(shù)據(jù)接收過(guò)程的可靠性，并保證了數(shù)據(jù)接收過(guò)程的高性能要求，同時(shí)能夠?qū)邮盏降臄?shù)據(jù)質(zhì)量進(jìn)行監(jiān)控，并且能夠進(jìn)行攻擊預(yù)防，避免可能出現(xiàn)的惡性攻擊問(wèn)題，保證數(shù)據(jù)處理裝置的正常穩(wěn)定運(yùn)行。
【附圖說(shuō)明】
[0028]圖1示出了根據(jù)本發(fā)明的實(shí)施例的數(shù)據(jù)處理方法的示意流程圖；
[0029]圖2示出了根據(jù)本發(fā)明的實(shí)施例的數(shù)據(jù)處理裝置的示意