欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種不合規(guī)數(shù)據(jù)的修復(fù)方法、數(shù)據(jù)處理設(shè)備及存儲(chǔ)介質(zhì)與流程

文檔序號(hào):11386335閱讀:301來(lái)源:國(guó)知局
本發(fā)明涉及電子
技術(shù)領(lǐng)域
:,尤其涉及一種不合規(guī)數(shù)據(jù)的修復(fù)方法、數(shù)據(jù)處理設(shè)備及存儲(chǔ)介質(zhì)。
背景技術(shù)
::在數(shù)據(jù)統(tǒng)計(jì)分析領(lǐng)域中需要大量的基礎(chǔ)數(shù)據(jù),目前,可以在移動(dòng)終端中安裝sdk(softwaredevelopmentkit,軟件開(kāi)發(fā)工具包),將sdk作為數(shù)據(jù)采集端來(lái)采集數(shù)據(jù),對(duì)sdk采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理之后,可以進(jìn)行統(tǒng)計(jì)分析。在數(shù)據(jù)處理階段,需要對(duì)數(shù)據(jù)進(jìn)行合法性校驗(yàn)。合法性校驗(yàn)是指判斷數(shù)據(jù)是否符合預(yù)設(shè)條件,例如:判斷數(shù)據(jù)采集端采集的數(shù)據(jù)是否為預(yù)設(shè)時(shí)間段內(nèi)產(chǎn)生的數(shù)據(jù);對(duì)于符合預(yù)設(shè)條件的數(shù)據(jù),認(rèn)定為是合規(guī)數(shù)據(jù),對(duì)于不符合預(yù)設(shè)條件的數(shù)據(jù),認(rèn)定為是不合規(guī)數(shù)據(jù)。對(duì)于校驗(yàn)通過(guò)的合規(guī)數(shù)據(jù)可以進(jìn)行后續(xù)的數(shù)據(jù)處理,對(duì)于校驗(yàn)未通過(guò)的不合規(guī)數(shù)據(jù)則舍棄。然而,對(duì)于合法性校驗(yàn)未通過(guò)的不合規(guī)數(shù)據(jù),有時(shí)只是因?yàn)閿?shù)據(jù)采集端埋點(diǎn)錯(cuò)誤導(dǎo)致的某一個(gè)或某幾個(gè)字段錯(cuò)誤或者缺失造成的,而這些字段的值在當(dāng)前場(chǎng)景下是可知的。在現(xiàn)有技術(shù)中,因埋點(diǎn)錯(cuò)誤被認(rèn)定為不合規(guī)數(shù)據(jù)的數(shù)據(jù)不能被回收利用,這部分不合規(guī)數(shù)據(jù)往往會(huì)為后續(xù)的數(shù)據(jù)處理帶來(lái)以下問(wèn)題:(1)數(shù)據(jù)被大量廢棄。由于數(shù)據(jù)采集端通常是移動(dòng)終端中安裝的sdk,某一版本的sdk一旦發(fā)布,即便發(fā)現(xiàn)埋點(diǎn)錯(cuò)誤,也難以回收因埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù),即使后續(xù)修復(fù)該埋點(diǎn)錯(cuò)誤的問(wèn)題,也無(wú)法挽救已經(jīng)發(fā)布的sdk已經(jīng)造成的問(wèn)題。(2)持續(xù)影響統(tǒng)計(jì)結(jié)果。由于問(wèn)題(1)的原因,將進(jìn)一步導(dǎo)致數(shù)據(jù)統(tǒng)計(jì)的計(jì)算結(jié)果不準(zhǔn)確,而這往往是持續(xù)性的,如果無(wú)法修復(fù)這部分因埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù),將對(duì)計(jì)算結(jié)果產(chǎn)生巨大的消極影響。技術(shù)實(shí)現(xiàn)要素:本發(fā)明的主要目的在于提出一種不合規(guī)數(shù)據(jù)的修復(fù)方法、數(shù)據(jù)處理設(shè)備及存儲(chǔ)介質(zhì),旨在解決現(xiàn)有技術(shù)中,因埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)不能被有效回收利用的問(wèn)題。為實(shí)現(xiàn)上述發(fā)明目的,本發(fā)明采用下述的技術(shù)方案:本發(fā)明提供了一種不合規(guī)數(shù)據(jù)的修復(fù)方法,所述方法包括:接收數(shù)據(jù)采集端采集的數(shù)據(jù);根據(jù)所述數(shù)據(jù)中的不合規(guī)數(shù)據(jù),判斷所述采集端是否埋點(diǎn)錯(cuò)誤;如果埋點(diǎn)錯(cuò)誤,則設(shè)置數(shù)據(jù)修復(fù)規(guī)則;根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,修復(fù)所述數(shù)據(jù)中的不合規(guī)數(shù)據(jù)??蛇x地,在所述接收數(shù)據(jù)采集端采集的數(shù)據(jù)之后,所述方法還包括:對(duì)數(shù)據(jù)采集端根據(jù)預(yù)設(shè)的埋點(diǎn)字段采集的數(shù)據(jù)進(jìn)行合法性校驗(yàn);將合法性校驗(yàn)未通過(guò)的數(shù)據(jù)作為不合規(guī)數(shù)據(jù)并存儲(chǔ),將合法性校驗(yàn)通過(guò)的數(shù)據(jù)作為合規(guī)數(shù)據(jù)并存儲(chǔ)??蛇x地,所述設(shè)置數(shù)據(jù)修復(fù)規(guī)則,包括:通過(guò)分析所述不合規(guī)數(shù)據(jù),確定待修復(fù)字段;所述待修復(fù)字段包括:所述埋點(diǎn)字段中的缺失字段和/或錯(cuò)誤字段;根據(jù)所述待修復(fù)字段,設(shè)置數(shù)據(jù)修復(fù)規(guī)則??蛇x地,所述根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,修復(fù)所述數(shù)據(jù)中的不合規(guī)數(shù)據(jù),包括:根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,將埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)修復(fù)為合規(guī)數(shù)據(jù),并將修復(fù)出的合規(guī)數(shù)據(jù)與其他合規(guī)數(shù)據(jù)一同存儲(chǔ)??蛇x地,所述根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,修復(fù)所述數(shù)據(jù)中的不合規(guī)數(shù)據(jù),包括:對(duì)已經(jīng)存儲(chǔ)的不合規(guī)數(shù)據(jù)進(jìn)行分類(lèi);獲取屬于預(yù)設(shè)分類(lèi)的不合規(guī)數(shù)據(jù);根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,將埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)修復(fù)為合規(guī)數(shù)據(jù),并將修復(fù)出的合規(guī)數(shù)據(jù)與其他合規(guī)數(shù)據(jù)一同存儲(chǔ)。本發(fā)明提供了一種數(shù)據(jù)處理設(shè)備,所述數(shù)據(jù)處理設(shè)備包括處理器、存儲(chǔ)器;所述處理器用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的不合規(guī)數(shù)據(jù)的修復(fù)程序,以實(shí)現(xiàn)以下步驟:接收數(shù)據(jù)采集端采集的數(shù)據(jù);根據(jù)所述數(shù)據(jù)中的不合規(guī)數(shù)據(jù),判斷所述采集端是否埋點(diǎn)錯(cuò)誤;如果埋點(diǎn)錯(cuò)誤,則設(shè)置數(shù)據(jù)修復(fù)規(guī)則;根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,修復(fù)所述數(shù)據(jù)中的不合規(guī)數(shù)據(jù)??蛇x地,在所述接收數(shù)據(jù)采集端采集的數(shù)據(jù)之后,所述處理器還用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的不合規(guī)數(shù)據(jù)的修復(fù)程序,以實(shí)現(xiàn)以下步驟:對(duì)數(shù)據(jù)采集端根據(jù)預(yù)設(shè)的埋點(diǎn)字段采集的數(shù)據(jù)進(jìn)行合法性校驗(yàn);將合法性校驗(yàn)未通過(guò)的數(shù)據(jù)作為不合規(guī)數(shù)據(jù)并存儲(chǔ),將合法性校驗(yàn)通過(guò)的數(shù)據(jù)作為合規(guī)數(shù)據(jù)并存儲(chǔ)??蛇x地,所述處理器還用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的不合規(guī)數(shù)據(jù)的修復(fù)程序,以實(shí)現(xiàn)以下步驟:通過(guò)分析所述不合規(guī)數(shù)據(jù),確定待修復(fù)字段;所述待修復(fù)字段包括:所述埋點(diǎn)字段中的缺失字段和/或錯(cuò)誤字段;根據(jù)所述待修復(fù)字段,設(shè)置數(shù)據(jù)修復(fù)規(guī)則??蛇x地,所述處理器還用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的不合規(guī)數(shù)據(jù)的修復(fù)程序,以實(shí)現(xiàn)以下步驟:根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,將埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)修復(fù)為合規(guī)數(shù)據(jù),并將修復(fù)出的合規(guī)數(shù)據(jù)與其他合規(guī)數(shù)據(jù)一同存儲(chǔ)。本發(fā)明提供了一種存儲(chǔ)介質(zhì),所述存儲(chǔ)介質(zhì)存儲(chǔ)有一個(gè)或者多個(gè)程序,所述一個(gè)或者多個(gè)程序可被一個(gè)或者多個(gè)處理器執(zhí)行,以實(shí)現(xiàn)上述的不合規(guī)數(shù)據(jù)的修復(fù)方法。本發(fā)明所提出的不合規(guī)數(shù)據(jù)的修復(fù)方法、數(shù)據(jù)處理設(shè)備及存儲(chǔ)介質(zhì)具有如下有益效果:本發(fā)明在移動(dòng)終端中設(shè)置數(shù)據(jù)采集端,該數(shù)據(jù)采集端根據(jù)預(yù)設(shè)的埋點(diǎn)字段采集數(shù)據(jù);該數(shù)據(jù)采集端通過(guò)移動(dòng)終端將采集的數(shù)據(jù)上報(bào)數(shù)據(jù)處理設(shè)備;數(shù)據(jù)處理設(shè)備對(duì)數(shù)據(jù)采集端采集的數(shù)據(jù)進(jìn)行合法性校驗(yàn),篩選出數(shù)據(jù)中的不合規(guī)數(shù)據(jù)和合規(guī)數(shù)據(jù);如果發(fā)現(xiàn)不合規(guī)數(shù)據(jù)是因?yàn)閿?shù)據(jù)采集端埋點(diǎn)錯(cuò)誤導(dǎo)致的,則設(shè)置數(shù)據(jù)修復(fù)規(guī)則,利用數(shù)據(jù)修復(fù)規(guī)則對(duì)不合格數(shù)據(jù)進(jìn)行自動(dòng)修復(fù),有效回收已經(jīng)得到修復(fù)的不合規(guī)數(shù)據(jù),將已經(jīng)得到修復(fù)的不合規(guī)數(shù)據(jù)作為合規(guī)數(shù)據(jù)進(jìn)行存儲(chǔ),作為數(shù)據(jù)處理和數(shù)據(jù)分析的基礎(chǔ)數(shù)據(jù),使不合規(guī)數(shù)據(jù)得到有效利用。附圖說(shuō)明圖1為實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例一可選的移動(dòng)終端的硬件結(jié)構(gòu)示意圖;圖2為如圖1所示的移動(dòng)終端的無(wú)線通信系統(tǒng)示意圖;圖3為根據(jù)本發(fā)明第一實(shí)施例的不合規(guī)數(shù)據(jù)的修復(fù)方法的流程圖;圖4為根據(jù)本發(fā)明第二實(shí)施例的不合規(guī)數(shù)據(jù)的修復(fù)方法的具體流程圖;圖5為根據(jù)本發(fā)明第三實(shí)施例的數(shù)據(jù)處理設(shè)備的結(jié)構(gòu)圖。本發(fā)明目的的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例,參照附圖做進(jìn)一步說(shuō)明。具體實(shí)施方式應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。在后續(xù)的描述中,使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說(shuō)明,其本身沒(méi)有特定的意義。因此,“模塊”、“部件”或“單元”可以混合地使用。終端可以以各種形式來(lái)實(shí)施。例如,本發(fā)明中描述的終端可以包括諸如手機(jī)、平板電腦、筆記本電腦、掌上電腦、個(gè)人數(shù)字助理(personaldigitalassistant,pda)、便捷式媒體播放器(portablemediaplayer,pmp)、導(dǎo)航裝置、可穿戴設(shè)備、智能手環(huán)、計(jì)步器等移動(dòng)終端,以及諸如數(shù)字tv、臺(tái)式計(jì)算機(jī)等固定終端。后續(xù)描述中將以移動(dòng)終端為例進(jìn)行說(shuō)明,本領(lǐng)域技術(shù)人員將理解的是,除了特別用于移動(dòng)目的的元件之外,根據(jù)本發(fā)明的實(shí)施方式的構(gòu)造也能夠應(yīng)用于固定類(lèi)型的終端。請(qǐng)參閱圖1,其為實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例的一種移動(dòng)終端的硬件結(jié)構(gòu)示意圖,該移動(dòng)終端100可以包括:rf(radiofrequency,射頻)單元101、wifi模塊102、音頻輸出單元103、a/v(音頻/視頻)輸入單元104、傳感器105、顯示單元106、用戶輸入單元107、接口單元108、存儲(chǔ)器109、處理器110、以及電源111等部件。本領(lǐng)域技術(shù)人員可以理解,圖1中示出的移動(dòng)終端結(jié)構(gòu)并不構(gòu)成對(duì)移動(dòng)終端的限定,移動(dòng)終端可以包括比圖示更多或更少的部件,或者組合某些部件,或者不同的部件布置。下面結(jié)合圖1對(duì)移動(dòng)終端的各個(gè)部件進(jìn)行具體的介紹:射頻單元101可用于收發(fā)信息或通話過(guò)程中,信號(hào)的接收和發(fā)送,具體的,將基站的下行信息接收后,給處理器110處理;另外,將上行的數(shù)據(jù)發(fā)送給基站。通常,射頻單元101包括但不限于天線、至少一個(gè)放大器、收發(fā)信機(jī)、耦合器、低噪聲放大器、雙工器等。此外,射頻單元101還可以通過(guò)無(wú)線通信與網(wǎng)絡(luò)和其他設(shè)備通信。上述無(wú)線通信可以使用任一通信標(biāo)準(zhǔn)或協(xié)議,包括但不限于gsm(globalsystemofmobilecommunication,全球移動(dòng)通訊系統(tǒng))、gprs(generalpacketradioservice,通用分組無(wú)線服務(wù))、cdma2000(codedivisionmultipleaccess2000,碼分多址2000)、wcdma(widebandcodedivisionmultipleaccess,寬帶碼分多址)、td-scdma(timedivision-synchronouscodedivisionmultipleaccess,時(shí)分同步碼分多址)、fdd-lte(frequencydivisionduplexing-longtermevolution,頻分雙工長(zhǎng)期演進(jìn))和tdd-lte(timedivisionduplexing-longtermevolution,分時(shí)雙工長(zhǎng)期演進(jìn))等。wifi屬于短距離無(wú)線傳輸技術(shù),移動(dòng)終端通過(guò)wifi模塊102可以幫助用戶收發(fā)電子郵件、瀏覽網(wǎng)頁(yè)和訪問(wèn)流式媒體等,它為用戶提供了無(wú)線的寬帶互聯(lián)網(wǎng)訪問(wèn)。雖然圖1示出了wifi模塊102,但是可以理解的是,其并不屬于移動(dòng)終端的必須構(gòu)成,完全可以根據(jù)需要在不改變發(fā)明的本質(zhì)的范圍內(nèi)而省略。音頻輸出單元103可以在移動(dòng)終端100處于呼叫信號(hào)接收模式、通話模式、記錄模式、語(yǔ)音識(shí)別模式、廣播接收模式等等模式下時(shí),將射頻單元101或wifi模塊102接收的或者在存儲(chǔ)器109中存儲(chǔ)的音頻數(shù)據(jù)轉(zhuǎn)換成音頻信號(hào)并且輸出為聲音。而且,音頻輸出單元103還可以提供與移動(dòng)終端100執(zhí)行的特定功能相關(guān)的音頻輸出(例如,呼叫信號(hào)接收聲音、消息接收聲音等等)。音頻輸出單元103可以包括揚(yáng)聲器、蜂鳴器等等。a/v輸入單元104用于接收音頻或視頻信號(hào)。a/v輸入單元104可以包括圖形處理器(graphicsprocessingunit,gpu)1041和麥克風(fēng)1042,圖形處理器1041對(duì)在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置(如攝像頭)獲得的靜態(tài)圖片或視頻的圖像數(shù)據(jù)進(jìn)行處理。處理后的圖像幀可以顯示在顯示單元106上。經(jīng)圖形處理器1041處理后的圖像幀可以存儲(chǔ)在存儲(chǔ)器109(或其它存儲(chǔ)介質(zhì))中或者經(jīng)由射頻單元101或wifi模塊102進(jìn)行發(fā)送。麥克風(fēng)1042可以在電話通話模式、記錄模式、語(yǔ)音識(shí)別模式等等運(yùn)行模式中經(jīng)由麥克風(fēng)1042接收聲音(音頻數(shù)據(jù)),并且能夠?qū)⑦@樣的聲音處理為音頻數(shù)據(jù)。處理后的音頻(語(yǔ)音)數(shù)據(jù)可以在電話通話模式的情況下轉(zhuǎn)換為可經(jīng)由射頻單元101發(fā)送到移動(dòng)通信基站的格式輸出。麥克風(fēng)1042可以實(shí)施各種類(lèi)型的噪聲消除(或抑制)算法以消除(或抑制)在接收和發(fā)送音頻信號(hào)的過(guò)程中產(chǎn)生的噪聲或者干擾。移動(dòng)終端100還包括至少一種傳感器105,比如光傳感器、運(yùn)動(dòng)傳感器以及其他傳感器。具體地,光傳感器包括環(huán)境光傳感器及接近傳感器,其中,環(huán)境光傳感器可根據(jù)環(huán)境光線的明暗來(lái)調(diào)節(jié)顯示面板1061的亮度,接近傳感器可在移動(dòng)終端100移動(dòng)到耳邊時(shí),關(guān)閉顯示面板1061和/或背光。作為運(yùn)動(dòng)傳感器的一種,加速計(jì)傳感器可檢測(cè)各個(gè)方向上(一般為三軸)加速度的大小,靜止時(shí)可檢測(cè)出重力的大小及方向,可用于識(shí)別手機(jī)姿態(tài)的應(yīng)用(比如橫豎屏切換、相關(guān)游戲、磁力計(jì)姿態(tài)校準(zhǔn))、振動(dòng)識(shí)別相關(guān)功能(比如計(jì)步器、敲擊)等;至于手機(jī)還可配置的指紋傳感器、壓力傳感器、虹膜傳感器、分子傳感器、陀螺儀、氣壓計(jì)、濕度計(jì)、溫度計(jì)、紅外線傳感器等其他傳感器,在此不再贅述。顯示單元106用于顯示由用戶輸入的信息或提供給用戶的信息。顯示單元106可包括顯示面板1061,可以采用液晶顯示器(liquidcrystaldisplay,lcd)、有機(jī)發(fā)光二極管(organiclight-emittingdiode,oled)等形式來(lái)配置顯示面板1061。用戶輸入單元107可用于接收輸入的數(shù)字或字符信息,以及產(chǎn)生與移動(dòng)終端的用戶設(shè)置以及功能控制有關(guān)的鍵信號(hào)輸入。具體地,用戶輸入單元107可包括觸控面板1071以及其他輸入設(shè)備1072。觸控面板1071,也稱(chēng)為觸摸屏,可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板1071上或在觸控面板1071附近的操作),并根據(jù)預(yù)先設(shè)定的程式驅(qū)動(dòng)相應(yīng)的連接裝置。觸控面板1071可包括觸摸檢測(cè)裝置和觸摸控制器兩個(gè)部分。其中,觸摸檢測(cè)裝置檢測(cè)用戶的觸摸方位,并檢測(cè)觸摸操作帶來(lái)的信號(hào),將信號(hào)傳送給觸摸控制器;觸摸控制器從觸摸檢測(cè)裝置上接收觸摸信息,并將它轉(zhuǎn)換成觸點(diǎn)坐標(biāo),再送給處理器110,并能接收處理器110發(fā)來(lái)的命令并加以執(zhí)行。此外,可以采用電阻式、電容式、紅外線以及表面聲波等多種類(lèi)型實(shí)現(xiàn)觸控面板1071。除了觸控面板1071,用戶輸入單元107還可以包括其他輸入設(shè)備1072。具體地,其他輸入設(shè)備1072可以包括但不限于物理鍵盤(pán)、功能鍵(比如音量控制按鍵、開(kāi)關(guān)按鍵等)、軌跡球、鼠標(biāo)、操作桿等中的一種或多種,具體此處不做限定。進(jìn)一步的,觸控面板1071可覆蓋顯示面板1061,當(dāng)觸控面板1071檢測(cè)到在其上或附近的觸摸操作后,傳送給處理器110以確定觸摸事件的類(lèi)型,隨后處理器110根據(jù)觸摸事件的類(lèi)型在顯示面板1061上提供相應(yīng)的視覺(jué)輸出。雖然在圖1中,觸控面板1071與顯示面板1061是作為兩個(gè)獨(dú)立的部件來(lái)實(shí)現(xiàn)移動(dòng)終端的輸入和輸出功能,但是在某些實(shí)施例中,可以將觸控面板1071與顯示面板1061集成而實(shí)現(xiàn)移動(dòng)終端的輸入和輸出功能,具體此處不做限定。接口單元108用作至少一個(gè)外部裝置與移動(dòng)終端100連接可以通過(guò)的接口。例如,外部裝置可以包括有線或無(wú)線頭戴式耳機(jī)端口、外部電源(或電池充電器)端口、有線或無(wú)線數(shù)據(jù)端口、存儲(chǔ)卡端口、用于連接具有識(shí)別模塊的裝置的端口、音頻輸入/輸出(i/o)端口、視頻i/o端口、耳機(jī)端口等等。接口單元108可以用于接收來(lái)自外部裝置的輸入(例如,數(shù)據(jù)信息、電力等等)并且將接收到的輸入傳輸?shù)揭苿?dòng)終端100內(nèi)的一個(gè)或多個(gè)元件或者可以用于在移動(dòng)終端100和外部裝置之間傳輸數(shù)據(jù)。存儲(chǔ)器109可用于存儲(chǔ)軟件程序以及各種數(shù)據(jù)。存儲(chǔ)器109可主要包括存儲(chǔ)程序區(qū)和存儲(chǔ)數(shù)據(jù)區(qū),其中,存儲(chǔ)程序區(qū)可存儲(chǔ)操作系統(tǒng)、至少一個(gè)功能所需的應(yīng)用程序(比如聲音播放功能、圖像播放功能等)等;存儲(chǔ)數(shù)據(jù)區(qū)可存儲(chǔ)根據(jù)手機(jī)的使用所創(chuàng)建的數(shù)據(jù)(比如音頻數(shù)據(jù)、電話本等)等。此外,存儲(chǔ)器109可以包括高速隨機(jī)存取存儲(chǔ)器,還可以包括非易失性存儲(chǔ)器,例如至少一個(gè)磁盤(pán)存儲(chǔ)器件、閃存器件、或其他易失性固態(tài)存儲(chǔ)器件。處理器110是移動(dòng)終端的控制中心,利用各種接口和線路連接整個(gè)移動(dòng)終端的各個(gè)部分,通過(guò)運(yùn)行或執(zhí)行存儲(chǔ)在存儲(chǔ)器109內(nèi)的軟件程序和/或模塊,以及調(diào)用存儲(chǔ)在存儲(chǔ)器109內(nèi)的數(shù)據(jù),執(zhí)行移動(dòng)終端的各種功能和處理數(shù)據(jù),從而對(duì)移動(dòng)終端進(jìn)行整體監(jiān)控。處理器110可包括一個(gè)或多個(gè)處理單元;優(yōu)選的,處理器110可集成應(yīng)用處理器和調(diào)制解調(diào)處理器,其中,應(yīng)用處理器主要處理操作系統(tǒng)、用戶界面和應(yīng)用程序等,調(diào)制解調(diào)處理器主要處理無(wú)線通信??梢岳斫獾氖?,上述調(diào)制解調(diào)處理器也可以不集成到處理器110中。移動(dòng)終端100還可以包括給各個(gè)部件供電的電源111(比如電池),優(yōu)選的,電源111可以通過(guò)電源管理系統(tǒng)與處理器110邏輯相連,從而通過(guò)電源管理系統(tǒng)實(shí)現(xiàn)管理充電、放電、以及功耗管理等功能。盡管圖1未示出,移動(dòng)終端100還可以包括藍(lán)牙模塊等,在此不再贅述。為了便于理解本發(fā)明實(shí)施例,下面對(duì)本發(fā)明的移動(dòng)終端所基于的通信網(wǎng)絡(luò)系統(tǒng)進(jìn)行描述。請(qǐng)參閱圖2,圖2為本發(fā)明實(shí)施例提供的一種通信網(wǎng)絡(luò)系統(tǒng)架構(gòu)圖,該通信網(wǎng)絡(luò)系統(tǒng)為通用移動(dòng)通信技術(shù)的lte系統(tǒng),該lte系統(tǒng)包括依次通訊連接的ue(userequipment,用戶設(shè)備)201,e-utran(evolvedumtsterrestrialradioaccessnetwork,演進(jìn)式umts陸地?zé)o線接入網(wǎng))202,epc(evolvedpacketcore,演進(jìn)式分組核心網(wǎng))203和運(yùn)營(yíng)商的ip業(yè)務(wù)204。具體地,ue201可以是上述終端100,此處不再贅述。e-utran202包括enodeb2021和其它enodeb2022等。其中,enodeb2021可以通過(guò)回程(backhaul)(例如x2接口)與其它enodeb2022連接,enodeb2021連接到epc203,enodeb2021可以提供ue201到epc203的接入。epc203可以包括mme(mobilitymanagemententity,移動(dòng)性管理實(shí)體)2031,hss(homesubscriberserver,歸屬用戶服務(wù)器)2032,其它mme2033,sgw(servinggateway,服務(wù)網(wǎng)關(guān))2034,pgw(pdngateway,分組數(shù)據(jù)網(wǎng)絡(luò)網(wǎng)關(guān))2035和pcrf(policyandchargingrulesfunction,政策和資費(fèi)功能實(shí)體)2036等。其中,mme2031是處理ue201和epc203之間信令的控制節(jié)點(diǎn),提供承載和連接管理。hss2032用于提供一些寄存器來(lái)管理諸如歸屬位置寄存器(圖中未示)之類(lèi)的功能,并且保存有一些有關(guān)服務(wù)特征、數(shù)據(jù)速率等用戶專(zhuān)用的信息。所有用戶數(shù)據(jù)都可以通過(guò)sgw2034進(jìn)行發(fā)送,pgw2035可以提供ue201的ip地址分配以及其它功能,pcrf2036是業(yè)務(wù)數(shù)據(jù)流和ip承載資源的策略與計(jì)費(fèi)控制策略決策點(diǎn),它為策略與計(jì)費(fèi)執(zhí)行功能單元(圖中未示)選擇及提供可用的策略和計(jì)費(fèi)控制決策。ip業(yè)務(wù)204可以包括因特網(wǎng)、內(nèi)聯(lián)網(wǎng)、ims(ipmultimediasubsystem,ip多媒體子系統(tǒng))或其它ip業(yè)務(wù)等。雖然上述以lte系統(tǒng)為例進(jìn)行了介紹,但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)知曉,本發(fā)明不僅僅適用于lte系統(tǒng),也可以適用于其他無(wú)線通信系統(tǒng),例如gsm、cdma2000、wcdma、td-scdma以及未來(lái)新的網(wǎng)絡(luò)系統(tǒng)等,此處不做限定?;谏鲜鲆苿?dòng)終端硬件結(jié)構(gòu)以及通信網(wǎng)絡(luò)系統(tǒng),提出本發(fā)明的不合規(guī)數(shù)據(jù)的修復(fù)方法、數(shù)據(jù)處理設(shè)備及存儲(chǔ)介質(zhì)。本發(fā)明的主要思想在于,在移動(dòng)終端中設(shè)置數(shù)據(jù)采集端,該數(shù)據(jù)采集端根據(jù)預(yù)設(shè)的埋點(diǎn)字段采集數(shù)據(jù);該數(shù)據(jù)采集端通過(guò)移動(dòng)終端將采集的數(shù)據(jù)上報(bào)數(shù)據(jù)處理設(shè)備;數(shù)據(jù)處理設(shè)備對(duì)數(shù)據(jù)采集端采集的數(shù)據(jù)進(jìn)行合法性校驗(yàn),篩選出數(shù)據(jù)中的不合規(guī)數(shù)據(jù)和合規(guī)數(shù)據(jù),對(duì)合規(guī)數(shù)據(jù)進(jìn)行正常的存儲(chǔ)、計(jì)算流程處理以及數(shù)據(jù)分析,將不合規(guī)數(shù)據(jù)存儲(chǔ)于不合規(guī)數(shù)據(jù)表中;如果發(fā)現(xiàn)不合格數(shù)據(jù)表中存儲(chǔ)的不合規(guī)數(shù)據(jù)是因?yàn)閿?shù)據(jù)采集端埋點(diǎn)錯(cuò)誤導(dǎo)致的,則設(shè)置數(shù)據(jù)修復(fù)規(guī)則,利用數(shù)據(jù)修復(fù)規(guī)則對(duì)不合格數(shù)據(jù)表中的不合規(guī)數(shù)據(jù)進(jìn)行自動(dòng)修復(fù),有效回收得到修復(fù)的不合規(guī)數(shù)據(jù),將得到修復(fù)的不合規(guī)數(shù)據(jù)可以作為合規(guī)數(shù)據(jù)使用,作為數(shù)據(jù)處理和數(shù)據(jù)分析的基礎(chǔ)數(shù)據(jù),使不合規(guī)數(shù)據(jù)得到有效利用。以下結(jié)合附圖以及實(shí)施例,對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是,此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明,并不限定本發(fā)明。實(shí)施例一本發(fā)明實(shí)施例一,提供一種不合規(guī)數(shù)據(jù)的修復(fù)方法。本實(shí)施例的執(zhí)行主體為數(shù)據(jù)處理設(shè)備,數(shù)據(jù)處理設(shè)備例如是服務(wù)器。圖3為根據(jù)本發(fā)明第一實(shí)施例的不合規(guī)數(shù)據(jù)的修復(fù)方法的流程圖。步驟s310,接收數(shù)據(jù)采集端采集的數(shù)據(jù)。在本實(shí)施例中,數(shù)據(jù)采集端可以是設(shè)置在移動(dòng)終端中的sdk。sdk可以嵌入到移動(dòng)終端的產(chǎn)品中。sdk埋點(diǎn)可以追蹤和記錄移動(dòng)終端中產(chǎn)生的數(shù)據(jù),如追蹤和記錄移動(dòng)終端中某產(chǎn)品的用戶行為數(shù)據(jù)。為了采集豐富的基礎(chǔ)數(shù)據(jù)以便用于數(shù)據(jù)處理和數(shù)據(jù)分析,可以設(shè)置多個(gè)埋點(diǎn)字段,sdk在移動(dòng)終端側(cè)可以根據(jù)設(shè)置的埋點(diǎn)字段來(lái)采集包含埋點(diǎn)字段的數(shù)據(jù)并上報(bào)。例如:希望獲得瀏覽相關(guān)的數(shù)據(jù),可以將sdk嵌入到移動(dòng)終端的瀏覽器中,埋點(diǎn)字段為瀏覽器標(biāo)識(shí)、瀏覽器版本號(hào)、登陸次數(shù)、訪問(wèn)時(shí)長(zhǎng)、激活率、瀏覽路徑、頁(yè)面停留時(shí)間等。在本實(shí)施例中,可以接收數(shù)據(jù)采集端批量采集的數(shù)據(jù)。在本實(shí)施例中,對(duì)數(shù)據(jù)采集端根據(jù)預(yù)設(shè)的埋點(diǎn)字段采集的數(shù)據(jù)進(jìn)行合法性校驗(yàn);將合法性校驗(yàn)未通過(guò)的數(shù)據(jù)作為不合規(guī)數(shù)據(jù)并存儲(chǔ),將合法性校驗(yàn)通過(guò)的數(shù)據(jù)作為合規(guī)數(shù)據(jù)并存儲(chǔ)。進(jìn)一步地,可以根據(jù)預(yù)設(shè)的合規(guī)條件對(duì)數(shù)據(jù)采集端采集的數(shù)據(jù)進(jìn)行合法性校驗(yàn);合規(guī)條件例如是:數(shù)據(jù)產(chǎn)生的時(shí)間、數(shù)據(jù)的來(lái)源、數(shù)據(jù)的格式等。步驟s320,根據(jù)所述數(shù)據(jù)中的不合規(guī)數(shù)據(jù),判斷所述數(shù)據(jù)采集端是否埋點(diǎn)錯(cuò)誤;如果是,則執(zhí)行步驟s330;如果否,則結(jié)束流程。在本實(shí)施例中,埋點(diǎn)錯(cuò)誤是指:在設(shè)置的埋點(diǎn)字段中缺失某一個(gè)或多個(gè)字段,或者埋點(diǎn)字段設(shè)置錯(cuò)誤。其中,缺失的埋點(diǎn)字段可以被稱(chēng)作缺失字段,設(shè)置錯(cuò)誤的埋點(diǎn)字段可以被稱(chēng)作錯(cuò)誤字段。例如:在進(jìn)行頁(yè)面埋點(diǎn)時(shí),沒(méi)有將瀏覽器版本號(hào)設(shè)置為埋點(diǎn)字段,而事實(shí)上應(yīng)當(dāng)將瀏覽器版本號(hào)設(shè)置為埋點(diǎn)字段,這樣sdk采集的數(shù)據(jù)中將缺失瀏覽器版本號(hào)這一數(shù)據(jù),這時(shí)可以判定sdk埋點(diǎn)錯(cuò)誤,如果在對(duì)數(shù)據(jù)進(jìn)行合法性校驗(yàn)時(shí),校驗(yàn)瀏覽器版本號(hào)是否正確時(shí),將因數(shù)據(jù)缺失瀏覽器版本號(hào)而被認(rèn)為是不合規(guī)數(shù)據(jù)。又如:在進(jìn)行頁(yè)面埋點(diǎn)時(shí),將時(shí)間戳設(shè)置為埋點(diǎn)字段,這樣sdk采集的數(shù)據(jù)中包含時(shí)間戳這一字段,sdk采集的時(shí)間戳為10位的時(shí)間戳,而數(shù)據(jù)處理設(shè)備在進(jìn)行合法性校驗(yàn)時(shí),僅將精確到毫秒的13位的時(shí)間戳作為合規(guī)數(shù)據(jù),而10位的時(shí)間戳則作為不合規(guī)數(shù)據(jù),這時(shí)采集的10位的時(shí)間戳認(rèn)為是埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)。步驟s330,設(shè)置數(shù)據(jù)修復(fù)規(guī)則。在本實(shí)施例中,數(shù)據(jù)修復(fù)規(guī)則用于修復(fù)不合規(guī)數(shù)據(jù)中的缺失字段和/或錯(cuò)誤字段,使修復(fù)后的不合規(guī)數(shù)據(jù)通過(guò)合法性校驗(yàn),成為合規(guī)數(shù)據(jù)。在本實(shí)施例中,可以通過(guò)分析所述不合規(guī)數(shù)據(jù),確定待修復(fù)字段;所述待修復(fù)字段包括:所述埋點(diǎn)字段中的缺失字段和/或錯(cuò)誤字段;根據(jù)所述待修復(fù)字段,設(shè)置數(shù)據(jù)修復(fù)規(guī)則。進(jìn)一步地,在確定埋點(diǎn)字段中的缺失字段和錯(cuò)誤字段之后,可以通過(guò)正則表達(dá)式來(lái)設(shè)置數(shù)據(jù)修復(fù)規(guī)則。步驟s340,根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,修復(fù)所述數(shù)據(jù)中的不合規(guī)數(shù)據(jù)。根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,將埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)修復(fù)為合規(guī)數(shù)據(jù),并將修復(fù)出的合規(guī)數(shù)據(jù)與其他合規(guī)數(shù)據(jù)一同存儲(chǔ)。進(jìn)一步地,根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,對(duì)埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)進(jìn)行修復(fù),之后將對(duì)得到修復(fù)的不合規(guī)數(shù)據(jù)重新進(jìn)行合法性校驗(yàn),確定得到修復(fù)的不合規(guī)數(shù)據(jù)是否通過(guò)合法性校驗(yàn),如果通過(guò)合法性校驗(yàn),則認(rèn)為是合規(guī)數(shù)據(jù)(修復(fù)出的合規(guī)數(shù)據(jù)),如果未通過(guò)合法性校驗(yàn),則依舊認(rèn)為是不合規(guī)數(shù)據(jù)。例如:在進(jìn)行頁(yè)面埋點(diǎn)時(shí),沒(méi)有將瀏覽器版本號(hào)設(shè)置為埋點(diǎn)字段,事實(shí)上瀏覽器版本號(hào)是已知的,如瀏覽器版本號(hào)為v1.0,這樣可以獲取不合規(guī)數(shù)據(jù),在每個(gè)不合規(guī)數(shù)據(jù)的末尾或者開(kāi)頭添加一個(gè)字段,記錄瀏覽器版本號(hào)v1.0,這樣不合規(guī)數(shù)據(jù)就可以通過(guò)合法性校驗(yàn),成為合規(guī)數(shù)據(jù)。又如:在進(jìn)行頁(yè)面埋點(diǎn)時(shí),將時(shí)間戳設(shè)置為埋點(diǎn)字段,sdk采集的時(shí)間戳為10位的時(shí)間戳,而數(shù)據(jù)處理設(shè)備在進(jìn)行合法性校驗(yàn)時(shí),僅將精確到毫秒的13位的時(shí)間戳作為合規(guī)數(shù)據(jù),這樣可以獲取不合規(guī)數(shù)據(jù),篩選出包含時(shí)間戳的數(shù)據(jù),并在只有10位時(shí)間戳末尾增加3位0,使10位的時(shí)間戳變?yōu)?3位的時(shí)間戳,使不合規(guī)數(shù)據(jù)通過(guò)合法性校驗(yàn),成為合規(guī)數(shù)據(jù)。數(shù)據(jù)采集關(guān)注采集的數(shù)據(jù)是否豐富,采集的數(shù)據(jù)是否準(zhǔn)確,因?yàn)檫@些因素都直接影響數(shù)據(jù)處理、數(shù)據(jù)分析的準(zhǔn)確性。本實(shí)施例在對(duì)數(shù)據(jù)采集端采集的數(shù)據(jù)進(jìn)行合法性校驗(yàn)之后,對(duì)不合規(guī)數(shù)據(jù)進(jìn)行分析,判斷位于移動(dòng)終端的數(shù)據(jù)采集端是否發(fā)生了埋點(diǎn)錯(cuò)誤的問(wèn)題,如果發(fā)生了埋點(diǎn)錯(cuò)誤的問(wèn)題,分析出錯(cuò)誤所在并設(shè)置數(shù)據(jù)修復(fù)規(guī)則,利用該數(shù)據(jù)修復(fù)規(guī)則自動(dòng)地、批量地修復(fù)不合規(guī)數(shù)據(jù),及時(shí)有效地回收利用因埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù),糾正埋點(diǎn)錯(cuò)誤引發(fā)的一系列問(wèn)題,增加合規(guī)數(shù)據(jù)的數(shù)據(jù)量,使基礎(chǔ)數(shù)據(jù)更加豐富,回收不合規(guī)數(shù)據(jù),提高數(shù)據(jù)采集的準(zhǔn)確性,提升最終數(shù)據(jù)分析的精準(zhǔn)度。實(shí)施例二下面給出一種較為具體的實(shí)施例,來(lái)進(jìn)一步地描述本發(fā)明的不合規(guī)數(shù)據(jù)的修復(fù)方法。本實(shí)施例的執(zhí)行主體為數(shù)據(jù)處理設(shè)備。如圖4所示,為根據(jù)本發(fā)明第二實(shí)施例的不合規(guī)數(shù)據(jù)的修復(fù)方法的具體流程圖。步驟s410,接收數(shù)據(jù)采集端根據(jù)預(yù)設(shè)的埋點(diǎn)字段采集的數(shù)據(jù)。數(shù)據(jù)采集端在移動(dòng)終端側(cè)進(jìn)行埋點(diǎn),以便采集移動(dòng)終端側(cè)的數(shù)據(jù)。埋點(diǎn)字段可以根據(jù)數(shù)據(jù)采集的需求進(jìn)行設(shè)置。如果需要采集與訂單相關(guān)的數(shù)據(jù),那么埋點(diǎn)字段例如是:商品名稱(chēng)、價(jià)格、品類(lèi)、店鋪等信息。如果需要采集與流量監(jiān)測(cè)相關(guān)數(shù)據(jù),那么埋點(diǎn)字段例如是:訪問(wèn)路徑、頁(yè)面停留時(shí)長(zhǎng)、跳轉(zhuǎn)率、轉(zhuǎn)化率等等。步驟s420,對(duì)數(shù)據(jù)采集端采集的數(shù)據(jù)進(jìn)行合法性校驗(yàn)。在本實(shí)施例中,對(duì)數(shù)據(jù)采集端采集的批量數(shù)據(jù)進(jìn)行合法性校驗(yàn)。具體而言,對(duì)數(shù)據(jù)采集端采集的批量數(shù)據(jù)通過(guò)校驗(yàn)層進(jìn)行合法性校驗(yàn),以便篩選出批量數(shù)據(jù)中的合法性校驗(yàn)通過(guò)的數(shù)據(jù)(合規(guī)數(shù)據(jù))和合法性校驗(yàn)未通過(guò)的數(shù)據(jù)(不合規(guī)數(shù)據(jù))。其中,合法性校驗(yàn)可以校驗(yàn)數(shù)據(jù)的采集時(shí)間、數(shù)據(jù)的格式、數(shù)據(jù)的來(lái)源、數(shù)據(jù)的版本號(hào)等是否符合預(yù)設(shè)的合規(guī)條件。例如:合規(guī)條件為數(shù)據(jù)采集端當(dāng)天采集的數(shù)據(jù),數(shù)據(jù)的來(lái)源為使用瀏覽器產(chǎn)生的數(shù)據(jù),數(shù)據(jù)的格式為時(shí)間戳為精確到毫秒的13位時(shí)間戳,數(shù)據(jù)的版本號(hào)為v1.0;符合所述合規(guī)條件的數(shù)據(jù)校驗(yàn)通過(guò),認(rèn)為是合規(guī)數(shù)據(jù),不符合所述合規(guī)條件的數(shù)據(jù)校驗(yàn)不通過(guò),認(rèn)為是不合規(guī)數(shù)據(jù)。步驟s430,將合法性校驗(yàn)未通過(guò)的數(shù)據(jù)作為不合規(guī)數(shù)據(jù)并存儲(chǔ),將合法性校驗(yàn)通過(guò)的數(shù)據(jù)作為合規(guī)數(shù)據(jù)并存儲(chǔ)。在本實(shí)施例中,在數(shù)據(jù)采集端采集的批量數(shù)據(jù)中,通過(guò)合法性校驗(yàn)的方式,過(guò)濾出不合規(guī)數(shù)據(jù)和合規(guī)數(shù)據(jù)并分開(kāi)存儲(chǔ)。在本實(shí)施例中,可以將合規(guī)數(shù)據(jù)作為數(shù)據(jù)處理和數(shù)據(jù)分析的基礎(chǔ)數(shù)據(jù),進(jìn)行正常的存儲(chǔ)、處理和分析流程??梢灾v合規(guī)數(shù)據(jù)直接傳輸?shù)教幚韺舆M(jìn)行正常的數(shù)據(jù)處理操作。在本實(shí)施例中,可以對(duì)合法性校驗(yàn)未通過(guò)的不合規(guī)數(shù)據(jù)進(jìn)行集中化存儲(chǔ)。進(jìn)一步地,可以將預(yù)設(shè)時(shí)間段內(nèi)的不合規(guī)數(shù)據(jù)存儲(chǔ)到不合規(guī)數(shù)據(jù)表中,該不合規(guī)數(shù)據(jù)表可以使trash表。例如:可以將數(shù)據(jù)采集端每天采集的不合規(guī)數(shù)據(jù)分別存儲(chǔ)到不同的trash(垃圾)表中,這樣每天對(duì)應(yīng)一個(gè)trash表,可以方便對(duì)預(yù)設(shè)時(shí)間段內(nèi)的不合規(guī)數(shù)據(jù)進(jìn)行批量處理。步驟s440,在存在埋點(diǎn)錯(cuò)誤的情況下,通過(guò)分析所述不合規(guī)數(shù)據(jù),確定待修復(fù)字段;所述待修復(fù)字段包括:所述埋點(diǎn)字段中的缺失字段和/或錯(cuò)誤字段??梢詫㈩A(yù)設(shè)時(shí)間段內(nèi)的已經(jīng)存儲(chǔ)的不合規(guī)數(shù)據(jù)提供給管理人員,由管理人員負(fù)責(zé)對(duì)不合規(guī)數(shù)據(jù)進(jìn)行分析,判斷在移動(dòng)終端側(cè)的數(shù)據(jù)采集端是否存在埋點(diǎn)錯(cuò)誤的問(wèn)題,如果該數(shù)據(jù)采集端存在埋點(diǎn)錯(cuò)誤的問(wèn)題,則確定埋點(diǎn)字段中的缺失字段和/或錯(cuò)誤字段。進(jìn)一步地,為了管理人員可以更加直觀的看到不合規(guī)數(shù)據(jù),可以將存儲(chǔ)有不合規(guī)數(shù)據(jù)的trash表提供給管理人員,供管理人員進(jìn)行分析。管理人員可以在trash表中進(jìn)行內(nèi)容篩選,當(dāng)其中出現(xiàn)因數(shù)據(jù)采集端埋點(diǎn)錯(cuò)誤導(dǎo)致的數(shù)據(jù)異常時(shí),可以根據(jù)異常數(shù)據(jù)來(lái)確定待修復(fù)字段。例如:在trash表中出現(xiàn)了格式為10位的時(shí)間戳,而合法性校驗(yàn)只認(rèn)為13位的時(shí)間戳才是合規(guī)數(shù)據(jù),這時(shí)可以認(rèn)為trash表中出現(xiàn)的10位的時(shí)間戳為待修復(fù)字段(錯(cuò)誤字段)。又如:在trash表中出現(xiàn)的不合規(guī)數(shù)據(jù)都沒(méi)有版本號(hào),這意味著在埋點(diǎn)時(shí),版本號(hào)沒(méi)有被設(shè)置成埋點(diǎn)字段,然而trash表中的這些不合規(guī)數(shù)據(jù)的版本號(hào)是已知的,那么這些不合規(guī)數(shù)據(jù)的版本號(hào)為待修復(fù)字段(缺失字段)。步驟s450,根據(jù)所述待修復(fù)字段,設(shè)置數(shù)據(jù)修復(fù)規(guī)則。待管理人員根據(jù)對(duì)不合規(guī)數(shù)據(jù)的分析,確定在移動(dòng)終端側(cè)的數(shù)據(jù)采集端埋點(diǎn)錯(cuò)誤的原因,根據(jù)在移動(dòng)終端側(cè)的數(shù)據(jù)采集端埋點(diǎn)錯(cuò)誤的原因,設(shè)置用于修復(fù)因該埋點(diǎn)錯(cuò)誤被判定為不合規(guī)數(shù)據(jù)的數(shù)據(jù)修復(fù)規(guī)則。在具體應(yīng)用時(shí),該數(shù)據(jù)修復(fù)規(guī)則可以采用正則表達(dá)式的方式進(jìn)行設(shè)置。這樣,當(dāng)不合規(guī)數(shù)據(jù)出現(xiàn)某個(gè)重要字段的缺失,而該缺失字段又是管理人員所知道的,就可以通過(guò)正則表達(dá)式找出所有符合條件的不合規(guī)數(shù)據(jù),在對(duì)這些不合規(guī)數(shù)據(jù)進(jìn)行修復(fù),如:在不合規(guī)數(shù)據(jù)中增加該缺失字段,使這些不合規(guī)數(shù)據(jù)得到修復(fù)。例如:針對(duì)trash表中出現(xiàn)的格式為10位的時(shí)間戳,數(shù)據(jù)修復(fù)規(guī)則可以設(shè)置為在每個(gè)10位的時(shí)間戳的某位補(bǔ)充3個(gè)0,使10位的時(shí)間戳變成13位的時(shí)間戳,這樣可以使修復(fù)后的不合規(guī)數(shù)據(jù)通過(guò)合法性校驗(yàn)。又如:針對(duì)在trash表中出現(xiàn)的沒(méi)有版本號(hào)不合規(guī)數(shù)據(jù),在不合規(guī)數(shù)據(jù)的版本號(hào)已知的情況下,數(shù)據(jù)修復(fù)規(guī)則可以設(shè)置為在不合規(guī)數(shù)據(jù)中添加版本號(hào),這樣可以使修復(fù)后的不合規(guī)數(shù)據(jù)通過(guò)合法性校驗(yàn)。步驟s460,根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,將埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)修復(fù)為合規(guī)數(shù)據(jù),并將修復(fù)出的合規(guī)數(shù)據(jù)與其他合規(guī)數(shù)據(jù)一同存儲(chǔ)。獲取預(yù)設(shè)時(shí)間段內(nèi)的trash表,該trash表中存儲(chǔ)有批量的不合規(guī)數(shù)據(jù);根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,對(duì)trash表中由于埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)批量修復(fù)為合規(guī)數(shù)據(jù),并將修復(fù)出的合規(guī)數(shù)據(jù)與其他合規(guī)數(shù)據(jù)一同存儲(chǔ)。為了便于后續(xù)處理,可以對(duì)不合規(guī)數(shù)據(jù)進(jìn)行分類(lèi)處理。例如:對(duì)已經(jīng)存儲(chǔ)的不合規(guī)數(shù)據(jù)進(jìn)行分類(lèi);獲取屬于預(yù)設(shè)分類(lèi)的不合規(guī)數(shù)據(jù);根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,將埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)修復(fù)為合規(guī)數(shù)據(jù),并將修復(fù)出的合規(guī)數(shù)據(jù)與其他合規(guī)數(shù)據(jù)一同存儲(chǔ)。進(jìn)一步地,將每天的trash表中不合規(guī)數(shù)據(jù)按一定條件進(jìn)行分類(lèi),并分別生成對(duì)應(yīng)的匯總報(bào)表;將匯總報(bào)表發(fā)送給對(duì)應(yīng)的管理人員;對(duì)應(yīng)的管理人員對(duì)匯總報(bào)表中的內(nèi)容進(jìn)行篩選,當(dāng)其中出現(xiàn)因數(shù)據(jù)采集端埋點(diǎn)錯(cuò)誤導(dǎo)致的數(shù)據(jù)異常時(shí),管理人員可以設(shè)置數(shù)據(jù)修復(fù)規(guī)則。例如:按照瀏覽器標(biāo)識(shí)、瀏覽器版本號(hào)、數(shù)據(jù)的來(lái)源進(jìn)行分類(lèi),分別形成相同瀏覽器標(biāo)識(shí)的不合規(guī)數(shù)據(jù)的匯總報(bào)表,相同瀏覽器版本號(hào)的不合規(guī)數(shù)據(jù)的匯總報(bào)表,相同數(shù)據(jù)來(lái)源的不合規(guī)數(shù)據(jù)的匯總報(bào)表,不同的管理人員分別對(duì)不同的匯總報(bào)表進(jìn)行分析,如果發(fā)現(xiàn)埋點(diǎn)錯(cuò)誤導(dǎo)致的數(shù)據(jù)異常,則根據(jù)異常數(shù)據(jù)的特征,分別設(shè)置數(shù)據(jù)修復(fù)規(guī)則,以便修復(fù)不同匯總報(bào)表中的不合規(guī)數(shù)據(jù)。在本實(shí)施例中,數(shù)據(jù)修復(fù)規(guī)則可以進(jìn)行持久化存儲(chǔ),當(dāng)有不合規(guī)數(shù)據(jù)被寫(xiě)入trash表后,數(shù)據(jù)處理設(shè)備就執(zhí)行數(shù)據(jù)修復(fù)程序,嘗試匹配所有數(shù)據(jù)修復(fù)規(guī)則,以達(dá)到自動(dòng)修復(fù)不合規(guī)數(shù)據(jù)的目的,得到修復(fù)的不合規(guī)數(shù)據(jù)可以直接被傳輸?shù)綌?shù)據(jù)處理層,進(jìn)行正常數(shù)據(jù)的處理操作,也可以先和合規(guī)數(shù)據(jù)一同存儲(chǔ),然后與合規(guī)數(shù)據(jù)一同被傳輸?shù)綌?shù)據(jù)處理層進(jìn)行正常的數(shù)據(jù)處理操作。本實(shí)施例可以應(yīng)用在數(shù)據(jù)采集領(lǐng)域中,將用于數(shù)據(jù)采集的sdk集成在移動(dòng)終端的應(yīng)用程序中,由于埋點(diǎn)錯(cuò)誤導(dǎo)致某些批次的數(shù)據(jù)出現(xiàn)異常時(shí),這部分不合規(guī)數(shù)據(jù)將被寫(xiě)入trash表,如格式錯(cuò)誤,type字段是數(shù)據(jù)統(tǒng)計(jì)的必須埋點(diǎn)字段,而某個(gè)版本的sdk因?yàn)槁顸c(diǎn)問(wèn)題缺失了該字段,導(dǎo)致發(fā)布出去的該版本的sdk采集的數(shù)據(jù)都缺失該字段,此時(shí)就可以通過(guò)本實(shí)施例的方法在不合規(guī)數(shù)據(jù)中補(bǔ)充該缺失字段。本實(shí)施例通過(guò)分析埋點(diǎn)錯(cuò)誤的原因所在,設(shè)置數(shù)據(jù)修復(fù)規(guī)則,利用該數(shù)據(jù)修復(fù)規(guī)則自動(dòng)地、批量地修復(fù)不合規(guī)數(shù)據(jù),及時(shí)有效地回收利用因埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù),糾正埋點(diǎn)錯(cuò)誤引發(fā)的一系列問(wèn)題,增加合規(guī)數(shù)據(jù)的數(shù)據(jù)量,使基礎(chǔ)數(shù)據(jù)更加豐富,回收不合規(guī)數(shù)據(jù),提高數(shù)據(jù)采集的準(zhǔn)確性,提升最終數(shù)據(jù)分析的精準(zhǔn)度。實(shí)施例三本發(fā)明提供了一種數(shù)據(jù)處理設(shè)備。如圖5所示,為根據(jù)本發(fā)明第三實(shí)施例的數(shù)據(jù)處理設(shè)備的結(jié)構(gòu)圖。所述數(shù)據(jù)處理設(shè)備500可以是與移動(dòng)終端連接的服務(wù)器。所述數(shù)據(jù)處理設(shè)備500包括處理器510、存儲(chǔ)器520;所述處理器510用于執(zhí)行存儲(chǔ)器520中存儲(chǔ)的不合規(guī)數(shù)據(jù)的修復(fù)程序,以實(shí)現(xiàn)以下步驟:接收數(shù)據(jù)采集端采集的數(shù)據(jù);根據(jù)所述數(shù)據(jù)中的不合規(guī)數(shù)據(jù),判斷所述采集端是否埋點(diǎn)錯(cuò)誤;如果埋點(diǎn)錯(cuò)誤,則設(shè)置數(shù)據(jù)修復(fù)規(guī)則;根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,修復(fù)所述數(shù)據(jù)中的不合規(guī)數(shù)據(jù)??蛇x地,在所述接收數(shù)據(jù)采集端采集的數(shù)據(jù)之后,所述處理器510還用于執(zhí)行存儲(chǔ)器520中存儲(chǔ)的不合規(guī)數(shù)據(jù)的修復(fù)程序,以實(shí)現(xiàn)以下步驟:對(duì)數(shù)據(jù)采集端根據(jù)預(yù)設(shè)的埋點(diǎn)字段采集的數(shù)據(jù)進(jìn)行合法性校驗(yàn);將合法性校驗(yàn)未通過(guò)的數(shù)據(jù)作為不合規(guī)數(shù)據(jù)并存儲(chǔ),將合法性校驗(yàn)通過(guò)的數(shù)據(jù)作為合規(guī)數(shù)據(jù)并存儲(chǔ)??蛇x地,所述處理器510還用于執(zhí)行存儲(chǔ)器520中存儲(chǔ)的不合規(guī)數(shù)據(jù)的修復(fù)程序,以實(shí)現(xiàn)以下步驟:通過(guò)分析所述不合規(guī)數(shù)據(jù),確定待修復(fù)字段;所述待修復(fù)字段包括:所述埋點(diǎn)字段中的缺失字段和/或錯(cuò)誤字段;根據(jù)所述待修復(fù)字段,設(shè)置數(shù)據(jù)修復(fù)規(guī)則??蛇x地,所述處理器510還用于執(zhí)行存儲(chǔ)器520中存儲(chǔ)的不合規(guī)數(shù)據(jù)的修復(fù)程序,以實(shí)現(xiàn)以下步驟:根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,將埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)修復(fù)為合規(guī)數(shù)據(jù),并將修復(fù)出的合規(guī)數(shù)據(jù)與其他合規(guī)數(shù)據(jù)一同存儲(chǔ)。可選地,所述處理器510還用于執(zhí)行存儲(chǔ)器520中存儲(chǔ)的不合規(guī)數(shù)據(jù)的修復(fù)程序,以實(shí)現(xiàn)以下步驟:對(duì)已經(jīng)存儲(chǔ)的不合規(guī)數(shù)據(jù)進(jìn)行分類(lèi);獲取屬于預(yù)設(shè)分類(lèi)的不合規(guī)數(shù)據(jù);根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,將埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)修復(fù)為合規(guī)數(shù)據(jù),并將修復(fù)出的合規(guī)數(shù)據(jù)與其他合規(guī)數(shù)據(jù)一同存儲(chǔ)。本實(shí)施例在對(duì)數(shù)據(jù)采集端采集的數(shù)據(jù)進(jìn)行合法性校驗(yàn)之后,對(duì)不合規(guī)數(shù)據(jù)進(jìn)行分析,判斷位于移動(dòng)終端的數(shù)據(jù)采集端是否發(fā)生了埋點(diǎn)錯(cuò)誤的問(wèn)題,如果發(fā)生了埋點(diǎn)錯(cuò)誤的問(wèn)題,分析出錯(cuò)誤所在并設(shè)置數(shù)據(jù)修復(fù)規(guī)則,利用該數(shù)據(jù)修復(fù)規(guī)則自動(dòng)地、批量地修復(fù)不合規(guī)數(shù)據(jù),及時(shí)有效地回收利用因埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù),糾正埋點(diǎn)錯(cuò)誤引發(fā)的一系列問(wèn)題,增加合規(guī)數(shù)據(jù)的數(shù)據(jù)量,使基礎(chǔ)數(shù)據(jù)更加豐富,回收不合規(guī)數(shù)據(jù),提高數(shù)據(jù)采集的準(zhǔn)確性,提升最終數(shù)據(jù)分析的精準(zhǔn)度。實(shí)施例四本發(fā)明實(shí)施例還提供了一種存儲(chǔ)介質(zhì)。這里的存儲(chǔ)介質(zhì)存儲(chǔ)有一個(gè)或者多個(gè)程序。其中,存儲(chǔ)介質(zhì)可以包括易失性存儲(chǔ)器,例如隨機(jī)存取存儲(chǔ)器;存儲(chǔ)器也可以包括非易失性存儲(chǔ)器,例如只讀存儲(chǔ)器、快閃存儲(chǔ)器、硬盤(pán)或固態(tài)硬盤(pán);存儲(chǔ)器還可以包括上述種類(lèi)的存儲(chǔ)器的組合。當(dāng)存儲(chǔ)介質(zhì)中一個(gè)或者多個(gè)程序可被一個(gè)或者多個(gè)處理器執(zhí)行,以實(shí)現(xiàn)以下步驟:接收數(shù)據(jù)采集端采集的數(shù)據(jù);根據(jù)所述數(shù)據(jù)中的不合規(guī)數(shù)據(jù),判斷所述采集端是否埋點(diǎn)錯(cuò)誤;如果埋點(diǎn)錯(cuò)誤,則設(shè)置數(shù)據(jù)修復(fù)規(guī)則;根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,修復(fù)所述數(shù)據(jù)中的不合規(guī)數(shù)據(jù)??蛇x地,在所述接收數(shù)據(jù)采集端采集的數(shù)據(jù)之后,所述處理器還用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的不合規(guī)數(shù)據(jù)的修復(fù)程序,以實(shí)現(xiàn)以下步驟:對(duì)數(shù)據(jù)采集端根據(jù)預(yù)設(shè)的埋點(diǎn)字段采集的數(shù)據(jù)進(jìn)行合法性校驗(yàn);將合法性校驗(yàn)未通過(guò)的數(shù)據(jù)作為不合規(guī)數(shù)據(jù)并存儲(chǔ),將合法性校驗(yàn)通過(guò)的數(shù)據(jù)作為合規(guī)數(shù)據(jù)并存儲(chǔ)??蛇x地,所述處理器還用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的不合規(guī)數(shù)據(jù)的修復(fù)程序,以實(shí)現(xiàn)以下步驟:通過(guò)分析所述不合規(guī)數(shù)據(jù),確定待修復(fù)字段;所述待修復(fù)字段包括:所述埋點(diǎn)字段中的缺失字段和/或錯(cuò)誤字段;根據(jù)所述待修復(fù)字段,設(shè)置數(shù)據(jù)修復(fù)規(guī)則。可選地,所述處理器還用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的不合規(guī)數(shù)據(jù)的修復(fù)程序,以實(shí)現(xiàn)以下步驟:根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,將埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)修復(fù)為合規(guī)數(shù)據(jù),并將修復(fù)出的合規(guī)數(shù)據(jù)與其他合規(guī)數(shù)據(jù)一同存儲(chǔ)??蛇x地,所述處理器還用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的不合規(guī)數(shù)據(jù)的修復(fù)程序,以實(shí)現(xiàn)以下步驟:對(duì)已經(jīng)存儲(chǔ)的不合規(guī)數(shù)據(jù)進(jìn)行分類(lèi);獲取屬于預(yù)設(shè)分類(lèi)的不合規(guī)數(shù)據(jù);根據(jù)所述數(shù)據(jù)修復(fù)規(guī)則,將埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù)修復(fù)為合規(guī)數(shù)據(jù),并將修復(fù)出的合規(guī)數(shù)據(jù)與其他合規(guī)數(shù)據(jù)一同存儲(chǔ)。本實(shí)施例在對(duì)數(shù)據(jù)采集端采集的數(shù)據(jù)進(jìn)行合法性校驗(yàn)之后,對(duì)不合規(guī)數(shù)據(jù)進(jìn)行分析,判斷位于移動(dòng)終端的數(shù)據(jù)采集端是否發(fā)生了埋點(diǎn)錯(cuò)誤的問(wèn)題,如果發(fā)生了埋點(diǎn)錯(cuò)誤的問(wèn)題,分析出錯(cuò)誤所在并設(shè)置數(shù)據(jù)修復(fù)規(guī)則,利用該數(shù)據(jù)修復(fù)規(guī)則自動(dòng)地、批量地修復(fù)不合規(guī)數(shù)據(jù),及時(shí)有效地回收利用因埋點(diǎn)錯(cuò)誤造成的不合規(guī)數(shù)據(jù),糾正埋點(diǎn)錯(cuò)誤引發(fā)的一系列問(wèn)題,增加合規(guī)數(shù)據(jù)的數(shù)據(jù)量,使基礎(chǔ)數(shù)據(jù)更加豐富,回收不合規(guī)數(shù)據(jù),提高數(shù)據(jù)采集的準(zhǔn)確性,提升最終數(shù)據(jù)分析的精準(zhǔn)度。需要說(shuō)明的是,在本文中,術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過(guò)程、方法、物品或者裝置不僅包括那些要素,而且還包括沒(méi)有明確列出的其他要素,或者是還包括為這種過(guò)程、方法、物品或者裝置所固有的要素。在沒(méi)有更多限制的情況下,由語(yǔ)句“包括一個(gè)……”限定的要素,并不排除在包括該要素的過(guò)程、方法、物品或者裝置中還存在另外的相同要素。上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述,不代表實(shí)施例的優(yōu)劣。通過(guò)以上的實(shí)施方式的描述,本領(lǐng)域的技術(shù)人員可以清楚地了解到上述實(shí)施例方法可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn),當(dāng)然也可以通過(guò)硬件,但很多情況下前者是更佳的實(shí)施方式?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái),該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)(如rom/ram、磁碟、光盤(pán))中,包括若干指令用以使得一臺(tái)終端設(shè)備(可以是手機(jī),計(jì)算機(jī),服務(wù)器,空調(diào)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例的方法。以上僅為本發(fā)明的優(yōu)選實(shí)施例,并非因此限制本發(fā)明的專(zhuān)利范圍,凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換,或直接或間接運(yùn)用在其他相關(guān)的
技術(shù)領(lǐng)域
:,均同理包括在本發(fā)明的專(zhuān)利保護(hù)范圍內(nèi)。當(dāng)前第1頁(yè)12當(dāng)前第1頁(yè)12
當(dāng)前第1頁(yè)1 2 
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
灵山县| 利津县| 蓝山县| 龙山县| 枝江市| 建宁县| 昌乐县| 安乡县| 定日县| 石泉县| 资中县| 双牌县| 云南省| 越西县| 榆社县| 上林县| 崇文区| 姚安县| 澄迈县| 犍为县| 阳春市| 体育| 万荣县| 乌拉特中旗| 仪征市| 凤庆县| 文水县| 天峨县| 平罗县| 卢氏县| 五大连池市| 马边| 三江| 运城市| 乐昌市| 新丰县| 新津县| 八宿县| 巴马| 陇川县| 新建县|