本發(fā)明涉及不合規(guī)數據處理技術領域，尤其涉及一種數據處理裝置及方法。

背景技術：

首先，當客戶端中的應用程序，具有數據采集的功能，具體的，可以通過爬蟲進行數據的爬取，以達到數據采集的目的。而實際應用中，采集到的數據不一定完全符合預設的要求，這部分的數據稱之為不合規(guī)數據。

如，數據的時間不符，例如客戶端時間錯誤從而導致爬蟲爬取到的數據的時間與規(guī)定時間，如北京時間等，不相符合，這部分的不合規(guī)數據可能就會直接丟棄。具體的，不合規(guī)數據也可以是用戶進行自定義的規(guī)定，將不合乎規(guī)定的數據稱之為不合規(guī)數據。

由于現有技術中，對于不合規(guī)數據直接丟棄，而沒有分析數據采集端產生不合規(guī)數據的原因。

技術實現要素：

本發(fā)明的主要目的在于提出一種數據處理裝置及方法，旨在解決現有技術中客戶端收集到了不合規(guī)數據，對不合規(guī)數據進行處理，以實現在統(tǒng)計學的角度去發(fā)現客戶端可能存在的問題。

為實現上述目的，本發(fā)明提供了一種數據處理裝置，應用于客戶端，所述裝置包括：

收集模塊，用于針對預設規(guī)則，收集不合規(guī)數據；

處理模塊，用于將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行處理。

可選的，所述不合規(guī)數據為：具有時間戳錯誤的數據、和/或與預設格式不完全匹配的數據、和/或亂碼的數據。

可選的，處理模塊，包括：

第一處理子模塊，用于將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行過濾處理；

第二處理子模塊，用于將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行預設字段的提取處理。

可選的，所述第一處理子模塊，具體用于：

將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行預設屬性的校驗處理，其中，所述預設屬性的校驗處理包括但不限于：數據采集時間的有效性、數據采集應用標識的有效性；

所述第二處理子模塊，具體用于：

將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行用戶標識、時間發(fā)生時間、采集時間名稱、不合規(guī)原因、原始日志數據、應用標識以及數據上報字段的提取處理。

可選的，所述裝置還包括：

發(fā)送模塊，用于發(fā)送數據分類指令，以使所述服務器對處理后的數據按照預設分類規(guī)則進行分類。

相較于現有技術，本發(fā)明所提出的數據處理裝置，通過客戶端采集不合規(guī)數據，并將采集到的不合規(guī)數據發(fā)送至服務器進行處理。通過服務器處理后的、大量的不合規(guī)數據，以實現在統(tǒng)計學的角度去發(fā)現客戶端可能存在的問題，從而解決現有技術中對采集到的不合規(guī)數據進行直接丟棄，而無法從中發(fā)現產生不合規(guī)數據的具體原因。

此外，為實現上述目的，本發(fā)明還提出一種數據處理方法，應用于客戶端，所述方法包括：

針對預設規(guī)則，收集不合規(guī)數據；

將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行處理。

可選的，所述不合規(guī)數據為：具有時間戳錯誤的數據、和/或與預設格式不完全匹配的數據、和/或亂碼的數據。

可選的，所述將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行處理，包括：

將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行過濾處理和預設字段的提取處理。

可選的，所述將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行過濾處理，包括：

將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行預設屬性的校驗處理，其中，所述預設屬性的校驗處理包括但不限于：數據采集時間的有效性、數據采集應用標識的有效性；

所述將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行預設字段的提取處理，包括：

將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行用戶標識、時間發(fā)生時間、采集時間名稱、不合規(guī)原因、原始日志數據、應用標識以及數據上報字段的提取處理。

可選的，所述方法還包括：

發(fā)送數據分類指令，以使所述服務器對處理后的數據按照預設分類規(guī)則進行分類。

相較于現有技術，本發(fā)明所提出的數據處理裝置，通過客戶端采集不合規(guī)數據，并將采集到的不合規(guī)數據發(fā)送至服務器進行處理。通過服務器處理后的、大量的不合規(guī)數據，以實現在統(tǒng)計學的角度去發(fā)現客戶端可能存在的問題，從而解決現有技術中對采集到的不合規(guī)數據進行直接丟棄，而無法從中發(fā)現產生不合規(guī)數據的具體原因。

相較于現有技術，本發(fā)明所提出的數據處理裝置，通過客戶端采集不合規(guī)數據，并將采集到的不合規(guī)數據發(fā)送至服務器進行處理。通過服務器處理后的、大量的不合規(guī)數據，以實現在統(tǒng)計學的角度去發(fā)現客戶端可能存在的問題，從而解決現有技術中對采集到的不合規(guī)數據進行直接丟棄，而無法從中發(fā)現產生不合規(guī)數據的具體原因。

附圖說明

圖1為實現本發(fā)明各個實施例中一可選的移動終端的硬件結構示意圖；

圖2為如圖1所示的移動終端的無線通信系統(tǒng)示意圖；

圖3為本發(fā)明實施例所述的數據處理裝置的第一種功能模塊示意圖；

圖4為本發(fā)明實施例所述的數據處理裝置的第二種功能模塊示意圖；

圖5為本發(fā)明實施例所述的數據處理裝置的第三種功能模塊示意圖；

圖6為本發(fā)明實施例所述的數據處理方法的第一種流程示意圖；

圖7為本發(fā)明實施例所述的數據處理方法的第二種流程示意圖；

圖8為本發(fā)明實施例所述的數據處理方法的第三種流程示意圖；

圖9為本發(fā)明所述的終端采集到不合規(guī)數據并發(fā)送至服務器示意圖。

附圖標記：

本發(fā)明目的的實現、功能特點及優(yōu)點將結合實施例，參照附圖做進一步說明。

具體實施方式

應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

現在將參考附圖描述實現本發(fā)明各個實施例的移動終端。在后續(xù)的描述中，使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說明，其本身并沒有特定的意義。因此，"模塊"與"部件"可以混合地使用。

移動終端可以以各種形式來實施。例如，本發(fā)明中描述的終端可以包括諸如移動電話、智能電話、筆記本電腦、數字廣播接收器、pda(個人數字助理)、pad(平板電腦)、pmp(便攜式多媒體播放器)、導航裝置等等的移動終端以及諸如數字tv、臺式計算機等等的固定終端。下面，假設終端是移動終端。然而，本領域技術人員將理解的是，除了特別用于移動目的的元件之外，根據本發(fā)明的實施方式的構造也能夠應用于固定類型的終端。

圖1為實現本發(fā)明各個實施例的移動終端的硬件結構示意。

移動終端100可以包括無線通信單元110、輸入單元120、用戶輸入單元130、感測單元140、輸出單元150、存儲器160、接口單元170、控制器180和電源單元190等等。圖1示出了具有各種組件的移動終端，但是應理解的是，并不要求實施所有示出的組件?？梢蕴娲貙嵤└嗷蚋俚慕M件。將在下面詳細描述移動終端的元件。

無線通信單元110通常包括一個或多個組件，其允許移動終端100與無線通信系統(tǒng)或網絡之間的無線電通信。例如，無線通信單元可以包括廣播接收模塊、移動通信模塊、無線互聯網模塊、短程通信模塊和位置信息模塊中的至少一個。

廣播接收模塊經由廣播信道從外部廣播管理服務器接收廣播信號和/或廣播相關信息。廣播信道可以包括衛(wèi)星信道和/或地面信道。廣播管理服務器可以是生成并發(fā)送廣播信號和/或廣播相關信息的服務器或者接收之前生成的廣播信號和/或廣播相關信息并且將其發(fā)送給終端的服務器。廣播信號可以包括tv廣播信號、無線電廣播信號、數據廣播信號等等。而且，廣播信號可以進一步包括與tv或無線電廣播信號組合的廣播信號。廣播相關信息也可以經由移動通信網絡提供，并且在該情況下，廣播相關信息可以由移動通信模塊來接收。廣播信號可以以各種形式存在，例如，其可以以數字多媒體廣播(dmb)的電子節(jié)目指南(epg)、數字視頻廣播手持(dvb-h)的電子服務指南(esg)等等的形式而存在。廣播接收模塊可以通過使用各種類型的廣播系統(tǒng)接收信號廣播。特別地，廣播接收模塊可以通過使用諸如多媒體廣播-地面(dmb-t)、數字多媒體廣播-衛(wèi)星(dmb-s)、數字視頻廣播-手持(dvb-h)，前向鏈路媒體(mediaflo^@)的數據廣播系統(tǒng)、地面數字廣播綜合服務(isdb-t)等等的數字廣播系統(tǒng)接收數字廣播。廣播接收模塊可以被構造為適合提供廣播信號的各種廣播系統(tǒng)以及上述數字廣播系統(tǒng)。經由廣播接收模塊接收的廣播信號和/或廣播相關信息可以存儲在存儲器160(或者其它類型的存儲介質)中。

移動通信模塊將無線電信號發(fā)送到基站(例如，接入點、節(jié)點b等等)、外部終端以及服務器中的至少一個和/或從其接收無線電信號。這樣的無線電信號可以包括語音通話信號、視頻通話信號、或者根據文本和/或多媒體消息發(fā)送和/或接收的各種類型的數據。

無線互聯網模塊支持移動終端的無線互聯網接入。該模塊可以內部或外部地耦接到終端。該模塊所涉及的無線互聯網接入技術可以包括wlan(無線lan)(wi-fi)、wibro(無線寬帶)、wimax(全球微波互聯接入)、hsdpa(高速下行鏈路分組接入)等等。

短程通信模塊是用于支持短程通信的模塊。短程通信技術的一些示例包括藍牙^tm、射頻識別(rfid)、紅外數據協(xié)會(irda)、超寬帶(uwb)、紫蜂^tm等等。

位置信息模塊是用于檢查或獲取移動終端的位置信息的模塊。位置信息模塊的典型示例是gps(全球定位系統(tǒng))。根據當前的技術，gps模塊計算來自三個或更多衛(wèi)星的距離信息和準確的時間信息并且對于計算的信息應用三角測量法，從而根據經度、緯度和高度準確地計算三維當前位置信息。當前，用于計算位置和時間信息的方法使用三顆衛(wèi)星并且通過使用另外的一顆衛(wèi)星校正計算出的位置和時間信息的誤差。此外，gps模塊能夠通過實時地連續(xù)計算當前位置信息來計算速度信息。

輸入單元120用于接收音頻或視頻信號。輸入單元120可以包括相機121和麥克風122，相機121對在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置獲得的靜態(tài)圖片或視頻的圖像數據進行處理。處理后的圖像幀可以顯示在顯示單元151上。經相機121處理后的圖像幀可以存儲在存儲器160(或其它存儲介質)中或者經由無線通信單元110進行發(fā)送，可以根據移動終端的構造提供兩個或更多相機121。麥克風122可以在電話通話模式、記錄模式、語音識別模式等等運行模式中經由麥克風接收聲音(音頻數據)，并且能夠將這樣的聲音處理為音頻數據。處理后的音頻(語音)數據可以在電話通話模式的情況下轉換為可經由移動通信模塊發(fā)送到移動通信基站的格式輸出。麥克風122可以實施各種類型的噪聲消除(或抑制)算法以消除(或抑制)在接收和發(fā)送音頻信號的過程中產生的噪聲或者干擾。

用戶輸入單元130可以根據用戶輸入的命令生成鍵輸入數據以控制移動終端的各種操作。用戶輸入單元130允許用戶輸入各種類型的信息，并且可以包括鍵盤、鍋仔片、觸摸板(例如，檢測由于被接觸而導致的電阻、壓力、電容等等的變化的觸敏組件)、滾輪、搖桿等等。特別地，當觸摸板以層的形式疊加在顯示單元151上時，可以形成觸摸屏。

感測單元140檢測移動終端100的當前狀態(tài)，(例如，移動終端100的打開或關閉狀態(tài))、移動終端100的位置、用戶對于移動終端100的接觸(即，觸摸輸入)的有無、移動終端100的取向、移動終端100的加速或減速移動和方向等等，并且生成用于控制移動終端100的操作的命令或信號。例如，當移動終端100實施為滑動型移動電話時，感測單元140可以感測該滑動型電話是打開還是關閉。另外，感測單元140能夠檢測電源單元190是否提供電力或者接口單元170是否與外部裝置耦接。感測單元140可以包括聲紋感測器，用于采集用戶的聲紋信息。

接口單元170用作至少一個外部裝置與移動終端100連接可以通過的接口。例如，外部裝置可以包括有線或無線頭戴式耳機端口、外部電源(或電池充電器)端口、有線或無線數據端口、存儲卡端口、用于連接具有識別模塊的裝置的端口、音頻輸入/輸出(i/o)端口、視頻i/o端口、耳機端口等等。識別模塊可以是存儲用于驗證用戶使用移動終端100的各種信息并且可以包括用戶識別模塊(uim)、客戶識別模塊(sim)、通用客戶識別模塊(usim)等等。另外，具有識別模塊的裝置(下面稱為"識別裝置")可以采取智能卡的形式，因此，識別裝置可以經由端口或其它連接裝置與移動終端100連接。接口單元170可以用于接收來自外部裝置的輸入(例如，數據信息、電力等等)并且將接收到的輸入傳輸到移動終端100內的一個或多個元件或者可以用于在移動終端和外部裝置之間傳輸數據。

另外，當移動終端100與外部底座連接時，接口單元170可以用作允許通過其將電力從底座提供到移動終端100的路徑或者可以用作允許從底座輸入的各種命令信號通過其傳輸到移動終端的路徑。從底座輸入的各種命令信號或電力可以用作用于識別移動終端是否準確地安裝在底座上的信號。輸出單元150被構造為以視覺、音頻和/或觸覺方式提供輸出信號(例如，音頻信號、視頻信號、警報信號、振動信號等等)。輸出單元150可以包括顯示單元151、音頻輸出模塊152、警報單元153等等。

顯示單元151可以顯示在移動終端100中處理的信息。例如，當移動終端100處于電話通話模式時，顯示單元151可以顯示與通話或其它通信(例如，文本消息收發(fā)、多媒體文件下載等等)相關的用戶界面(ui)或圖形用戶界面(gui)。當移動終端100處于視頻通話模式或者圖像捕獲模式時，顯示單元151可以顯示捕獲的圖像和/或接收的圖像、示出視頻或圖像以及相關功能的ui或gui等等。

同時，當顯示單元151和觸摸板以層的形式彼此疊加以形成觸摸屏時，顯示單元151可以用作輸入裝置和輸出裝置。顯示單元151可以包括液晶顯示器(lcd)、薄膜晶體管lcd(tft-lcd)、有機發(fā)光二極管(oled)顯示器、柔性顯示器、三維(3d)顯示器等等中的至少一種。這些顯示器中的一些可以被構造為透明狀以允許用戶從外部觀看，這可以稱為透明顯示器，典型的透明顯示器可以例如為toled(透明有機發(fā)光二極管)顯示器等等。根據特定想要的實施方式，移動終端100可以包括兩個或更多顯示單元(或其它顯示裝置)，例如，移動終端可以包括外部顯示單元(未示出)和內部顯示單元(未示出)。觸摸屏可用于檢測觸摸輸入壓力以及觸摸輸入位置和觸摸輸入面積。

音頻輸出模塊152可以在移動終端處于呼叫信號接收模式、通話模式、記錄模式、語音識別模式、廣播接收模式等等模式下時，將無線通信單元110接收的或者在存儲器160中存儲的音頻數據轉換音頻信號并且輸出為聲音。而且，音頻輸出模塊152可以提供與移動終端100執(zhí)行的特定功能相關的音頻輸出(例如，呼叫信號接收聲音、消息接收聲音等等)。音頻輸出模塊152可以包括揚聲器、蜂鳴器等等。

警報單元153可以提供輸出以將事件的發(fā)生通知給移動終端100。典型的事件可以包括呼叫接收、消息接收、鍵信號輸入、觸摸輸入等等。除了音頻或視頻輸出之外，警報單元153可以以不同的方式提供輸出以通知事件的發(fā)生。例如，警報單元153可以以振動的形式提供輸出，當接收到呼叫、消息或一些其它進入通信(incomingcommunication)時，警報單元153可以提供觸覺輸出(即，振動)以將其通知給用戶。通過提供這樣的觸覺輸出，即使在用戶的移動電話處于用戶的口袋中時，用戶也能夠識別出各種事件的發(fā)生。警報單元153也可以經由顯示單元151或音頻輸出模塊152提供通知事件的發(fā)生的輸出。

存儲器160可以存儲由控制器180執(zhí)行的處理和控制操作的軟件程序等等，或者可以暫時地存儲己經輸出或將要輸出的數據(例如，電話簿、消息、靜態(tài)圖像、視頻等等)。而且，存儲器160可以存儲關于當觸摸施加到觸摸屏時輸出的各種方式的振動和音頻信號的數據。

存儲器160可以包括至少一種類型的存儲介質，所述存儲介質包括閃存、硬盤、多媒體卡、卡型存儲器(例如，sd或dx存儲器等等)、隨機訪問存儲器(ram)、靜態(tài)隨機訪問存儲器(sram)、只讀存儲器(rom)、電可擦除可編程只讀存儲器(eeprom)、可編程只讀存儲器(prom)、磁性存儲器、磁盤、光盤等等。而且，移動終端100可以與通過網絡連接執(zhí)行存儲器160的存儲功能的網絡存儲裝置協(xié)作。

控制器180通?？刂埔苿咏K端的總體操作。例如，控制器180執(zhí)行與語音通話、數據通信、視頻通話等等相關的控制和處理。另外，控制器180可以包括用于再現(或回放)多媒體數據的多媒體模塊181，多媒體模塊181可以構造在控制器180內，或者可以構造為與控制器180分離?？刂破?80可以執(zhí)行模式識別處理，以將在觸摸屏上執(zhí)行的手寫輸入或者圖片繪制輸入識別為字符或圖像。

電源單元190在控制器180的控制下接收外部電力或內部電力并且提供操作各元件和組件所需的適當的電力。

這里描述的各種實施方式可以以使用例如計算機軟件、硬件或其任何組合的計算機可讀介質來實施。對于硬件實施，這里描述的實施方式可以通過使用特定用途集成電路(asic)、數字信號處理器(dsp)、數字信號處理裝置(dspd)、可編程邏輯裝置(pld)、現場可編程門陣列(fpga)、處理器、控制器、微控制器、微處理器、被設計為執(zhí)行這里描述的功能的電子單元中的至少一種來實施，在一些情況下，這樣的實施方式可以在控制器180中實施。對于軟件實施，諸如過程或功能的實施方式可以與允許執(zhí)行至少一種功能或操作的單獨的軟件模塊來實施。軟件代碼可以由以任何適當的編程語言編寫的軟件應用程序(或程序)來實施，軟件代碼可以存儲在存儲器160中并且由控制器180執(zhí)行。

至此，己經按照其功能描述了移動終端。下面，結合本發(fā)明，所述移動終端為一具有顯示功能的顯示終端，以下所描述的顯示終端即為該移動終端100。本發(fā)明能夠應用于任何類型的顯示終端，并且不限于移動式顯示終端。

如圖1中所示的移動終端100可以被構造為利用經由幀或分組發(fā)送數據的諸如有線和無線通信系統(tǒng)以及基于衛(wèi)星的通信系統(tǒng)來操作。

現在將參考圖2描述其中根據本發(fā)明的移動終端能夠操作的通信系統(tǒng)。

這樣的通信系統(tǒng)可以使用不同的空中接口和/或物理層。例如，由通信系統(tǒng)使用的空中接口包括例如頻分多址(fdma)、時分多址(tdma)、碼分多址(cdma)和通用移動通信系統(tǒng)(umts)(特別地，長期演進(lte))、全球移動通信系統(tǒng)(gsm)等等。作為非限制性示例，下面的描述涉及cdma通信系統(tǒng)，但是這樣的教導同樣適用于其它類型的系統(tǒng)。

參考圖2，cdma無線通信系統(tǒng)可以包括多個移動終端100、多個基站(bs)270、基站控制器(bsc)275和移動交換中心(msc)280。msc280被構造為與公共電話交換網絡(pstn)290形成接口。msc280還被構造為與可以經由回程線路耦接到基站270的bsc275形成接口。回程線路可以根據若干己知的接口中的任一種來構造，所述接口包括例如e1/t1、atm，ip、ppp、幀中繼、hdsl、adsl或xdsl。將理解的是，如圖2中所示的系統(tǒng)可以包括多個bsc2750。

每個bs270可以服務一個或多個分區(qū)(或區(qū)域)，由多向天線或指向特定方向的天線覆蓋的每個分區(qū)放射狀地遠離bs270?；蛘撸總€分區(qū)可以由用于分集接收的兩個或更多天線覆蓋。每個bs270可以被構造為支持多個頻率分配，并且每個頻率分配具有特定頻譜(例如，1.25mhz，5mhz等等)。

分區(qū)與頻率分配的交叉可以被稱為cdma信道。bs270也可以被稱為基站收發(fā)器子系統(tǒng)(bts)或者其它等效術語。在這樣的情況下，術語"基站"可以用于籠統(tǒng)地表示單個bsc275和至少一個bs270?；疽部梢员环Q為"蜂窩站"?；蛘?，特定bs270的各分區(qū)可以被稱為多個蜂窩站。

如圖2中所示，廣播發(fā)射器(bt)295將廣播信號發(fā)送給在系統(tǒng)內操作的移動終端100。如圖1中所示的廣播接收模塊111被設置在移動終端100處以接收由bt295發(fā)送的廣播信號。在圖2中，示出了幾個全球定位系統(tǒng)(gps)衛(wèi)星300。衛(wèi)星300幫助定位多個移動終端100中的至少一個。

在圖2中，描繪了多個衛(wèi)星300，但是理解的是，可以利用任何數目的衛(wèi)星獲得有用的定位信息。如圖1中所示的gps模塊115通常被構造為與衛(wèi)星300配合以獲得想要的定位信息。替代gps跟蹤技術或者在gps跟蹤技術之外，可以使用可以跟蹤移動終端的位置的其它技術。另外，至少一個gps衛(wèi)星300可以選擇性地或者額外地處理衛(wèi)星dmb傳輸。

作為無線通信系統(tǒng)的一個典型操作，bs270接收來自各種移動終端100的反向鏈路信號。移動終端100通常參與通話、消息收發(fā)和其它類型的通信。特定基站270接收的每個反向鏈路信號被在特定bs270內進行處理。獲得的數據被轉發(fā)給相關的bsc275。bsc提供通話資源分配和包括bs270之間的軟切換過程的協(xié)調的移動管理功能。bsc275還將接收到的數據路由到msc280，其提供用于與pstn290形成接口的額外的路由服務。類似地，pstn290與msc280形成接口，msc與bsc275形成接口，并且bsc275相應地控制bs270以將正向鏈路信號發(fā)送到移動終端100。

基于上述移動終端硬件結構以及通信系統(tǒng)，提出本發(fā)明系統(tǒng)各個實施例。

首先，本發(fā)明提出一種數據請求處理裝置400。

如圖3所示，本發(fā)明所述的數據處理裝置的功能模塊示意圖。在本實施例中，所述數據處理裝置400可以被分割成一個或多個模塊，所述一個或多個模塊被存儲于所述存儲器160中，并由一個或多個控制器(本實施例中的所述控制器180)所執(zhí)行，以完成本發(fā)明。例如，在圖3中，所述數據處理400可以被分割成收集模塊401、處理模塊402。本發(fā)明所稱的模塊是指一種能夠完成特定功能的一系列計算機程序指令段，以下將就上述各功能模塊401-402的具體功能進行詳細描述。

收集模塊401，用于針對預設規(guī)則，收集不合規(guī)數據。

具體地，所述移動終端100可以作為客戶端，用于服務器進行通信。示例性的，軟件開發(fā)工具包(softwaredevelopmentkit，簡稱：sdk)，具有數據采集的功能，而sdk往往集成在客戶端安裝的app中。

在本發(fā)明實施例的一種實現方式中，具有數據收集功能的sdk通過api(applicationprogramminginterface，應用編程接口)與聊天軟件進行集成。因此，該聊天軟件就能達到一個具有具有數據采集功能的app的目的。具體的，sdk與應用程序通過api進行連接以達到集成的作用，是現有技術，本發(fā)明實施例在此不對其進行贅述。

在本發(fā)明實施例的另一種實現方式中，可以是應用程序的代碼中直接嵌入sdk，已達到應用程序具有數據采集功能的目的。

具體的，不合規(guī)數據可以為：具有時間戳錯誤的數據、和/或與預設格式不完全匹配的數據、和/或、亂碼的數據。

示例性的，采集到的不合規(guī)數據的時間戳比比預設時間大2min，例如sdk采集的數據時間為：2017年3月2日10時40分至2017年3月2日10時42分，而采集到的數據的時間為：2017年3月2日10時42分至2017年3月2日10時44分。相對于預設的數據采集時間來說，實際的數據是時間為將來的時間值，即：采集到的數據對應的時間戳錯誤，因此，不能直接作為數據進行使用，即不能作為合規(guī)的數據，將其作為不合規(guī)數據。

示例性的，預設的數據格式為：時間、事件、類型、所有者；而采集到的數據格式為：時間、事件、所有者、數據所屬項目，因此，采集到的數據的格式和預設的數據格式存在類型和數據所述項目的不同，數據不完全匹配的數據格式。另外，如果采集到的數據格式與預設的數據格式沒有任何一個相同的格式，則為完全不匹配的數據格式。因為不完全匹配包括：部分匹配和完全不匹配，則采集到的數據也屬于不合規(guī)數據。

另外，亂碼的數據也可以作為不合規(guī)數據，將其作為不合規(guī)數據，可以根據大量的統(tǒng)計獲得亂碼數據的規(guī)律，進行亂碼數據的原因分析。本發(fā)明實施例中的具有時間戳錯誤的數據、和/或與預設格式不完全匹配的數據、和/或亂碼的數據作為不合規(guī)數據是最為常見的不合規(guī)數據形式，也是比較能夠體現客戶端出現的數據問題的形式，因此，才用著三種數據形式中的一種或者多種組合能夠很好的實現客戶端的問題的解析。

另外，本發(fā)明實施例中所述的不合規(guī)數據僅僅是示例性的，不構成對本發(fā)明實施例的具體限定。

處理模塊402，用于將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行處理。

可以理解的是，客戶端將收集發(fā)哦的不合規(guī)數據發(fā)送至指定的服務器，由服務器對不合規(guī)數據進行存儲并處理。

示例性的，在本發(fā)明實施例的另一種實現方式中，服務器直接存儲所有不合規(guī)的數據，并對不合規(guī)的數據進行分類，例如，得到的不合規(guī)數據中時間戳錯誤的數據最多，那么可以通過得到客戶端的時間設置上存在問題。

示例性的，在本發(fā)明實施例的另一種實現方式中，還可以通過概率分布的統(tǒng)計，計算出來不合規(guī)數據的分布情況。具體的，概率分布可以為二項分布、泊松分布、均勻分布、指數分布和正太分布等。例如在二項分布中，通過期望和方差可以得到占比較大的不合規(guī)數據。

具體的不合規(guī)數據的處理方式，還可以為其他形式，本發(fā)明實施例中的概率分布和簡單的不合規(guī)數據分類僅僅是示例性的，不構成對本發(fā)明實施例中對不合規(guī)數據的具體處理形式的限定。

由此可見，應用本發(fā)明圖3所示的實施例，本發(fā)明所提出的數據處理裝置，通過客戶端采集不合規(guī)數據，并將采集到的不合規(guī)數據發(fā)送至服務器進行處理。通過服務器處理后的、大量的不合規(guī)數據，以實現在統(tǒng)計學的角度去發(fā)現客戶端可能存在的問題，從而解決現有技術中對采集到的不合規(guī)數據進行直接丟棄，而無法從中發(fā)現產生不合規(guī)數據的具體原因。

可以理解的是，客戶端發(fā)送至服務器的不合規(guī)數據可能是來自不同的應用程序的，例如可以來自聊天軟件、購物軟件等等，且不合規(guī)數據可以是數據格式的匹配問題，也可以是時間的有效性問題。如果服務器直接對所有的不合規(guī)數據進行統(tǒng)一的處理，在面對大量數據的時候，會由于不合規(guī)數據的種類較多且雜亂，會導致處理的效率較低。

為解決上述技術問題，本發(fā)明實施例提供了一種實施方式，參見圖4所示，圖4為本發(fā)明實施例所述的第二種功能模塊示意圖，具體的，所述處理模塊402，可以包括：第一處理子模塊402a、第二處理子模塊402b。

第一處理子模塊402a，用于將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行過濾處理。

示例性的，在服務器存儲不合規(guī)數據之前需要增加一層數據過濾層。具體地，可以首先需要對不合規(guī)數據進行預設屬性的校驗處理，包括但不限于數據格式是否正確、數據采集時間的有效性、數據采集應用標識的有效性等。

進一步，將過濾出來的不合規(guī)數據進行匯總，然后分發(fā)到服務器中專門的不合規(guī)數據處理程序，用于進一步處理。第一處理子模塊402a主要用于在服務器的數據存儲之前按照預設的規(guī)則對不合規(guī)數據進行一次過濾的工作，入某一類不合規(guī)的數據較少，或者信息不完整，及時對不合規(guī)數據進行分析可能也無法獲得有效的信息，因此可以進行過濾掉，以節(jié)省對不合規(guī)數據的分析時間，提高不合規(guī)數據的處理效率。

第二處理子模塊402b，用于將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行預設字段的提取處理。

可以理解的是，將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行用戶標識、時間發(fā)生時間、采集時間名稱、不合規(guī)原因、原始日志數據、應用標識以及數據上報字段的提取處理。

具體的，服務器可以嘗試提取以上所有字段，但是每個字段都提供對應的默認值，如果獲取不到則使用默認值；如果獲取到了，則將提取出來的信息填入對應字段。

另外，具體地，還可以將不合規(guī)數據進行持久化處理，所謂持久化，持久化是將程序數據在持久狀態(tài)和瞬時狀態(tài)間轉換的機制。通俗的講，就是瞬時數據(比如內存中的數據，是不能永久保存的)持久化為持久數據(比如持久化至數據庫中，能夠長久保存)。

可以理解的是，將處理后的不合規(guī)數據可以存儲到與正常數據相同的數據庫中，我們采用hive進行存儲。存儲到相同的數據庫中的好處是可以進行關聯檢索分析。比如我們查詢到某個應用程序標識(appid)的數據存在問題，那可以關聯查詢一下該appid的基本信息或者其正常數據具有什么特點等。

應用本發(fā)明圖4所示的實施例，能夠通過第一處理子模塊402a進行存儲前的數據過濾，以及第二處理子模塊402b進行預設字段的提取，將所有不合規(guī)數據轉化成一定格式的數據，便于進行統(tǒng)一的存儲于分析，能夠進一步提高不合規(guī)數據的處理效率。

示例性的，如圖5所示，圖5為本發(fā)明實施例所述的第三種功能模塊示意圖，在圖3所示實施例的基礎上增加發(fā)送模塊501；

具體的，發(fā)送模塊501，用于發(fā)送數據分類指令，以使所述服務器對處理后的數據按照預設分類規(guī)則進行分類。

進一步的，可以通過客戶端發(fā)送一個數據分類的指令，服務器端通過預先建立的定時分析任務，通過該分析任務需要將一段時間內的不合規(guī)數據按照應用標識與錯誤類別進行分組歸類，并持久化到報表。

具體的，該分析任務可設置為一天執(zhí)行一次。通過技術人員的多次研究和嘗試，一天執(zhí)行一次的分析能過及時發(fā)現不合規(guī)數據反映的問題，且分析頻率不至于過高，較為合理。當然，也可以設置為一天執(zhí)行一次，兩天執(zhí)行一次等等，本發(fā)明實施例在此不對其進行具體限定。

示例性的，數據處理裝置可以應用于手機端，通過sdk用于收集數據，該sdk需要集成在具體的應用app中。進一步地，手機端sdk將數據上報到數據中心的服務端，服務端將對數據進行過濾分發(fā)。在提取出有效字段后，該系統(tǒng)將不合規(guī)數據存儲于hive中建立的trash表，能夠幫助技術人員快速分析出多次對接的應用app程序出現埋點錯誤的問題。

因此，應用本發(fā)明圖5所示的實施例，通過接收客戶端發(fā)送的分類指令，將不合規(guī)數據按照預設的分類規(guī)則進行分類，能夠方便技術人員及時的了解預設類別中不合規(guī)數據的數量和具體問題，進一步有助于分析不合規(guī)數據的產生原因。

進一步地，本發(fā)明還提供了一種數據處理方法，應用于客戶端，如圖6所示，是本發(fā)明所述的數據處理方法流程示意圖。在本實施例中，所述數據處理方法可以分為以下步驟：

s601，針對預設規(guī)則，收集不合規(guī)數據。

s602，將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行處理。

具體的，所述不合規(guī)數據為：具有時間戳錯誤的數據、和/或與預設格式不完全匹配的數據、和/或亂碼的數據。

具體地，所述移動終端100可以作為客戶端，用于服務器進行通信。示例性的，軟件開發(fā)工具包(softwaredevelopmentkit，簡稱：sdk)，具有數據采集的功能，而sdk往往集成在客戶端安裝的app中。

在本發(fā)明實施例的一種實現方式中，具有數據收集功能的sdk通過api(applicationprogramminginterface，應用編程接口)與聊天軟件進行集成。因此，該聊天軟件就能達到一個具有具有數據采集功能的app的目的。具體的，sdk與應用程序通過api進行連接以達到集成的作用，是現有技術，本發(fā)明實施例在此不對其進行贅述。

在本發(fā)明實施例的另一種實現方式中，可以是應用程序的代碼中直接嵌入sdk，已達到應用程序具有數據采集功能的目的。

示例性的，采集到的不合規(guī)數據的時間戳比比預設時間大2min，例如sdk采集的數據時間為：2017年3月2日10時40分至2017年3月2日10時42分，而采集到的數據的時間為：2017年3月2日10時42分至2017年3月2日10時44分。相對于預設的數據采集時間來說，實際的數據是時間為將來的時間值，即：采集到的數據對應的時間戳錯誤，因此，不能直接作為數據進行使用，即不能作為合規(guī)的數據，將其作為不合規(guī)數據。

示例性的，預設的數據格式為：時間、事件、類型、所有者；而采集到的數據格式為：時間、事件、所有者、數據所屬項目，因此，采集到的數據的格式和預設的數據格式存在類型和數據所述項目的不同，數據不完全匹配的數據格式。另外，如果采集到的數據格式與預設的數據格式沒有任何一個相同的格式，則為完全不匹配的數據格式。因為不完全匹配包括：部分匹配和完全不匹配，則采集到的數據也屬于不合規(guī)數據。

另外，亂碼的數據也可以作為不合規(guī)數據，將其作為不合規(guī)數據，可以根據大量的統(tǒng)計獲得亂碼數據的規(guī)律，進行亂碼數據的原因分析。本發(fā)明實施例中的具有時間戳錯誤的數據、和/或與預設格式不完全匹配的數據、和/或亂碼的數據作為不合規(guī)數據是最為常見的不合規(guī)數據形式，也是比較能夠體現客戶端出現的數據問題的形式，因此，才用著三種數據形式中的一種或者多種組合能夠很好的實現客戶端的問題的解析。

另外，本發(fā)明實施例中所述的不合規(guī)數據僅僅是示例性的，不構成對本發(fā)明實施例的具體限定。

可以理解的是，客戶端將收集發(fā)哦的不合規(guī)數據發(fā)送至指定的服務器，由服務器對不合規(guī)數據進行存儲并處理。

示例性的，在本發(fā)明實施例的另一種實現方式中，服務器直接存儲所有不合規(guī)的數據，并對不合規(guī)的數據進行分類，例如，得到的不合規(guī)數據中時間戳錯誤的數據最多，那么可以通過得到客戶端的時間設置上存在問題。

示例性的，在本發(fā)明實施例的另一種實現方式中，還可以通過概率分布的統(tǒng)計，計算出來不合規(guī)數據的分布情況。具體的，概率分布可以為二項分布、泊松分布、均勻分布、指數分布和正太分布等。例如在二項分布中，通過期望和方差可以得到占比較大的不合規(guī)數據。

具體的不合規(guī)數據的處理方式，還可以為其他形式，本發(fā)明實施例中的概率分布和簡單的不合規(guī)數據分類僅僅是示例性的，不構成對本發(fā)明實施例中對不合規(guī)數據的具體處理形式的限定。

應用本發(fā)明圖6所示的實施例，本發(fā)明所提出的數據處理方法，通過客戶端采集不合規(guī)數據，并將采集到的不合規(guī)數據發(fā)送至服務器進行處理。通過服務器處理后的、大量的不合規(guī)數據，以實現在統(tǒng)計學的角度去發(fā)現客戶端可能存在的問題，從而解決現有技術中對采集到的不合規(guī)數據進行直接丟棄，而無法從中發(fā)現產生不合規(guī)數據的具體原因。

具體的，如圖7所示，圖7為本發(fā)明實施例提供的數據處理方法的第二種流程示意圖，具體的，在圖6所示實施例的基礎上步驟s602可以為s701；其中，

s701，將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行過濾處理和預設字段的提取處理。

進一步的，s701可以包括：

將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行預設屬性的校驗處理，其中，所述預設屬性的校驗處理包括但不限于：數據采集時間的有效性、數據采集應用標識的有效性；

以及，

將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行用戶標識、時間發(fā)生時間、采集時間名稱、不合規(guī)原因、原始日志數據、應用標識以及數據上報字段的提取處理。

示例性的，在服務器存儲不合規(guī)數據之前需要增加一層數據過濾層。具體地，可以首先需要對不合規(guī)數據進行預設屬性的校驗處理，包括但不限于數據格式是否正確、數據采集時間的有效性、數據采集應用標識的有效性等。

進一步，將過濾出來的不合規(guī)數據進行匯總，然后分發(fā)到服務器中專門的不合規(guī)數據處理程序，用于進一步處理。第一處理子模塊402a主要用于在服務器的數據存儲之前按照預設的規(guī)則對不合規(guī)數據進行一次過濾的工作，入某一類不合規(guī)的數據較少，或者信息不完整，及時對不合規(guī)數據進行分析可能也無法獲得有效的信息，因此可以進行過濾掉，以節(jié)省對不合規(guī)數據的分析時間，提高不合規(guī)數據的處理效率。

可以理解的是，將所述不合規(guī)數據發(fā)送至服務器，以使所述服務器對所述不合規(guī)數據進行用戶標識、時間發(fā)生時間、采集時間名稱、不合規(guī)原因、原始日志數據、應用標識以及數據上報字段的提取處理。

具體的，服務器可以嘗試提取以上所有字段，但是每個字段都提供對應的默認值，如果獲取不到則使用默認值；如果獲取到了，則將提取出來的信息填入對應字段。

另外，具體地，還可以將不合規(guī)數據進行持久化處理，所謂持久化，持久化是將程序數據在持久狀態(tài)和瞬時狀態(tài)間轉換的機制。通俗的講，就是瞬時數據(比如內存中的數據，是不能永久保存的)持久化為持久數據(比如持久化至數據庫中，能夠長久保存)。

可以理解的是，將處理后的不合規(guī)數據可以存儲到與正常數據相同的數據庫中，我們采用hive進行存儲。存儲到相同的數據庫中的好處是可以進行關聯檢索分析。比如我們查詢到某個應用程序標識(appid)的數據存在問題，那可以關聯查詢一下該appid的基本信息或者其正常數據具有什么特點等。

應用本發(fā)明圖7所示的實施例，能夠通過s701進行存儲前的數據過濾，以及進行預設字段的提取，將所有不合規(guī)數據轉化成一定格式的數據，便于進行統(tǒng)一的存儲于分析，能夠進一步提高不合規(guī)數據的處理效率。

參見圖8，圖8為本發(fā)明實施例提供的數據處理方法的第三種流程示意圖，在圖6所示實施例的基礎上增加步驟s801；具體的，

s801，發(fā)送數據分類指令，以使所述服務器對處理后的數據按照預設分類規(guī)則進行分類。

進一步的，可以通過客戶端發(fā)送一個數據分類的指令，服務器端通過預先建立的定時分析任務，通過該分析任務需要將一段時間內的不合規(guī)數據按照應用標識與錯誤類別進行分組歸類，并持久化到報表。

具體的，該分析任務可設置為一天執(zhí)行一次。通過技術人員的多次研究和嘗試，一天執(zhí)行一次的分析能過及時發(fā)現不合規(guī)數據反映的問題，且分析頻率不至于過高，較為合理。當然，也可以設置為一天執(zhí)行一次，兩天執(zhí)行一次等等，本發(fā)明實施例在此不對其進行具體限定。

示例性的，數據處理裝置可以應用于手機端，通過sdk用于收集數據，該sdk需要集成在具體的應用app中。進一步地，手機端sdk將數據上報到數據中心的服務端，服務端將對數據進行過濾分發(fā)。在提取出有效字段后，該系統(tǒng)將不合規(guī)數據存儲于hive中建立的trash表，能夠幫助技術人員快速分析出多次對接的應用app程序出現埋點錯誤的問題。

應用本發(fā)明圖8所示的實施例，通過接收客戶端發(fā)送的分類指令，將不合規(guī)數據按照預設的分類規(guī)則進行分類，能夠方便技術人員及時的了解預設類別中不合規(guī)數據的數量和具體問題，進一步有助于分析不合規(guī)數據的產生原因。

圖9為本發(fā)明所述的終端采集到不合規(guī)數據并發(fā)送至服務器示意圖，在終端手機到不合規(guī)數據以后可以通過詢問管理人員或者用戶，是否發(fā)送至服務器進行處理，可以通過選擇進行處理，以保證用戶的隱私設置等。

上述本發(fā)明實施例序號僅僅為了描述，不代表實施例的優(yōu)劣。

通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到上述實施例方法可借助軟件加必需的通用硬件平臺的方式來實現，當然也可以通過硬件，但很多情況下前者是更佳的實施方式?；谶@樣的理解，本發(fā)明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來，該計算機軟件產品存儲在一個存儲介質(如rom/ram、磁碟、光盤)中，包括若干指令用以使得一臺終端設備(可以是手機，計算機，服務器，空調器，或者網絡設備，機器人等)執(zhí)行本發(fā)明各個實施例所述的方法。

以上僅為本發(fā)明的優(yōu)選實施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發(fā)明的專利保護范圍內。