一種新的網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種新的網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集方法，涉及網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集管理系統(tǒng)、Web?Services技術(shù)，包括：業(yè)務(wù)數(shù)據(jù)采集模塊，用于定義網(wǎng)頁業(yè)務(wù)數(shù)據(jù)采集規(guī)則，并提供業(yè)務(wù)數(shù)據(jù)采集并結(jié)構(gòu)化處理的服務(wù)；業(yè)務(wù)數(shù)據(jù)映射模塊，用于定義業(yè)務(wù)數(shù)據(jù)采集結(jié)果的映射結(jié)構(gòu)；及提供業(yè)務(wù)數(shù)據(jù)采集結(jié)果的映射展現(xiàn)服務(wù)；業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移模塊，用于定義業(yè)務(wù)數(shù)據(jù)采集結(jié)果向其他應(yīng)用程序提轉(zhuǎn)移數(shù)據(jù)的結(jié)構(gòu)及提供業(yè)務(wù)數(shù)據(jù)采集結(jié)果向其他應(yīng)用程序輸入數(shù)據(jù)的服務(wù)。
【專利說明】一種新的網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集管理技術(shù)、Web Services技術(shù)，特別涉及一種新的網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集系統(tǒng)及方法。
【背景技術(shù)】
[0002]目前，互聯(lián)網(wǎng)已成為一個巨大的資源寶庫，網(wǎng)頁數(shù)量已超過幾千億，其中包含了大量的有價值的業(yè)務(wù)數(shù)據(jù)，面對互聯(lián)網(wǎng)海量的信息，政府機關(guān)、企事業(yè)單位和研究機構(gòu)都迫切希望獲取與自身工作相關(guān)的有價值信息，但是由于網(wǎng)頁業(yè)務(wù)數(shù)據(jù)都是非結(jié)構(gòu)化或半結(jié)構(gòu)化的，如何方便快捷地獲取這些信息就變得至關(guān)重要了。如果采用原始的手工收集方式，費時費力且毫無效率，面對越來越多的信息資源，勞動強度和難度可想而知。因此，現(xiàn)代的政府和企業(yè)都迫切需要一種能夠提供高質(zhì)量和高效運作的業(yè)務(wù)數(shù)據(jù)采集解決方案。
[0003]發(fā)明人在實現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下缺點和不足:
[0004]首先，目前的同類網(wǎng)頁數(shù)據(jù)采集系統(tǒng)，基本上是通過兩種方式提供給用戶，一種是提供客戶端應(yīng)用程序，另一種是單純的提供采集服務(wù)。這兩種方式弊端都非常明顯，如提供客戶端應(yīng)用程序，即面臨升級與維護的困難，同時，也難以適應(yīng)用戶各種各樣的應(yīng)用系統(tǒng)；單純的提供采集服務(wù)，無法適應(yīng)客戶隨時變化的需求。
[0005]其次，目前的同類網(wǎng)頁數(shù)據(jù)采集系統(tǒng)，其主要針對的采集對象是公開的網(wǎng)頁信息，主要包括新聞、圖片、博客、咨訊等等，采集的方式是根據(jù)目標(biāo)網(wǎng)頁的結(jié)構(gòu)，定義采集范圍與采集規(guī)則，但是，由于這些公共信息的模板存在不確定性，信息的格式經(jīng)常發(fā)生變化，導(dǎo)致網(wǎng)頁數(shù)據(jù)采集的準(zhǔn)確性大大降低，同時，使用者需要經(jīng)常重新定義采集范圍與采集規(guī)則，而每次重新定義采集范圍與采集規(guī)則，都會使使用者消耗大量的人力物力財力，因此，采集的效率非常低。

【發(fā)明內(nèi)容】

[0006]為了實現(xiàn)對網(wǎng)頁業(yè)務(wù)數(shù)據(jù)高效、準(zhǔn)確、低成本的采集，滿足不同操作系統(tǒng)與專業(yè)應(yīng)用軟件對網(wǎng)頁業(yè)務(wù)數(shù)據(jù)的需要，本發(fā)明提供了一種網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集管理系統(tǒng)及其采集方法，所述網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集管理系統(tǒng)包括:
[0007]網(wǎng)頁業(yè)務(wù)數(shù)據(jù)采集模塊，用于定業(yè)務(wù)數(shù)據(jù)采集范圍與采集規(guī)則并供業(yè)務(wù)數(shù)據(jù)采集并結(jié)構(gòu)化處理的服務(wù)。
[0008]網(wǎng)頁業(yè)務(wù)數(shù)據(jù)映射模塊，用于定義業(yè)務(wù)數(shù)據(jù)采集結(jié)果的映射結(jié)構(gòu)并提供業(yè)務(wù)數(shù)據(jù)采集結(jié)果的映射展現(xiàn)服務(wù)。
[0009]網(wǎng)頁業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移模塊，用于定義業(yè)務(wù)數(shù)據(jù)采集結(jié)果向其他應(yīng)用程序轉(zhuǎn)移數(shù)據(jù)的結(jié)構(gòu)及提供業(yè)務(wù)數(shù)據(jù)采集結(jié)果向其他應(yīng)用程序輸入數(shù)據(jù)的服務(wù)。
[0010]所述業(yè)務(wù)數(shù)據(jù)采集模塊包括:
[0011]采集規(guī)則設(shè)置子模塊，用于設(shè)置業(yè)務(wù)數(shù)據(jù)采集規(guī)則；用戶通過此模塊，可定義網(wǎng)頁業(yè)務(wù)數(shù)據(jù)的采集規(guī)則。[0012]采集服務(wù)子模塊，用戶可通過此模塊進行網(wǎng)頁業(yè)務(wù)數(shù)據(jù)的采集工作，可獲得相應(yīng)的采集結(jié)果，并結(jié)構(gòu)化存儲為數(shù)據(jù)庫記錄。
[0013]業(yè)務(wù)數(shù)據(jù)映射模塊包括:
[0014]數(shù)據(jù)映射配置子模塊，用于定義業(yè)務(wù)數(shù)據(jù)采集結(jié)果的映射結(jié)構(gòu)。用戶獲得采集結(jié)果后，需要對采集結(jié)果的全部或部分進行二次展現(xiàn)，但原網(wǎng)頁中的展現(xiàn)方式與命名并不符合用戶需要，通過此模塊，用戶可自定義采集結(jié)果的二次展現(xiàn)結(jié)構(gòu)。
[0015]數(shù)據(jù)映射服務(wù)子模塊，用戶通過此模塊，可對采集結(jié)果進行二次展現(xiàn)，以確定是否滿足自身的數(shù)據(jù)需求。
[0016]所述業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移模塊包括:
[0017]數(shù)據(jù)轉(zhuǎn)移配置子模塊，用于用戶根據(jù)自身業(yè)務(wù)系統(tǒng)的需求定義采集結(jié)果的輸出結(jié)構(gòu)。用戶獲得采集結(jié)果后，需要對采集結(jié)果的全部或部分應(yīng)用到自身現(xiàn)有的業(yè)務(wù)應(yīng)用系統(tǒng)中，通過此模塊，用戶可自定義采集結(jié)果的輸出結(jié)構(gòu)以滿足身現(xiàn)有的業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)需求。
[0018]數(shù)據(jù)轉(zhuǎn)移服務(wù)子模塊，用戶通過此模塊，可將采集的全部或部分數(shù)據(jù)應(yīng)用到現(xiàn)有的各種專業(yè)應(yīng)用系統(tǒng)中。
[0019]網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集系統(tǒng)還包括:
[0020]用戶注冊模塊，用于站外人員初次登陸時，根據(jù)不同的系統(tǒng)角色注冊系統(tǒng)用戶。
[0021]數(shù)據(jù)采集存儲結(jié)構(gòu)配置模塊，用于定義網(wǎng)頁業(yè)務(wù)數(shù)據(jù)存儲目標(biāo)的數(shù)據(jù)結(jié)構(gòu)。
[0022]本發(fā)明還提供一種網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集方法，其特征在于，所述方法包括以下步驟:
[0023](3)用戶下載網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集插件,通過自動安裝建立WebServices服務(wù);
[0024](4)用戶通過注冊模塊成為系統(tǒng)相應(yīng)角色的用戶。
[0025](3)所述業(yè)務(wù)數(shù)據(jù)采集規(guī)則配置模塊，設(shè)置業(yè)務(wù)數(shù)據(jù)采集規(guī)則；
[0026](4)所述業(yè)務(wù)數(shù)據(jù)采集服務(wù)模塊，用戶進行業(yè)務(wù)數(shù)據(jù)采集并結(jié)構(gòu)化處理；
[0027](5)所述業(yè)務(wù)數(shù)據(jù)映射配置模塊，用戶對采集結(jié)果的展現(xiàn)結(jié)構(gòu)進行定義；
[0028](6)所述業(yè)務(wù)數(shù)據(jù)映射服務(wù)模塊，用戶可對采集的結(jié)果按照需要的方式展現(xiàn)；
[0029](7)所述業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移配置模塊，用戶可根據(jù)自身業(yè)務(wù)系統(tǒng)的需求定義采集結(jié)果的輸出結(jié)構(gòu)。
[0030](8)所述業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移服務(wù)模塊，采集完成后，用戶根據(jù)自身業(yè)務(wù)系統(tǒng)的需求將采集的數(shù)據(jù)進行再次應(yīng)用處理。
[0031]本發(fā)明提供的技術(shù)方案的有益效果是:
[0032]本發(fā)明提供一種全新的采集網(wǎng)頁業(yè)務(wù)數(shù)據(jù)的解決方案，通過Web Services方式，將各種專業(yè)的業(yè)務(wù)數(shù)據(jù)采集、數(shù)據(jù)映射、數(shù)據(jù)轉(zhuǎn)移有機的結(jié)合在一起，通過用戶自定義設(shè)置采集規(guī)則，滿足用戶對業(yè)務(wù)數(shù)據(jù)采集的多樣化需求。借用此方案，使用者可根據(jù)自身業(yè)務(wù)系統(tǒng)對外部網(wǎng)頁數(shù)據(jù)的需求方式，自主設(shè)置業(yè)務(wù)數(shù)據(jù)采集規(guī)則與業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移方式，高效準(zhǔn)確的獲得所需的業(yè)務(wù)數(shù)據(jù)，為相關(guān)企業(yè)間業(yè)務(wù)數(shù)據(jù)的交流提供強有力的技術(shù)支持。
【專利附圖】

【附圖說明】 22:數(shù)據(jù)映射服務(wù)子模塊；
32:數(shù)據(jù)轉(zhuǎn)移服務(wù)子模塊。
[加清楚，下面將結(jié)合附圖對本發(fā)明實施方
5成本的采集，滿足不同操作系統(tǒng)與專業(yè)應(yīng)-種網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集管理系統(tǒng)，參I管理系統(tǒng)包括:
數(shù)據(jù)采集范圍與采集規(guī)則并供業(yè)務(wù)數(shù)據(jù)采
據(jù)采集結(jié)果的映射結(jié)構(gòu)并提供業(yè)務(wù)數(shù)據(jù)采
據(jù)采集結(jié)果向其他應(yīng)用程序轉(zhuǎn)移數(shù)據(jù)的結(jié)、數(shù)據(jù)的服務(wù)。
1括:[0058]其中，參見圖3，業(yè)務(wù)數(shù)據(jù)映射模塊2包括:
[0059]數(shù)據(jù)映射配置子模塊21，用于設(shè)置采集數(shù)據(jù)展現(xiàn)結(jié)構(gòu)的相關(guān)信息，包括配置列表與配置屬性界面；
[0060]其中，數(shù)據(jù)映射配置子模塊配置列表包括:數(shù)據(jù)類型、客戶名稱、已配置字段列表等信息，可總體展現(xiàn)當(dāng)前對已采集數(shù)據(jù)的映射配置情況。
[0061]數(shù)據(jù)映射服務(wù)子模塊22，用于瀏覽發(fā)布采集數(shù)據(jù)結(jié)果；
[0062]其中，參見圖4，業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移模塊3包括:
[0063]數(shù)據(jù)轉(zhuǎn)移配置子模塊31，用于定義業(yè)務(wù)數(shù)據(jù)采集結(jié)果向其他應(yīng)用程序轉(zhuǎn)移數(shù)據(jù)的結(jié)構(gòu)，包括配置列表與配置屬性界面；
[0064]其中，數(shù)據(jù)轉(zhuǎn)移配置子模塊配置列表包括:數(shù)據(jù)類型、客戶名稱、已配置字段列表等信息，可總體展現(xiàn)當(dāng)前對已采集數(shù)據(jù)的轉(zhuǎn)移配置情況。
[0065]數(shù)據(jù)轉(zhuǎn)移服務(wù)子模塊32，提供業(yè)務(wù)數(shù)據(jù)采集結(jié)果向其他應(yīng)用程序輸入數(shù)據(jù)的服務(wù)。
[0066]其中，參見圖5，網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集系統(tǒng)還包括:
[0067]用戶注冊模塊4，用于站外人員初次登陸時，根據(jù)不同的系統(tǒng)角色注冊系統(tǒng)用戶。
[0068]數(shù)據(jù)采集存儲結(jié)構(gòu)配置模塊5，用于定義網(wǎng)頁業(yè)務(wù)數(shù)據(jù)存儲目標(biāo)的數(shù)據(jù)結(jié)構(gòu)。
[0069]本發(fā)明還提供一種網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集方法，參見圖6，該方法包括以下步驟
[0070]101:用戶下載網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集插件,通過自動安裝建立WebServices服務(wù);
[0071]102:用戶通過注冊模塊成為系統(tǒng)相應(yīng)角色的用戶；
[0072]103:用戶通過業(yè)務(wù)數(shù)據(jù)采集規(guī)則配置模塊，設(shè)置業(yè)務(wù)數(shù)據(jù)采集規(guī)則；
[0073]104:用戶通過業(yè)務(wù)數(shù)據(jù)采集服務(wù)模塊，采集業(yè)務(wù)數(shù)據(jù)；
[0074]105:用戶通過數(shù)據(jù)映射配置模塊，用戶對采集結(jié)果的展現(xiàn)結(jié)構(gòu)進行定義；
[0075]106:用戶通過數(shù)據(jù)映射服務(wù)模塊，用戶可對采集的結(jié)果按照需要的方式展現(xiàn)；
[0076]107:用戶通過業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移配置模塊，用戶可根據(jù)自身業(yè)務(wù)系統(tǒng)的需求定義采集結(jié)果的輸出結(jié)構(gòu)；
[0077]108:業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移服務(wù)模塊，采集完成后，用戶根據(jù)自身業(yè)務(wù)系統(tǒng)的需求將采集的數(shù)據(jù)進行再次應(yīng)用處理。
[0078]綜上所述，本發(fā)明提供一種全新的采集網(wǎng)頁業(yè)務(wù)數(shù)據(jù)的解決方案，通過WebServices方式，將各種專業(yè)的業(yè)務(wù)數(shù)據(jù)采集、數(shù)據(jù)映射、數(shù)據(jù)轉(zhuǎn)移有機的結(jié)合在一起，通過用戶自定義設(shè)置采集規(guī)則，滿足用戶對業(yè)務(wù)數(shù)據(jù)采集的多樣化需求。借用此方案，使用者可根據(jù)自身業(yè)務(wù)系統(tǒng)對外部網(wǎng)頁數(shù)據(jù)的需求方式，自主設(shè)置業(yè)務(wù)數(shù)據(jù)采集規(guī)則與業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移方式，高效準(zhǔn)確的獲得所需的業(yè)務(wù)數(shù)據(jù)，為相關(guān)企業(yè)間業(yè)務(wù)數(shù)據(jù)的交流提供強有力的技術(shù)支持。
[0079]本領(lǐng)域技術(shù)人員可以理解附圖只是一個優(yōu)選實施例的示意圖，上述本發(fā)明實施例序號僅僅為了描述，不代表實施例的優(yōu)劣。
[0080]以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集管理系統(tǒng)，其特征在于，所述業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集管理系統(tǒng)包括: 業(yè)務(wù)數(shù)據(jù)采集模塊，用于定網(wǎng)頁業(yè)務(wù)數(shù)據(jù)采集規(guī)則并供業(yè)務(wù)數(shù)據(jù)采集并結(jié)構(gòu)化處理的服務(wù)。 業(yè)務(wù)數(shù)據(jù)映射模塊，用于定義業(yè)務(wù)數(shù)據(jù)采集結(jié)果的映射結(jié)構(gòu)并提供業(yè)務(wù)數(shù)據(jù)采集結(jié)果的映射展現(xiàn)服務(wù)。 業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移模塊，用于定義業(yè)務(wù)數(shù)據(jù)采集結(jié)果向其他應(yīng)用程序轉(zhuǎn)移數(shù)據(jù)的結(jié)構(gòu)及提供業(yè)務(wù)數(shù)據(jù)采集結(jié)果向其他應(yīng)用程序輸入數(shù)據(jù)的服務(wù)。
2.根據(jù)權(quán)利要求1所述的一種網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集管理系統(tǒng)，其特征在于，所述業(yè)務(wù)數(shù)據(jù)采集模塊包括: 網(wǎng)頁業(yè)務(wù)數(shù)據(jù)采集規(guī)則設(shè)置子模塊，用于設(shè)置業(yè)務(wù)數(shù)據(jù)采集規(guī)則； 網(wǎng)頁業(yè)務(wù)數(shù)據(jù)采集服務(wù)子模塊，用于用戶采集網(wǎng)頁業(yè)務(wù)數(shù)據(jù)，并結(jié)構(gòu)化存儲采集結(jié)果。
3.根據(jù)權(quán)利要求1所述的一種網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集管理系統(tǒng)，其特征在于，所述業(yè)務(wù)數(shù)據(jù)映射模塊包括: 數(shù)據(jù)映射配置子模塊，用于定義業(yè)務(wù)數(shù)據(jù)采集結(jié)果的映射結(jié)構(gòu)。 數(shù)據(jù)映射配服務(wù)子模塊，提供業(yè)務(wù)數(shù)據(jù)采集結(jié)果的映射展現(xiàn)。
4.根據(jù)權(quán)利要求1所述的一種網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集管理系統(tǒng)，其特征在于，所述業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移模塊包括: 業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移配置模塊，用于定義業(yè)務(wù)數(shù)據(jù)采集結(jié)果向其他應(yīng)用程序提供數(shù)據(jù)的結(jié)構(gòu)。 業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移服務(wù)模塊，提供業(yè)務(wù)數(shù)據(jù)采集結(jié)果向其他應(yīng)用程序輸入數(shù)據(jù)的服務(wù)。
5.一種網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集方法，其特征在于，所述方法包括以下步驟: (1)用戶下載網(wǎng)頁業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化采集插件，通過自動安裝建立WebServices服務(wù)； (2)用戶通過注冊模塊成為系統(tǒng)相應(yīng)角色的用戶。 (3)所述業(yè)務(wù)數(shù)據(jù)采集規(guī)則配置模塊，設(shè)置業(yè)務(wù)數(shù)據(jù)采集規(guī)則； (4)所述業(yè)務(wù)數(shù)據(jù)采集服務(wù)模塊，用戶進行業(yè)務(wù)數(shù)據(jù)采集并結(jié)構(gòu)化處理； (5)所述業(yè)務(wù)數(shù)據(jù)映射配置模塊，用戶對采集結(jié)果的展現(xiàn)結(jié)構(gòu)進行定義； (6)所述業(yè)務(wù)數(shù)據(jù)映射服務(wù)模塊，用戶可對采集的結(jié)果按照需要的方式展現(xiàn)； (7)所述業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移配置模塊，用戶可根據(jù)自身業(yè)務(wù)系統(tǒng)的需求定義采集結(jié)果的輸出結(jié)構(gòu)。 (8)所述業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)移服務(wù)模塊，采集完成后，用戶根據(jù)自身業(yè)務(wù)系統(tǒng)的需求將采集的數(shù)據(jù)進行再次應(yīng)用處理。
【文檔編號】G06F17/30GK103838741SQ201210477176
【公開日】2014年6月4日 申請日期:2012年11月22日 優(yōu)先權(quán)日:2012年11月22日
【發(fā)明者】郭永新, 肖東, 王寧, 張立君 申請人:天津好市道營銷科學(xué)應(yīng)用科技有限公司