資源的抓取方法及裝置的制造方法
【專(zhuān)利說(shuō)明】
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及抓取技術(shù)，尤其涉及一種資源的抓取方法及裝置。
【【背景技術(shù)】】
[0002]目前，對(duì)資源進(jìn)行抓取操作的主要方式是，由研發(fā)人員根據(jù)抓取資源的類(lèi)型，配置不同的抓取模板，進(jìn)而，根據(jù)所配置的抓取模板，編寫(xiě)完整的抓取腳本，然后，運(yùn)行所編寫(xiě)的抓取腳本，將所抓取的抓取數(shù)據(jù)存儲(chǔ)至指定的數(shù)據(jù)庫(kù)中。這種方式，操作復(fù)雜，且容易出錯(cuò)，從而導(dǎo)致了資源抓取的效率和可靠性的降低。
【
【發(fā)明內(nèi)容】
】
[0003]本發(fā)明的多個(gè)方面提供一種資源的抓取方法及裝置，用以提高資源抓取的效率和可靠性。
[0004]本發(fā)明的一方面，提供一種資源的抓取方法，包括:
[0005]獲取資源的抓取配置數(shù)據(jù)；
[0006]根據(jù)所述抓取配置數(shù)據(jù)，執(zhí)行數(shù)據(jù)抓取操作。
[0007]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述獲取資源的抓取配置數(shù)據(jù)，包括:
[0008]通過(guò)可視化操作界面，獲取所述抓取配置數(shù)據(jù)。
[0009]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述通過(guò)可視化操作界面，獲取所述抓取配置數(shù)據(jù)，包括:
[0010]獲取用戶(hù)在可視化操作界面中輸入的抓取配置參數(shù)；
[0011 ] 根據(jù)所述抓取配置參數(shù)，獲得所述抓取配置數(shù)據(jù)。
[0012]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述抓取配置數(shù)據(jù)包括資源標(biāo)識(shí)和數(shù)據(jù)結(jié)構(gòu)信息。
[0013]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述根據(jù)所述抓取配置數(shù)據(jù)，執(zhí)行數(shù)據(jù)抓取操作，包括:
[0014]根據(jù)所述資源標(biāo)識(shí)，獲得抓取數(shù)據(jù)；
[0015]利用所述數(shù)據(jù)結(jié)構(gòu)信息，對(duì)所述抓取數(shù)據(jù)進(jìn)行格式化處理，以獲得處理數(shù)據(jù)；
[0016]對(duì)所述處理數(shù)據(jù)進(jìn)行存儲(chǔ)處理。
[0017]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述抓取配置數(shù)據(jù)還包括存儲(chǔ)數(shù)據(jù)；所述對(duì)所述處理數(shù)據(jù)進(jìn)行存儲(chǔ)處理，包括:
[0018]根據(jù)所述存儲(chǔ)數(shù)據(jù)，對(duì)所述處理數(shù)據(jù)進(jìn)行存儲(chǔ)處理。
[0019]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述利用所述數(shù)據(jù)結(jié)構(gòu)信息，對(duì)所述抓取數(shù)據(jù)進(jìn)行格式化處理，以獲得處理數(shù)據(jù)，包括:
[0020]若所述抓取數(shù)據(jù)滿(mǎn)足預(yù)先設(shè)置的基本數(shù)據(jù)結(jié)構(gòu)，利用所述數(shù)據(jù)結(jié)構(gòu)信息，對(duì)所述抓取數(shù)據(jù)進(jìn)行格式化處理，以獲得處理數(shù)據(jù)。
[0021]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述利用所述數(shù)據(jù)結(jié)構(gòu)信息，對(duì)所述抓取數(shù)據(jù)進(jìn)行格式化處理，以獲得處理數(shù)據(jù)，包括:
[0022]根據(jù)所述抓取數(shù)據(jù)和所述數(shù)據(jù)結(jié)構(gòu)信息，獲取映射配置數(shù)據(jù)；
[0023]根據(jù)映射配置數(shù)據(jù)，獲得所述處理數(shù)據(jù)。
[0024]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述根據(jù)所述抓取數(shù)據(jù)和所述數(shù)據(jù)結(jié)構(gòu)信息，獲取映射配置數(shù)據(jù)，包括:
[0025]通過(guò)可視化操作界面，根據(jù)所述抓取數(shù)據(jù)和所述數(shù)據(jù)結(jié)構(gòu)信息，獲取所述映射配置數(shù)據(jù)。
[0026]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述通過(guò)可視化操作界面，根據(jù)所述抓取數(shù)據(jù)和所述數(shù)據(jù)結(jié)構(gòu)信息，獲取所述映射配置數(shù)據(jù)，包括:
[0027]根據(jù)抓取數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)關(guān)系，生成抓取數(shù)據(jù)的樹(shù)狀結(jié)構(gòu)圖，所述抓取數(shù)據(jù)的樹(shù)狀結(jié)構(gòu)圖包括至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)，所述至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)中每個(gè)數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)名為抓取數(shù)據(jù)標(biāo)識(shí)，所述每個(gè)數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)值為所述抓取數(shù)據(jù)；
[0028]在可視化操作界面中，輸出所述抓取數(shù)據(jù)的樹(shù)狀結(jié)構(gòu)圖；
[0029]獲取用戶(hù)根據(jù)所述數(shù)據(jù)結(jié)構(gòu)信息，對(duì)所述至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)中部分?jǐn)?shù)據(jù)節(jié)點(diǎn)或全部數(shù)據(jù)節(jié)點(diǎn)的操作指令；
[0030]根據(jù)所述操作指令，獲取所述映射配置數(shù)據(jù)。
[0031]本發(fā)明的另一方面，提供一種資源的抓取裝置，包括:
[0032]獲取單元，用于獲取資源的抓取配置數(shù)據(jù)；
[0033]執(zhí)行單元，用于根據(jù)所述抓取配置數(shù)據(jù)，執(zhí)行數(shù)據(jù)抓取操作。
[0034]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述獲取單元，具體用于
[0035]通過(guò)可視化操作界面，獲取所述抓取配置數(shù)據(jù)。
[0036]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述獲取單元，具體用于
[0037]獲取用戶(hù)在可視化操作界面中輸入的抓取配置參數(shù)；以及
[0038]根據(jù)所述抓取配置參數(shù)，獲得所述抓取配置數(shù)據(jù)。
[0039]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述獲取單元所獲取的所述抓取配置數(shù)據(jù)包括資源標(biāo)識(shí)和數(shù)據(jù)結(jié)構(gòu)信息。
[0040]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述執(zhí)行單元，具體用于
[0041]根據(jù)所述資源標(biāo)識(shí)，獲得抓取數(shù)據(jù)；
[0042]利用所述數(shù)據(jù)結(jié)構(gòu)信息，對(duì)所述抓取數(shù)據(jù)進(jìn)行格式化處理，以獲得處理數(shù)據(jù)；以及
[0043]對(duì)所述處理數(shù)據(jù)進(jìn)行存儲(chǔ)處理。
[0044]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述抓取配置數(shù)據(jù)還包括存儲(chǔ)數(shù)據(jù)；所述執(zhí)行單元，具體用于
[0045]根據(jù)所述存儲(chǔ)數(shù)據(jù)，對(duì)所述處理數(shù)據(jù)進(jìn)行存儲(chǔ)處理。
[0046]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述執(zhí)行單元，具體用于
[0047]若所述抓取數(shù)據(jù)滿(mǎn)足預(yù)先設(shè)置的基本數(shù)據(jù)結(jié)構(gòu)，利用所述數(shù)據(jù)結(jié)構(gòu)信息，對(duì)所述抓取數(shù)據(jù)進(jìn)行格式化處理，以獲得處理數(shù)據(jù)。
[0048]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，其特征在于，所述執(zhí)行單元，具體用于
[0049]根據(jù)所述抓取數(shù)據(jù)和所述數(shù)據(jù)結(jié)構(gòu)信息，獲取映射配置數(shù)據(jù)；以及
[0050]根據(jù)映射配置數(shù)據(jù)，獲得所述處理數(shù)據(jù)。
[0051]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述執(zhí)行單元，具體用于
[0052]通過(guò)可視化操作界面，根據(jù)所述抓取數(shù)據(jù)和所述數(shù)據(jù)結(jié)構(gòu)信息，獲取所述映射配置數(shù)據(jù)。
[0053]如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述執(zhí)行單元，具體用于
[0054]根據(jù)抓取數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)關(guān)系，生成抓取數(shù)據(jù)的樹(shù)狀結(jié)構(gòu)圖，所述抓取數(shù)據(jù)的樹(shù)狀結(jié)構(gòu)圖包括至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)，所述至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)中每個(gè)數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)名為抓取數(shù)據(jù)標(biāo)識(shí)，所述每個(gè)數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)值為所述抓取數(shù)據(jù)；
[0055]在可視化操作界面中，輸出抓取數(shù)據(jù)的樹(shù)狀結(jié)構(gòu)圖；
[0056]獲取用戶(hù)根據(jù)所述數(shù)據(jù)結(jié)構(gòu)信息，對(duì)所述至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)中部分?jǐn)?shù)據(jù)節(jié)點(diǎn)或全部數(shù)據(jù)節(jié)點(diǎn)的操作指令；以及
[0057]根據(jù)所述操作指令，獲取所述映射配置數(shù)據(jù)。
[0058]由上述技術(shù)方案可知，本發(fā)明實(shí)施例通過(guò)獲取資源的抓取配置數(shù)據(jù)，進(jìn)而則可以根據(jù)所述抓取配置數(shù)據(jù)，執(zhí)行數(shù)據(jù)抓取操作，由于無(wú)需編寫(xiě)完整的抓取腳本，使得操作非常簡(jiǎn)單，而且正確率高，從而提高了資源抓取的效率和可靠性。
[0059]另外，采用本發(fā)明提供的技術(shù)方案，通過(guò)可視化操作界面，獲取所述抓取配置數(shù)據(jù)，這樣，方便用戶(hù)進(jìn)行配置操作，能夠有效提高資源抓取的效率。
[0060]另外，采用本發(fā)明提供的技術(shù)方案，通過(guò)根據(jù)所獲取的存儲(chǔ)數(shù)據(jù)，對(duì)處理數(shù)據(jù)進(jìn)行存儲(chǔ)處理，這樣，使得用戶(hù)可以對(duì)存儲(chǔ)處理進(jìn)行靈活控制，能夠有效提高資源抓取的靈活性。
【【附圖說(shuō)明】】
[0061]為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0062]圖1為本發(fā)明一實(shí)施例提供的資源的抓取方法的流程示意圖；
[0063]圖2為圖1對(duì)應(yīng)的實(shí)施例中可視化操作界面的一展現(xiàn)示意圖；
[0064]圖3A?圖3F為圖1對(duì)應(yīng)的實(shí)施例中幾個(gè)基本數(shù)據(jù)結(jié)構(gòu)的結(jié)構(gòu)示意圖；
[0065]圖4為圖1對(duì)應(yīng)的實(shí)施例中可視化操作界面的另一展現(xiàn)示意圖；
[0066]圖5為圖1對(duì)應(yīng)的實(shí)施例中可視化操作界面的另一展現(xiàn)示意圖；
[0067]圖6為圖1對(duì)應(yīng)的實(shí)施例中可視化操作界面的另一展現(xiàn)示意圖；
[0068]圖7為本發(fā)明另一實(shí)施例提供的資源的抓取裝置的結(jié)構(gòu)示意圖。
【【具體實(shí)施方式】】
[0069]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的全部其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0070]需要說(shuō)明的是，本發(fā)明實(shí)施例中所涉及的終端可以包括但