專利名稱：一種實(shí)現(xiàn)反向域名解析的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，特別涉及一種實(shí)現(xiàn)反向域名解析的方法及裝置。
背景技術(shù)：
反向域名解析(即Reverse DNS,簡稱rDNS或revDNS)，與傳統(tǒng)的(前向)域名解析(即DNS)是相反的操作，即是指IP地址到域名的映射。簡而言之，就是可以獲取與某一 IP地址通過域名解析相關(guān)聯(lián)的域名。反向域名解析的應(yīng)用范圍廣泛。在Web站點(diǎn)訪問統(tǒng)計(jì)或是互聯(lián)網(wǎng)流量分析中，反向域名解析可以獲取訪問者的ISPanternet Service Provider，互聯(lián)網(wǎng)服務(wù)提供商)信息。另一方面，反向域名解析也可以用于網(wǎng)絡(luò)診斷，例如，通過反向域名解析，就可以獲得得到用戶的主機(jī)名稱。除此之外，反向域名解析還可以用于分析和截獲垃圾郵件，例如，通過反向域名解析可以對(duì)發(fā)送方進(jìn)行前向驗(yàn)證，確保發(fā)送方與其IP地址注冊(cè)的域名一致，并將通過驗(yàn)證的郵件發(fā)送方列入白名單；郵件服務(wù)器通常會(huì)拒絕接收沒有進(jìn)行反向域名解析的主機(jī)發(fā)送的郵件，這樣就可以減輕黑客的攻擊或者減少垃圾郵件的接收。通常情況下，反向域名解析的解析結(jié)果并不一定是唯一的，因?yàn)榇嬖诙鄠€(gè)域名指向同一個(gè)IP地址的情況，例如，Web站點(diǎn)通常會(huì)注冊(cè)多個(gè)頂級(jí)域名以避免發(fā)生混亂，如， example, net, example, com禾口 example, org這三個(gè)域名可以指向同一個(gè)IP地址。此夕卜，共享的Web服務(wù)器也會(huì)同時(shí)搭載多個(gè)不同的Web站點(diǎn)，因而也會(huì)存在多個(gè)域名?，F(xiàn)有技術(shù)下，反向域名解析可以通過查找特殊的PTR類型記錄(全稱pointer DNS record type，簡稱PTR record)完成。所謂的PTR類型記錄存儲(chǔ)了反向域名解析條目。以 IPv4反向域名解析為例，PTR類型記錄由IPv4地址各部分進(jìn)行反向連接后加上“.in-addr. arpa”后綴構(gòu)成，如，IP地址1. 2. 3. 4存儲(chǔ)為PTR類型記錄后顯示為“4. 3. 2. 1. in-addr. arpa”。查找到PTR類型記錄后，其指向的主機(jī)名即為反向域名解析結(jié)果。然而，現(xiàn)有技術(shù)下，為了能通過上述方式進(jìn)行反向域名解析，ISP必須建立和維護(hù) PTR類型記錄，這樣做存在以下缺陷首先，ISP很難收集到完整全面的PTR類型記錄，顯然，PTR類型記錄的不完整會(huì)直接導(dǎo)致反向域名解析結(jié)果的不準(zhǔn)確；其次，基于PTR類型記錄實(shí)現(xiàn)反向域名解析會(huì)增加計(jì)算復(fù)雜度，因?yàn)镮SP服務(wù)器需要執(zhí)行遞歸查詢之類的復(fù)雜操作，這會(huì)明顯增加ISP服務(wù)器的運(yùn)行負(fù)荷。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種實(shí)現(xiàn)反向域名解析的方法及裝置，用以降低反向域名解析的計(jì)算復(fù)雜度，提高解析結(jié)果的準(zhǔn)確度。本發(fā)明實(shí)施例提供的具體技術(shù)方案如下一種實(shí)現(xiàn)反向域名解析的方法，包括基于預(yù)設(shè)的初始網(wǎng)絡(luò)地址列表，采用網(wǎng)絡(luò)爬蟲技術(shù)獲得目標(biāo)域名列表；
4
通過域名解析服務(wù)器，分別確定所述目標(biāo)域名列表中記錄的每一個(gè)域名與IP地址間的正向映射關(guān)系；對(duì)所述每一個(gè)域名與IP地址間的正向映射關(guān)系進(jìn)行反排，確定每一個(gè)IP地址與域名間的反向映射關(guān)系。一種實(shí)現(xiàn)反向域名解析的裝置，包括第一處理單元，用于基于預(yù)設(shè)的初始網(wǎng)絡(luò)地址列表，采用網(wǎng)絡(luò)爬蟲技術(shù)獲得目標(biāo)域名列表；通信單元，用于通過域名解析服務(wù)器，分別確定所述目標(biāo)域名列表中記錄的每一個(gè)域名與IP地址間的正向映射關(guān)系；第二處理單元，用于對(duì)所述每一個(gè)域名與IP地址間的正向映射關(guān)系進(jìn)行反排，確定每一個(gè)IP地址與域名間的反向映射關(guān)系。本發(fā)明實(shí)施例中，利用網(wǎng)絡(luò)爬蟲技術(shù)的信息抓取能力，及時(shí)獲得最新的較為完整的目標(biāo)域名列表，從而可以獲得更為全面的IP地址與域名間的正向映射關(guān)系，進(jìn)一步地， 亦可令經(jīng)反排處理后獲得的域名和IP地址之間映射關(guān)系更為準(zhǔn)確完整。相較于傳統(tǒng)方式， 采用本發(fā)明實(shí)施例記載的技術(shù)方案，不需要利用ISP建立和維護(hù)PTR類型記錄，因而降低了反向域名解析的計(jì)算復(fù)雜度，降低了服務(wù)器的運(yùn)行負(fù)荷，同時(shí)，又充分利用了網(wǎng)絡(luò)爬蟲技術(shù)在信息搜集方面的優(yōu)勢，令獲得的基礎(chǔ)數(shù)據(jù)更加全面及時(shí)，從而能夠更加完整、迅速、準(zhǔn)確地建立IP地址到域名之間的反向映射關(guān)系，令反向域名解析的結(jié)果更加準(zhǔn)確完整，能夠獲取給定IP地址對(duì)應(yīng)的所有域名。


圖1為本發(fā)明實(shí)施例中實(shí)現(xiàn)反向域名解析流程圖；圖2為本發(fā)明實(shí)施例中反向域名解析裝置功能結(jié)構(gòu)示意圖。
具體實(shí)施例方式為了降低反向域名解析的計(jì)算復(fù)雜度，提高解析結(jié)果的準(zhǔn)確度，本發(fā)明實(shí)施例中， 采用網(wǎng)絡(luò)爬蟲技術(shù)對(duì)域名進(jìn)行抓取，從而獲得全面的域名列表，再對(duì)域名列表中包含的多種域名進(jìn)行多次解析，建立正向的域名與IP地址間的完整映射，然后基于映射結(jié)果生成倒排表，即建立反向的IP地址到域名的映射。下面結(jié)合附圖對(duì)本發(fā)明優(yōu)選的實(shí)施方式進(jìn)行詳細(xì)說明。參閱圖1所示，本發(fā)明實(shí)施例中，實(shí)現(xiàn)反向域名解析的具體流程如下步驟200 基于預(yù)設(shè)的初始網(wǎng)絡(luò)地址列表，采用網(wǎng)絡(luò)爬蟲技術(shù)獲得目標(biāo)域名列表。所謂的網(wǎng)絡(luò)爬蟲(Web crawler或^^吐spider)技術(shù)，也可以稱為網(wǎng)絡(luò)機(jī)器人 (Web robots)技術(shù)，是一種系統(tǒng)地按照一定規(guī)則自動(dòng)抓取Web網(wǎng)頁信息的計(jì)算機(jī)應(yīng)用程序。目前，被搜索引擎等類型站點(diǎn)用來抓取最新的信息。網(wǎng)絡(luò)爬蟲通常以包含一定數(shù)目 URL (Uniform/Universal Resource Locator，統(tǒng)一資源定位)地址的列表作為原始輸入，也叫做“種子”，在訪問這些URL時(shí)發(fā)現(xiàn)其中包含的超鏈接并加入目標(biāo)域名列表中。因而，為了加快網(wǎng)絡(luò)爬蟲技術(shù)的使用效率，在初始網(wǎng)絡(luò)地址列表中可以預(yù)先設(shè)置多種類型的網(wǎng)站地址，包括但不限于1)常見的導(dǎo)航類網(wǎng)站的URL地址，此類網(wǎng)站一般能夠
5覆蓋各個(gè)類型主流網(wǎng)站，是獲取域名非常理想的起點(diǎn)；幻指定的網(wǎng)絡(luò)服務(wù)器(如，Web服務(wù)器、DNS服務(wù)器、Web緩存服務(wù)器)的用戶訪問日志文件中記錄的URL地址，這些用戶訪問日志文件記錄了用戶請(qǐng)求過的Web站點(diǎn)的URL地址，將這些URL地址提取出來即可作為網(wǎng)絡(luò)爬蟲技術(shù)的搜索起點(diǎn)。獲取到按照上述方式設(shè)置的初始網(wǎng)絡(luò)地址列表后，便可以將該初始網(wǎng)絡(luò)地址列表作為“種子”，采用網(wǎng)絡(luò)爬蟲技術(shù)進(jìn)行不斷抓取，以獲得內(nèi)容豐富的目標(biāo)域名列表，具體為A、根據(jù)初始網(wǎng)絡(luò)地址列表，建立抓取隊(duì)列，即以文本形式(如，txt格式、word格式)輸入初始網(wǎng)站地址列表；其中，較佳的，需要去除抓取隊(duì)列中重復(fù)出現(xiàn)的URL地址。B、確定預(yù)設(shè)的抓取配置參數(shù)?？梢酝ㄟ^命令行或者配置文件的方式設(shè)置抓取配置參數(shù)。抓取配置參數(shù)的設(shè)置對(duì)象可以有多種，包含但不限于每次最多抓取的URL地址數(shù)量、每個(gè)URL地址的抓取超時(shí)時(shí)間、最大重復(fù)抓取次數(shù)、重試TTL(Time To Live，生存時(shí)間)、域名的最大抓取級(jí)數(shù)，例如，設(shè)定最多抓取2級(jí)域名，那么根域abc. com的可抓取域名包括abc. com、www. abc. com、live, abc. com等等，而tv. live. abc. com就不在可抓范圍內(nèi)、最大URL地址并發(fā)數(shù)等等。C、根據(jù)上述抓取配置參數(shù)，依次在獲得的抓取隊(duì)列記錄的每一個(gè)網(wǎng)絡(luò)地址對(duì)應(yīng)的網(wǎng)頁頁面中進(jìn)行域名抓取。例如，針對(duì)任意一網(wǎng)頁頁面，可以依次分析該任意一網(wǎng)頁頁面內(nèi)包含的每一個(gè)URL 地址(包括mms://、rtsp://等各種類型的URL)，并將每一個(gè)URL地址包含的域名記錄至目標(biāo)域名列表中，其中，較佳的，將可以通過HTTP訪問(http://或https://)的URL地址添加至抓取隊(duì)列中。抓取隊(duì)列處理完成后，會(huì)輸出提示信息，提示本輪抓取已完成(本實(shí)施例中，將多次調(diào)用后完成對(duì)抓取隊(duì)列的完整遍歷稱為“一輪”)。本輪抓取完成后，抓取隊(duì)列可以保存起來作為下一輪的初始隊(duì)列。下次調(diào)用時(shí)，將按照該抓取隊(duì)列從頭進(jìn)行抓取。在上述抓取過程中，若針對(duì)某個(gè)URL地址(以下稱為問題URL地址)執(zhí)行的抓取操作失敗(如，重復(fù)嘗試若干次后仍未成功)，則可以在抓取隊(duì)列里對(duì)該問題URL地址進(jìn)行標(biāo)注，標(biāo)注采用TTL的方式，每一輪遍歷到該問題URL地址時(shí)，將TTL減1，如果TTL為0，不再重新嘗試抓取，直接跳過；如果TTL不為0，則重新抓取該URL地址。D、根據(jù)抓取結(jié)果生成目標(biāo)域名列表。在上述抓取過程中，可以生成日志文件，記錄抓取時(shí)間、抓取狀態(tài)、抓取的URL地址和抓取結(jié)果(包含新增URL地址個(gè)數(shù)，新增域名個(gè)數(shù)等等)，根據(jù)該抓取結(jié)果在獲得所需的目標(biāo)域名列表。例如，“t. example. com\nvideo. example. com\n. · · ”其中，\n為分隔符。實(shí)際應(yīng)用中，為了處理大規(guī)模數(shù)據(jù)，較佳的，可以將目標(biāo)域名列表存入分布式文件系統(tǒng)中(也可以是集中式文件系統(tǒng))進(jìn)行后續(xù)處理?？紤]到采用網(wǎng)絡(luò)爬蟲技術(shù)獲得的抓取結(jié)果會(huì)包含大量重復(fù)域名，因此，必須對(duì)目標(biāo)域名列表包含的各類域名進(jìn)行合并去重處理， 這樣，最終獲得的目標(biāo)域名列表就是完整的無重復(fù)的域名列表。步驟210 通過域名解析代理，分別確定目標(biāo)域名列表中記錄的每一個(gè)域名與IP 地址間的正向映射關(guān)系。較佳的，可以采用分布式域名解析的方法來確定域名至IP地址的正向映射關(guān)系， 從而獲得目標(biāo)域名列表中記錄的每一個(gè)域名所對(duì)應(yīng)的所有IP地址。
實(shí)際應(yīng)用中，域名與IP地址并不一定是一一對(duì)應(yīng)的，有的域名會(huì)對(duì)應(yīng)多個(gè)IP地址，尤其是訪問量較大的大型Web站點(diǎn)通常會(huì)將同一域名對(duì)應(yīng)多個(gè)IP地址以提高訪問質(zhì)量。以目標(biāo)域名列表中記錄的任意一域名為例，本實(shí)施例中，所謂的采用分布式域名解析是指，將上述任意一域名通過域名解析請(qǐng)求發(fā)送到分布在全國各處的至少兩個(gè)DNS Resolver (域名解析代理)，由各DNS Resolver將獲得的上述任意一域名發(fā)送至對(duì)應(yīng)的域名解析服務(wù)器，也稱為Local DNS(本地域名服務(wù)器)，這是因?yàn)?，不同的域名解析服?wù)器得到的解析結(jié)果可能不同，通過多個(gè)域名解析服務(wù)器可以獲得同一域名對(duì)應(yīng)的多個(gè)不同的 IP地址；接著，各域名解析服務(wù)器對(duì)上述任意一域名進(jìn)行解析后，分別向自身對(duì)應(yīng)的DNS Resolver返回解析結(jié)果，由各DNS Resolver將解析結(jié)果返回上述任意一域名的發(fā)送方，這樣，對(duì)各個(gè)解析結(jié)果進(jìn)行匯總和去重處理，便可以得到上述任意一域名所對(duì)應(yīng)的IP地址。按照上述方法，將各域名的解析結(jié)果進(jìn)行匯總后，就可以得到每一個(gè)域名與IP 地址間的正向映射關(guān)系，例如，"t. example, com 1. 2. 3. 41. 2. 3. 6\nvideo. example, com 1. 3. 3. 4\n. · · ”，其中，“t. example, com 1. 2. 3. 41. 2. 3. 6” 表示域名 “t. example, com”，，對(duì)應(yīng)的 IP 地址為 “1.2. 3. 4” 禾口 “ 1. 2. 3. 6”，步驟220 對(duì)獲得的每一個(gè)域名與IP地址間的正向映射關(guān)系進(jìn)行反排，確定每一個(gè)IP地址與域名間的反射映射關(guān)系。具體執(zhí)行方式如下首先，分別將每一個(gè)域名與IP地址之間的映射關(guān)系轉(zhuǎn)化為一對(duì)一映射關(guān)系。如果某一域名和IP地址之間是一對(duì)一映射關(guān)系，則直接記錄；如果某一域名與IP地址之間是一對(duì)多映射關(guān)系，則將該一對(duì)多映射關(guān)系分解為多個(gè)一對(duì)一映射關(guān)系。例如，將形如“t. example, com 1. 2. 3. 41. 2. 3. 6\n”的一對(duì)多映射關(guān)系分解成形如"t. example, com 1. 2. 3. 4\n t. example, com 1. 2. 3. 6\n，，的一對(duì)一映射關(guān)系。其次，按照已確定的一對(duì)一映射關(guān)系，交換每一個(gè)域名與相應(yīng)的IP地址的記錄位置，即以IP為鍵，域名為值。例如，將形如“t. example, com 1. 2. 3. 4\nt. example, com 1. 2. 3. 6\n”的映射關(guān)系，反排為形如“1. 2. 3. 4t. example. com\nl. 2. 3. 6t. example. com\n” 的映射關(guān)系。最后，將相鄰的具有相同IP地址的映射關(guān)系進(jìn)行合并，從而形成了確定每一個(gè)IP 地址與域名間的反向映射關(guān)系(通常也為一對(duì)多的映射關(guān)系)。例如，根據(jù)形如“1. 2. 3. 4t. example. com\n 1. 2. 3. 4a. abc. com\n” 的映射關(guān)系，可以得到形如“1. 2. 3. 4t. example, com a. abc. com\n”的IP地址與域名之間的反向映射結(jié)果。較佳的，上述IP地址與域名之間的反向映射關(guān)系可以保存在分布式數(shù)據(jù)庫中，形成key (健)/value (值)格式的數(shù)據(jù)表以便于后續(xù)查詢和展示。基于上述實(shí)施例，實(shí)現(xiàn)上述步驟200-步驟220的反向域名解析裝置可以是普通服務(wù)器，如，F(xiàn)TP服務(wù)器，也可以是維護(hù)終端，當(dāng)然，還可以是其他設(shè)備，此處僅為舉例，并不局限于此。參閱圖2所示，本發(fā)明實(shí)施全名，反向域名解析裝置可以包括第一處理單元30、通信單元31和第二處理單元32，其中，第一處理單元30，用于基于預(yù)設(shè)的初始網(wǎng)絡(luò)地址列表，采用網(wǎng)絡(luò)爬蟲技術(shù)獲得目
7標(biāo)域名列表；通信單元31，用于通過域名解析服務(wù)器，分別確定目標(biāo)域名列表中記錄的每一個(gè)域名與IP地址間的正向映射關(guān)系；第二處理單元32，用于對(duì)上述每一個(gè)域名與IP地址間的正向映射關(guān)系進(jìn)行反排， 確定每一個(gè)IP地址與域名間的反向映射關(guān)系。如圖2所示，本實(shí)施例中，上述反向域名解析裝置進(jìn)一步包括設(shè)置單元33，用于設(shè)置初始網(wǎng)絡(luò)地址列表，包括在上述初始網(wǎng)絡(luò)地址列表中添加導(dǎo)航類網(wǎng)站的統(tǒng)URL地址，在所述初始網(wǎng)絡(luò)地址列表中添加指定網(wǎng)絡(luò)服務(wù)器的用戶訪問日志文件中包含的URL地址。綜上所述，本發(fā)明實(shí)施例中，利用網(wǎng)絡(luò)爬蟲技術(shù)的信息抓取能力，及時(shí)獲得最新的較為完整的目標(biāo)域名列表，從而可以獲得更為全面的IP地址與域名間的正向映射關(guān)系，進(jìn)一步地，亦可令經(jīng)反排處理后獲得的域名和IP地址之間映射關(guān)系更為準(zhǔn)確完整。相較于傳統(tǒng)方式，采用本發(fā)明實(shí)施例記載的技術(shù)方案，不需要利用ISP建立和維護(hù)PTR類型記錄，因而有效降低了反向域名解析的計(jì)算復(fù)雜度，降低了服務(wù)器的運(yùn)行負(fù)荷，同時(shí)，又充分利用了網(wǎng)絡(luò)爬蟲技術(shù)在信息搜集方面的優(yōu)勢，令獲得的基礎(chǔ)數(shù)據(jù)更加全面及時(shí)，從而能夠更加完整、迅速、準(zhǔn)確地建立IP地址到域名之間的反向映射關(guān)系，令反向域名解析的結(jié)果更加準(zhǔn)確完整，能夠獲取給定IP地址對(duì)應(yīng)的所有域名。進(jìn)一步地，較佳的，上述方案可以結(jié)合分布式文件系統(tǒng)和數(shù)據(jù)庫使用，這樣，更便于進(jìn)行大規(guī)模數(shù)據(jù)處理，形成IP地址到域名的完整映射，以及便于用戶進(jìn)行前端端查詢和向用戶進(jìn)行結(jié)果展示。顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
8
權(quán)利要求
1.一種實(shí)現(xiàn)反向域名解析的方法，其特征在于，包括基于預(yù)設(shè)的初始網(wǎng)絡(luò)地址列表，采用網(wǎng)絡(luò)爬蟲技術(shù)獲得目標(biāo)域名列表； 通過域名解析服務(wù)器，分別確定所述目標(biāo)域名列表中記錄的每一個(gè)域名與IP地址間的正向映射關(guān)系；對(duì)所述每一個(gè)域名與IP地址間的正向映射關(guān)系進(jìn)行反排，確定每一個(gè)IP地址與域名間的反向映射關(guān)系。
2.如權(quán)利要求1所述的方法，其特征在于，設(shè)置所述初始網(wǎng)絡(luò)地址列表，包括 在所述初始網(wǎng)絡(luò)地址列表中添加導(dǎo)航類網(wǎng)站的統(tǒng)一資源定位URL地址；在所述初始網(wǎng)絡(luò)地址列表中添加指定網(wǎng)絡(luò)服務(wù)器的用戶訪問日志文件中包含的URL 地址。
3.如權(quán)利要求1所述的方法，其特征在于，基于預(yù)設(shè)的初始網(wǎng)絡(luò)地址列表，采用網(wǎng)絡(luò)爬蟲技術(shù)獲得目標(biāo)域名列表，包括根據(jù)初始網(wǎng)絡(luò)地址列表，建立抓取隊(duì)列，并去除該抓取隊(duì)列中重復(fù)出現(xiàn)的統(tǒng)一資源定位URL地址；確定預(yù)設(shè)的抓取配置參數(shù)；根據(jù)所述抓取配置參數(shù)，采用網(wǎng)絡(luò)爬蟲技術(shù)依次在所述抓取隊(duì)列記錄的每一個(gè)網(wǎng)絡(luò)地址對(duì)應(yīng)的網(wǎng)頁頁面中進(jìn)行域名抓??； 根據(jù)抓取結(jié)果生成目標(biāo)域名列表。
4.如權(quán)利要求3所述的方法，其特征在于，所述抓取配置參數(shù)包含每次最多抓取的URL 地址數(shù)量、每個(gè)URL地址的抓取超時(shí)時(shí)間、最大重復(fù)抓取次數(shù)、重試生存時(shí)間TTL、域名的最大抓取級(jí)數(shù)和最大URL地址并發(fā)數(shù)。
5.如權(quán)利要求3所述的方法，其特征在于，采用網(wǎng)絡(luò)爬蟲技術(shù)依次在所述抓取隊(duì)列記錄的任意一個(gè)網(wǎng)絡(luò)地址對(duì)應(yīng)的網(wǎng)頁頁面中進(jìn)行域名抓取，包括依次分析所述任意一個(gè)網(wǎng)頁頁面中包含的每一個(gè)URL地址，并將每一個(gè)URL地址包含的域名記錄至目標(biāo)域名列表；其中，將能夠通過HTTP訪問的URL地址添加至抓取隊(duì)列中。
6.如權(quán)利要求3所述的方法，其特征在于，根據(jù)抓取結(jié)果生成目標(biāo)域名列表后，對(duì)所述目標(biāo)域名列表進(jìn)行合并去重處理。
7.如權(quán)利要求1-6任一項(xiàng)所述的方法，其特征在于，通過域名解析服務(wù)器，確定所述目標(biāo)域名列表中任意一域名與IP地址間的正向映射關(guān)系，包括將所述任意一域名發(fā)往至少兩個(gè)域名解析代理，令所述至少兩個(gè)域名解析代理將所述任意一域名分別發(fā)往相應(yīng)的域名解析服務(wù)器進(jìn)行解析；根據(jù)所述至少兩個(gè)域名解析代理返回的相應(yīng)的域名解析服務(wù)器的解析結(jié)果，確定所述任意一域名對(duì)應(yīng)的一個(gè)或多個(gè)IP地址。
8.如權(quán)利要求1-6任一項(xiàng)所述的方法，其特征在于，對(duì)所述每一個(gè)域名與IP地址間的正向映射關(guān)系進(jìn)行反排，確定每一個(gè)IP地址與域名間的反向映射關(guān)系，包括分別將每一個(gè)域名與IP地址之間的映射關(guān)系轉(zhuǎn)化為一對(duì)一映射關(guān)系； 按照所述一對(duì)一映射關(guān)系，交換每一個(gè)域名與相應(yīng)的IP地址的記錄位置； 將相鄰的具有相同IP地址的映射關(guān)系進(jìn)行合并，以形成每一個(gè)IP地址與域名間的反向映射關(guān)系。
9.一種實(shí)現(xiàn)反向域名解析的裝置，其特征在于，包括第一處理單元，用于基于預(yù)設(shè)的初始網(wǎng)絡(luò)地址列表，采用網(wǎng)絡(luò)爬蟲技術(shù)獲得目標(biāo)域名列表；通信單元，用于通過域名解析服務(wù)器，分別確定所述目標(biāo)域名列表中記錄的每一個(gè)域名與IP地址間的正向映射關(guān)系；第二處理單元，用于對(duì)所述每一個(gè)域名與IP地址間的正向映射關(guān)系進(jìn)行反排，確定每一個(gè)IP地址與域名間的反向映射關(guān)系。
10.如權(quán)利要求9所述的裝置，其特征在于，進(jìn)一步包括設(shè)置單元，用于設(shè)置所述初始網(wǎng)絡(luò)地址列表，包括在所述初始網(wǎng)絡(luò)地址列表中添加導(dǎo)航類網(wǎng)站的統(tǒng)一資源定位URL地址，在所述初始網(wǎng)絡(luò)地址列表中添加指定網(wǎng)絡(luò)服務(wù)器的用戶訪問日志文件中包含的URL地址。
11.如權(quán)利要求9所述的裝置，其特征在于，第一處理單元基于預(yù)設(shè)的初始網(wǎng)絡(luò)地址列表，采用網(wǎng)絡(luò)爬蟲技術(shù)獲得目標(biāo)域名列表時(shí)，根據(jù)初始網(wǎng)絡(luò)地址列表，建立抓取隊(duì)列，并去除該抓取隊(duì)列中重復(fù)出現(xiàn)的統(tǒng)一資源定位URL地址，以及確定預(yù)設(shè)的抓取配置參數(shù)，并根據(jù)所述抓取配置參數(shù)，采用網(wǎng)絡(luò)爬蟲技術(shù)依次在所述抓取隊(duì)列記錄的每一個(gè)網(wǎng)絡(luò)地址對(duì)應(yīng)的網(wǎng)頁頁面中進(jìn)行域名抓取，再根據(jù)抓取結(jié)果生成目標(biāo)域名列表。
12.如權(quán)利要求11所述的裝置，其特征在于，所述第一處理單元獲得的抓取配置參數(shù)包含每次最多抓取的URL地址數(shù)量、每個(gè)URL地址的抓取超時(shí)時(shí)間、最大重復(fù)抓取次數(shù)、重試生存時(shí)間TTL、域名的最大抓取級(jí)數(shù)和最大URL地址并發(fā)數(shù)。
13.如權(quán)利要求11所述的裝置，其特征在于，所述第一處理單元采用網(wǎng)絡(luò)爬蟲技術(shù)依次在所述抓取隊(duì)列記錄的任意一個(gè)網(wǎng)絡(luò)地址對(duì)應(yīng)的網(wǎng)頁頁面中進(jìn)行域名抓取時(shí)，依次分析所述任意一個(gè)網(wǎng)頁頁面中包含的每一個(gè)URL地址，并將每一個(gè)URL地址包含的域名記錄至目標(biāo)域名列表；其中，將能夠通過HTTP訪問的URL地址添加至抓取隊(duì)列中。
14.如權(quán)利要求11所述的裝置，其特征在于，所述第一處理單元根據(jù)抓取結(jié)果生成目標(biāo)域名列表后，對(duì)所述目標(biāo)域名列表進(jìn)行合并去重處理。
15.如權(quán)利要求9-14任一項(xiàng)所述的裝置，其特征在于，所述通信單元通過域名解析服務(wù)器，確定所述目標(biāo)域名列表中任意一域名與IP地址間的正向映射關(guān)系時(shí)，將所述任意一域名發(fā)往至少兩個(gè)域名解析代理，令所述至少兩個(gè)域名解析代理將所述任意一域名分別發(fā)往相應(yīng)的域名解析服務(wù)器進(jìn)行解析，并根據(jù)所述至少兩個(gè)域名解析代理返回的相應(yīng)的域名解析服務(wù)器的解析結(jié)果，確定所述任意一域名對(duì)應(yīng)的一個(gè)或多個(gè)IP地址。
16.如權(quán)利要求9-14任一項(xiàng)所述的裝置，其特征在于，所述第二處理單元對(duì)所述每一個(gè)域名與IP地址間的正向映射關(guān)系進(jìn)行反排，確定每一個(gè)IP地址與域名間的反向映射關(guān)系時(shí)，分別將每一個(gè)域名與IP地址之間的映射關(guān)系轉(zhuǎn)化為一對(duì)一映射關(guān)系，按照所述一對(duì)一映射關(guān)系，交換每一個(gè)域名與相應(yīng)的IP地址的記錄位置，將相鄰的具有相同IP地址的映射關(guān)系進(jìn)行合并，以形成每一個(gè)IP地址與域名間的反向映射關(guān)系。
全文摘要
本發(fā)明涉及通信領(lǐng)域，公開了一種實(shí)現(xiàn)反向域名解析的方法及裝置。該方法為利用網(wǎng)絡(luò)爬蟲技術(shù)的信息抓取能力，及時(shí)獲得最新的較為完整的目標(biāo)域名列表，從而可以獲得更為全面的IP地址與域名間的正向映射關(guān)系，進(jìn)一步地，亦可令經(jīng)反排處理后獲得的域名和IP地址之間映射關(guān)系更為準(zhǔn)確完整。這樣，不需要利用ISP建立和維護(hù)PIR類型記錄，因而有效降低了反向域名解析的計(jì)算復(fù)雜度，降低了服務(wù)器的運(yùn)行負(fù)荷，同時(shí)，又充分利用了網(wǎng)絡(luò)爬蟲技術(shù)在信息搜集方面的優(yōu)勢，令獲得的基礎(chǔ)數(shù)據(jù)更加全面及時(shí)，從而能夠更加完整、迅速、準(zhǔn)確地建立IP地址到域名之間的反向映射關(guān)系，令反向域名解析的結(jié)果更加準(zhǔn)確完整，能夠獲取給定IP地址對(duì)應(yīng)的所有域名。
文檔編號(hào)H04L29/12GK102457588SQ20111043079
公開日2012年5月16日 申請(qǐng)日期2011年12月20日 優(yōu)先權(quán)日2011年12月20日
發(fā)明者尹浩 申請(qǐng)人:北京瑞汛世紀(jì)科技有限公司