日韩 亚洲一区二_久久vs国产综合色大全_国产精品福利在线_欧美在线一级A片免费观看欧美在线_女同性毛片60分钟

您現(xiàn)在所在的位置：首頁(yè) >常見(jiàn)問(wèn)題 > 就業(yè)問(wèn)題 > 網(wǎng)絡(luò)爬蟲(chóng)有哪些分類(lèi)？

網(wǎng)絡(luò)爬蟲(chóng)有哪些分類(lèi)？

來(lái)源：奇酷教育 發(fā)表於：

網(wǎng)絡(luò)爬蟲(chóng)有哪些分類(lèi)？

　　通用網(wǎng)絡(luò)爬蟲(chóng)：爬行對(duì)象從一些種子 URL 擴充到整個(gè) Web，主要為門(mén)戶(hù)站點(diǎn)搜尋引擎和大型 Web 服務(wù)提供商採集數(shù)據(jù)。 通用網(wǎng)絡(luò)爬蟲(chóng)的爬取範圍和數(shù)量巨大，對(duì)於爬行速度和存儲(chǔ)空間要求較高，對(duì)於爬行頁(yè)面的順序要求較低，通常採用並行工作方式，有較強(qiáng)的應(yīng)用價(jià)值。

 
　　聚焦網(wǎng)絡(luò)爬蟲(chóng):  又稱(chēng)為主題網(wǎng)絡(luò)爬蟲(chóng)：是指選擇性地爬行那些與預先定義好的主題相關(guān)的頁(yè)面，和通用爬蟲(chóng)相比，聚焦爬蟲(chóng)只需要爬行與主題相關(guān)的頁(yè)面，極大地節(jié)省了硬體和網(wǎng)絡(luò)資源，保存的頁(yè)面也由於數(shù)量少而更新快，可以很好地滿(mǎn)足一些特定人群對(duì)特定領(lǐng)域信息的需求。
 
　　增量網(wǎng)絡(luò)爬蟲(chóng)：對(duì)已下載網(wǎng)頁(yè)採取增量式更新和只爬行新產(chǎn)生的或者已經(jīng)發(fā)生變化網(wǎng)頁(yè)的爬蟲(chóng)，它能夠在一定程度上保證所爬行的頁(yè)面是儘可能新的頁(yè)面，歷史已經(jīng)採集過(guò)的頁(yè)面不重複採集。增量網(wǎng)絡(luò)爬蟲(chóng)避免了重複採集數(shù)據(jù)，可以減小時(shí)間和空間上的耗費(fèi)。通常在設(shè)計(jì)網(wǎng)絡(luò)爬蟲(chóng)時(shí)，需要在資料庫(kù)中，加入時(shí)間戳，基於時(shí)間戳上的先後，判斷程序是否繼續(xù)執(zhí)行。 常見(jiàn)的案例有：論壇帖子評(píng)論數(shù)據(jù)的採集（如論壇的帖子，它包含400多頁(yè)，每次啟動(dòng)爬蟲(chóng)時(shí)，只需爬取最近幾天用戶(hù)所發(fā)的帖子)；天氣數(shù)據(jù)的採集；新聞數(shù)據(jù)的採集；股票數(shù)據(jù)的採集等。
 
　　Deep Web 爬蟲(chóng)：指大部分內(nèi)容不能通過(guò)靜態(tài)連結(jié)獲取，只有用戶(hù)提交一些表單信息才能獲取的 Web 頁(yè)面。例如，需要模擬登陸的網(wǎng)絡(luò)爬蟲(chóng)便屬於這類(lèi)網(wǎng)絡(luò)爬蟲(chóng)。另外，還有一些需要用戶(hù)提交關(guān)鍵詞才能獲取的內(nèi)容，如京東淘寶提交關(guān)鍵字、價(jià)格區(qū)間獲取產(chǎn)品的相關(guān)信息。