排名前20的網頁爬蟲工具

1. Octoparse

Octoparse是一個免費且功能強大的網站爬蟲工具，用於從網站上提取需要的各種類型的數據。它有兩種學習模式 - 嚮導模式和高級模式，所以非程式設計師也可以使用。可以下載幾乎所有的網站內容，並保存為EXCEL，TXT，HTML或資料庫等結構化格式。具有Scheduled Cloud Extraction功能，可以獲取網站的最新信息。提供IP代理伺服器，所以不用擔心被侵略性網站檢測到。 總之，Octoparse應該能夠滿足用戶最基本或高端的抓取需求，而無需任何編碼技能。

2. Cyotek WebCopy

WebCopy是一款免費的爬蟲工具，允許將部分或完整網站內容本地複製到硬碟以供離線閱讀。它會在將網站內容下載到硬碟之前掃描指定的網站，並自動重新映射網站中圖像和其他網頁資源的連結，以匹配其本地路徑。還有其他功能，例如下載包含在副本中的URL，但不能對其進行爬蟲。還可以配置域名，用戶代理字符串，默認文檔等。 但是，WebCopy不包含虛擬DOM或JavaScript解析。

3. HTTrack

作為網站免費爬蟲軟體，HTTrack提供的功能非常適合從網際網路下載整個網站到你的PC。 它提供了適用於Windows，Linux，Sun Solaris和其他Unix系統的版本。 它可以鏡像一個或多個站點（共享連結）。在「設置選項」下下載網頁時決定要同時打開的連接數。 可以從整個目錄中獲取照片，文件，HTML代碼，更新當前鏡像的網站並恢復中斷的下載。 另外，HTTTrack提供代理支持以最大限度地提高速度，並提供可選的身份驗證。

4.Getleft

Getleft是一款免費且易於使用的爬蟲工具。 啟動Getleft後輸入URL並選擇應下載的文件，然後開始下載網站此外，它提供多語言支持，目前Getleft支持14種語言。但是，它只提供有限的Ftp支持，它可以下載文件但不遞歸。 總體而言，Getleft應該滿足用戶的基本爬蟲需求而不需要更複雜的技能。

5. Craper

Scraper是一款Chrome擴展工具，數據提取功能有限，但對於在線研究和導出數據到Google Spreadsheets非常有用。適用於初學者和專家，可以輕鬆地將數據複製到剪貼板或使用OAuth存儲到電子表格。不提供全包式抓取服務，但對於新手也算友好。

6. OutWit Hub

OutWit Hub是一款Firefox插件，具有數十種數據提取功能，可簡化網頁搜索。瀏覽頁面後會以適合的格式存儲提取的信息。還能創建自動代理來提取數據並根據設置對其進行格式化。 它是最簡單的爬蟲工具之一，可以自由使用，提供方便的提取網頁數據而無需編寫代碼。

7. PaseHub

Parsehub是一款出色的爬蟲工具，支持使用AJAX技術，JavaScript，cookies等獲取網頁數據。它的機器學習技術可以讀取、分析網頁文檔然後轉換為相關數據。Parsehub的桌面應用程式支持Windows，Mac OS X和Linux等系統，或者你可以使用瀏覽器內置的Web應用程式。

8.Visal Scraper

VisualScraper是另一個偉大的免費和非編碼爬蟲工具，只需簡單的點擊介面就可從網絡上收集數據。可以從多個網頁獲取實時數據，並將提取的數據導出為CSV，XML，JSON或SQL文件。 除了SaaS之外，VisualScraper還提供網絡抓取服務，如數據傳輸服務和創建軟體提取服務。 Visual Scraper使用戶能夠在特定時間運行他們的項目，還可以用它來獲取新聞。

9. Scrpinghub

Scrapinghub是一款基於雲計算的數據提取工具，可幫助數千名開發人員獲取有價值的數據。它的開源可視化抓取工具允許用戶在沒有任何編程知識的情況下抓取網頁。 Scrapinghub使用Crawlera，這是一種智能代理旋轉器，支持繞過bot機制，輕鬆地抓取大量受bot保護的網站。 它使用戶能夠通過簡單的HTTP API從多個IP和位置進行爬蟲，而無需進行代理管理。

10. Dexiio

作為基於瀏覽器的網絡爬蟲工具，Dexi.io允許用戶從任何網站抓取數據，並提供三種類型的機器人來創建抓取任務 - 提取器，爬行器和管道。 該免費軟體提供匿名Web代理伺服器，所提取的數據會在存檔之前的兩周內儲存在Dexi.io的伺服器上，或者直接將提取的數據導出為JSON或CSV文件。它提供付費服務以滿足實時獲取數據的需求。

11. Webhse.io

Webhose.io使用戶能夠將來自世界各地的線上來源的實時數據轉換為各種乾淨的格式。你可以使用覆蓋各種來源的多個過濾器來抓取數據，並進一步提取不同語言的關鍵字。 抓取的數據可以保存為XML，JSON和RSS格式，還能從其存檔訪問歷史數據。 此外，webhose.io支持最多80種語言及其爬行數據結果。用戶可以輕鬆索引和搜索Webhose.io抓取的結構化數據。 總體而言，Webhose.io可以滿足用戶的基本爬蟲需求。

12. Import io

用戶只需從特定網頁導入數據並將數據導出到CSV即可形成自己的數據集。 你可以在幾分鐘內輕鬆抓取數千個網頁，而無需編寫任何代碼，並根據您的要求構建1000多個API。 公共API提供了強大而靈活的功能來以編程方式控制Import.io並獲得對數據的自動訪問，Import.io通過將Web數據集成到你自己的應用程式或網站中，只需點擊幾下就可以輕鬆實現爬蟲。 為了更好地滿足用戶的抓取需求，它還為Windows，Mac OS X和Linux提供免費的應用程式，以構建數據提取器和抓取工具，下載數據並與在線帳戶同步。另外，用戶可以每周/每天/每小時安排爬蟲任務。

13.80legs

80legs是一款功能強大的網頁抓取工具，可以根據客戶要求進行配置。80legs提供高性能的Web爬蟲，可以快速工作並在幾秒鐘內獲取所需的數據。

14. Spinn3r

Spinn3r允許你從博客、新聞和社交媒體網站以及RSS和ATOM中獲取所有數據。Spinn3r發布了防火牆API，管理95％的索引工作。它提供了先進的垃圾郵件防護功能，可消除垃圾郵件和不適當的語言，從而提高數據安全性。 Spinn3r索引類似於Google的內容，並將提取的數據保存在JSON文件中。

15. Content Gabber

Content Graber是一款針對企業的網絡抓取軟體。它可以讓你創建一個獨立的網頁爬蟲代理。 它更適合具有高級編程技能的人，因為它為有需要的人提供了許多強大的腳本編輯和調試介面。允許用戶使用C＃或VB.NET調試或編寫腳本來編程控制爬網過程。 例如，Content Grabber可以與Visual Studio 2013集成，以便根據用戶的特定需求提供功能最強大的腳本編輯、調試和單元測試。

16. Helium Scaper

Helium Scraper是一款可視化網絡數據爬蟲軟體，當元素之間的關聯很小時效果會更好。它非編碼、非配置。用戶可以根據各種爬行需求訪問在線模板。 它基本上可以滿足用戶在初級階段的爬蟲需求。

17. UiPath

Path是一個自動化爬蟲軟體。它可以自動將Web和桌面數據從第三方應用程式中抓取出來。Uipath能夠跨多個網頁提取表格和基於模式的數據。 Uipath提供了用於進一步爬蟲的內置工具。 處理複雜的UI時，此方法非常有效。Screen Scraping Tool 可以處理單獨的文本元素、文本組和文本塊。

18. Scrape. it

Scrape.it是一個基於雲的Web數據提取工具。它專為具有高級編程技能的人設計，因為它提供了公共和私有包，以便與全球數百萬開發人員一起發現、使用、更新和共享代碼。其強大的集成可以幫助用戶根據自己的需求構建自定義爬蟲。

19. WebHarvy

WebHarvy是為非程式設計師設計的。它可以自動從網站上爬取文本、圖像、URL和電子郵件，並以各種格式保存爬取的內容。它還提供了內置的調度程序和代理支持，可以匿名爬取並防止被Web伺服器阻止，可以選擇通過代理伺服器或VPN訪問目標網站。 WebHarvy Web Scraper的當前版本允許用戶將抓取的數據導出為XML，CSV，JSON或TSV文件，也可以導出到SQL資料庫。

20. Connotate

Conntate是一款自動化Web爬蟲軟體，專為企業級Web爬蟲設計，需要企業級解決方案。業務用戶可以在幾分鐘內輕鬆創建提取代理而無需任何編程。 它能夠自動提取超過95％的網站，包括基於JavaScript的動態網站技術，如Ajax。 另外，Connotate還提供整合網頁和資料庫內容的功能，包括來自SQL資料庫和MongoDB資料庫提取的內容。