Screaming Frog SEO Spider for Mac是一款專門用於抓取網址進行分析的網絡爬蟲開發工具，你可以通過這款軟體來快速抓取網站中可能出現的損壞連結和伺服器錯誤，或是識別網站中臨時、永久重定向的連結循壞，同時還能檢查出網址、網頁標題、說明以及內容等信息中心可能出現的重複問題。喜歡這款軟體嗎？
Screaming Frog SEO Spider for Mac是一個網站爬蟲，允許你抓取網站的網址，並獲取關鍵要素，分析和審計技術和現場搜尋引擎優化。
1、找到斷開的連結
立即抓取網站並找到損壞的連結（404s）和伺服器錯誤。批量導出錯誤和源URL以進行修復，或發送給開發人員。
2、審核重定向
查找臨時和永久重定向，識別重定向鏈和循環，或上傳URL列表以在站點遷移中進行審核。
3、分析頁面標題和元數據
在抓取過程中分析頁面標題和元描述，並識別網站中過長，短缺，缺失或重複的內容。
4、發現重複內容
使用md5算法檢查發現完全重複的URL，部分重複的元素（如頁面標題，描述或標題）以及查找低內容頁面。
5、使用XPath提取數據
使用CSS Path，XPath或regex從網頁的HTML中收集任何數據。這可能包括社交元標記，其他標題，價格，SKU或更多！
6、審查機器人和指令
查看被robots.txt，元機器人或X-Robots-Tag指令阻止的網址，例如'noindex'或'nofollow'，以及規範和rel =「next」和rel =「prev」。
7、生成XML站點地圖
快速創建XML站點地圖和圖像XML站點地圖，通過URL進行高級配置，包括上次修改，優先級和更改頻率。
8、與Google Analytics集成
連接到Google AnalyticsAPI並針對抓取功能獲取用戶數據，例如會話或跳出率和轉化次數，目標，交易和針對目標網頁的收入。
9、抓取JavaScript網站
使用集成的Chromium WRS渲染網頁，以抓取動態的，富含JavaScript的網站和框架，例如Angular，React和Vue.js.
10、可視化站點架構
使用交互式爬網和目錄強制導向圖和樹形圖站點可視化評估內部連結和URL結構。
快速摘要
錯誤 - 客戶端錯誤，例如連結斷開和伺服器錯誤（無響應，4XX，5XX）。
重定向 - 永久，臨時重定向（3XX響應）和JS重定向。
阻止的網址 - robots.txt協議不允許查看和審核網址。
阻止的資源 - 在呈現模式下查看和審核被阻止的資源。
外部連結 - 所有外部連結及其狀態代碼。
協議 - URL是安全的（HTTPS）還是不安全的（HTTP）。
URI問題 - 非ASCII字符，下劃線，大寫字符，參數或長URL。
重複頁面 - 哈希值/ MD5checksums算法檢查完全重複的頁面。
頁面標題 - 缺失，重複，超過65個字符，短，像素寬度截斷，與h1相同或多個。
元描述 - 缺失，重複，超過156個字符，短，像素寬度截斷或多個。
元關鍵字 - 主要供參考，因為它們不被谷歌，必應或雅虎使用。
文件大小 - 網址和圖片的大小。
響應時間。
最後修改的標題。
頁面（抓取）深度。
字數。
H1 - 缺失，重複，超過70個字符，多個。
H2 - 缺失，重複，超過70個字符，多個。
元機器人 - 索引，無索引，跟隨，nofollow，noarchive，nosnippet，noodp，noydir等。
元刷新 - 包括目標頁面和時間延遲。
規範連結元素和規範HTTP標頭。
X-Robots-Tag中。
分頁 - rel =「next」和rel =「prev」。
關注＆Nofollow - 在頁面和連結級別（真/假）。
重定向鏈 - 發現重定向鏈和循環。
hreflang屬性 - 審核缺少的確認連結，不一致和不正確的語言代碼，非規範的hreflang等。
AJAX - 選擇遵守Google現已棄用的AJAX抓取方案。
渲染 - 通過在JavaScript執行後抓取渲染的HTML來抓取像AngularJS和React這樣的JavaScript框架。
Inlinks - 連結到URI的所有頁面。
Outlinks - URI連結到的所有頁面。
錨文本 - 所有連結文本。從帶有連結的圖像中替換文本。
圖像 - 具有圖像連結的所有URI和來自給定頁面的所有圖像。圖像超過100kb，缺少替代文字，替代文字超過100個字符。
用戶代理切換器 - 抓取Googlebot，Bingbot，Yahoo！Slurp，移動用戶代理或您自己的自定義UA。
自定義HTTP標頭 - 在請求中提供任何標頭值，從Accept-Language到cookie。
自定義原始碼搜索 - 在網站的原始碼中找到您想要的任何內容！無論是谷歌分析代碼，特定文本還是代碼等。
自定義提取 - 使用XPath，CSS路徑選擇器或正則表達式從URL的HTML中刪除任何數據。
Google Analytics集成 - 連接到Google AnalyticsAPI並在抓取過程中直接提取用戶和轉化數據。
Google Search Console集成 - 連接到Google Search Analytics API並針對網址收集展示次數，點擊次數和平均排名數據。
外部連結度量標準 - 將Majestic，Ahrefs和Moz API中的外部連結指標拖入爬行以執行內容審核或配置文件連結。
XML站點地圖生成 - 使用SEO蜘蛛創建XML站點地圖和圖像站點地圖。
自定義robots.txt - 使用新的自定義robots.txt下載，編輯和測試網站的robots.txt。
渲染的螢幕截圖 - 獲取，查看和分析已爬網的渲染頁面。
存儲和查看HTML和呈現的HTML - 分析DOM的必要條件。
AMP抓取和驗證 - 使用官方集成的AMP Validator抓取AMP網址並對其進行驗證。
XML站點地圖分析 - 單獨爬網XML站點地圖或爬行的一部分，以查找丟失的，不可索引的和孤立的頁面。
可視化 - 使用爬網和目錄樹強制導向圖和樹圖分析網站的內部連結和URL結構。
結構化數據和驗證 - 根據Schema.org規範和Google搜索功能提取和驗證結構化數據。
Screaming Frog SEO Spider for Mac可以幫助您從不同的網頁上選擇需要抓取的內容，軟體具有網頁蜘蛛功能，您可以讓蜘蛛在網頁上不斷的搜索需要的資源，可以設置搜索的一個主要網頁地址，並設置自定義分析擴展頁面的功能。