1. 什麼是爬蟲？
網絡爬蟲也叫網絡蜘蛛，如果把網際網路比喻成一個蜘蛛網，那麼蜘蛛就是在網上爬來爬去的蜘蛛，爬蟲程序通過請求url地址，根據響應的內容進行解析採集數據， 比如：如果響應內容是html，分析dom結構，進行dom解析、或者正則匹配，如果響應內容是xml/json數據，就可以轉數據對象，然後對數據進行解析。
2. 有什麼作用？
通過有效的爬蟲手段批量採集數據，可以降低人工成本，提高有效數據量，給予運營/銷售的數據支撐，加快產品發展。
3. 業界的情況
目前網際網路產品競爭激烈，業界大部分都會使用爬蟲技術對競品產品的數據進行挖掘、採集、大數據分析，這是必備手段，並且很多公司都設立了爬蟲工程師的崗位
4. 合法性
爬蟲是利用程序進行批量爬取網頁上的公開信息，也就是前端顯示的數據信息。因為信息是完全公開的，所以是合法的。其實就像瀏覽器一樣，瀏覽器解析響應內容並渲染為頁面，而爬蟲解析響應內容採集想要的數據進行存儲。
5. 反爬蟲
爬蟲很難完全的制止，道高一尺魔高一丈，這是一場沒有硝煙的戰爭，碼農VS碼農
反爬蟲一些手段：
合法檢測：請求校驗(useragent，referer，接口加簽名，等)
小黑屋：IP/用戶限制請求頻率，或者直接攔截
投毒：反爬蟲高境界可以不用攔截，攔截是一時的，投毒返回虛假數據，可以誤導競品決策
Python數據分析師的待遇
目前Python數據分析師正處於需求量大，人才供不應求的階段，薪資也很可觀。在國內，普通Python數據分析師的基本崗位薪資起步可達10000元/月。經驗豐富的數據分析工程師薪資高達30000元/月以上。
各個傳統的行業都會有大量的數據需要處理。而Python最大的優勢，就是在數據處理領域有著得天獨厚的優勢。
爬蟲與數據分析學習路線
1、第一個Python網絡爬蟲
1)什麼是爬蟲
2)一起編寫第一個爬蟲
2、專業HTTP分析工具Fiddler的使用1)Fiddler 用戶介面
1)Fiddler 用戶介面
2)Fiddler 主菜單
3)Fiddler 工具欄
4)信任 Fiddler 證書
5)Inspector
6)保存\\導入\\導出數據流
7)使用Fiddler檢測手機流量
8)Fiddler自動生成爬蟲代碼
3、實際爬蟲Python編碼問題
1)vim中如何查看文件編碼
2)str編碼轉換
3)print函數如何處理編碼
4)瀏覽器如何推斷網頁編碼
5)使用Python推測一個文件的編碼並給出推斷機率
6)Windows 命令行編碼查看與設置
7)如何解決Windows命令行的亂碼問題
4、urllib2 的使用
1)urllib2請求返回網頁
2)urllib2使用代理訪問網頁
3)urllib2修改header
5、TesseractOCR語言模型爬取使用帶驗證碼登錄的網站
1)Tesseract 使用介紹
2)Tesseract 語言模型訓練
3)帶驗證碼網站登錄示例
6、Beautiful Soup
1)bs4解析器選擇
2)lxml解析器安裝與使用
XPath & CSS
7、選擇器
1)XPath語法講解
2)XPath 選擇示例
3)瀏覽器對XPath的支持
4)CSS選擇器原理
5)CSS選擇器使用實例
8、PhantomJS
1)安裝
2)腳本傳參
3)頁面加載
4)Code Evaluation
5)DOM 操作
6)網絡請求及響應
9、SeleniumWebdriver
1)元素的定位
2)添加等待時間
3)列印信息
4)瀏覽器的操作
5)瀏覽器前進後退
6)鍵盤事件
10、Scrapy大型框架使用代理伺服器爬取
1)滑鼠事件
2)定位一組元素
3)上傳文件
4)下拉框處理
5)調用JavaScript腳本
6)控制瀏覽器滾動條
7)原理解析
8)代理ip的獲取
9)代理ip的使用
10)架構概覽
11)Spider
12)Selector
13)Item
14)Scrapy Shell
15)Item Pileline
Scrapy
11、分布式集群多代理爬蟲Redis分布式集群Redis MongoDB在爬蟲里的應用
1)Requests and Responses
2)Link Extractor
3)Logging
4)編寫應用MongoDB的Scrapy-Redis 爬蟲
5)應用之前講過的多代理技術\\分布式爬蟲技術\\Redis集群技術, 編寫一個大型房源網站整站遍歷抓取爬蟲項目
12、數據分析工具與模塊
1)Numpy
2)Pandas
3)Scipy
4)Matplotlib
5)Seaborn
6)Scikit-Learn
學以致用：爬蟲我們會對一個房源網站進行分布式、多代理、可暫停恢復的爬取，讓大家在實戰中體會各種技術的綜合運用。
學完可掌握的核心能力：
1.掌握各類HTTP調試器用法
2.理解網絡爬蟲編寫的基本套路
3.了解網絡爬蟲編寫的各種陷阱
4.能夠應對動態網站爬取
5.能夠應對帶有驗證碼的網站
6.能夠應對需要瀏覽器渲染的網站
7.能夠應對分布式抓取需要
8.能夠應對反爬蟲技術
9.能夠應對無介面抓取
10.能夠利用爬蟲平台
注意：以上爬蟲和數據分析小編已經打包成電子版的視頻教程
獲取方式：
關注小編後，轉發此文，然後私信小編<爬蟲>即可獲取！