網頁數據源獲取

網頁數據源獲取網絡爬蟲概述網絡爬蟲（又稱為網絡蜘蛛、網絡機器人等），是一種按照一定的規(guī)則，自動抓取網絡信息的程序或者腳本。網絡爬蟲的基本原理是用戶通過網址（URL）向服務器發(fā)送訪問請求（HTTP請求），服務器在收到客戶的請求以后，驗證請求的有效性，然后向客戶端發(fā)送響應內容（Response），客戶端接收并將內容展示出來。網絡爬蟲類似于模擬用戶瀏覽網頁的操作，通過模擬瀏覽器向網站發(fā)送請求，再獲得相關資源后，從中提取有用的數據并進行保存。網絡爬蟲的一般工作流程如圖1所示。圖1網絡爬蟲的基本流程URLURL（UniformResourceLocator）是統(tǒng)一資源定位符，是對互聯(lián)網上得到資源的位置和訪問方法的一種簡潔表示，URL具有全球唯一性。URL的一般語法格式為：協(xié)議+IP地址（域名）+端口號+路徑+參數+查詢+信息片段，例如:http://www.*****.com/***，其中http為傳輸協(xié)議，www.*****.com為域名，/***為路徑。中聯(lián)集團教育科技有限公司的URL如圖2所示。圖2中聯(lián)集團教育科技有限公司URLHTTP協(xié)議1.HTTP協(xié)議的含義HTTP（HyperTextTransferProtocol，超文本傳輸協(xié)議）是用于從網絡傳輸超文本數據到本地瀏覽器的傳輸協(xié)議，它能夠保證高效而準確地傳送超文本書檔。HTTP請求是目前互聯(lián)網上應用最為廣泛的一種網絡請求方式，常見的是在網絡瀏覽器中輸入一個網址，在訪問網頁時，服務器把網頁傳送給瀏覽器，實際上就是把網頁的HTML代碼發(fā)送給瀏覽器，從而讓瀏覽器顯示出來，瀏覽器和服務器之間的傳輸協(xié)議即是HTTP協(xié)議。HTTP協(xié)議2.HTTP請求過程在瀏覽器中輸入一個URL，按回車鍵后，在瀏覽器中觀察頁面內容，其中的過程是瀏覽器向網站所在服務器發(fā)送一個Request（請求），網站服務器接收到Request后進行處理和解析，然后返回對應的Response（響應），傳回瀏覽器，Response中包含頁面的源代碼等內容，瀏覽器再對其進行解析便會將網頁呈現(xiàn)出來，如圖3所示。圖3請求響應模型HTTP協(xié)議3.RequestRequest由客戶端向服務端發(fā)出，是一個功能強大的網絡請求庫，可以請求網站獲取網頁上的數據。Request的引入規(guī)則為：importrequests。可以將Request劃分為以下4部分內容：RequestMethod：請求方法。RequestURL：請求URL地址。RequestHeaders：請求標頭。RequestBody：請求體。一般承載的內容是POST請求中的表單數據，而對于GET請求，RequestBody則為空。HTTP協(xié)議4.ResponseResponse對象包含爬蟲返回的內容，由服務端返回給客戶端。Response可以劃分為以下3部分：ResponseStatusCode：請求返回狀態(tài)碼。200表示連接成功，404或其他表示失敗。ResponseHeaders：響應標頭。ResponseBody：響應體。響應的正文數據都包含在響應體中。在執(zhí)行網絡爬蟲程序中，主要解析的內容就是ResponseBody，通過ResponseBody可以得到網頁的源代碼、JSON數據等，然后提取其中的內容。HTTP協(xié)議5.示例在中聯(lián)教學平臺中打開JupyterNotebook工具，新建一個Python文件，在代碼編輯區(qū)域中輸入如下代碼：importrequests#導入爬蟲的request庫，不然調用不了爬蟲的函數response=requests.get("/")#生成一個response對象response.encoding=response.apparent_encoding#設置編碼格式pri