python爬蟲urllib中的異常模塊處理

第python爬蟲urllib中的異常模塊處理目錄urllib中的異常處理url的組成部分URLErrorHTTPError簡介Urllib.error模塊異常處理

urllib中的異常處理

在我們寫爬蟲程序時，若出現(xiàn)url中的錯誤，那么我們就無法爬取我們想要的內(nèi)容，對此，我們引入了urllib中的異常處理。

url的組成部分

URL由6個部分組成：eg：

/swd=易烊千璽

協(xié)議（http/https）主機（）端口號（80/443）路徑（s）參數(shù)（wd=易烊千璽）錨點

常見的端口號：

http（80）https（443）mysql(3306)oracle(1521)redis(6379)mongodb(27017)

URLError

通常來說，URLError報錯通常為url地址中主機部分的錯誤：

實例：

url='1/'

運行結(jié)果：

urllib.error.URLError:urlopenerror[Errno11001]getaddrinfofailed

HTTPError

這個異常的通常是url地址中參數(shù)或是路徑的錯誤。

實例：

url='/p/3388cf148dba1'

運行結(jié)果：

urllib.error.HTTPError:HTTPError404:NotFound

簡介

HTTPError類是URLError類的子類導(dǎo)入的包urllib.error.HTTPError/urllib.error.URLErrorhttp錯誤：http錯誤是針對瀏覽器無法連接到服務(wù)器而增加的出來的錯誤提示，引導(dǎo)并告訴瀏覽者該頁是出了什么問題。通過urllib發(fā)送請求的時候，有可能會發(fā)送失敗，這個時候如果想讓你的代碼更健壯，可以通過try-except進行捕獲異常。

Urllib.error模塊

urllib.error模塊為urllib.request所引發(fā)的異常定義了異常類，基礎(chǔ)異常類是URLError。

urllib.error包含了兩個方法，URLError和HTTPError。

URLError是OSError的一個子類，用于處理程序在遇到問題時會引發(fā)此異常（或其派生的異常）。

HTTPError是URLError的一個子類，用于處理特殊HTTP錯誤例如作為認證請求的時候，包含的屬性code為HTTP的狀態(tài)碼，reason為引發(fā)異常的原因，headers為導(dǎo)致HTTPError的特定HTTP請求的HTTP響應(yīng)頭。

異常處理

用tryexcept語句塊捕獲并處理異常，其基本語法結(jié)構(gòu)如下所示：

try:可能產(chǎn)生異常的代碼塊

except[(Error1,Error2,)[ase]]:處理異常的代碼塊1

except[(Error3,Error4,)[ase]]:處理異常的代碼塊2

except[Exception]:處理其它異常

實例：

原url=/p/3388cf148dba

源碼：

importurllib.request

importurllib.error

url='1/p/3388cf148dba'

#url的組成eg：/swd=易烊千璽

#1.協(xié)議（http/https）2.主機（）3.端口號（80/443）4.路徑（s）5.參數(shù)（wd=易烊千璽）6.錨點

#常見的端口號

#http（80）https（443）mysql(3306)oracle(1521)redis(6379)mongodb(27017)

headers={

'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/98.0.4758.102Safari/537.36'

request=urllib.request.Request(url=url,headers=headers)

response=urllib.request.urlopen(request)

content=response.read().decode('utf8')

print(content)

excepturllib.error.HTTPError:

print('HTTP異常，請稍后！')

excepturllib.error.URLError:

print('URL異常，請稍后！')

1.URLError

url=1/p/3388cf148dba

運行結(jié)果：

2.HTTPError

url=/p/3388cf148dba111

運行結(jié)果：

由于HTTPRError