python爬蟲實現(xiàn)爬取同一個網(wǎng)站的多頁數(shù)據(jù)的實例講解

第python爬蟲實現(xiàn)爬取同一個網(wǎng)站的多頁數(shù)據(jù)的實例講解對于一個網(wǎng)站的圖片、文字音視頻等，如果我們一個個的下載，不僅浪費時間，而且很容易出錯。Python爬蟲幫助我們獲取需要的數(shù)據(jù)，這個數(shù)據(jù)是可以快速批量的獲取。本文小編帶領(lǐng)大家通過python爬蟲獲取獲取總頁數(shù)并更改url的方法，實現(xiàn)爬取同一個網(wǎng)站的多頁數(shù)據(jù)。

一、爬蟲的目的

從網(wǎng)上獲取對你有需要的數(shù)據(jù)

二、爬蟲過程

1、獲取url（網(wǎng)址）。

2、發(fā)出請求，獲得響應(yīng)。

3、提取數(shù)據(jù)。

4、保存數(shù)據(jù)。

三、爬蟲功能

可以快速批量的獲取想要的數(shù)據(jù)，不用手動的一個個下載(圖片、文字音視頻等)

四、使用python爬蟲爬取同一網(wǎng)站多頁數(shù)據(jù)

1、需要定位至該標(biāo)簽并獲得總頁數(shù)

defget_page_size(soup):

pcxt=soup.find(div,{class:babynames-term-articles}).find(nav)

pcxt1=pcxt.find(div,{class:nav-links}).findAll(a)

foriinpcxt1[:-1]:

link=i.get(href)

s=str(i)

page=re.sub(ahref=,,s)

page1=re.sub(link,,page)

page2=re.sub(,,page1)

page3=re.sub(/a,,page2)

pagesize=int(page3)

print(pagesize)

returnpagesize

Pass

2、更改url來訪問網(wǎng)址，也就是進行主函數(shù)的編寫

if__name__==__main__:

url=/baby-names/browse/a/

soup=get_requests(url)

page=get_page_size(soup)

foriinrange(1,page+1):

url1=url+page/+str(i)+/

soup1=get_requests(url1)

draw_base_list(soup1)

實例擴展：

importrequests

fromlxmlimportetree

importre

url=/top250

header={User-Agent:Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/79.0.3945.130Safari/537.36}

allMovieList=[]

flag=True

whileflag:

html=requests.get(url,headers=he