python爬蟲(chóng)之基金信息存儲(chǔ)

第python爬蟲(chóng)之基金信息存儲(chǔ)目錄1前言2信息存儲(chǔ)2.1基金基本信息存儲(chǔ)2.2基金變動(dòng)信息獲取3需要改進(jìn)的地方3.1基金類(lèi)型3.2基金的更新順序4總結(jié)

1前言

前面已經(jīng)講了很多次要進(jìn)行數(shù)據(jù)存儲(chǔ)，終于在上一篇中完成了數(shù)據(jù)庫(kù)的設(shè)計(jì)，在這一篇就開(kāi)始數(shù)據(jù)的存儲(chǔ)操作，在數(shù)據(jù)存儲(chǔ)的這個(gè)部分，會(huì)將之前抓取到的基金列表，基金基本信息和基金變動(dòng)信息以及ETF信息進(jìn)行存儲(chǔ)。

2信息存儲(chǔ)

2.1基金基本信息存儲(chǔ)

在這里獲取基金信息包括兩個(gè)部分，一部分是場(chǎng)外基金另外一部分是場(chǎng)外基金信息。之在前的文章中，我們已經(jīng)獲完成了場(chǎng)外基金和ETF基金信息的代碼，因此在這里我們僅僅需要存儲(chǔ)數(shù)據(jù)庫(kù)即可，那么有個(gè)問(wèn)題，基金的信息是隨時(shí)發(fā)生變更的或者更新的。在保存時(shí)需要先判斷基金代碼是否已經(jīng)存在，如果存在則更新，如果不存在則新增，但是這樣效率有點(diǎn)低，這時(shí)候就用到之前的文章內(nèi)容，使用這樣onduplicatekeyupdate的語(yǔ)句就可以一條sql搞定了。

舉例如下所示:

INSERTINTO`tb_fund_list`(`code`,`name`,`fund_type`)VALUES('000363','國(guó)泰聚信價(jià)值優(yōu)勢(shì)混合C','混合型-靈活')

onduplicatekeyupdate`code`='000363',`name`='國(guó)泰聚信價(jià)值優(yōu)勢(shì)混合C',`fund_type`='混合型-靈活';

如果存在000363基金的話，我們就進(jìn)行更新操作，如果不存在那么久插入數(shù)據(jù)。

具體實(shí)現(xiàn)的代碼如下圖所示:

2.2基金變動(dòng)信息獲取

基金的變動(dòng)信息不論是場(chǎng)內(nèi)基金還是場(chǎng)外基金都是一樣的獲取方式，在這里就可以使用通用的邏輯進(jìn)行處理了，就是之前抓取基金變動(dòng)信息和基金價(jià)格信息的方式。

3需要改進(jìn)的地方

3.1基金類(lèi)型

現(xiàn)在基金基本信息中的基金類(lèi)型還是中文，這樣的中文存儲(chǔ)起來(lái)不符合常用的編碼規(guī)范，之前沒(méi)有處理是因?yàn)檫€不知道有多少種基金的類(lèi)型，現(xiàn)在已經(jīng)獲取到了所有的基金，這個(gè)時(shí)候我們需要查詢(xún)一下所有的基金類(lèi)型，然后建立枚舉來(lái)表述不同的基金類(lèi)型。

#獲取所有的基金類(lèi)型信息

selectdistinctfund_typefromtb_fund_list;

根據(jù)查詢(xún)出來(lái)的基金類(lèi)型，最終定義的基金類(lèi)型如下圖所示:

fund_type_dic={

"QDII":"1",

"商品(不含QDII)":"2",

"股票型":"3",

"指數(shù)型-股票":"4",

"混合型-偏債":"51",

"混合型-偏股":"52",

"混合型-平衡":"53",

"混合型-靈活":"61",

"債券型-中短債":"62",

"債券型-可轉(zhuǎn)債":"63",

"債券型-混合債":"64",

"債券型-長(zhǎng)債":"65"

}

根據(jù)經(jīng)驗(yàn)來(lái)說(shuō)，債券型的基金相對(duì)比較多，如果對(duì)債券基金感興趣的

可以時(shí)常更新數(shù)據(jù)，在后續(xù)的操作中以非債券型基金為主進(jìn)行分析，數(shù)據(jù)總量相對(duì)較小，批量更新的時(shí)間也相對(duì)較短。

3.2基金的更新順序

在之前的基金獲取過(guò)程中，總體來(lái)講獲取的順序是混亂的，在最終的數(shù)據(jù)結(jié)果存儲(chǔ)時(shí)，需要將獲取的信息基金拼接和組裝。最終的更新數(shù)據(jù)順序?yàn)椋?/p>

1更新場(chǎng)外基金列表(新增或者更新)2更新ETF信息列表(新增或者更新)3查詢(xún)基金的基本信息進(jìn)行更新操作4查詢(xún)基金的階段變