網(wǎng)絡(luò)空間安全概論 實(shí)驗(yàn)7網(wǎng)絡(luò)爬蟲 新冠疫情爬蟲及詞云與可視化地圖

中國礦業(yè)大學(xué)計(jì)算機(jī)學(xué)院2019級(jí)本科生課程報(bào)告課程名稱信息內(nèi)容安全報(bào)告題目新冠疫情爬蟲及詞云與可視化地圖報(bào)告時(shí)間2022.6.30姓名丁文翔學(xué)號(hào)08193072任課教師曹天杰2021-2022(二)《信息內(nèi)容安全》評(píng)分表考核類別考核內(nèi)容支撐課程目標(biāo)試題類型與分值比例分?jǐn)?shù)結(jié)課考核課程報(bào)告（論文綜述、設(shè)計(jì)、實(shí)現(xiàn)、寫作規(guī)范）目標(biāo)3：掌握信息內(nèi)容安全的基礎(chǔ)知識(shí)，針對(duì)具體問題和要求選擇正確的技術(shù)路線，通過在實(shí)驗(yàn)環(huán)境中進(jìn)行仿真實(shí)驗(yàn)并能根據(jù)算法特點(diǎn)進(jìn)行攻擊測(cè)試和綜合性能評(píng)價(jià)，得到具有參考價(jià)值的結(jié)論。課程報(bào)告，100%過程考核1.基本概念、原理目標(biāo)1:掌握信息內(nèi)容安全的基本概念、分類、原理和相關(guān)技術(shù)，能夠根據(jù)課程基本知識(shí)對(duì)信息內(nèi)容安全領(lǐng)域出現(xiàn)的問題進(jìn)行歸類、分析、并有初步分析和解決問題的能力。系統(tǒng)演示及解說，30%2.系統(tǒng)設(shè)計(jì)與分析目標(biāo)2：掌握信息內(nèi)容安全處理相關(guān)的理論、技術(shù)以及健全的評(píng)價(jià)體系，能夠根據(jù)具體問題分析算法、設(shè)計(jì)算法、實(shí)現(xiàn)算法并能綜合評(píng)價(jià)算法。PPT講解與答辯，50%3.基本概念、原理目標(biāo)1作業(yè)或測(cè)試，20%結(jié)課考核與過程考核比例結(jié)課考核：60%過程考核：40%評(píng)閱人：2022年7月10日?qǐng)?bào)告摘要始于2019年的全球新冠疫情，是人類百年工業(yè)文明快速發(fā)展、全球化進(jìn)程加快進(jìn)程中突然遭遇的重大傳染性疫病，近3年來，已經(jīng)改變、還在繼續(xù)改變幾十億人類的生命、生活、生態(tài)和生產(chǎn)方式。為了更直觀的查看以及分析各地疫情，本項(xiàng)目將利用爬蟲技術(shù)，爬取中國各地以及世界各個(gè)國家的新冠疫情數(shù)據(jù)，生成詞云，疫情地圖等可視化圖片或網(wǎng)頁，供用戶觀看。關(guān)鍵詞：爬蟲；新冠疫情；疫情地圖 AbstractTheCOVID-19pandemic,whichstartedin2019,isamajorinfectiousdiseasesuddenlyencounteredinthecourseofrapiddevelopmentofindustrialcivilizationandacceleratedglobalization.Inthepastthreeyears,ithaschangedandcontinuestochangethewaybillionsofpeoplelive,live,andwork.Inordertoviewandanalyzetheepidemicsituationindifferentplacesmoredirectly,theprojectwillusecrawlertechnologytocrawltheCOVID-19epidemicdataofdifferentplacesinChinaandothercountriesaroundtheworld,andgeneratewordcloud,epidemicmapandothervisualpicturesorwebpagesforuserstowatch.Keyword:crawler;COVID-19;Theoutbreakmap

報(bào)告正文1、項(xiàng)目背景正在發(fā)生的全球新冠疫情，所造成的風(fēng)險(xiǎn)在公共化、全球化，給這個(gè)世界帶來巨大的不確定性，預(yù)示著人類文明發(fā)展存在總體性危機(jī)。全球新冠肺炎疫情的爆發(fā)，使當(dāng)今世界局勢(shì)發(fā)生劇烈復(fù)雜變化，一場(chǎng)可能會(huì)影響全球格局的巨大變革正在發(fā)生。各國采取不同的措施應(yīng)對(duì)全球新冠肺炎疫情，美、歐、中等各經(jīng)濟(jì)圈分裂的趨勢(shì)在加強(qiáng)。以美國為代表的西方國家，從對(duì)外擴(kuò)張轉(zhuǎn)變?yōu)橄騼?nèi)收縮或退守，體現(xiàn)在本土主義的興起、貿(mào)易保護(hù)主義的反彈以及其他一些“逆全球化”的跡象。面對(duì)突如其來的全球性新冠肺炎疫情，西方社會(huì)的內(nèi)部矛盾，包括經(jīng)濟(jì)與文化方面的問題，開始全面爆發(fā)，民眾的挫折與失望感越來越廣泛。所謂“發(fā)達(dá)社會(huì)”，也呈現(xiàn)出一副失序狀態(tài)：經(jīng)濟(jì)失調(diào)、政治失序、安全失控、制度失靈。移民和難民大量涌入，對(duì)各國的本地傳統(tǒng)價(jià)值、生活方式以及民族認(rèn)同都會(huì)造成沖擊。經(jīng)濟(jì)利益的沖突與文化訴求的矛盾相互交織、彼此糾葛，造成了西方社會(huì)嚴(yán)重的政治極化現(xiàn)象。對(duì)中國這些發(fā)展中國家來說，外部環(huán)境變化的不確定性也非常明顯。西方打破了現(xiàn)有國際體系的穩(wěn)定性，并導(dǎo)致國際體系出現(xiàn)快速、急劇的變化，這就給中國的外部環(huán)境帶來巨大挑戰(zhàn)。如何處理與西方國家之間的問題、與國際秩序之間的問題，亦成為中國需要面對(duì)的挑戰(zhàn)。同時(shí)，新技術(shù)革命，尤其是人工智能、生物技術(shù)的迅即發(fā)展，對(duì)現(xiàn)有的生產(chǎn)、勞動(dòng)和消費(fèi)結(jié)構(gòu)沖擊，以及對(duì)文化變遷的深遠(yuǎn)影響，都可能超越既有“現(xiàn)代秩序”的有效框架，蘊(yùn)含著巨大的未知風(fēng)險(xiǎn)。有專家指出，新冠肺炎疫情帶來的這場(chǎng)全球性危機(jī)，不僅表現(xiàn)為生態(tài)和環(huán)境危機(jī)、資源和氣候危機(jī)，而且還表現(xiàn)為深重的經(jīng)濟(jì)、金融危機(jī)和社會(huì)危機(jī)。上世紀(jì)“二戰(zhàn)”之后確定的國際政治經(jīng)濟(jì)秩序在某種程度上處于內(nèi)外交困的局面。世界正在滑向各種影響深遠(yuǎn)的沖突和戰(zhàn)爭：軍事沖突、貿(mào)易戰(zhàn)爭、政治和外交戰(zhàn)、金融戰(zhàn)爭等等，世界很可能進(jìn)入了一個(gè)“巨變”的時(shí)期。2、項(xiàng)目介紹該項(xiàng)目使用了爬蟲技術(shù)，通過url獲取網(wǎng)頁html代碼，保存為json文件，在json文件中提取我們需要的數(shù)據(jù)，獲取到數(shù)據(jù)之后，使用python庫中的worldcloud制作詞云圖，pyecharts制作疫情地圖3、項(xiàng)目實(shí)現(xiàn)3.1、使用爬蟲獲取數(shù)據(jù)我們首先將使用requests方法獲得整個(gè)網(wǎng)頁的html代碼，并保存為txt文件，便于分析，這里我們需要注意偽造一下請(qǐng)求頭獲得html文件后，我們需要找到，我們需要的數(shù)據(jù)，下面藍(lán)色的部分包含著我們需要的數(shù)據(jù)，它是以字典和列表的來回穿插的形式保存的，我們通過取下標(biāo)0和對(duì)應(yīng)的鍵就可以獲得全部的疫情信息然后我們使用xpath方法來解析數(shù)據(jù)獲得數(shù)據(jù)后，為了更加直觀的觀察數(shù)據(jù)和制作詞云，我們將它們保存到data.xlsx的excel文件中，下圖可以看到我們成功保存國內(nèi)各個(gè)省份的相關(guān)信息和以大州為分類的各個(gè)國家信息中國各個(gè)省份數(shù)據(jù)亞洲國家數(shù)據(jù)實(shí)現(xiàn)代碼如下我們也將解析的數(shù)據(jù)保存到j(luò)son文件中，方便以后做整個(gè)中國及每個(gè)省份地圖和世界地圖做準(zhǔn)備json文件如下:3.2、制作詞云這里我們使用wordcloud庫來實(shí)現(xiàn)，將excel中數(shù)據(jù)中的省份或國家作為鍵，累計(jì)確診人數(shù)作為鍵值放到字典中，再根據(jù)該字典，使用wordcloud.generate_from_frequencies()方法生成云，保存為圖片即可3.3、制作疫情地圖制作地圖我們使用pyecharts官網(wǎng)，map上面使用的代碼，再將我們需要的參數(shù)添加進(jìn)去就可以，網(wǎng)址如下：/#/zh-cn/geography_charts?id=map%ef%bc%9a%e5%9c%b0%e5%9b%be中國地圖Demo:廣東地圖Demo:中國地圖實(shí)現(xiàn)如下：將省份和累計(jì)人數(shù)作為元組，反應(yīng)到地圖上，其余地圖同理中國各省份地圖實(shí)現(xiàn)：世界地圖實(shí)現(xiàn)如下：世界地圖添加了三種，分別為累計(jì)確診人數(shù)，累計(jì)治愈人數(shù)和當(dāng)前確診人數(shù)：最后為各個(gè)地圖添加獲取時(shí)間，獲取時(shí)間使用正則表達(dá)式在html頁面獲取4、項(xiàng)目成果4.1詞云展示中國詞云：世界詞云：4.