大數(shù)據(jù)概論及應用實踐 課件 第九章數(shù)據(jù)開放與共享

第九章

數(shù)據(jù)開放與共享大數(shù)據(jù)概論及應用實踐IntroductiontoBigDataandApplicationPractice隨著大數(shù)據(jù)時代的發(fā)展，數(shù)據(jù)作為最重要的“基石”，受到越來越多的關注和普遍重視，而大數(shù)據(jù)的真正價值則在于其如何被充分利用。因此，數(shù)據(jù)開放和共享成為大數(shù)據(jù)應用過程中的關鍵因素，數(shù)據(jù)開放和共享的重要性也被達成共識。數(shù)據(jù)開放強調的是原始數(shù)據(jù)的方法。數(shù)據(jù)共享則強調的打破“數(shù)據(jù)孤島”，不同部門之間的數(shù)據(jù)共通，最終形成大數(shù)據(jù)的合力。本章主要闡述數(shù)據(jù)開放與共享的基本概念與原則、數(shù)據(jù)開放與共享平臺以及典型案例分享。第九章

數(shù)據(jù)開放與共享目錄CONTENTS概述9.1數(shù)據(jù)開放與共享原則9.2大數(shù)據(jù)時代的思維方式9.3數(shù)據(jù)開放與共享平臺9.5習題9.7數(shù)據(jù)開放與共享的分類9.4本章小結9.6概

述PART01

本章主要闡述數(shù)據(jù)開放與共享的基本概念與原則、數(shù)據(jù)開放與共享平臺以及典型案例分享。9.1.1

數(shù)據(jù)開放與共享的概念 根據(jù)維基百科的定義，開放數(shù)據(jù)是指一種經過挑選與許可的數(shù)據(jù)，這些數(shù)據(jù)不受著作權、專利權以及其他管理機制的限制，可以被任何人自由免費地訪問、獲取、利用和分享。《開放數(shù)據(jù)憲章》則將開放數(shù)據(jù)定義為具備必要的技術和法律特性，從而能被任何人在任何時間和任何地點進行自由使用、再利用和分發(fā)的電子數(shù)據(jù)。有兩個核心要素被特意強調，一是數(shù)據(jù)，是指原始的、未經處理的餅允許個人和企業(yè)自由利用的數(shù)據(jù)，在科學研究領域是指原始的、未經處理的科學數(shù)據(jù)。二是開放，一般來說有兩層含義：①技術上的開放，即以機器可讀的標準格式開放；②法律上的開放，即不受限制地明確允許商業(yè)和非商業(yè)利用和再利用。數(shù)據(jù)共享是指數(shù)據(jù)的擁有者將數(shù)據(jù)向其他機構和個人開放的行為，例如科研人員將實驗過程中使用的數(shù)據(jù)向其他科研人員共享，以便于實驗結果的可重現(xiàn)性。開放數(shù)據(jù)的宗旨是提供免費、公開和透明的數(shù)據(jù)信息，這些數(shù)據(jù)能適用于任何領域，如政府運作、商業(yè)經營等。開放數(shù)據(jù)本身并沒有明顯的商業(yè)價值，但經過公眾、企業(yè)等加工處理以后，可能會產生巨大的商業(yè)價值。9.1.2數(shù)據(jù)開放與共享的發(fā)展歷程 1991年，免費操作系統(tǒng)Linux橫空出世，互聯(lián)網的普及為軟件自由運動的興起發(fā)揮了重要作用。隨著越來越多的公司和個人采取開放源代碼的做法，開源一次被正名并獲得全世界軟件行業(yè)的認同，開放源代碼促進會于1998年創(chuàng)建并宣揚開源的原則。軟件由代碼和數(shù)據(jù)共同組成，當開放源代碼成為一種共識的時候，開放數(shù)據(jù)也成為一種必然的選擇。源代碼開放只涉及技術層面，但數(shù)據(jù)開放涉及面更廣，不僅關乎技術，還與數(shù)據(jù)內容相關，直指安全與隱私，因此數(shù)據(jù)開放面臨更大的挑戰(zhàn)和阻力。數(shù)據(jù)開放的訴求，首先指向了公共領域和公共數(shù)據(jù)，即政府采集、擁有的數(shù)據(jù)。與此同時，學術界對月數(shù)據(jù)公開的需求日漸強烈，特別是國家財政支持的科研項目成果和數(shù)據(jù)如何惠及公眾也成為焦點話題。數(shù)據(jù)開放與共享的第一階段強調的是信息的共享，即經過加工整理和處理后的數(shù)據(jù)。當前，數(shù)據(jù)開放與共享的數(shù)據(jù)越來越大，范圍越來越廣，除了政府開放數(shù)據(jù)，還有很多企業(yè)和個人個加入到數(shù)據(jù)開放與共享的運動中。9.1.2數(shù)據(jù)開放與共享的發(fā)展歷程 同時數(shù)據(jù)開放和共享也具備了一定的理論基礎。主要包括數(shù)據(jù)資產理論、數(shù)據(jù)權理論和開放政府理論?，F(xiàn)在，身處大數(shù)據(jù)時代，數(shù)據(jù)已經被當做一種重要的戰(zhàn)資源，也可以成為一種資產。隨著數(shù)據(jù)的進一步開放，國家和政府加強了對數(shù)據(jù)主權的關注，并將其納入到數(shù)據(jù)主權的范疇。數(shù)據(jù)權包括數(shù)據(jù)主權和數(shù)據(jù)權利。數(shù)據(jù)主權的主體是國家，是一個國家獨立對本國數(shù)據(jù)進行管理和利用的權利，是對數(shù)據(jù)的占有和控制。數(shù)據(jù)權利的主體是公民，是相對于公民數(shù)據(jù)采集義務而形成的對數(shù)據(jù)利用的權利。同時，伴隨著大數(shù)據(jù)時代的發(fā)展和智慧服務型政府的創(chuàng)建，數(shù)據(jù)作為最重要的基石和原料正在得到各利益相關的普遍重視，政府數(shù)據(jù)的資源優(yōu)勢和應用市場優(yōu)勢日益凸顯，政府數(shù)據(jù)資源的共享與開放已成為世界各國政府的普遍共識。PART02數(shù)據(jù)開放與共享原則

數(shù)據(jù)開放與共享原則是開放數(shù)據(jù)的基本綱領，包括對于政府等數(shù)據(jù)提供者的要求、所涉范圍及目的等各個方面。9.2數(shù)據(jù)開放與共享原則數(shù)據(jù)滿足八項條件時可成為“開放數(shù)據(jù)”：（1）完整。除非涉及國家安全、商業(yè)機密、個人隱私或其他特別限制，所有的政府數(shù)據(jù)都應開放，開放是原則，不開放是例外。（2）原始性。是指從數(shù)據(jù)源頭采集的原始數(shù)據(jù)，而不是被修改或加工過的數(shù)據(jù)。（3）及時。在第一時間開放和更新數(shù)據(jù)。（4）可獲取。數(shù)據(jù)可被獲取，并盡可能地擴大用戶范圍和利用種類。（5）可機讀。數(shù)據(jù)可被計算機自動抓取和處理。（6）非歧視性。數(shù)據(jù)對所有人都平等開放，不需要特別登記。（7）非專屬性。數(shù)據(jù)格式不能獨家控制，任何實體都不得排除他人使用數(shù)據(jù)的權利。（8）免于授權。數(shù)據(jù)不受版權、專利、商標或貿易保密規(guī)則的約束或已得到授權使用（除非涉及國家安全、商業(yè)機密、個人隱私或其他特別限制）。9.2數(shù)據(jù)開放與共享原則政府開放數(shù)據(jù)的五大原則，分別是默認開放數(shù)據(jù)為默認規(guī)則、注重質量和數(shù)據(jù)、讓所有人可以、為改善治理發(fā)布數(shù)據(jù)、為激勵創(chuàng)新發(fā)布數(shù)據(jù)。（1）開放數(shù)據(jù)為默認規(guī)則?；凇耙怨_為常態(tài)，不公開為例外”的政府信息公開院長，數(shù)據(jù)開放與共享也應遵循“以公開為常態(tài)，不公開為例外”的開放原則，法律需對這些不開放的數(shù)據(jù)加以明確規(guī)定。（2）質量和數(shù)量。政府機構需要發(fā)布各種各樣的已經審核和過濾的數(shù)據(jù)集。數(shù)據(jù)開放的核心是原始數(shù)據(jù)的開放，此外還應包括特定背景下的信息開放乃至包括事實、數(shù)據(jù)、信息、知識和智慧的整個數(shù)據(jù)鏈的開放，特別是關鍵領域的高價值數(shù)據(jù)集應面向社會和公民全面開放。（3）所有人可用。數(shù)據(jù)開放與共享過程中不能僅關注經濟性、效率性和效益性，更需要關注個體公平，避免大數(shù)據(jù)時代的數(shù)據(jù)鴻溝造成新的“數(shù)據(jù)貧富差距”問題。社會中的任何一個人都擁有平等獲取大數(shù)據(jù)的權利，真正實現(xiàn)開發(fā)的平等對待必須要取消獲取數(shù)據(jù)的門檻，即取消數(shù)據(jù)特權。9.2數(shù)據(jù)開放與共享原則政府開放數(shù)據(jù)的五大原則，分別是默認開放數(shù)據(jù)為默認規(guī)則、注重質量和數(shù)據(jù)、讓所有人可以、為改善治理發(fā)布數(shù)據(jù)、為激勵創(chuàng)新發(fā)布數(shù)據(jù)。（4）發(fā)布數(shù)據(jù)改善治理。政府機構需要國家之間分享開放數(shù)據(jù)的最佳實踐，發(fā)布某些“關鍵數(shù)據(jù)集”并從民間社會征求建議。（5）鼓勵創(chuàng)新發(fā)布數(shù)據(jù)。應認識到多樣性對刺激創(chuàng)造力和創(chuàng)新的重要性，政府機構應該發(fā)布“高價值”數(shù)據(jù)集，并吸引開發(fā)社區(qū)和開放數(shù)據(jù)創(chuàng)業(yè)基金。14個重點開發(fā)領域包括：公司、犯罪與司法、地球觀測、教育、能源與環(huán)境、財政與合同、地理空間、全球發(fā)展、政府問責與民主、健康、科學與研究、統(tǒng)計、社會流動性與福利、交通運輸與基礎設施等。9.2數(shù)據(jù)開放與共享原則3項共同行動計劃包括：G8國家的行動計劃、發(fā)布高價值的數(shù)據(jù)和元數(shù)據(jù)的映射。（1）G8國家的行動計劃。2013年6月，美、英、法、德、意、加、日、俄召開八國集團首腦會議，八國領導人在北愛爾蘭簽署了《八國集團開放數(shù)據(jù)憲章》，并于同年10月發(fā)布各國執(zhí)行《G8開放數(shù)據(jù)憲章》的國家行動計劃。（2）發(fā)布高價值的數(shù)據(jù)。第一，按照第一、第二原則積極推進14個領域的數(shù)據(jù)開放。第二，共同推進有關國家統(tǒng)計、地圖、選舉、預算的關鍵數(shù)據(jù)集建設和發(fā)布。第三，加大民主、環(huán)境等關鍵領域開放數(shù)據(jù)的提供力度。第四，對其余類別數(shù)據(jù)發(fā)布情況進行闡述。（3）元數(shù)據(jù)的映射。致力并承諾繼續(xù)維護G8元數(shù)據(jù)映射的實踐活動。PART03數(shù)據(jù)開放與共享的政策國外數(shù)據(jù)開放與共享的政策與數(shù)據(jù)開放與共享實施指南9.3.1國外數(shù)據(jù)開放與共享的政策

1.歐盟2006年，歐盟修訂委員會發(fā)布的《信息再利用決議》提出，所有來自于公共部門的文件均可用于任何目的（商業(yè)性或非商業(yè)性），除非受到第三方版權保護；除非有正當理由，大部分公共部門的數(shù)據(jù)都將免費或收取極少費用；強制要求提供通用機讀格式的數(shù)據(jù)，確保數(shù)據(jù)的有效再利用；引入監(jiān)管機制，保證原則的執(zhí)行。2010年，歐盟通信委員會向歐洲議會提交了《開放數(shù)據(jù)：創(chuàng)新、增長和透明合理的引擎》的報告，報告以開放數(shù)據(jù)為核心，制定了應對大數(shù)據(jù)挑戰(zhàn)的戰(zhàn)略。根據(jù)歐盟2012年通過的歐盟及成員國科技資源和數(shù)據(jù)共享的決定，公共科研數(shù)據(jù)公開作為科技資源共享的核心內容之一。該決定認為公開具體的科研實驗數(shù)據(jù)，科研避免浪費科技資源和不必要的重復勞動，有利于整合歐盟的公共研發(fā)投入和科技資源及科研基礎設施的共享，有利于歐盟統(tǒng)一的研究區(qū)域建設和成員國科技資源相互之間的優(yōu)化配置，促進科技成果的轉化和提高歐盟的創(chuàng)新能力。9.3.1國外數(shù)據(jù)開放與共享的政策

1.歐盟2014年，歐盟發(fā)布了《數(shù)據(jù)驅動經濟戰(zhàn)略》，聚焦深入研究基于大數(shù)據(jù)價值鏈的創(chuàng)新機制，提出大力推動“數(shù)據(jù)價值鏈戰(zhàn)略計劃”，通過一個以數(shù)據(jù)為核心的連貫性歐盟生態(tài)體現(xiàn)，讓數(shù)據(jù)價值鏈的不同階段產生價值。數(shù)據(jù)價值鏈的主要原則是：高質量數(shù)據(jù)的廣泛獲得性，包括公共資訊數(shù)據(jù)的免費獲得；作為數(shù)字化單一市場的一部分，歐盟內數(shù)據(jù)的自由流動；尋求個人潛在隱私問題與其數(shù)據(jù)再利用潛力之間的適當平衡，同時賦予公民以其希望的形式使用自己數(shù)據(jù)的權利。9.3.1國外數(shù)據(jù)開放與共享的政策

2.美國2009年，美國公布了以透明性、公眾參與、協(xié)同為三大核心的《開放政府指令》，以聯(lián)邦政府為主，在各個政府結構內都開通了相應的網站，制定了開放政府計劃。該指令要求行政管理部門和機構在實現(xiàn)創(chuàng)建一個更加開放的政府的過程中采取以下步驟：發(fā)布在線政府信息，提高政府信息質量，創(chuàng)建并制度化開放政府文化，創(chuàng)建支持開放政府的政策框架；抓住數(shù)字機遇，加大政府開放數(shù)據(jù)的權力，建立21世紀數(shù)字平臺，以期更好地為美國人民服務；管理作為資產的信息，確保聯(lián)邦政府對信息資源的充分利用。9.3.1國外數(shù)據(jù)開放與共享的政策

2.美國2013年，美國通過《政府信息公開和機器可讀行政命令》，正式確立了政府數(shù)據(jù)開放的基本框架。該命令中指出，確保以多種方式將數(shù)據(jù)公開發(fā)布，讓數(shù)據(jù)易于被發(fā)現(xiàn)、獲取和利用，政府部門應當保護個人隱私、保密和確保國家安全。在此基礎上，原先不易獲得的數(shù)據(jù)應當能夠為企業(yè)家、研究人員以及其他任何致力于開發(fā)新產品和新服務的人所使用。美國政府表示將持續(xù)致力于實現(xiàn)數(shù)據(jù)的開放工作，并且力求提供一站式資源，匯總所有目前以及開放的數(shù)據(jù)和開源軟件，讓開發(fā)者和社會大眾能夠更好地利用數(shù)據(jù)開放實現(xiàn)更高價值。2014年，《美國開放數(shù)據(jù)行動計劃》發(fā)布，其目標是鼓勵創(chuàng)新，讓數(shù)據(jù)走出政府，得到更多的創(chuàng)新應用。2014年美國又進一步推動了《數(shù)據(jù)法令》的頒布，全面推進了數(shù)據(jù)的開放。之后，美國政府、美國政府參與的國際組織以及凡屬于美國納稅收入支持的機構與活動都必須保證數(shù)據(jù)的公開透明。9.3.1國外數(shù)據(jù)開放與共享的政策

3.英國2009年，英國國家檔案館首先公布了《信息權利小組報告》，該報告大力提倡政府、行業(yè)和第三方平臺使用信息通信技術，創(chuàng)造更好的公共服務。2012年，由英國內閣辦公室部長與財政部主記長共同提交了《開放數(shù)據(jù)白皮書：釋放潛能》，并發(fā)布最新修訂的《自由保護法案》，要求政府部門必須以機器可讀的形式來發(fā)布數(shù)據(jù)，同時對開放數(shù)據(jù)的版權許可、收費等進行了規(guī)定。隨后，英國發(fā)布了《公共部門透明委員會：公關數(shù)據(jù)原則》，確定了公關數(shù)據(jù)開放的形式、格式、許可使用范圍、公共機構鼓勵數(shù)據(jù)的再利用等14項原則。在2012年的《開放數(shù)據(jù)策略》中，英國政府公布了衛(wèi)生部、財政部、司法部、國防部、稅務與海關司、能源和氣候變化部、國家發(fā)展部、教育部、外交部和內閣部共10個部門的各自不同的開放數(shù)據(jù)策略。9.3.1國外數(shù)據(jù)開放與共享的政策

3.英國2013年，英國政府開放數(shù)據(jù)政策更注重各個部門與機構承擔的責任，積極構建政府開放數(shù)據(jù)的長遠發(fā)展藍圖。英國政府發(fā)布了《抓住數(shù)據(jù)機遇：英國數(shù)據(jù)能力策略》，強調政府必須又換公民參與方式，改變服務政策和服務方式，改變責任的承擔方式，從技術、基礎設施、軟件和協(xié)作，安全與恰當?shù)毓蚕砗玩溄訑?shù)據(jù)三個方面提高數(shù)據(jù)處理能力。2017年，英國發(fā)布了《英國數(shù)字化戰(zhàn)略》，該戰(zhàn)略報告主要包括：①為英國建立世界一流的數(shù)字化基礎設施；②為公眾提供掌握其所需數(shù)字化技能的途徑；③讓英國成為建立并發(fā)展數(shù)字化業(yè)務的最佳平臺；④幫助每一家英國企業(yè)順利轉化為數(shù)字化企業(yè)；⑤讓英國提供全球最為安全的網絡空間環(huán)境；⑥確保英國政府在電子政務方面處于全球領先地位；⑦釋放數(shù)據(jù)在英國經濟中的重要力量，比提高公眾對使用數(shù)據(jù)的信心。英國政府將數(shù)據(jù)比擬為21世紀的“新石油”，其數(shù)據(jù)的準備程度、執(zhí)行力、影響力三項指標均居世界前列。9.3.1國外數(shù)據(jù)開放與共享的政策

4.日本2012年，日本發(fā)布《電子政務開放數(shù)據(jù)戰(zhàn)略草案》，邁出了政府數(shù)據(jù)公開的關鍵性一步。方案啟動居民可瀏覽中央各部委和地方省廳公安數(shù)據(jù)的網站。同年，日本推出了《面向2020年的ICT綜合戰(zhàn)略》，提出“活躍在ICT領域的日本”的目標，重點關注大數(shù)據(jù)應用。該戰(zhàn)略聚焦答案數(shù)據(jù)應用所需的社會化媒體等智能技術開發(fā)，傳統(tǒng)產業(yè)IT創(chuàng)新以及在新醫(yī)療技術開發(fā)、緩解交通擁堵等公共領域的應用。2012年7月，日本的《電子行政開放數(shù)據(jù)戰(zhàn)略》指出需以便于二次利用的數(shù)據(jù)形式公開數(shù)據(jù)，同事兼顧商業(yè)利用，消除公共數(shù)據(jù)在商業(yè)利用中的障礙。9.3.1國外數(shù)據(jù)開放與共享的政策

4.日本2013年，日本公布了新IT戰(zhàn)略《創(chuàng)建最尖端IT國家宣言》，宣言闡述了2013-2020年期間以發(fā)展開放公共數(shù)據(jù)和大數(shù)據(jù)為核心的日本新IT國家戰(zhàn)略，堅持大數(shù)據(jù)戰(zhàn)略與開放數(shù)據(jù)的并行，把日本建設成為一個具有“世界最高水準的廣泛應用信息產業(yè)技術的社會”。同年，日本發(fā)布《日本開放數(shù)據(jù)憲章行動計劃》，該計劃指出，，政府主動發(fā)布數(shù)據(jù)，公共數(shù)據(jù)必須以可讀的方式提供給公眾，鼓勵數(shù)據(jù)的商業(yè)和非商業(yè)化應用等原則。日本開放數(shù)據(jù)更加注重政府商業(yè)數(shù)據(jù)商業(yè)價值的開發(fā)應用，日本三菱綜合研究所牽頭成立了“開放數(shù)據(jù)流通推進聯(lián)盟”，旨在由產官學聯(lián)合，為公開數(shù)據(jù)的商業(yè)化創(chuàng)新發(fā)展提供平臺支持，促進日本公共數(shù)據(jù)的開放應用。9.3.2中國數(shù)據(jù)開放與共享的政策從2015年開始，我國政府對互聯(lián)網、高科技和大數(shù)據(jù)產業(yè)逐漸重視起來，并且非常明確表示要開放大數(shù)據(jù)。2015年兩會期間，李克強總經理明確表態(tài)，政府應該進了公開非涉密的數(shù)據(jù)，以便利用這些數(shù)據(jù)更好地服務社會，也為政府決策和監(jiān)管服務提供依據(jù)。2015年5月，國務院發(fā)布《中國制造2025》，它是我國實施制造強國戰(zhàn)略第一個十年的行動綱領，提出“建設重點領域制造業(yè)工程數(shù)據(jù)中心，為企業(yè)提供創(chuàng)新知識和工程數(shù)據(jù)的開放共享服務”。同年9月，國務院發(fā)布了《促進大數(shù)據(jù)發(fā)展行動綱要》，綱要首次在國家層面推出了“穩(wěn)步推動公共數(shù)據(jù)資源開放”的概念，將政府數(shù)據(jù)開放列為中國大數(shù)據(jù)發(fā)展的十大關鍵工程。綱要提出“穩(wěn)步推動公共數(shù)據(jù)資源開放，加快建設國家政府數(shù)據(jù)統(tǒng)一開放平臺”。綱要設定了兩個關鍵目標：“2018年底前，建成國家政府數(shù)據(jù)統(tǒng)一開放平臺。2020年底錢，逐步實現(xiàn)信用、交通、醫(yī)療、衛(wèi)生、就業(yè)、社保、地理、文化、教育、科技、資源、農業(yè)、環(huán)境、安監(jiān)、金融、質量、統(tǒng)計、氣象、海洋、企業(yè)登記監(jiān)管等民生保障服務相關領域的政府數(shù)據(jù)集向社會開放”。自此開放數(shù)據(jù)在中國進入快速發(fā)展的新階段。9.3.2中國數(shù)據(jù)開放與共享的政策2017年，中央全面深化改革領導小區(qū)第三十二次會議審議通過了《關于推進公共信息資源開放的若干意見》，要求充分釋放公共信息資源的經濟價值和社會效益，保證數(shù)據(jù)的完整性、準確性、原始性、機器可讀性、非歧視性、及時性，方便公眾在線檢索、獲取和利用。同年5月，國務院印發(fā)《政務信息系統(tǒng)整合共享實施方案》，明確要求“推動開放、加快公共數(shù)據(jù)開放網站建設”，向社會開放“政府部門和公共企事業(yè)單位的原始性、柯機器讀取、可供社會化再利用的數(shù)據(jù)集”。2018年，國務院發(fā)布了《科學數(shù)據(jù)管理辦法》，該辦法指出我國的科學數(shù)據(jù)主要是在“自然科學、工程技術科學等領域，通過基礎研究、應用研究、試驗開發(fā)等產生的數(shù)據(jù)，以及通過觀測監(jiān)測、考察調查、檢驗檢測等方式取得并用于科學研究活動的原始數(shù)據(jù)及其衍生數(shù)據(jù)”。辦法對“政府預算自己資助的各級科技計劃（專項、基金等）項目所形成的科學數(shù)據(jù)，應由項目牽頭單位匯交到相關科學數(shù)據(jù)中心。接收數(shù)據(jù)的科學數(shù)據(jù)中心應初九匯交憑證。9.3.2中國數(shù)據(jù)開放與共享的政策各級科技計劃（專項、基金等）管理部門應建立先匯交科學數(shù)據(jù)、再驗收科技計劃（專項、基金等）項目的機制；項目/課題驗收后產生的科學數(shù)據(jù)也應進行匯交”。并對數(shù)據(jù)的開發(fā)共享提出“政府預算資金資助形成的科學數(shù)據(jù)應當按照開放為常態(tài)、不開放為例外的原則，由主管部門組織編制科學數(shù)據(jù)資源目錄，有關目錄和數(shù)據(jù)應及時接入國家數(shù)據(jù)共享交換平臺，面向社會和相關部門開放共享，暢通科學數(shù)據(jù)軍民共享渠道，國家法律法規(guī)有特殊規(guī)定的除外”。當下，我國的數(shù)據(jù)開放政策仍然處于起步階段，北京、上海、貴州、廈門等部分地方政府先進行了政府數(shù)據(jù)開放的積極談談，建立了地方政府數(shù)據(jù)開放的數(shù)據(jù)平臺。9.3.3數(shù)據(jù)開放與共享實施指南數(shù)據(jù)開放與共享的實施既是一個技術過程又是一個管理過程。其中技術過程是指采用什么數(shù)據(jù)格式發(fā)布，以及如何定義數(shù)據(jù)訪問接口和更新策略等涉及數(shù)據(jù)處理方面的問題，而管理過程則涉及發(fā)布什么樣數(shù)據(jù)，以及采用什么樣的開放許可協(xié)議等問題。因此，建議數(shù)據(jù)的發(fā)布者應該遵循數(shù)據(jù)開放與共享原則和標準，按照數(shù)據(jù)開放平臺的規(guī)范要求，進行數(shù)據(jù)的發(fā)布和開放共享。一般來說，數(shù)據(jù)開放與共享實施涉及三個主要步驟，即數(shù)據(jù)集選擇、開放許可協(xié)議、數(shù)據(jù)集發(fā)現(xiàn)與獲取。9.3.3數(shù)據(jù)開放與共享實施指南1.數(shù)據(jù)集選擇雖然選取將要開放的數(shù)據(jù)集是數(shù)據(jù)開放與共享的第一步，但在數(shù)據(jù)開放與共享實施過程中卻是工作量最大的。特別是涉及政府數(shù)據(jù)、個人數(shù)據(jù)等，需要數(shù)據(jù)發(fā)布者事先制定數(shù)據(jù)開放標準以及對數(shù)據(jù)進行分級處理。例如貴州數(shù)據(jù)開放平臺的數(shù)據(jù)發(fā)布，應該在貴州省地方標準《政府數(shù)據(jù)數(shù)據(jù)分類分級指南》的指導下，各數(shù)據(jù)發(fā)布單位按照標準要求，對數(shù)據(jù)集進行加工整理，形成待發(fā)布的數(shù)據(jù)集。2.開放許可協(xié)議在各個國家甚至全球的法律體系下，知識產權法案往往都限制第三方在沒有許可或授權的情況下對數(shù)據(jù)進行使用、再利用和再發(fā)布。因此，在選擇好待發(fā)布的數(shù)據(jù)集后，應該考慮對這些數(shù)據(jù)應用什么樣的許可協(xié)議。對于開放數(shù)據(jù)，推薦選用遵循開放知識定義且適用于數(shù)據(jù)開放許可協(xié)議，例如創(chuàng)作公用、開放數(shù)據(jù)公用和開放政府許可等，感興趣的可以自己進行查閱具體的協(xié)議內容。9.3.3數(shù)據(jù)開放與共享實施指南3.數(shù)據(jù)集發(fā)現(xiàn)與獲取選擇好數(shù)據(jù)開放許可協(xié)議后，數(shù)據(jù)發(fā)布者可將數(shù)據(jù)集發(fā)布到相應的數(shù)據(jù)開放與共享平臺。數(shù)據(jù)開放的目的是數(shù)據(jù)的再利用，因此數(shù)據(jù)發(fā)布者必須確保數(shù)據(jù)是可訪問和可獲取的，且提供機器能夠訪問的文件格式。其中可訪問是指用戶可以通過網絡下載或者API等方式訪問數(shù)據(jù)集；可獲取是指數(shù)據(jù)應當能在支付不超過合理重制費用的情況下進行獲??；機器可讀是指數(shù)據(jù)發(fā)布者應該提供機器可以直接處理的數(shù)據(jù)，而不應該采用計算機難以處理的數(shù)據(jù)。例如PDF格式發(fā)布的統(tǒng)計數(shù)據(jù)，雖然人可以閱讀，但是機器難以處理，從而限制了數(shù)據(jù)的再利用。數(shù)據(jù)的開放與共享，還需要具體層面的支撐。主要包括兩方面：政府層面和企業(yè)層面。9.3.3數(shù)據(jù)開放與共享實施指南（1）政府層面的舉措政府不僅要積極開放數(shù)據(jù)資源，還應該提高政府職能部門之間和具有不同創(chuàng)新資源的主體之間的數(shù)據(jù)共享廣度，促進區(qū)域內形成“數(shù)據(jù)共享池”。同時，要促進準確及時地數(shù)據(jù)信息傳遞，提高部門條線管理、“一站式”網上辦事和政府服務項目“一網通”的網絡信息功能，提高數(shù)據(jù)質量的可靠性、穩(wěn)定性和權威性，增加相關信息平臺的使用覆蓋面，讓現(xiàn)存數(shù)據(jù)“連起來”“用起來”。具體的說，要進一步加強不同政府信息平臺的的部門連接性和數(shù)據(jù)反映能力的全面性，要使不同省區(qū)市之間的數(shù)據(jù)實現(xiàn)對接與共享，解決數(shù)據(jù)“畫地為牢”的“數(shù)據(jù)孤島”問題，實現(xiàn)數(shù)據(jù)共享共用。通過數(shù)據(jù)的共享共用，打破地區(qū)、行業(yè)、部門和區(qū)域條塊分割狀況，提高數(shù)據(jù)資源利用率，提高生產效率，更好推進制度創(chuàng)新與科技創(chuàng)新。9.3.3數(shù)據(jù)開放與共享實施指南（1）政府層面的舉措同時，通過政府數(shù)據(jù)的跨部門流動和互通，促進政府數(shù)據(jù)的關聯(lián)分析能力的有效發(fā)揮，建立“用數(shù)據(jù)說話、用數(shù)據(jù)決策、用數(shù)據(jù)管理、用數(shù)據(jù)創(chuàng)新”的政府管理機制，實現(xiàn)基于數(shù)據(jù)的科學分析和科學決策，構建出適應信息時代的國家治理體系，推進國家治理能力現(xiàn)代化。目前，各級各地政府不同程度上制定了數(shù)據(jù)共享交換計劃和交換辦法，計劃中明確了政府數(shù)據(jù)共享的年度目標、雙年度目標和中長期目標，確定了各政府部門為實現(xiàn)政府數(shù)據(jù)共享達標所應采取的具體措施和工作安排。交換辦法明確了政府數(shù)據(jù)共享的類型、范圍、共享以為主體、共享權利主體、共享責任和共享績效考核評估辦法，制定了本部門政府數(shù)據(jù)共享的具體目錄，依據(jù)政府數(shù)據(jù)共享目錄向其他政府部門提供政府數(shù)據(jù)共享服務。同時明確了政府數(shù)據(jù)共享使用的方式，按照全公開使用、半公開使用、不公開使用等不同等級，界定對政府數(shù)據(jù)共享使用的數(shù)據(jù)公開范圍，并明確了具體程序和工作流程，以及政府數(shù)據(jù)恭喜的負責人員、責任部門和責任追究辦法。9.3.3數(shù)據(jù)開放與共享實施指南（2）企業(yè)層面的舉措（1）在企業(yè)內部，破除“數(shù)據(jù)孤島”，推進數(shù)據(jù)融合。要想打破“數(shù)據(jù)孤島”，必須要建立在完善的基礎數(shù)據(jù)之上的信息系統(tǒng)，可能需要建立全新的信息系統(tǒng)或者需要對現(xiàn)有的系統(tǒng)進行全面的升級和改造。而對于數(shù)據(jù)處理的準確性、及時性和可靠性，不僅要確保個業(yè)務環(huán)節(jié)數(shù)據(jù)的完整和準確為基礎，信息系統(tǒng)還必須滿足系統(tǒng)化、嚴密性等特性，能夠將企業(yè)各渠道的數(shù)據(jù)信息綜合到一個平臺上，供企業(yè)管理者和決策者分析利用，為企業(yè)創(chuàng)造價值效益。（2）在不同的企業(yè)之間，建立企業(yè)數(shù)據(jù)共享聯(lián)盟。成立企業(yè)數(shù)據(jù)共享聯(lián)盟，建立聯(lián)盟大數(shù)據(jù)信息庫，匯集來自各行業(yè)企業(yè)及政府數(shù)據(jù)資源，促進碎片數(shù)據(jù)資源進行有效的融合，指導和帶動聯(lián)盟跨界數(shù)據(jù)資源的合理、有序分享和開發(fā)利用。PART04數(shù)據(jù)開放與共享的分類

根據(jù)數(shù)據(jù)的不同類型、不同來源都可對數(shù)據(jù)開放與共享平臺上的數(shù)據(jù)進行分類。9.4.1政府數(shù)據(jù)開放與共享政府部門在履行行政職責的過程中，制作、獲取和保存了海量的數(shù)據(jù)資源，因此在大量基礎性、關鍵性的數(shù)據(jù)就存儲在了各級各地政府部門的手中。政府數(shù)據(jù)作為整個社會的公共資源，在保障國家安全、商業(yè)機密和個人隱私的前提下，將政府數(shù)據(jù)最大限度的開放出來進行開放利用，釋放數(shù)據(jù)能力，創(chuàng)造社會價值，并且有利于增加政府的透明度，激發(fā)創(chuàng)新活力，提升政府的治理水平。政府開放數(shù)據(jù)包含兩大要素，一是政府數(shù)據(jù)，即由公共機構產生或委托的任何數(shù)據(jù)與信息；二是開放數(shù)據(jù)，即只要滿足使用者規(guī)范使用數(shù)據(jù)并讓其利用成果能達到共享條件便可被任何人免費使用、再利用和傳播的數(shù)據(jù)。政府開放數(shù)據(jù)和政府信息公開這兩者既有聯(lián)系，又有所區(qū)別。首先從目的上看，政府信息公開的目的主要是保障公眾的“知情權”，提高政府透明度，促進依法行政，側重于其政治和行政價值；而政府開放數(shù)據(jù)則強調公眾對政府數(shù)據(jù)的利用，重在發(fā)揮政府數(shù)據(jù)的經濟與社會價值。9.4.1政府數(shù)據(jù)開放與共享在國務院印發(fā)的《促進大數(shù)據(jù)發(fā)展行動綱要》中也明確指出，率先在重要領域實現(xiàn)公共數(shù)據(jù)資源合理適度向社會開放，從而“帶動社會公眾開展大數(shù)據(jù)增值性、公益性開發(fā)和創(chuàng)新應用，充分釋放數(shù)據(jù)紅利，激發(fā)大眾創(chuàng)業(yè)、萬眾創(chuàng)新的活力”。其次，從開放對象上看，政府信息公開側重于信息層面的公開，而政府開發(fā)數(shù)據(jù)則將開放深入到了數(shù)據(jù)層。數(shù)據(jù)是第一手的原始記錄，未經加工與解讀，不具有明確意義，而信息是經過連接、加工或解讀之后被賦予了意義的產品。形象的說，數(shù)據(jù)是原材料，而信息是數(shù)據(jù)加工后的產品，開放原始數(shù)據(jù)對于開放利用的潛力和價值遠遠大于只開放經過加工后的信息。再次，在推進的過程中，政府信息公開的工作重點在于政府乙方，公共信息即已完成目標，而開放政府數(shù)據(jù)則需要在政府和利用者兩個方面同時著力，開放數(shù)據(jù)本身并沒有全部完成這項工作，使數(shù)據(jù)被社會充分開放利用才是根本目的。9.4.2公共財政資助產生的科學數(shù)據(jù)開放與共享科學數(shù)據(jù)主要是在自然科學、工程技術科學等領域，通過基礎研究、應用研究、實驗開發(fā)等產生的數(shù)據(jù)，以及通過觀測監(jiān)測、考察調查、檢驗檢測等方式取得并用于科學研究活動的原始數(shù)據(jù)及其衍生數(shù)據(jù)。根據(jù)美國自然基金會的戰(zhàn)略報告，科學數(shù)據(jù)可分為四類：觀察數(shù)據(jù)、計算數(shù)據(jù)、實驗數(shù)據(jù)和記錄數(shù)據(jù)。其中觀察數(shù)據(jù)包括氣候觀測和滿意度調查得到的數(shù)據(jù)，與特定空間和時間有關；計算數(shù)據(jù)來自于計算模型或者模擬，可能是自然或文化的虛擬現(xiàn)實和仿真；實驗數(shù)據(jù)包括來自實驗研究，如對化學反應的觀察或者來自野外的實驗數(shù)據(jù)；記錄數(shù)據(jù)包括政府、商業(yè)、個人等行為的記錄。由于科學數(shù)據(jù)采集、整理、存儲、使用數(shù)據(jù)過程非常復雜，投入成本較高，并且往往由政府公共材質資助，因此科學數(shù)據(jù)開放共享已成為促進科學數(shù)據(jù)再利用，提升利用效率的重要解決方案之一。9.4.2公共財政資助產生的科學數(shù)據(jù)開放與共享國家科學理事會在1966年成了國際科技數(shù)據(jù)委員會，其目的是促進全世界范圍內重要科學數(shù)據(jù)的編輯、評估和傳播；在2008年10月成立世界數(shù)據(jù)系統(tǒng)，旨在促進現(xiàn)有科學數(shù)據(jù)開放獲取和數(shù)據(jù)標準的采用。在2004年，經濟合作與發(fā)展組織提倡利用公共資金進行科學研究獲得的數(shù)據(jù)應向社會公開，并于2007年又頒布了《公共資助科學數(shù)據(jù)開放獲取的原則和指南》，對共享數(shù)據(jù)的范圍和指導原則進行了界定。2013年，我國科技部開始實施科技報告制度，進一步推進了科研領域相關數(shù)據(jù)的開放。近年來，開放存取運動的影響從出版領域拓展到整個學時交流體系，開放科學成為繼開放存取之后的又一重要走勢。開放科學致力于將科學研究的成果、科學數(shù)據(jù)等內容向社會各階層（包括專業(yè)人士和業(yè)余愛好者）提供開放存取。開放科學和數(shù)據(jù)密集型研究范式的走向，使得科學數(shù)據(jù)的學術價值逐漸成為科學研究領域開放存取的重要對象。9.4.3企業(yè)數(shù)據(jù)開放與共享隨著互聯(lián)網、云計算等技術的迅速發(fā)展，私營企業(yè)也成為大數(shù)據(jù)的擁有者。例如亞馬遜、淘寶、京東等大型電子商務平臺擁有海量的商品數(shù)據(jù)、用戶數(shù)據(jù)和購買記錄數(shù)據(jù)；而像百度等搜索引擎公司，也采集了互聯(lián)網上很多公開的數(shù)據(jù)，同時積累了海量的用戶查詢記錄和點擊記錄，像Facebook、微博等社交網絡平臺擁有大量的個人數(shù)據(jù)和公開數(shù)據(jù)。在企業(yè)數(shù)據(jù)中，存在著一些互聯(lián)網公開數(shù)據(jù)，用戶可以通過數(shù)據(jù)采集工具進行公開抓取。例如百度檢索的數(shù)據(jù)來源大部分為互聯(lián)網上的公開數(shù)據(jù)，像微博等社交網絡平臺的數(shù)據(jù)，對公眾來說也是全部開放的。但大部分企業(yè)為追求利益最大化，以安全和商業(yè)機密等原因拒絕向社會提供關鍵數(shù)據(jù)，全社會數(shù)據(jù)共享開放程度并不高。同時，數(shù)據(jù)存在被巨頭操作的可能，數(shù)據(jù)安全得不到保障，不同地域、業(yè)務的企業(yè)之間，形成各自的“數(shù)據(jù)孤島”。9.4.4個人數(shù)據(jù)開放與共享個人數(shù)據(jù)是一個特定的法律概念，與之相似的概念還有隱私、個人信息。學理上認為個人數(shù)據(jù)是指與個人相關的，能夠直接或間接事變個人的數(shù)據(jù)。在歐盟立法中，可識別性是判斷個人數(shù)據(jù)的最重要標準。個人數(shù)據(jù)通常包括個人身份信息、財務和付款信息、身份驗證信息、醫(yī)療健康數(shù)據(jù)以及敏感的設備數(shù)據(jù)等。個人數(shù)據(jù)以是否涉及個人隱私為標準，分為敏感性信息與非敏感性個人數(shù)據(jù)兩類。敏感性個人數(shù)據(jù)指涉及個人隱私的數(shù)據(jù)，非敏感性個人數(shù)據(jù)是指不涉及個人隱私的數(shù)據(jù)。法律劃分敏感性個人數(shù)據(jù)與非敏感個人數(shù)據(jù)的用意在于區(qū)別其保護程序與方式。敏感性個人數(shù)據(jù)的收集與處理需要法律給予特殊的保護，而特殊保護的方式就是強化數(shù)據(jù)主體的知情權與控制權。PART05數(shù)據(jù)開放與共享平臺

數(shù)據(jù)開放與共享平臺是社會公眾和企業(yè)獲取數(shù)據(jù)的一站式服務系統(tǒng)。本節(jié)簡要介紹目前已有的國內外數(shù)據(jù)開放與共享綜合平臺、領域專業(yè)平臺、平臺的基本功以及平臺內數(shù)據(jù)的產權保護等。9.5.1數(shù)據(jù)開放與共享綜合平臺數(shù)據(jù)開放與共享綜合平臺一般是指整合集成了各部門、各領域以及各行業(yè)的各類多源異構的開放數(shù)據(jù)，為社會公眾和企業(yè)提供統(tǒng)一的數(shù)據(jù)訪問和獲取的接口門戶系統(tǒng)，通常為一個國家綜合的數(shù)據(jù)開放與共享平臺，例如美國的、英國的.uk以及歐盟的OpenDataPortal等。該類平臺整合了涉及國家經濟、教育、環(huán)境、交通以及司法等各個領域的開放數(shù)據(jù)，為用戶提供“一站式”的數(shù)據(jù)查詢與獲取服務。下面將逐一對上述平臺進行簡要講解。D：美國于2009年開始實施開放政府計劃，要求建立更加開放透明、參與、合作的政府，體現(xiàn)了美國政府對開放數(shù)據(jù)的重視。該計劃提出利用開放的網絡平臺公開和發(fā)布政府數(shù)據(jù)，并要求不涉及隱私與國家安丘的數(shù)據(jù)均需公開發(fā)布。通過該計劃的實施，可以鼓勵社會公眾開發(fā)、使用和再利用這些數(shù)據(jù)，增進了政府數(shù)據(jù)的可及性，提高了政府效率，推動了政府管理向開放、協(xié)同、合作邁進。9.5.1數(shù)據(jù)開放與共享綜合平臺D.uk：繼美國之后，英國政府于2010年正式發(fā)布了.uk網站，該網站是應該政府開放數(shù)據(jù)的“一站式”集成和共享門戶，將公眾關系的政府開支、財務報告等數(shù)據(jù)整理匯總并發(fā)布在互聯(lián)網上。英國也是大數(shù)據(jù)開放與共享的基金擁護者。早在2011年，英國政府就發(fā)布了對公開數(shù)據(jù)進行研究的戰(zhàn)略政策，2012年建立了世界上首個開放數(shù)據(jù)研究院，利用和挖掘數(shù)據(jù)的商業(yè)潛力，為英國公共部門、學術機構等方面的創(chuàng)新發(fā)展提供孵化環(huán)境。截至2018年4年，.uk網站目前正式發(fā)布45125個數(shù)據(jù)集，涵蓋了經濟、交通、環(huán)境、教育、材質等12個領域的數(shù)據(jù)集。OpenDataPortal：2010年歐盟委員會公布了《2020戰(zhàn)略》，認為數(shù)據(jù)是最好的創(chuàng)新資源，開放數(shù)據(jù)將成為信息就業(yè)和經濟增長的重要工具。2011年，歐盟數(shù)字議程采納歐盟通信委員會《開放數(shù)據(jù)：創(chuàng)新、增長和透明治理的引擎》的報告，開始推進開放數(shù)據(jù)戰(zhàn)略。9.5.1數(shù)據(jù)開放與共享綜合平臺除了上面介紹的三個政府開放數(shù)據(jù)平臺，還有加拿大（open.canada.ca）、法國（data.gouv.fr）、德國（govdata.de）、澳大利亞（.au）、新加坡（.sg）、新西蘭（t.nz）和印度（.in）等國家均已建立了相應的數(shù)據(jù)開放與共享綜合平臺。有興趣的可以通過網站鏈接訪問各個國家的數(shù)據(jù)開放與共享平臺，了解各個國家數(shù)據(jù)開放與共享的最新進展情況。9.5.2數(shù)據(jù)開放與共享領域平臺相比于數(shù)據(jù)開放與共享綜合平臺，領域平臺是指僅涉及一個或幾個領域的數(shù)據(jù)開放與共享服務系統(tǒng)平臺。例如科學數(shù)據(jù)開放與共享平臺、面向科研論文和數(shù)據(jù)集的開發(fā)獲取數(shù)據(jù)開放與共享平臺等。美國、英國、歐盟、中國、日本、韓國等國家和地區(qū)相繼開展了科學領域的數(shù)據(jù)開放與共享計劃。歐洲開放獲取基礎設施研究項目（）是由歐盟50多個單位協(xié)同構建的面向科研論文和數(shù)據(jù)的開放獲取平臺。美國科學網站（）是在美國科技信息項目項目高級管理者合作委員會的支持和協(xié)調，來自美國10個主要科技部門的14個信息機構組成的聯(lián)合工作組開發(fā)維護，網站收錄內容以研究與開發(fā)報告為主。中國科技資源共享網（）是我國科技部、財政部推動建設的國家科技基礎條件平臺門戶網站，涉及科學文獻、自然科技資源、科學數(shù)據(jù)、科技成果轉化公共服務等六大領域的科技資源元數(shù)據(jù)。9.5.3數(shù)據(jù)開放與共享平臺的基本功能數(shù)據(jù)開放與共享平臺上的數(shù)據(jù)對于用戶來說具有免費、可再次使用等特點。具體來說：①數(shù)據(jù)是公開合法的，數(shù)據(jù)的提供方和發(fā)布方具有官方許可公開，并符合法律對信息公開的規(guī)定；②平臺的數(shù)據(jù)具有“多源異構”的特點；③數(shù)據(jù)機器可讀性，便于用戶或第三方開發(fā)者進行分析和利用。根據(jù)數(shù)據(jù)的上述特點，平臺在設計功能的時候應該考慮數(shù)據(jù)開放與共享的核心要素-透明、參與和合作。因此，其基本功能包括數(shù)據(jù)發(fā)布與管理、導航檢索和用戶參與。圖9-5數(shù)據(jù)開放與共享平臺功能示意圖9.5.3數(shù)據(jù)開放與共享平臺的基本功能1.數(shù)據(jù)發(fā)布與管理功能數(shù)據(jù)發(fā)布功能主要是數(shù)據(jù)的提供者根據(jù)平臺制定的數(shù)據(jù)標準，發(fā)布相應的數(shù)據(jù)。平臺管理者根據(jù)標準要求對提交的數(shù)據(jù)進行審核，確保發(fā)布的數(shù)據(jù)滿足標準要求。格式和