數(shù)據(jù)中臺-項目需求規(guī)格說明書

軟件需求規(guī)格說明書**集團(tuán)數(shù)據(jù)中臺項目軟件需求規(guī)格說明書**集團(tuán)數(shù)據(jù)中臺項目目錄TOC\o"1-4"\h\z\u223761項目概述 1211221.1項目名稱 1266911.2項目背景 141691.3建設(shè)目標(biāo) 184581.4項目規(guī)模 2179802現(xiàn)狀與業(yè)務(wù)部門調(diào)研 3149672.1現(xiàn)狀分析 3132492.2數(shù)據(jù)中臺價值 44172.3業(yè)務(wù)部門需求分析 5306452.4數(shù)據(jù)需求分析 639812.5中臺性能需求 12200293總體功能需求 12251403.1總體功能需求 12200153.2核心功能需求 1527643.2.1數(shù)據(jù)管理中心 15109353.2.2任務(wù)編排調(diào)度中心 178633.2.3平臺管理中心 18253753.2.4數(shù)據(jù)采集交換中心 2035593.2.5數(shù)據(jù)質(zhì)量校驗(yàn) 21230143.2.6計算引擎中間件 21208803.2.7存儲與計算中心 22219023.2.8數(shù)據(jù)倉庫 22201783.2.9數(shù)據(jù)共享中心 23165763.2.10平臺監(jiān)控中心 23188073.2.11數(shù)據(jù)應(yīng)用中心 23278394平臺設(shè)計安全性需求 25327234.1.1安全性需求 25287344.1.2身份鑒別 251835階段建設(shè)規(guī)劃 25199865.1最終成果 27158366硬件基礎(chǔ)設(shè)施分析 28108476.1.1數(shù)據(jù)存儲需求分析 2899546.1.2系統(tǒng)部署需求 29189846.1.3硬件設(shè)施說明 30146167項目成員配置需求 31第第43頁項目概述項目名稱**集團(tuán)數(shù)據(jù)中臺項目，以下簡稱數(shù)據(jù)中臺項目。項目背景**集團(tuán)經(jīng)過多年的信息化建設(shè)，信息化水平日益提升，已經(jīng)積累了海量的生產(chǎn)和經(jīng)營數(shù)據(jù)，這些數(shù)據(jù)分布在各種不同業(yè)務(wù)的系統(tǒng)和數(shù)據(jù)庫中，包含了營運(yùn)，人力，技術(shù)，安服，財務(wù)等，支撐著**集團(tuán)業(yè)務(wù)的發(fā)展。**集團(tuán)組建了數(shù)據(jù)平臺開發(fā)小組，用傳統(tǒng)的數(shù)據(jù)處理模式搭建了由數(shù)據(jù)大屏、動態(tài)監(jiān)控系統(tǒng)、閉環(huán)監(jiān)控管理系統(tǒng)、業(yè)務(wù)板塊數(shù)據(jù)分析平臺組成的數(shù)據(jù)倉庫，促進(jìn)公司數(shù)據(jù)管理與應(yīng)用的規(guī)范化與制度化，為數(shù)據(jù)分析挖掘工作打下了一定的技術(shù)基礎(chǔ)?，F(xiàn)有數(shù)據(jù)平臺雖有完整的數(shù)據(jù)模型設(shè)計，但是偏重業(yè)務(wù)的設(shè)計和技術(shù)，在執(zhí)行過程中，很難保證數(shù)據(jù)的全面，且數(shù)據(jù)應(yīng)用不跨數(shù)據(jù)中心，這在數(shù)據(jù)平臺建設(shè)初期發(fā)展快，效率高，能快速提現(xiàn)業(yè)務(wù)價值，但是隨著數(shù)據(jù)倉庫的建設(shè)，數(shù)據(jù)量急速疊加，整體成本居高不下，導(dǎo)致數(shù)據(jù)混亂、數(shù)據(jù)災(zāi)難風(fēng)險高。建設(shè)目標(biāo)通過數(shù)據(jù)技術(shù)，搭建**集團(tuán)數(shù)據(jù)中臺，將所有數(shù)據(jù)進(jìn)行采集匯聚到數(shù)據(jù)中臺，進(jìn)行計算、存儲、加工，同時統(tǒng)一標(biāo)準(zhǔn)和口徑，形成標(biāo)準(zhǔn)數(shù)據(jù)，每個數(shù)據(jù)應(yīng)用都以數(shù)據(jù)中臺為唯一數(shù)據(jù)來源。從**集團(tuán)全局進(jìn)行統(tǒng)一規(guī)劃，統(tǒng)一建設(shè)，閉環(huán)涵蓋數(shù)據(jù)應(yīng)用開發(fā)全流程，滿足從數(shù)據(jù)采集導(dǎo)入、交換處理、脫敏清洗、分析挖掘、質(zhì)量檢測、可視化展現(xiàn)、定時調(diào)度到數(shù)據(jù)共享輸出應(yīng)用等全流程，強(qiáng)調(diào)數(shù)據(jù)的“全”，從設(shè)計、組織、建設(shè)、流程角度保障模式的落地，形成數(shù)據(jù)資產(chǎn)層，搭建數(shù)據(jù)應(yīng)用“高速公路”，減低數(shù)據(jù)使用門檻，支持**集團(tuán)機(jī)關(guān)、包括下屬單位和控股單位等40多個單位數(shù)據(jù)共享和集中應(yīng)用開發(fā)全流程場景需求。項目規(guī)模（一）用戶規(guī)模項目建成后用戶覆蓋**集團(tuán)業(yè)務(wù)部門以及各下屬單位，詳細(xì)如下：1.業(yè)務(wù)部門用戶**集團(tuán)機(jī)關(guān)各業(yè)務(wù)部門。2.下屬單位用戶**集團(tuán)各下級單位。（二）項目覆蓋范圍匯集**集團(tuán)各級子公司現(xiàn)有信息化系統(tǒng)的結(jié)構(gòu)化基礎(chǔ)數(shù)據(jù)以及公司外部可獲取的相關(guān)數(shù)據(jù)，以這些數(shù)據(jù)為基礎(chǔ)，建立**集團(tuán)數(shù)據(jù)中臺。業(yè)務(wù)現(xiàn)狀現(xiàn)狀分析隨著業(yè)務(wù)和數(shù)據(jù)規(guī)模持續(xù)增長，**集團(tuán)現(xiàn)有數(shù)據(jù)平臺架構(gòu)的缺陷日益暴露：1.數(shù)據(jù)倉庫加工方面：維度、指標(biāo)、分析場景的增加和復(fù)雜化。各業(yè)務(wù)系統(tǒng)間數(shù)據(jù)交叉混亂，難以統(tǒng)一整合，無法滿足對內(nèi)對外的各種數(shù)據(jù)需求。數(shù)據(jù)處理模式需要耗費(fèi)大量的人力物力來支撐，已無法滿足越來越龐大的數(shù)據(jù)體系，對于海量數(shù)據(jù)的處理與應(yīng)用能力也非常的有限，導(dǎo)致數(shù)據(jù)開發(fā)成本越來越高，效率下降，很難從現(xiàn)有的數(shù)據(jù)模式中提取出有價值的信息，從而難以發(fā)現(xiàn)能夠有效支持生產(chǎn)中需要決策的更深層次的規(guī)律；2.交互式查詢分析方面：目前存在較多種業(yè)務(wù)信息系統(tǒng)，當(dāng)新需求開發(fā)過程中進(jìn)行取數(shù)時，數(shù)據(jù)源之多使得取數(shù)程序如八爪魚般從各個系統(tǒng)提取數(shù)據(jù)，并且經(jīng)常采用外鏈方式直連數(shù)據(jù)庫，這種高耦合的機(jī)制導(dǎo)致出現(xiàn)“一個應(yīng)用崩潰導(dǎo)致多個應(yīng)用崩潰”，即“環(huán)環(huán)相扣”的局面，對生產(chǎn)跟管理造成廣泛的負(fù)面影響，同時單機(jī)關(guān)系型數(shù)據(jù)庫支持?jǐn)?shù)據(jù)量有限，復(fù)雜查詢效率低下，查詢時效無法滿足；3.數(shù)據(jù)模型調(diào)整方面：無法快速支持分析緯度、指標(biāo)的靈活變化。數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范統(tǒng)一困難，在用戶角度上，易產(chǎn)生數(shù)據(jù)不正確的錯覺，并且難以利用這些數(shù)據(jù)做管理分析，在信息角度上，維護(hù)難度大且耗費(fèi)了大量工時；在企業(yè)角度上，數(shù)據(jù)可用性不高，對內(nèi)對外都無法很好地提取、分析數(shù)據(jù)，運(yùn)維成本高，人力物力都及其浪費(fèi)；4.沒有便捷迅速的數(shù)據(jù)修復(fù)機(jī)制，對于數(shù)據(jù)處理任務(wù)失敗的情況，難以快速全面地找出其后置任務(wù)進(jìn)行數(shù)據(jù)修復(fù)，增加了運(yùn)維難度，運(yùn)維效率大打折扣；數(shù)據(jù)中臺價值隨著移動互聯(lián)網(wǎng)、云計算、物聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)的廣泛應(yīng)用，現(xiàn)代社會已經(jīng)邁入全新的數(shù)據(jù)時代。越來越多的企業(yè)開始重視大數(shù)據(jù)戰(zhàn)略布局，接連實(shí)施“大中臺”戰(zhàn)略，構(gòu)建符合互聯(lián)網(wǎng)大數(shù)據(jù)時代的，具有創(chuàng)新性、靈活性的“大中臺、小前臺”的機(jī)制，即作為前臺的一線業(yè)務(wù)會更便捷、更快速的適用瞬息萬變的市場，而中臺將集合整個企業(yè)的運(yùn)營數(shù)據(jù)能力，產(chǎn)品技術(shù)能力，對各前臺業(yè)務(wù)形成強(qiáng)有力的支撐?；仡櫺畔⒒ㄔO(shè)這一路，構(gòu)建了很多的業(yè)務(wù)系統(tǒng)，經(jīng)歷了上萬次取數(shù)，制作了成百上千的報表，但在支撐了當(dāng)初的業(yè)務(wù)系統(tǒng)建設(shè)的同時，到底給如今的數(shù)據(jù)倉庫留下了多少資產(chǎn)呢？老系統(tǒng)遲早要換，新系統(tǒng)還是要建，但是老系統(tǒng)的好基因卻很難留下來，如今這一代的數(shù)據(jù)倉庫與上一代的數(shù)據(jù)倉庫不能說是演進(jìn)，而是重來。數(shù)據(jù)中臺包括了數(shù)據(jù)技術(shù)，比如對海量數(shù)據(jù)進(jìn)行采集、計算、存儲、加工的一系列技術(shù)集合，數(shù)據(jù)中臺的建設(shè)不僅是技術(shù)的沉淀，數(shù)據(jù)中臺更核心的是“數(shù)據(jù)模型、算法服務(wù)、數(shù)據(jù)產(chǎn)品、數(shù)據(jù)管理”這些跟具體業(yè)務(wù)有強(qiáng)關(guān)聯(lián)性，是**集團(tuán)獨(dú)有的且能復(fù)用的，比如**集團(tuán)自建的2000個數(shù)據(jù)模型，300個數(shù)據(jù)融合模型，2萬個數(shù)據(jù)標(biāo)簽等，這些更是數(shù)據(jù)中臺的核心，是**集團(tuán)業(yè)務(wù)和數(shù)據(jù)的沉淀，這些才能降低重復(fù)建設(shè)，減少煙囪式協(xié)作的成本，更是行業(yè)差異化競爭優(yōu)勢所在。結(jié)合**集團(tuán)現(xiàn)狀，升級現(xiàn)有數(shù)據(jù)平臺，打造成為集數(shù)據(jù)采集、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)處理、數(shù)據(jù)倉庫、數(shù)據(jù)分析、監(jiān)測告警于一體的數(shù)據(jù)中臺已成為亟不可待的任務(wù)，把數(shù)據(jù)當(dāng)做資源，以數(shù)據(jù)中臺提升數(shù)據(jù)化管理與企業(yè)生產(chǎn)能力、驅(qū)動企業(yè)運(yùn)行與決策的科學(xué)性，構(gòu)建智慧**集團(tuán)，打造核心競爭力，沉淀業(yè)務(wù)、技術(shù)和數(shù)據(jù)，最大程度上發(fā)揮數(shù)據(jù)資源的價值，做到“用數(shù)據(jù)說話、用數(shù)據(jù)管理、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新”。業(yè)務(wù)部門需求分析通過調(diào)研，公司各部門有以下的業(yè)務(wù)需求：（一）信息中心：平臺能協(xié)助部門對公司的數(shù)據(jù)進(jìn)行統(tǒng)籌和集中管理，對數(shù)據(jù)標(biāo)準(zhǔn)、資源目錄和數(shù)據(jù)分析模型進(jìn)行制定，對數(shù)據(jù)的接入和共享進(jìn)行監(jiān)督和監(jiān)控數(shù)據(jù)資源的變化情況。（二）數(shù)據(jù)中心：平臺能幫助中心強(qiáng)化對數(shù)據(jù)的運(yùn)營能力，提供對數(shù)據(jù)資源的審核和維護(hù)功能，能實(shí)現(xiàn)對數(shù)據(jù)接入和共享的審批，協(xié)助中心管理和實(shí)現(xiàn)公司業(yè)務(wù)部門業(yè)務(wù)報表需求，維護(hù)平臺數(shù)據(jù)標(biāo)準(zhǔn)和資源目錄，生成整體數(shù)據(jù)分析報告和驗(yàn)證數(shù)據(jù)分析結(jié)果。（三）人力資源部：平臺需要提供報表填報的功能，可供公司各直屬單位按人力資源部制定的報表格式提交數(shù)據(jù)；（四）財務(wù)預(yù)算部：平臺應(yīng)有跨部門協(xié)作的能力，如現(xiàn)由人力資源部門對工種進(jìn)行定義，再基于該定義來統(tǒng)計財務(wù)部門需要的數(shù)據(jù)；（五）公交管理部：平臺能提供自由組合報表的功能，以便于部門可以按需制作自己需要的數(shù)據(jù)報表。（六）生產(chǎn)經(jīng)營部：（1）平臺預(yù)留接口，可對接現(xiàn)有的已開發(fā)的各類系統(tǒng)；（2）后續(xù)可滿足個性化定制表格需求；（3）支持對接系統(tǒng)取數(shù)，也支持屬下單位填報后匯總。（七）安全服務(wù)部：平臺能夠?qū)κ鹿省⑦`章和維修板塊的數(shù)據(jù)進(jìn)行集中和統(tǒng)計分析，方便部門日常和周期性的報表分析。（八）技術(shù)工程部：平臺能協(xié)助公司制定統(tǒng)一維修技術(shù)數(shù)據(jù)體系，再由公司向各直屬單位進(jìn)行推廣，以便于規(guī)范工作流程。（九）黨群工作部：平臺能為對職工信息進(jìn)行管理，對不同的人員加上不同的標(biāo)簽，能直觀地看到每一個人員的特征。數(shù)據(jù)需求分析1.提供數(shù)據(jù)采集和報表統(tǒng)計應(yīng)用，按業(yè)務(wù)部門提供的規(guī)則，按不同業(yè)務(wù)如：公交、客運(yùn)；按不同內(nèi)容如：組織架構(gòu)、經(jīng)營狀況、財務(wù)收入、違章事故，自動生成統(tǒng)計報表；2.系統(tǒng)設(shè)定權(quán)限體系，方便業(yè)務(wù)上的協(xié)作；3.通過標(biāo)準(zhǔn)規(guī)范制定，推動統(tǒng)一數(shù)據(jù)體系的開展；4.通過數(shù)據(jù)共享建設(shè)，保證平臺和其他系統(tǒng)的交互能力。通過數(shù)據(jù)調(diào)研，公司各業(yè)務(wù)部和各下屬單位進(jìn)行對接，接入業(yè)務(wù)部門所需的數(shù)據(jù)需求具體如下：基礎(chǔ)數(shù)據(jù)基礎(chǔ)數(shù)據(jù)包括車輛檔案、人員檔案、線路檔案、線路站點(diǎn)檔案、站場檔案、一線一冊、視頻監(jiān)控點(diǎn)檔案、車輛配線數(shù)據(jù)，如表1所示。序號數(shù)據(jù)名稱描述1車輛檔案車輛具體信息，如車輛自編號、車牌號、車長等2人員檔案人員具體信息，如姓名、年齡、性別、崗位等3線路檔案線路具體信息，如線路編碼、名稱、站點(diǎn)等4線路站點(diǎn)檔案線路站點(diǎn)具體信息，如站點(diǎn)編碼、名稱等5站場檔案站場具體信息，如編碼、名稱、范圍等6一線一冊一線一冊具體信息，如線路編碼、冊略等7視頻監(jiān)控點(diǎn)檔案視頻監(jiān)控點(diǎn)具體信息，如監(jiān)控點(diǎn)編碼、名稱等8車輛配線數(shù)據(jù)車輛每日的配線記錄，采用小更紙數(shù)據(jù)表1：基礎(chǔ)數(shù)據(jù)采集需求表硬件數(shù)據(jù)硬件數(shù)據(jù)主要為公交車上電子設(shè)備的數(shù)據(jù)，包括智能視頻、云總線、調(diào)度終端、羊城通設(shè)備等，具體內(nèi)容參考表2。序號數(shù)據(jù)名稱描述1疲勞行為數(shù)據(jù)疲勞行為數(shù)據(jù)，主要是智能視頻報警數(shù)據(jù)2云總線設(shè)備預(yù)警行為云總線設(shè)備預(yù)警行為，主要是云總線采集器返回的違規(guī)駕駛預(yù)警數(shù)據(jù)3實(shí)時更紙公交實(shí)時更紙，來自調(diào)度系統(tǒng)數(shù)據(jù)4電子更紙公交電子更紙（T+1）5進(jìn)出站進(jìn)站出站信息，為報站器上報的數(shù)據(jù)6公交gps車輛實(shí)時GPS軌跡信息7公路gps車輛實(shí)時GPS軌跡信息8公交簽到簽退司機(jī)簽到簽退信息9計劃排班信息司機(jī)的計劃排班信息10羊城通市民刷羊城通記錄11云總線設(shè)備充電數(shù)據(jù)獲取云總線采集器設(shè)備的車輛充電情況12車輛維修獲取維修系統(tǒng)車輛維修數(shù)據(jù)13加油數(shù)據(jù)獲取加油系統(tǒng)車輛加油數(shù)據(jù)14NC更紙審批確認(rèn)后的更紙15公交路單公交路單導(dǎo)入表2：硬件數(shù)據(jù)需求表人力資源部人力資源的數(shù)據(jù)主要包括人員的流失率、流失人數(shù)、新入職人數(shù)、凈增長人數(shù)、平均年齡、工資總額、計提收入、人工成本、人均成本、職工人數(shù)等，具體內(nèi)容參加表3。序號數(shù)據(jù)名稱描述1流失率指統(tǒng)計期內(nèi)流失人數(shù)的占比2流失人數(shù)統(tǒng)計期第一天0：00至最后一天24：00時間段內(nèi)離職、退休和身故的人數(shù)。3新入職人數(shù)統(tǒng)計期第一天0：00至最后一天24：00時間段內(nèi)新入職的人數(shù)。4凈增長人數(shù)統(tǒng)計期第一天0：00至最后一天24：00時間段內(nèi)的凈增長人數(shù)。5凈增長率統(tǒng)計期內(nèi)經(jīng)增長人數(shù)的占比。6平均年齡反映統(tǒng)計范圍內(nèi)人員的年齡平均水平7工資總額報告期內(nèi)直接支付給本單位職工的勞動報酬總額。8計提收入指統(tǒng)計周期內(nèi)駕駛員上車營運(yùn)產(chǎn)生的提成工資9人工成本報告期內(nèi)直接或間接支付給本單位全部職工的總費(fèi)用10人均成本報告期內(nèi)直接或間接支付給本單位全部職工的總費(fèi)用均值11平均工資/人均工資報告期內(nèi)在統(tǒng)計范圍內(nèi)人員的工資總額均值12職工人數(shù)報告期內(nèi)實(shí)有的人員數(shù)。13工資人數(shù)報告期內(nèi)直接支付勞動報酬的本單位人數(shù)。14期初人數(shù)指報告期初第一天0：00的時間點(diǎn)實(shí)有的人員數(shù)，不含當(dāng)天新入職和調(diào)入的人員。15期末人數(shù)指報告期末最后一天24：00的時間點(diǎn)實(shí)有人員數(shù)，不含當(dāng)天離職、退休和身故的人員。16平均人數(shù)指報告期內(nèi)平均每天擁有的人數(shù)。17全員勞動生產(chǎn)率指勞動者在單位時間內(nèi)的生產(chǎn)效率，用勞動者的生產(chǎn)成果與相應(yīng)的勞動消耗量之間的比率表示。它表明勞動者在一定時間內(nèi)的生產(chǎn)能力，是一項重要的經(jīng)濟(jì)效益指標(biāo)。18出勤率是反映制度規(guī)定應(yīng)利用的勞動時間內(nèi)的出勤情況指標(biāo)。19駕駛員人車比每輛營運(yùn)車輛配備營運(yùn)駕駛員情況指標(biāo)20高峰載客工時利用率指統(tǒng)計期內(nèi)駕駛員高峰載客行車時間占高峰總勞動時間的比重21載客工時利用率指統(tǒng)計期駕駛員載客行車時間在總勞動時間中所占的比重22載客行車工時指營運(yùn)駕駛員執(zhí)行營運(yùn)任務(wù)所產(chǎn)生的時間23總工時指駕駛員總的勞動時間24載客停站工時指營運(yùn)駕駛員執(zhí)行營運(yùn)任務(wù)在本任務(wù)結(jié)束后，到下一個任務(wù)開始前停車產(chǎn)生的時間25輔助工時指營運(yùn)駕駛員執(zhí)行非營運(yùn)任務(wù)所產(chǎn)生的時間，其中非營運(yùn)任務(wù)不包含中停休息26上車人數(shù)指執(zhí)行各種上車任務(wù)的營運(yùn)駕駛員人數(shù)27營運(yùn)上車人數(shù)指執(zhí)行營運(yùn)任務(wù)的營運(yùn)駕駛員人數(shù)28配線人數(shù)指已分配線路、能正常參與營運(yùn)的營運(yùn)駕駛員人數(shù)29上車人日指統(tǒng)計期內(nèi)每天執(zhí)行各種上車任務(wù)的營運(yùn)駕駛員人數(shù)總和30配線人日指統(tǒng)計期內(nèi)每天已分配線路、能正常參與營運(yùn)的營運(yùn)駕駛員人數(shù)總和31上車率指統(tǒng)計期內(nèi)每天執(zhí)行各種上車任務(wù)的營運(yùn)駕駛員人數(shù)總和，在統(tǒng)計期內(nèi)每天已分配線路、能正常參與營運(yùn)的營運(yùn)駕駛員人數(shù)總和的占比32在冊天數(shù)指統(tǒng)計期內(nèi)營運(yùn)駕駛員在職天數(shù)33配線天數(shù)指統(tǒng)計期內(nèi)營運(yùn)駕駛員分配到線路的天數(shù)34上車天數(shù)指統(tǒng)計期內(nèi)營運(yùn)駕駛員執(zhí)行上車任務(wù)的天數(shù)35營運(yùn)上車天數(shù)指統(tǒng)計期內(nèi)營運(yùn)駕駛員執(zhí)行營運(yùn)上車任務(wù)的天數(shù)表3：人力資源數(shù)據(jù)需求表安全服務(wù)部安全服務(wù)部的數(shù)據(jù)主要有16S進(jìn)出站、速度評價、急加急減、路口再加速、手剎評價、N檔評價、預(yù)警45秒等數(shù)據(jù)，具體內(nèi)容參見表4。序號數(shù)據(jù)名稱描述116s進(jìn)出站根據(jù)進(jìn)出站，計算司機(jī)在站點(diǎn)停留時間小于16s的次數(shù)；頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*1002速度評價超速；頻率=違規(guī)次數(shù)/總里程*10003急加急減頻率=違規(guī)次數(shù)/總里程*10004路口再加速在同一個路口連續(xù)超速2次及以上的次數(shù)；頻率=違規(guī)次數(shù)/總里程*10005手剎評價違規(guī)數(shù)據(jù)匹配電子更紙及公路路單等獲取司機(jī)信息；頻率=違規(guī)次數(shù)/云總線營運(yùn)里程6N檔評價違規(guī)數(shù)據(jù)匹配電子更紙及公路路單等獲取司機(jī)信息；頻率=違規(guī)次數(shù)/純電車營運(yùn)里程7停站N檔評價違規(guī)數(shù)據(jù)匹配電更紙及公路路單等獲取司機(jī)信息；頻率=違規(guī)次數(shù)/純電車站點(diǎn)數(shù)*1008預(yù)警45違規(guī)數(shù)據(jù)匹配電子更紙以及公路路單等獲取司機(jī)信息

預(yù)警45頻率=違規(guī)次數(shù)/云總線營運(yùn)里程(過濾行經(jīng)高速線路)*10009超速50違規(guī)數(shù)據(jù)匹配電子更紙以及公路路單等獲取司機(jī)信息

超速50頻率=違規(guī)次數(shù)/云總線營運(yùn)里程(過濾行經(jīng)高速線路)*100110車輛未停穩(wěn)開車門實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/總里程*100011打手機(jī)屬實(shí)動態(tài)監(jiān)控判定結(jié)果為屬實(shí)的次數(shù)；頻率=違規(guī)次數(shù)/總里程*100012抽煙屬實(shí)動態(tài)監(jiān)控判定結(jié)果為屬實(shí)的次數(shù)；頻率=違規(guī)次數(shù)/總里程*100013疲勞駕駛屬實(shí)動態(tài)監(jiān)控判定結(jié)果為屬實(shí)的次數(shù)；頻率=違規(guī)次數(shù)/總里程*100014最低安全行車時間評價次數(shù)15出站未打燈實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10016進(jìn)站未打燈實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10017出站未關(guān)門,出站未打燈實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10018進(jìn)站未減速,進(jìn)站未打燈實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10019靠站未開門,進(jìn)站未打燈實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10020靠站未開門,進(jìn)站未減速,進(jìn)站未打燈實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10021進(jìn)站未減速,未停穩(wěn)開車門,進(jìn)站未打燈實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10022門未關(guān)起步實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/總里程*100023駕駛員未系安全帶實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/總里程*100024時速超50公里(GPS)實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/總里程*100025下班沒有簽退實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/總里程*100026違規(guī)關(guān)閉“開門禁啟開關(guān)”實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/總里程*10002716s進(jìn)出站評價實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10028停站N檔評價實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10029疑似急轉(zhuǎn)班(T+1)實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/總里程*100030時速超50公里(云)實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/總里程*100031時速超93公里(云)實(shí)時更紙口徑匹配司機(jī)信息；頻率=違規(guī)次數(shù)/總里程*100032駕駛員標(biāo)準(zhǔn)化操作行為統(tǒng)計不同的違規(guī)類型，符合經(jīng)過重點(diǎn)監(jiān)控區(qū)域站點(diǎn)的數(shù)據(jù)（進(jìn)站前5s至出站后5s）33一線一冊操作行為符合經(jīng)過一線一冊監(jiān)控區(qū)域站點(diǎn)的數(shù)據(jù)（進(jìn)站前5s至出站后6s）34交通事故頻率=次數(shù)/里程*100000035交通違法頻率=次數(shù)/配車數(shù)*10036流程超時率流程超時率=超時數(shù)/流程總數(shù)*10037流程處理率流程處理率=流程已結(jié)束/流程總數(shù)*10038節(jié)點(diǎn)超時統(tǒng)計流程中每個節(jié)點(diǎn)的超時統(tǒng)計39節(jié)點(diǎn)屬實(shí)統(tǒng)計流程中每個節(jié)點(diǎn)的判定情況統(tǒng)計40節(jié)點(diǎn)人員接收預(yù)警量流程中每個節(jié)點(diǎn)的不同的操作人員的情況（暫無法統(tǒng)計）41節(jié)點(diǎn)人員處理預(yù)警量流程中每個節(jié)點(diǎn)的不同的操作人員的情況（暫無法統(tǒng)計）42動態(tài)監(jiān)控一級預(yù)警包括：GPS信號丟失/偏離線路異常異常停車等，通過GPS軌跡以及線路軌跡計算得出表4：安全服務(wù)部數(shù)據(jù)需求表技術(shù)工程部技術(shù)工程部對數(shù)據(jù)的需求包括百公里能耗數(shù)據(jù)、百公里電耗成本、高峰充電占比、保修材料成本、輪胎成本、小修頻率等，具體內(nèi)容參見表5。序號數(shù)據(jù)名稱描述1百公里能耗統(tǒng)計期內(nèi)，營運(yùn)車輛每行駛百公里所消耗的燃料量2百公里電耗成本統(tǒng)計期內(nèi)，營運(yùn)車輛每行駛百公里所消耗的能耗成本3高峰充電占比統(tǒng)計期內(nèi)純電動車高峰充電量占總充電量百分比4保修材料成本統(tǒng)計期內(nèi)營運(yùn)車輛每行駛千公里所發(fā)生的保修材料費(fèi)5輪胎成本統(tǒng)計期內(nèi)營運(yùn)車輛每行駛千公里所發(fā)生的輪胎材料費(fèi)6小修頻率統(tǒng)計期內(nèi)營運(yùn)車輛每行駛千公里所發(fā)生的臨修次數(shù)7救濟(jì)率統(tǒng)計期內(nèi)營運(yùn)車輛每行駛?cè)f公里所發(fā)生的救濟(jì)次數(shù)8返修率車輛保修期內(nèi)發(fā)生的返修車次9高峰期未完工率評價車輛高峰期維修效率的指標(biāo)，每月高峰期（早高峰時間為7:00-9:00，晚高峰時間為17:00-19:00）未完工的一保、臨修報修車次（剔除高峰期前一個小時及高峰期間報修車次）占月度一保、臨修車次（剔除高峰期前一個小時及高峰期間報修車次）的比例。表5：技術(shù)工程數(shù)據(jù)需求表財務(wù)預(yù)算部1.人員基礎(chǔ)信息，主要包括：（1）公司的人員數(shù)（統(tǒng)計最小粒度為月），（2）中層干部、一線生產(chǎn)人員（公交、公路、出租、維修）的等各階層平均工資，（3）公司各工種的人數(shù)分布，來源公司人力資源系統(tǒng)；2.車輛基礎(chǔ)信息，主要包括：車輛數(shù)（統(tǒng)計最小粒度為月），來源統(tǒng)計系統(tǒng)；3.車輛營運(yùn)信息，主要包括：公交車和出租車的運(yùn)營里程（統(tǒng)計最小粒度為月），來源各直屬單位的生產(chǎn)管理系統(tǒng)；審計部核需要獲取財務(wù)三大報表，利潤、資產(chǎn)負(fù)債和現(xiàn)金流量表中的數(shù)據(jù)，以及公司各直屬單位的審計數(shù)據(jù)。黨群工作部需要獲取職工的基本信息和公司屬下各工會和團(tuán)組織的組織架構(gòu)信息，職工基本信息主要包括在職、離退休和特殊群體職工的基本信息等，工會和團(tuán)組織的信息主要包括組織建設(shè)情況和獲獎情況等信息。公交管理部公交管理部對數(shù)據(jù)的需求包括車輛早晚高峰出車率、早晚高峰發(fā)班車次、單班車日、雙班車日、載客里程等，具體內(nèi)容參加表6。序號數(shù)據(jù)名稱描述1早高峰出車率早高峰出車數(shù)/工作車日2晚高峰出車率晚高峰出車數(shù)/工作車日3早晚高峰出車率早晚高峰出車數(shù)/工作車日4早高峰發(fā)班車次早高峰發(fā)班車次5晚高峰發(fā)班車次晚高峰發(fā)班車次6早晚高峰發(fā)班車次早晚高峰發(fā)班車次7單班車日單班車日8雙班車日雙班車日9單班車率單班車率10單班載客里程單班載客里程11雙班載客里程雙班載客里程12單班營運(yùn)里程單班營運(yùn)里程13雙班營運(yùn)里程雙班營運(yùn)里程14單班工作車日單班工作車日15雙班工作車日雙班工作車日16營運(yùn)空程營運(yùn)空程17營運(yùn)時間營運(yùn)時間18工作車日工作車日19營運(yùn)車日營運(yùn)車日20工作車率工作車率21載客里程載客里程22營運(yùn)里程營運(yùn)里程23停站時間停站時間24營運(yùn)時間營運(yùn)時間25停站率停站率26應(yīng)收綜合收入應(yīng)收綜合收入27車日收入車日收入28千公里收入千公里收入29配員人數(shù)配員人數(shù)30配員人車比配員數(shù)/配車數(shù)31上車人次上車人次32上車人車比上車人數(shù)/配車數(shù)33駕駛員上車率上車人數(shù)/配員數(shù)*100表6：公交管理部數(shù)據(jù)需求表市場經(jīng)營部市場經(jīng)營部對數(shù)據(jù)的需求包括實(shí)發(fā)班次、客運(yùn)量、總里程、運(yùn)營里程、營收綜合收入、千公里收入、班次收入、班次客運(yùn)量駕駛員上車率等數(shù)據(jù)，具體內(nèi)容參加表7。序號數(shù)據(jù)名稱描述1實(shí)發(fā)班次實(shí)發(fā)班次2客運(yùn)量客運(yùn)量3總里程總里程4營運(yùn)里程營運(yùn)里程5應(yīng)收綜合收入應(yīng)收綜合收入6千公里收入千公里收入7班次收入（元）應(yīng)收收入/班次8班次客運(yùn)量客運(yùn)量/班次9駕駛員上車率上車人數(shù)/配員數(shù)*10010正班率計劃班次/實(shí)發(fā)班次*10011實(shí)載率客運(yùn)量/座位數(shù)*10012工作車率工作車日/營運(yùn)車日*10013駕駛員人均產(chǎn)值線路應(yīng)收收入/線路配員數(shù)14車日收入應(yīng)收綜合收入/工作車日15車日行程工作車日/營運(yùn)里程表7：市場經(jīng)營部數(shù)據(jù)需求表中臺性能需求數(shù)據(jù)中臺建立完成后具備一定的檢錯和容錯能力；保證系統(tǒng)能夠持續(xù)（7×24小時）無故障運(yùn)行。主要包括以下幾點(diǎn)指標(biāo)內(nèi)容1. 平臺管理系統(tǒng)最大支持同時在線人數(shù)≥100人；2. 數(shù)據(jù)平均抽取效率：≥300條/分鐘；3. 數(shù)據(jù)一致性：單次數(shù)據(jù)抽取任務(wù)錯誤率≤0.05%；4. 單個服務(wù)接口支持每分鐘訪問≥100次訪問量；5. 系統(tǒng)響應(yīng)時間：單條件精確查詢≤2秒返回結(jié)果，組合條件查詢≤5秒返回結(jié)果。6. 數(shù)據(jù)時效性：系統(tǒng)數(shù)據(jù)每天更新，確保數(shù)據(jù)的有效性?？傮w功能需求總體功能需求圖1：數(shù)據(jù)中臺總體功能圖1.數(shù)據(jù)采集交換中心：是數(shù)據(jù)中臺數(shù)據(jù)接入的入口。數(shù)據(jù)中臺本身幾乎不產(chǎn)生數(shù)據(jù)，所有數(shù)據(jù)來自于業(yè)務(wù)系統(tǒng)層，數(shù)據(jù)采集交換是數(shù)據(jù)中臺必須提供的核心能力，把各種異構(gòu)網(wǎng)絡(luò)、異構(gòu)數(shù)據(jù)源的數(shù)據(jù)能夠方便地采集到數(shù)據(jù)中臺進(jìn)行集中存儲，為后續(xù)的加工建模做準(zhǔn)備。2.數(shù)據(jù)開發(fā)中心：通過數(shù)據(jù)采集交換中心匯聚到中臺的數(shù)據(jù)，這時的基本是原始的明細(xì)數(shù)據(jù)，業(yè)務(wù)很難使用，數(shù)據(jù)開發(fā)中心提供數(shù)據(jù)加工以及加工過程管控的能力，數(shù)據(jù)開發(fā)人員利用數(shù)據(jù)開發(fā)中心提供的功能，可以快速把數(shù)據(jù)加工成對業(yè)務(wù)有價值的形式，提供給業(yè)務(wù)使用。數(shù)據(jù)開發(fā)中心主要是面向開發(fā)、分析人員，提供離線、實(shí)時、算法開發(fā)工具以及任務(wù)的管理監(jiān)控、告警等一些列集成工具，方便使用，提升效率。3.數(shù)據(jù)治理中心：主要解決的是數(shù)據(jù)數(shù)據(jù)質(zhì)量問題，包括數(shù)據(jù)一致性和可復(fù)用性。數(shù)據(jù)量大，增長快，業(yè)務(wù)對數(shù)據(jù)的依賴也會越來越高，數(shù)據(jù)要統(tǒng)一建設(shè)，統(tǒng)一數(shù)倉、標(biāo)簽數(shù)據(jù)、應(yīng)用數(shù)據(jù)的標(biāo)準(zhǔn)和規(guī)范。4.數(shù)據(jù)計算存儲中心：為數(shù)據(jù)中臺提供計算和存儲能力，基于hadoop生態(tài)體系構(gòu)建，包含多個數(shù)據(jù)存儲、計算框架，解決多源異構(gòu)的海量數(shù)據(jù)存儲、計算等問題，最終計算結(jié)果形成數(shù)據(jù)倉庫。5.開放共享中心：把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，通過數(shù)據(jù)服務(wù)讓數(shù)據(jù)參與到業(yè)務(wù)，激活整個數(shù)據(jù)中臺，數(shù)據(jù)服務(wù)體系是數(shù)據(jù)中臺存在的價值所在。企業(yè)的數(shù)據(jù)服務(wù)是千變?nèi)f化的，中臺產(chǎn)品可以帶有一些標(biāo)準(zhǔn)服務(wù)，但是很難滿足企業(yè)的服務(wù)訴求，大部分服務(wù)還是需要通過中臺的能力快速定制。6.數(shù)據(jù)調(diào)度中心：數(shù)據(jù)中臺需承載著大量多樣的數(shù)據(jù)處理任務(wù)，調(diào)度中心主要解決各種任務(wù)能夠按照業(yè)務(wù)自定義的執(zhí)行順序和執(zhí)行策略，被自動化的調(diào)度且具備足夠的容錯能力。7.數(shù)據(jù)管理中心：定位為閉環(huán)涵蓋數(shù)據(jù)中臺能力的全平臺整合，包括對數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等進(jìn)行管理和展示。同時統(tǒng)一數(shù)據(jù)應(yīng)用開發(fā)門戶，滿足從數(shù)據(jù)ETL、數(shù)據(jù)研發(fā)、可視化展現(xiàn)、數(shù)據(jù)治理、數(shù)據(jù)輸出到工作流調(diào)度的數(shù)據(jù)應(yīng)用全生命周期開發(fā)工具的集中管理。8.微服務(wù)治理：基于目前流行的SpringCloud微服務(wù)技術(shù)，提供了服務(wù)注冊中心，統(tǒng)一配置中心，網(wǎng)關(guān)，鑒權(quán)中心，熔斷保護(hù)，用戶中心，日志手機(jī)，服務(wù)雙向通訊等能力，建立多個微服務(wù)集群，來提供高可用能力。微服務(wù)治理體系是數(shù)據(jù)中臺得以健康、持續(xù)運(yùn)轉(zhuǎn)的基礎(chǔ)，如果沒有它們，數(shù)據(jù)中臺很可能像個一般項目一樣，一期搭建起平臺、建設(shè)部分?jǐn)?shù)據(jù)、嘗試一兩個應(yīng)用場景之后而止步，無法正常地持續(xù)運(yùn)營，不能持續(xù)發(fā)揮數(shù)據(jù)應(yīng)用價值。核心功能需求數(shù)據(jù)管理中心經(jīng)過調(diào)研分析，公司現(xiàn)有的信息化系統(tǒng)系統(tǒng)28個，需要對各級子公司的信息化系統(tǒng)進(jìn)行數(shù)據(jù)資源目錄歸類整理，開展主數(shù)據(jù)治理，形成總的數(shù)據(jù)資源目錄和共享資源目錄，為后續(xù)的數(shù)據(jù)應(yīng)用、共享和展示做準(zhǔn)備。初步統(tǒng)計的“公司信息化系統(tǒng)表”如下。序號系統(tǒng)名稱在用/在建1基礎(chǔ)檔案系統(tǒng)在用2NC統(tǒng)計系統(tǒng)在用3NC安服系統(tǒng)在用4NC票據(jù)管理系統(tǒng)在用5NC計提系統(tǒng)在用6NC財務(wù)系統(tǒng)在用7NC人事系統(tǒng)在用8安全服務(wù)系統(tǒng)在用9司機(jī)一點(diǎn)通APP在用10微信公眾號在用11線管易系統(tǒng)在用12智能調(diào)度系統(tǒng)在用13營運(yùn)車輛智能維修管理系統(tǒng)在用14材料管理系統(tǒng)在用15調(diào)度排班系統(tǒng)在用16站場聯(lián)網(wǎng)售票在用17客運(yùn)車輛GPS監(jiān)控系統(tǒng)在用18視頻監(jiān)控管理系統(tǒng)在用19車載設(shè)備管理系統(tǒng)在用20云總線系統(tǒng)在用21輪胎管理系統(tǒng)在用22消防器材管理在用23物業(yè)管理系統(tǒng)在用24協(xié)同管理系統(tǒng)在用25考核評議系統(tǒng)在用26數(shù)據(jù)分析應(yīng)用在建27客戶關(guān)系管理系統(tǒng)在用28網(wǎng)格化微教育平臺在建表8：**集團(tuán)信息化信息表（一）數(shù)據(jù)資源管理新增數(shù)據(jù)項管理需求：主要是需對新增數(shù)據(jù)項進(jìn)行管理，新建的信息化系統(tǒng)，在完成項目詳細(xì)設(shè)計方案后，需登錄平臺進(jìn)行數(shù)據(jù)項的對標(biāo)工作，對新建系統(tǒng)中涉及到的數(shù)據(jù)項，與平臺中的數(shù)據(jù)項標(biāo)準(zhǔn)進(jìn)行比對，系統(tǒng)建設(shè)完成后，需對系統(tǒng)涉及到的數(shù)據(jù)項進(jìn)行驗(yàn)收對標(biāo)，保證信息化系統(tǒng)符合數(shù)據(jù)標(biāo)準(zhǔn)化要求。數(shù)據(jù)資源管理需求：提供元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理,主要是以數(shù)據(jù)資源目錄為基礎(chǔ)，統(tǒng)一整合各類數(shù)據(jù)資源，確保數(shù)據(jù)質(zhì)量，形成數(shù)據(jù)庫體系結(jié)構(gòu)，并且實(shí)現(xiàn)數(shù)據(jù)資源的統(tǒng)一管理。提供數(shù)據(jù)項標(biāo)準(zhǔn)的創(chuàng)建與維護(hù)功能。1.新增數(shù)據(jù)項管理，對新建信息化系統(tǒng)的數(shù)據(jù)項進(jìn)行管理，可在系統(tǒng)進(jìn)行自動對標(biāo)，進(jìn)行數(shù)據(jù)項標(biāo)準(zhǔn)申報、變更和審核；2.存量數(shù)據(jù)管理，以數(shù)據(jù)資源目錄為基礎(chǔ)，提供平臺數(shù)據(jù)資源和數(shù)據(jù)標(biāo)準(zhǔn)的檢索、查詢和修改等功能。3.建立源庫表-->接口表-->ETL處理過程-->目標(biāo)庫表的元數(shù)據(jù)關(guān)聯(lián)關(guān)系，從而為后續(xù)的數(shù)據(jù)標(biāo)準(zhǔn)管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理奠堅基礎(chǔ)。（二）數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范標(biāo)準(zhǔn)規(guī)范制定需求主要是對各信息化系統(tǒng)的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)規(guī)范的制定，通過制定全方位的標(biāo)準(zhǔn)規(guī)范，將信息資源體系的生產(chǎn)、整合、共享和管理各個環(huán)節(jié)業(yè)務(wù)有效的連接起來，并為各業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)共享和信息服務(wù)提供標(biāo)準(zhǔn)規(guī)范。標(biāo)準(zhǔn)規(guī)范的制定工作需要提交以下文檔：平臺所有數(shù)據(jù)項及數(shù)據(jù)屬性標(biāo)準(zhǔn)規(guī)范、主數(shù)據(jù)治理規(guī)范、數(shù)據(jù)字典標(biāo)準(zhǔn)規(guī)范、資源數(shù)據(jù)庫表結(jié)構(gòu)標(biāo)準(zhǔn)規(guī)范。標(biāo)準(zhǔn)規(guī)范的協(xié)調(diào)和優(yōu)化功能，確保平臺建設(shè)少走彎路、提高效率，并提高數(shù)據(jù)的質(zhì)量。1.對公司內(nèi)部業(yè)務(wù)系統(tǒng)數(shù)據(jù)資源調(diào)研分析，明確數(shù)據(jù)范圍，整理數(shù)據(jù)表結(jié)構(gòu)和數(shù)據(jù)字典，校驗(yàn)數(shù)據(jù)信息，分析數(shù)據(jù)質(zhì)量。2.數(shù)據(jù)資源目錄建設(shè)，可按不同的分類如部門職能、單位配置數(shù)據(jù)資源總目錄，對公司內(nèi)部數(shù)據(jù)資源總目錄進(jìn)行分析，挑選出可共享給內(nèi)部各單位的數(shù)據(jù)資源形成公司內(nèi)部數(shù)據(jù)共享目錄。3.數(shù)據(jù)資源目錄管理，提供管理員對資源編目的增、刪、改等基本編目功能，能夠?qū)⒛夸泿彀凑罩付ǖ母袷綄?dǎo)出為Word和Excel格式，以便編輯和打印成冊，提供普通用戶對資源目錄的瀏覽和查看功能。任務(wù)編排調(diào)度中心任務(wù)編排與調(diào)度是數(shù)據(jù)中臺的數(shù)據(jù)流核心，數(shù)據(jù)中臺應(yīng)支持批量任務(wù)調(diào)度管理，即實(shí)現(xiàn)統(tǒng)一的任務(wù)調(diào)度與編排管理功能，其中的任務(wù)指的是大數(shù)據(jù)領(lǐng)域數(shù)據(jù)開發(fā)過程中的ETL任務(wù)，包括常規(guī)的CommandShell和HadoopMR、Hive、Spark、Sqoop、Python等不同類型的大數(shù)據(jù)任務(wù)，還包括數(shù)據(jù)到達(dá)檢查任務(wù)和工作流之間的依賴任務(wù)檢查。支持使用工作流的可視化的方式對工作任務(wù)進(jìn)行統(tǒng)一編排和調(diào)度。調(diào)度平臺讓相關(guān)的業(yè)務(wù)系統(tǒng)、處理系統(tǒng)按照一定的業(yè)務(wù)邏輯，在開發(fā)人員的編排下，像流水線一樣，或串行，或并行，按照一定的依賴關(guān)系，在每日，每周定時觸發(fā)，依次執(zhí)行。主要應(yīng)包含以下功能：1.一次性調(diào)度：該業(yè)務(wù)執(zhí)行一次后進(jìn)入執(zhí)行完畢狀態(tài)，不再進(jìn)行調(diào)度。該類型的調(diào)度可以細(xì)分為兩種：及時性調(diào)度和定時調(diào)度2.循環(huán)調(diào)度：該業(yè)務(wù)執(zhí)行一次后進(jìn)入執(zhí)行完畢狀態(tài)，但需要循環(huán)調(diào)度，當(dāng)下一次調(diào)度周期來臨，則會被繼續(xù)送入執(zhí)行隊列執(zhí)行。3.可以設(shè)置業(yè)務(wù)的調(diào)度計劃，即手動執(zhí)行與自動循環(huán)執(zhí)行（手動執(zhí)行和循環(huán)執(zhí)行都會由調(diào)度管理器選擇隊列執(zhí)行）4.提供完善的接口和管理模塊，讓眾多的作業(yè)管理簡易高效。5.支持任務(wù)失敗或者任務(wù)完成觸發(fā)告警，支持多級別細(xì)顆粒度的告警，和監(jiān)控系統(tǒng)打通，支持郵件、電話、短信等多種方式通知相關(guān)人員。6.對于同一工作流編排任務(wù)中，支持并發(fā)執(zhí)行，例如在一個工作流的上一次提交未執(zhí)行完成時，可以重新觸發(fā)該工作流的新一次提交，使其并發(fā)執(zhí)行。平臺管理中心（一）需求分析平臺管理主要是對平臺的用戶管理、權(quán)限管理和站內(nèi)信息的管理等。1、用戶管理：至少包括用戶查詢、用戶新增、用戶資料修改等功能。2、權(quán)限管理：平臺的使用用戶為公司及其直屬單位的信息化部門工作人員。不同的使用用戶的賬號的權(quán)限各不相同，可對平臺賬號按照權(quán)限進(jìn)行劃分：高級管理員賬號、管理員賬號、公司內(nèi)部各業(yè)務(wù)部門賬號、運(yùn)維人員賬號、開發(fā)人員賬號等。（1）高級管理員：信息中心和數(shù)據(jù)中心負(fù)責(zé)人的賬號為高級管理員賬號，具有最高的系統(tǒng)訪問權(quán)限。可對平臺所有的功能進(jìn)行操作。例如：數(shù)據(jù)共享審批、數(shù)據(jù)查詢統(tǒng)計、數(shù)據(jù)資源查看、平臺資源管控等功能。（2）管理員：公司信息化管理部門賬號為管理員賬號，可根據(jù)用戶需要對平臺各子系統(tǒng)功能權(quán)限進(jìn)行調(diào)配，并管理平臺賬號。（3）普通用戶直屬部門：對應(yīng)公司各直屬部門，平臺為各個部門分配一個賬號，擁有瀏覽平臺的數(shù)據(jù)資源目錄、數(shù)據(jù)資源使用申請和數(shù)據(jù)共享等功能，是系統(tǒng)主要的使用用戶之一。（4）普通用戶子公司管理層：對應(yīng)公司下屬各子公司管理層，平臺為各個子公司分配一個賬號，擁有瀏覽平臺的數(shù)據(jù)資源目錄、報送數(shù)據(jù)資源和申請使用數(shù)據(jù)資源等功能，是系統(tǒng)主要的使用用戶之一。（5）運(yùn)維人員：平臺運(yùn)維監(jiān)控及數(shù)據(jù)處理等工作人員。（6）開發(fā)人員：根據(jù)各直屬部門、子公司相關(guān)功能需求和公司管理業(yè)務(wù)需要，在平臺上進(jìn)行基礎(chǔ)應(yīng)用服務(wù)的開發(fā)。3、通知公告通知公告以簡要列表的形式列出由平臺管理人員發(fā)出的通知公告，并按通知公告到達(dá)的時間進(jìn)行倒序排列，將最新的通知公告列在第一條，用戶登錄時及可查閱通知公告信息。（二）設(shè)計說明用戶管理包括用戶查詢、用戶新增、用戶資料修改等功能，通過對每個用戶設(shè)置系統(tǒng)角色和機(jī)構(gòu)進(jìn)行權(quán)限控制，通知公告主要以文字形式為主，可結(jié)合圖片。數(shù)據(jù)采集交換中心建設(shè)數(shù)據(jù)采集交換服務(wù)平臺，使用數(shù)據(jù)采集工具，對業(yè)務(wù)系統(tǒng)進(jìn)行全量數(shù)據(jù)采集，支持結(jié)構(gòu)化、半結(jié)構(gòu)化以及無結(jié)構(gòu)化的存儲系統(tǒng)之間的數(shù)據(jù)同步。將數(shù)據(jù)采集交換流程進(jìn)行拆分，抽象出數(shù)據(jù)源，交換任務(wù)，交換作業(yè)等概念，達(dá)到可視化管理數(shù)據(jù)同步流程的目的。需求說明：1.數(shù)據(jù)源管理：以綁定項目的方式共享數(shù)據(jù)源；可設(shè)置數(shù)據(jù)源對外權(quán)限，控制數(shù)據(jù)的流入和流出。2.多傳輸引擎支持：整合Alibaba的DataX傳輸引擎，搭建數(shù)據(jù)ETL平臺對數(shù)據(jù)進(jìn)行接入和標(biāo)準(zhǔn)化轉(zhuǎn)換，提供數(shù)據(jù)抽取、轉(zhuǎn)換和加載功能，可通過SQL/JDBC/ODBC等不同接口、批量導(dǎo)出腳本、Sqoop并行化抽取等方式，從現(xiàn)有業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫（Oracle、sqlserver、mysql、HDFS、Hive、HBase、ElasticsSearch）中批量導(dǎo)出數(shù)據(jù)并經(jīng)轉(zhuǎn)換處理后，將數(shù)據(jù)輸入到對應(yīng)的HDFS和Hive資源庫。3.監(jiān)控長時間運(yùn)行的任務(wù)和狀態(tài)異常任務(wù)，及時釋放占用資源并發(fā)出告警。數(shù)據(jù)質(zhì)量校驗(yàn)支持多種異構(gòu)數(shù)據(jù)源的質(zhì)量校驗(yàn)、通知、管理服務(wù)的數(shù)據(jù)質(zhì)量管理平臺，解決業(yè)務(wù)系統(tǒng)運(yùn)行、數(shù)據(jù)中心建設(shè)及數(shù)據(jù)治理過程中的各種數(shù)據(jù)質(zhì)量問題。依賴計算引擎中間件進(jìn)行數(shù)據(jù)計算，提供數(shù)據(jù)質(zhì)量模型構(gòu)建、數(shù)據(jù)質(zhì)量模型執(zhí)行，數(shù)據(jù)質(zhì)量任務(wù)管理，異常數(shù)據(jù)發(fā)現(xiàn)保存以及數(shù)據(jù)質(zhì)量報表生成等功能。1.數(shù)據(jù)質(zhì)量模型定義：支持單表校驗(yàn)數(shù)據(jù)、跨表校驗(yàn)數(shù)據(jù)、自定義校驗(yàn)數(shù)據(jù)，包括空值校驗(yàn)，枚舉校驗(yàn)、自定義校驗(yàn)規(guī)則等常用校驗(yàn)。2.數(shù)據(jù)質(zhì)量報表：支持生成數(shù)據(jù)質(zhì)量報表。3.日志管理：支持日志聚合管理，方便排查數(shù)據(jù)質(zhì)量任務(wù)。4.異常數(shù)據(jù)管理：支持異常數(shù)據(jù)提取和存儲，快速定位問題。5.支持任務(wù)編排工作流中進(jìn)行數(shù)據(jù)質(zhì)量校驗(yàn)。計算引擎中間件計算引擎中間件：對接上層數(shù)據(jù)處理應(yīng)用，屏蔽掉底層大數(shù)據(jù)計算平臺的各種調(diào)用和使用細(xì)節(jié)，起到承上啟下的作用，是維護(hù)數(shù)據(jù)中臺穩(wěn)定運(yùn)行的關(guān)鍵服務(wù)。主要核心組件有：1.網(wǎng)關(guān):支持WebSocket一對多能力的網(wǎng)關(guān)服務(wù)，主要用于解析和路由轉(zhuǎn)發(fā)用戶的請求到指定微服務(wù)。2.統(tǒng)一入口:從作業(yè)生成到提交到執(zhí)行引擎，再到作業(yè)信息反饋給用戶和作業(yè)關(guān)閉，管理一個作業(yè)的全生命周期。3.引擎管理器:負(fù)責(zé)向資源管理服務(wù)申請和鎖定資源，并實(shí)例化新的引擎。4.執(zhí)行引擎:真正執(zhí)行用戶作業(yè)的微服務(wù)，它由引擎管理器啟動，直接跟提交給它作業(yè)的統(tǒng)一入口進(jìn)行交互，將作業(yè)正確執(zhí)行，并反饋用戶需要的各種信息，如日志、進(jìn)度、狀態(tài)和結(jié)果集等。5.資源管理服務(wù)：實(shí)時管控每個系統(tǒng)和每個用戶的資源使用情況，管理微服務(wù)集群的資源使用和實(shí)際負(fù)載，限制系統(tǒng)和用戶的資源使用量和并發(fā)數(shù)。6.注冊中心:每個微服務(wù)都內(nèi)置了EurekaClient，可以訪問EurekaServer，實(shí)時獲得服務(wù)發(fā)現(xiàn)的能力。存儲與計算中心計算和存儲中心主要包括：分布式列存儲數(shù)據(jù)庫、分布式文件系統(tǒng)、SQL引擎、實(shí)時流處理引擎、聯(lián)合查詢引擎、全文檢索引擎、分布式批處理計算引擎（Hadoop/Spark/MapReduce）以及任務(wù)調(diào)度與監(jiān)控等組件。數(shù)據(jù)倉庫主要是由于現(xiàn)有各個信息化系統(tǒng)的數(shù)據(jù)庫都為各個系統(tǒng)獨(dú)自使用，且數(shù)據(jù)庫沒有分基礎(chǔ)庫、標(biāo)準(zhǔn)庫和關(guān)聯(lián)庫等類別，都為生產(chǎn)庫，各自生產(chǎn)庫中數(shù)據(jù)庫的設(shè)計都不一樣。需將這些需要接入的信息化系統(tǒng)的數(shù)據(jù)庫中的數(shù)據(jù)采集到數(shù)據(jù)倉庫中，通過數(shù)據(jù)倉庫分層標(biāo)準(zhǔn)，對數(shù)據(jù)進(jìn)行層層清洗和處理，形成最終標(biāo)準(zhǔn)數(shù)據(jù)倉庫。數(shù)據(jù)倉庫分層設(shè)計原則：1.把復(fù)雜的問題簡單化，將一個復(fù)雜的任務(wù)分解成多個步驟來完成，每一層只處理單一的步驟，方便定位問題。2.減少重復(fù)開發(fā)，規(guī)范數(shù)據(jù)分層，通過中間層的數(shù)據(jù)，減少極大的重復(fù)計算，增加一次計算結(jié)果的復(fù)用性。3.隔離原始數(shù)據(jù)，不論是數(shù)據(jù)異常還是數(shù)據(jù)的敏感性，使真實(shí)數(shù)據(jù)與統(tǒng)計數(shù)據(jù)解耦開。數(shù)據(jù)共享中心提供公司接收或主動獲取管理部門、其他相關(guān)單位共享的數(shù)據(jù)內(nèi)容，比如交通違法違章數(shù)據(jù)、行業(yè)整體營運(yùn)數(shù)據(jù)等；同時預(yù)留公司提供給外部其他單位數(shù)據(jù)的接口平臺，具備公司與其他單位之間的數(shù)據(jù)輸出和管理的條件。平臺監(jiān)控中心整個平臺涉及到多臺服務(wù)器、大量存儲、多個軟件平臺，因此需要建設(shè)平臺監(jiān)控功能，對這些軟硬件的運(yùn)行狀態(tài)進(jìn)行實(shí)時監(jiān)控，當(dāng)平臺或者數(shù)據(jù)出現(xiàn)異常時，運(yùn)維人員可通過該功能，方便快捷的查詢出現(xiàn)異常的原因，以便迅速進(jìn)行故障處理，保障系統(tǒng)的正常運(yùn)轉(zhuǎn)。數(shù)據(jù)應(yīng)用中心數(shù)據(jù)主題分析是在基礎(chǔ)庫和關(guān)聯(lián)庫的基礎(chǔ)上，面向公司各業(yè)務(wù)領(lǐng)域的分析應(yīng)用，采用多種技術(shù)手段，將相關(guān)的數(shù)據(jù)進(jìn)行進(jìn)一步的分析，如進(jìn)行公交企業(yè)財務(wù)和運(yùn)營情況結(jié)合的經(jīng)營狀況分析、客運(yùn)站營運(yùn)數(shù)據(jù)分析、公共交通出行OD客流和出租車經(jīng)營分析、整體動態(tài)數(shù)據(jù)監(jiān)控等；展示主要是對數(shù)據(jù)流向和各類數(shù)據(jù)的實(shí)時統(tǒng)計進(jìn)行展示,具體舉例如下：1．公交企業(yè)經(jīng)營狀況分析首先對公交企業(yè)經(jīng)營狀況分析，參與的信息包括企業(yè)基本信息、財務(wù)情況和營運(yùn)情況等等。通過關(guān)聯(lián)分析，建立車輛數(shù)、人員數(shù)、收入和車輛里程的關(guān)聯(lián)。2．客運(yùn)場站經(jīng)營企業(yè)營運(yùn)數(shù)據(jù)分析客運(yùn)站的營運(yùn)數(shù)據(jù)主要包括發(fā)送班次、旅客發(fā)送量和售票數(shù)據(jù)等，通過對每個客運(yùn)站的數(shù)據(jù)進(jìn)行分析，得出每天發(fā)送班次和旅客發(fā)送量排名靠前的客運(yùn)站，判斷每個客運(yùn)站周邊區(qū)域的人流量和市內(nèi)人群的遷移偏好。3．公司數(shù)據(jù)資源展示功能公司數(shù)據(jù)資源展示功能對數(shù)據(jù)流向和各類數(shù)據(jù)的實(shí)時統(tǒng)計進(jìn)行展示。包括數(shù)據(jù)共享概況、數(shù)據(jù)整合信息、核心資源統(tǒng)計、各單位提供數(shù)據(jù)量和共享給各單位的數(shù)據(jù)量等。4．動態(tài)系統(tǒng)監(jiān)控對車輛硬件產(chǎn)生的各類數(shù)據(jù)的進(jìn)行實(shí)時分類統(tǒng)計。包括疲勞行為數(shù)據(jù)，云總線設(shè)備預(yù)警數(shù)據(jù)等動態(tài)安全數(shù)據(jù)監(jiān)控等。平臺設(shè)計安全性需求安全性需求遵循有限授權(quán)原則、全面確認(rèn)原則和安全跟蹤原則，采用嚴(yán)密的安全體系，平臺系統(tǒng)滿足總體安全機(jī)制，滿足加密、認(rèn)證、數(shù)據(jù)完整性、一致性、不可否認(rèn)性等安全性要求。平臺具備通用性和開放性。平臺提供安全運(yùn)行的實(shí)施方案，并對重大的安全事件擁有足夠豐富的的應(yīng)急方案。并在發(fā)生異常運(yùn)行情況時應(yīng)自動告警，提供郵件、短信、控制臺等通知方式。身份鑒別1.平臺滿足“口令+證書”的雙因素認(rèn)證、限制認(rèn)證錯誤次數(shù)、加密整個通信會話、加密存儲重要數(shù)據(jù)。2.對前臺注冊用戶、后臺內(nèi)容管理用戶及系統(tǒng)管理用戶應(yīng)采用身份鑒別技術(shù)，對需要訪問系統(tǒng)內(nèi)信息的用戶進(jìn)行識別，避免非授權(quán)的訪問和信息泄露。3.提供角色認(rèn)證，提供應(yīng)用認(rèn)證、管理員認(rèn)證、操作員認(rèn)證、服務(wù)器認(rèn)證。階段建設(shè)規(guī)劃整體項目建設(shè)周期：需求調(diào)研階段。在這個階段，業(yè)務(wù)分析人員和項目開發(fā)人員將一起討論并制定本項目的詳細(xì)需求。方案設(shè)計階段。在這個階段，針對前一階段確定的需求，項目組將制定一個詳細(xì)的實(shí)施方案。這個方案定義項目開發(fā)參與人員分工、項目開發(fā)規(guī)范及流程、項目開發(fā)詳細(xì)計劃、項目開發(fā)進(jìn)度表。實(shí)施階段。在這個階段，項目組成員嚴(yán)格按照前一階段制定的項目管理計劃按人/天的進(jìn)度予以實(shí)施。培訓(xùn)驗(yàn)收階段。在這個階段，根據(jù)雙方所簽訂項目合同和系統(tǒng)設(shè)計的要求，組織本項目的初驗(yàn)。試運(yùn)行階段。項目承包方跟蹤用戶試用情況，并跟進(jìn)修改完善系統(tǒng)，保障系統(tǒng)運(yùn)行良好。驗(yàn)收階段。按驗(yàn)收規(guī)范要求完善驗(yàn)收材料，按程序申報驗(yàn)收及做好有關(guān)匯報工作。本項目的專業(yè)定位是**集團(tuán)企業(yè)級數(shù)據(jù)中臺的建設(shè)，數(shù)據(jù)中臺架構(gòu)的優(yōu)化及規(guī)范體系的建立。數(shù)據(jù)倉庫系統(tǒng)的建設(shè)有其順序性，且需要大量時間。數(shù)據(jù)倉庫系統(tǒng)建設(shè)過程中，將發(fā)現(xiàn)原有的系統(tǒng)在作業(yè)流程、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)化的問題，基于此發(fā)現(xiàn)，進(jìn)一步對平臺的缺陷進(jìn)行修復(fù)?；谏鲜鱿敕?，數(shù)據(jù)平臺具體的實(shí)施分三個階段，當(dāng)?shù)谝唤ㄔO(shè)完成后，第二階段、第三階段將建設(shè)更為詳細(xì)的企業(yè)各系統(tǒng)數(shù)據(jù)模型，增加新的源數(shù)據(jù)系統(tǒng)，擴(kuò)展和完善數(shù)據(jù)主題域，新建更多主題數(shù)據(jù)倉庫，涵蓋整個**集團(tuán)的業(yè)務(wù)范圍。具體實(shí)施階段規(guī)劃如下圖所示：圖2：數(shù)據(jù)中臺階段性建設(shè)內(nèi)容最終成果通過整合**集團(tuán)各個業(yè)務(wù)部門、分子公司、各個產(chǎn)業(yè)板塊業(yè)務(wù)數(shù)據(jù)，將**集團(tuán)各層級管理人員關(guān)心的業(yè)務(wù)指標(biāo)以駕駛艙、分析報表等形式通過智慧決策平臺的個性化展現(xiàn)，各管理層通過這個平臺可以一目了然地看清公司全貌和業(yè)務(wù)全貌，讓公司管理者從各個方面多個個維度來掌握公司經(jīng)營情況，為公司機(jī)關(guān)層面和分子公司管理層提供高效數(shù)據(jù)分析和決策支持。與此同時，通過大數(shù)據(jù)、數(shù)據(jù)分析等應(yīng)用，逐步形成針對各產(chǎn)業(yè)板塊的個性化的數(shù)據(jù)挖掘、數(shù)據(jù)預(yù)測，以提高對市場的洞察力、提升客戶滿意度、促進(jìn)技術(shù)創(chuàng)新，最終達(dá)成提升企業(yè)市場競爭力，為企業(yè)創(chuàng)造更多的經(jīng)濟(jì)效益和社會效益。硬件基礎(chǔ)設(shè)施分析數(shù)據(jù)存儲需求分析經(jīng)過調(diào)研分析，公司現(xiàn)擁有車輛12345輛，公交車輛1234輛，公路客運(yùn)車輛1234輛，擁有出租汽車1234輛；擁有公交線路1234條；公路客運(yùn)線路1234條，擁有維修車間123間，充電樁1234個，加油站12間，全員人數(shù)23456人，在冊駕駛員人數(shù)12345人。按企業(yè)經(jīng)營管理相關(guān)規(guī)定，所有車輛存在GPS等硬件和經(jīng)營數(shù)據(jù)等多類動態(tài)基礎(chǔ)信息，這些數(shù)據(jù)的數(shù)據(jù)量較大，需要占用較多的存儲資源，預(yù)計所需流式數(shù)據(jù)存儲資源計算如下：序號數(shù)據(jù)項日數(shù)據(jù)量單條容量（kb）單項日增量（kb）1公交GPS20000000+0.12525000002公路GPS2000000+0.125250003公路車交易數(shù)190000+0.35665004出租車GPS7000000+0.1258750005出租車交易數(shù)據(jù)20000+0.3570006羊城通記錄2000000+0.24000007進(jìn)出站3000000+0.154500008疲勞行為數(shù)據(jù)600000+0.352100009云總線設(shè)備預(yù)警行為3000000+0.1545000010實(shí)時更紙70000+0.352450011電子更紙70000+0.352450012公交簽到簽退2000