企業(yè)數據庫面臨的核心挑戰(zhàn)及發(fā)展趨勢解讀

企業(yè)數字化轉型大背景下，數據庫面臨的核心挑戰(zhàn)及發(fā)展趨勢解讀

【摘要】在數字化轉型的大背景下，企業(yè)對數據使用呈現(xiàn)多樣化特點且針對特性能力提出更高要求。相應的也對數據底層基礎設施之一的數據庫提出了相應的要求。本文辨析了數據、數字化及數字化轉型，并分析了業(yè)務場景的變化對數據庫帶來的挑戰(zhàn)及發(fā)展趨勢。數字化及數字化轉型，是近些年來非?；馃岬脑掝}。本文將從這一角度切入，談談數字化場景下對數據庫發(fā)展趨勢帶來的影響。1.數據、數字化、數字化轉型1)數據數據，是數字化實現(xiàn)的新引擎。數據是企業(yè)開展數字化創(chuàng)新和構建企業(yè)數字化基因的核心要素。通過對于服務對象、行為及相關經營數據的分析，能夠幫助企業(yè)對業(yè)務發(fā)展形成全方位視角，進而提升決策質量與業(yè)績表現(xiàn)?？梢哉f，數據正在扮演著愈發(fā)重要的作用。僅僅從數據總量的發(fā)展，就可以簡單看到這一趨勢。2）數字化數字化，是指利用互聯(lián)網、大數據、人工智能、區(qū)塊鏈、人工智能等新一代信息技術，來對企業(yè)、政府等各類主體的戰(zhàn)略、架構、運營、管理、生產、營銷等各個層面，進行系統(tǒng)性的、全面的變革，強調的是數字技術對整個組織的重塑，數字技術能力不再只是單純的解決降本增效問題，而成為賦能模式創(chuàng)新和業(yè)務突破的核心力量。與傳統(tǒng)的信息化相比，數字化是在信息化高速發(fā)展的基礎上誕生和發(fā)展的，但與傳統(tǒng)信息化條塊化服務業(yè)務的方式不同，數字化更多的是對業(yè)務和商業(yè)模式的系統(tǒng)性變革、重塑。數字化作用數字化打通了企業(yè)信息孤島釋放了數據價值。信息化是充分利用信息系統(tǒng)，將企業(yè)的生產過程、事務處理、現(xiàn)金流動、客戶交互等業(yè)務過程，加工生成相關數據、信息、知識來支持業(yè)務的效率提升，更多是一種條塊分割、煙囪式的應用，而數字化則是利用新一代ICT技術，通過對業(yè)務數據的實時獲取、網絡協(xié)同、智能應用，打通了企業(yè)數據孤島，讓數據在企業(yè)系統(tǒng)內自由流動，數據價值得以充分發(fā)揮。數字化以數據為主要生產要素。數字化，以數據作為企業(yè)核心生產要素，要求將企業(yè)中所有的業(yè)務、生產、營銷、客戶等有價值的人、事、物全部轉變?yōu)閿底执鎯Φ臄祿?，形成可存儲、可計算、可分析的數據、信息、知識，并和企業(yè)獲取的外部數據一起，通過對這些數據的實時分析、計算、應用來指導企業(yè)生產、運營等各項業(yè)務。數字化變革了企業(yè)生產關系，提升了企業(yè)生產力。數字化讓企業(yè)從傳統(tǒng)生產要素，轉向以數據為生產要素，從傳統(tǒng)部門分工轉向網絡協(xié)同的生產關系，從傳統(tǒng)層級驅動轉向以數據智能化應用為核心驅動的方式，讓生產力得到指數級提升，使企業(yè)能夠實時洞察各類動態(tài)業(yè)務中的一切信息，實時做出最優(yōu)決策，使企業(yè)資源合理配置，適應瞬息萬變的市場經濟競爭環(huán)境，實現(xiàn)最大的經濟效益。數字化發(fā)展階段隨著數字化技術及應用日趨成熟，當前全行業(yè)已經進入數字化全面發(fā)展的新時期，數字化在國家層面得到了前所未有的重視及推動。但不同企業(yè)在數字化推進發(fā)展差異較大。下圖為紅杉中國針對國內16個行業(yè)222家企業(yè)在數字化推進的調查。從中可見，企業(yè)間發(fā)展差異巨大，大部分企業(yè)處于探索及加速推進階段；尚未廣泛應用而取得成效。數字經濟發(fā)展迅速近些年來，數字經濟發(fā)展迅速。從總體來看，數字經濟在整體國民經濟中的比例不斷提升。

摘自2020年艾瑞數字化報告從發(fā)展來看，數字化進程已經逐步走到第二階段，從早期數字產業(yè)化占據主導，逐步過渡產業(yè)數字化占據主導。隨著不同產業(yè)數字化進程深入，其必將迸發(fā)出巨大的潛能。產業(yè)數字化，是指基于互聯(lián)網技術和生態(tài)，對各個垂直產業(yè)的產業(yè)鏈和內部的價值鏈進行重塑和改造，從而形成的互聯(lián)網生態(tài)和形態(tài)，簡稱為產業(yè)互聯(lián)網。產業(yè)互聯(lián)網是一種新的經濟形態(tài)，利用信息技術與互聯(lián)網平臺，充分發(fā)揮互聯(lián)網在生產要素配置中的優(yōu)化和集成作用，實現(xiàn)互聯(lián)網與傳統(tǒng)產業(yè)深度融合，將互聯(lián)網的創(chuàng)新應用成果深化于國家經濟、科技、軍事、民生等各項經濟社會領域中，最終提升國家的生產力。從當前這個產業(yè)來看，以金融行業(yè)為代表走到前列。但即使這樣，其數字化程度仍存在巨大空間。3）數字化轉型數字化轉型，是指企業(yè)利用新一代數字技術，將某個生產經營環(huán)節(jié)乃至整個業(yè)務流程的物理信息鏈接起來，形成有價值的數字資產，通過計算反饋有效信息，最終賦能到企業(yè)商業(yè)價值的過程。

摘自2020年艾瑞數字化報告數字化轉型，是業(yè)務轉型的演變，從當前數字化世界的技術進步中獲益。企業(yè)能夠以全新的方式進行價值的創(chuàng)新和創(chuàng)造，以建立可持續(xù)的競爭優(yōu)勢。其是建立在數字化轉換、數字化升級基礎上，進一步觸及公司核心業(yè)務，以新建一種商業(yè)模式為目標的高層次轉型，是開發(fā)數字化技術及支持能力以新建一個富有活力的數字化商業(yè)模式。數字化轉型表明，只有企業(yè)對其業(yè)務進行系統(tǒng)性、徹底的（或重大和完全的）重新定義—而不僅僅是IT，而是對組織活動、流程、業(yè)務模式和員工能力的方方面面進行重新定義的時候，成功才會得以實現(xiàn)。數字化階段從上面描述可見，數字化是存在階段性的，通過對數據應用層次的升級，最終達到業(yè)務全面數字化，實現(xiàn)真正的數字化轉型。4）綜述：信息化、數字化與智能化2.數字化下數據庫面臨挑戰(zhàn)在數字化轉型的大背景下，企業(yè)對數據使用呈現(xiàn)多樣化特點且針對特性能力提出更高要求。相應的也對數據底層基礎設施之一的數據庫提出了相應的要求。下面分析下業(yè)務場景的變化及對應數據庫帶來的挑戰(zhàn)及發(fā)展趨勢。1）實時性在數字化趨勢下，數據會更多參與到企業(yè)決策、業(yè)務調整甚至驅動業(yè)務變化。數據的鮮活性，對企業(yè)價值意義完全不同。實時的交易處理、實時的反饋、實時的匯聚、實時的洞察成為全場景數字化的必備。例如在金融場景中，金融需求與生活場景相融合，實時風控的復雜度以及時效性要求隨場景服務的發(fā)展不斷增長，通常需要秒級完成業(yè)務流程。翻譯成技術語言，即要求支持對數據高頻實時多點寫入、對多類信息實時匯聚分析處理。于是近些年來，在數據流式處理、HTAP、高性能計算等領域的發(fā)展，正是為迎合這一訴求。2）敏捷性數字化轉型下，各種業(yè)務形態(tài)不斷涌現(xiàn)且單業(yè)務內變化也很大，這對底層基礎設施提出了敏捷性要求。即具備快速響應能力，滿足各類業(yè)務應用需求。作為傳統(tǒng)的以靜態(tài)、固定資源供給方式，過渡到以動態(tài)、可調節(jié)的資源供給方式。這其中以云、容器化、Serverless、存算分離為代表的技術能力，正是為滿足這類需求而誕生。即使是以較為傳統(tǒng)架構的資源供給方式，也更為強調彈性、可定制能力，滿足客戶此方面需求。3）安全性數據安全，是近些年來的熱門話題。從監(jiān)管方的頻頻出臺各項政策，可見一斑。作為承載數據的主體，數據庫首當其沖需要更為重視安全問題。從數據存儲、數據訪問、數據傳輸、數據應用等多角度解決數據安全問題。特別是過去一二十年開源數據庫蓬勃發(fā)展，但開源數據庫自身在安全方面是否能達到商用標準，值得關注。此外，考慮到復雜的國際產業(yè)環(huán)境，開源協(xié)議本身的合法合規(guī)性也值得關注。以下摘自艾瑞報告。4）可用性可用性要求，一直是數據庫提供的基本能力之一。隨著數字化深入，越來越多的數據參與到企業(yè)經營管理之中，這些對于可用性要求提出了更高的要求。從數據庫的角度來看，之前單機架構或集中式架構，一般是通過高可用硬件+軟件來解決；對于新興的分布式架構來說，其組件更多也更為復雜，且對于硬件也無較多要求，這就要求軟件本身提供更高要求。5）經濟性隨著數據存儲規(guī)模越來越大，對數據計算要求越來越高，整體數據存儲和計算的成本也整體提高。如何提供更具經濟性的方案，對客戶能否大規(guī)模使用意義很大。這其中云數據庫、存算分離、數據分層等技術，正是為了應對這一訴求。云作為一種新的資源供給方式，可以帶來更為切合需求的資源消耗。存算分離，則提供一種按計算和存儲獨立擴展能力，避免冗余浪費。數據分層，則可根據數據熱度等因素提供不同的能力，滿足個性化需求。6）智能化由上述變化可見，對于數據庫而言，無論從使用規(guī)模、復雜程度都會帶來很大調整。針對這一問題，一方面可以通過工具化、平臺化的方式來滿足管理問題；而更為優(yōu)雅的方式是在數據庫端提供內置的智能管理能力，例如智能調優(yōu)、索引推薦、自我診斷、故障自愈等，可協(xié)助DBA降低運維難度，大幅提升管理效率。7）海量并發(fā)這是兩個需求，一個是數據規(guī)模問題，提供海量數據支撐能力；一個是數據計算問題，提供高并發(fā)訪問支持。這些都是數字化會帶來業(yè)務變化的必然。對應于技術而言，分布式數據庫無疑是一種很好的方式，也是其主要面對解決的場景之一。8）統(tǒng)一管理隨著數字化深入，對數據庫的種類與數量、企業(yè)的IT體系等都發(fā)生了不少變化。這些變化沖擊了傳統(tǒng)的數據庫生態(tài)，第一數據庫選型自身呈現(xiàn)多元化趨勢；第二隨著分布式、存算分離等新興架構，對管理也帶來了管理難題；第三隨著對安全性、可靠性等方面的更高要求，也帶來了不少難點。面對上述問題，為數據庫提供統(tǒng)一管理和運維的平臺型工具也逐漸走向臺前，變得越來越重要。9）自主可控對基礎軟件來說，自主可控非常關鍵。作為數字化的載體，數據庫的自主可控能力尤為重要。近些年國產化訴求日益高漲，也有著這方面的考慮。這其中值得關注的一點是關于開源的使用。根據近期的調研，開源數據庫份額已經超越商業(yè)數據庫；但對于開源數據庫的把控能力，卻有著較大差異。特別是某些商業(yè)數據庫，底層也是基于開源產品的，尤其值得關注。10）開放生態(tài)數字化深入，帶來的更多的場景、更多的方案、更多的產品。如何能做到產品之間的很好的融合，發(fā)揮最大的作用，開放生態(tài)非常重要。對于數據庫而言，過去數十年來以國外商用數據庫產品為主，已經培育自己的生態(tài)圈；而對于國內產品而言，還需要走過這一過程。比較可喜的是，開源軟件的使用可大大加速這一過程。以MySQL、PG為代表的開源軟件，具有較為完備的生態(tài)，國內產品可通過兼容開源產品，復用其生態(tài)，大大加速這一進程。11）簡化融合如之前所說，數字化深化帶來的技術需求的多元化，與之對應的產品方案也呈現(xiàn)同樣的態(tài)勢。雖然可以通過統(tǒng)一管理角度去簡化管理，但對于用戶而言仍然不得不去面對復雜的管理和使用問題。如果能通過單一平臺提供所需能力，無疑對用戶非常有吸引力。這就是簡化融合的訴求的來源。近些年來，包括混合事務與分析處理（HTAP）、湖倉一體、流批一體等，都是代表著用戶追求“簡化、融合”技術棧的需求。此外，云也是一種簡化融合的體現(xiàn)，通過一站式的產品+方案，解決用戶復雜管理和使用問題。12）消費