前言：
關於數智化轉型、數據中臺內容探討可掃碼加入數智化轉型俱樂部哦
阿里雲數據中臺官網 https://dp.alibaba.com/index
正文：
站在新的一個十年，阿里數據各細分領域專家一起來共同回顧各個領域的過去、展望未來，圍繞數據生命週期，分別從數據的採集、建設、管理、計算到應用進行了未來數據技術趨勢的展望。
數據採集
小程序和IoT採集、採集端計算、採集法律法規建設將會是突破性變化。
採集端計算：在5G和IoT時代流量數據還將會爆炸式增長，未來如何在有限的服務器&計算資源的情況下保障數據採集的正常運轉將會是一個核心問題。其中的一個探索方向將是端計算，通過將算法模型、數據壓縮、數據過濾、反作弊等部署在終端，從而顯著降低網絡和服務端以及計算集群的壓力。
大數據採集法律法規建設：可能需要從3個方面入手：1. 清晰規定可以採集和不可以採集的數據；
- 明確規定不可以使用的採集技術，以及每種採集技術合法使用的量化指標；
- 違法行為的追究範圍和標準。
數據建設與管理
基於模型的開發模式將成為主流，流批一體將從引擎層上升到平臺層，數據處理的粒度會更加精細。
基於模型的開發模式將成為主流：大數據開發的門檻進一步降低，用戶不在需要編寫複雜的SQL代碼，只需要聚焦在數據模型的開發上。
流批一體將從引擎層上升到平臺層：流批一體不在侷限於引擎層，而上在平臺層有著實際的業務場景支持。
數據處理的粒度會更加精細：數據處理從表粒度升級到字段粒度，極大的降低計算和存儲的成本。
數據挖掘
AI民主化、多模態數據、可解釋性AI與增強分析、5G、IOT與邊緣計算等方向將會是突破性變化。
AI民主化：隨著AutoML技術的發展，數據挖掘的每一個流程都在朝著自動化的方向演變，越來越多的崗位可以運用AI的能力，AI人才不足的問題將在5年之內得到緩解。
多模態數據：未來10年多模態數據的統一挖掘和建模以及互相之間的翻譯和轉換，將會是一個熱點並有可能取得更大的突破。在對話領域，直接基於語音信號進行語義理解和實體識別也在進行。衛星等另類數據價值將被進一步融合與挖掘。
可解釋性AI與增強分析：可解釋性AI與增強分析的出現，將拉近數據科學與商業之間的距離，為業務提供更加透明、可靠的AI能力。
5G、IOT與邊緣計算：中國的5G從2019年開始落地，2020年規模化。雖然當前5G核心應用較少，但伴隨的IoT的同步發展，未來10年，將有更多端上數據可被採集和挖掘以及在端上進行邊緣計算。
數據計算
無論是流批融合還是TA融合方面，我們都將面臨更多的業務場景需求和挑戰，而在AI智能計算的自動化和普惠運用，雲、端計算融合等領域，也將迎來更多的實際業務落地場景。
BI
雲BI將成為市場主流模式；自助數據分析需求持續旺盛；新制造、新金融、新零售、中小企業將成為BI市場中的亮點；數據分析和數據治理、數據資產管理會有更多交集；海量數據處理秒級響應成為標配；AI和BI融合，BI將真正進入智能化時代；移動端、共享、嵌入集成越來越普遍。
雲BI將成為市場主流模式：雲廠商+BI產品將代替傳統私有云解決方案，成為市場主流模式。雲BI需要具有平臺即服務和分析應用即服務的能力，可以同時在雲端和本地部署、使用和管理數據分析報告和數據分析應用。從目前的國際IT市場來看，雲端化確實是大勢所趨，並逐漸形成規模市場，但國內市場由於數據環境相對封閉，數據安全也有很多挑戰，導致企業關鍵數據仍然大部分存在於私有部署的系統中，雲化的發展進度並不如國際市場，中國市場的雲BI發光點可能在於業務集中在SAAS雲平臺系統中的中小型用戶，這個有待市場驗證。
自助數據分析需求持續旺盛：數據分析的應用場景在不斷豐富和擴展，越來越多的業務人員需要通過數據分析來為自己的業務決策提供支撐，而企業需要通過自助數據分析解放IT人員的勞動力，降低企業成本。
新制造、新金融、新零售、中小企業將成為BI市場中的亮點：從社會的發展趨勢來看，新制造、新金融、新零售的理念會迎來更大的普及，在這些行業“數據即能源”的理念逐漸成為業界的共識，用BI對數據進行分析、充分挖掘數據價值成為他們的標準配備。中小企業也會成為BI市場的新亮點，他們的應用場景主要集中在數字營銷領域，亟需通過數據分析挖掘潛在的商業價值，幫助自身完成業務決策。
數據分析和數據治理、數據資產管理會有更多交集。：接下來的幾年將會有越來越多的大型企業實施統一的數據治理、數據資產管理項目，而數據分析是數據資產管理中的重要組成部分，兩者的融合會越來越多。元數據管理、主數據管理、數據標籤、多維數據分析等需要與BI深度集成，並在此基礎上建立相應的分析模型。
海量數據處理秒級響應成為標配：傳統關係型數據庫無法滿足企業的數據發展需求，大數據逐漸成為企業標配，BI產品需要提供強大的數據計算處理引擎，能夠降低企業數據查詢等待時間成本，提高業務數據分析效率，並且要和企業自身的大數據平臺做到無縫集成和對接。
AI和BI融合，BI將真正進入智能化時代：為滿足企業業務人員自助數據分析和自動挖掘的需求，BI產品需要在現有的數據可視化和數據分析的功能基礎上，增強數據自動挖掘能力，用戶能夠輕鬆使用平臺內置的高級分析功能。
移動端、共享、嵌入集成越來越普遍：隨著ERP、OA、MES、HIS等常見業務系統的完善，企業少則數十套IT系統，多則上千套系統，新型自助BI需要能夠與多個系統同時融合，全面分析企業的業務數據。大數據BI平臺不同用戶創建的分析頁面，可以方便地分享給其他成員。同時，在企業的分析用戶設計儀表板時，可以複用儀表板中的圖表、維度、指標等，支持用戶分享指定頁面進行給其他部門成員，便於互動溝通交流。為滿足企業人員實時辦公、互通信息的需要。大數據BI平臺還需要支持移動端上共享和查看分析結果，支持在移動端對分析結果進行數據層級鑽取穿透、聯動等。
數據服務
數據服務領域會在四個領域有顯著變化：聯邦學習促流通，AutoML提效能，高性能在線數據訪問，數據雲服務化。
聯邦學習促流通：數據一直是制約智能服務發展的關鍵因素，隨著聯邦學習的興起，這一問題將會得到有效改善；在保證數據安全的前提下，讓數據變為可普惠的能源，無論平行模式還是垂直模式，都有利於數據在不同企業、不同媒介中傳播，發揮數據差異性的效果提升。
AutoML提效能：數據智能將會逐步走向大眾化，AutoML將逐步進步，以達到普通的監督學習任務能夠通過可用的方式或尚未完全完善的方法，自信地進行算法選擇和超參數優化，AutoML將不再被視為機器學習工具箱的替代品，而是作為其中包含的另一種工具。
高性能在線數據訪問： 高性能在線分析訴求十分強烈，查詢近似和數據近似技術發展將至關重要。
數據雲服務化：kubernetes 有大一統趨勢，無論機器學習還是數據應用開發，雲原生都是未來，數據服務Cloud Native 後，使得數據工程師聚焦在數據分析領域，植入關鍵數據邏輯，無需關注服務邏輯DevOps，同時機器學習訓練部署預測都可以Cloud Native 化，促進資源高效利用及平臺無關性，無論AutoML和還是傳統數據服務都將徹底雲化。
數據安全
數據安全領域會在四個領域有顯著變化：監管合規依然是促進企業數據安全及個人隱私數據保護髮展的最大驅動力；以數據為中心的數據安全體系將逐漸被認可；短期不會有一個技術系統可以解決所有的數據安全問題；數據安全的新技術、新模式不斷湧現，數據安全產業邊界呈現不斷拓展和融合的態勢。
監管合規依然是促進企業數據安全及個人隱私數據保護髮展的最大驅動力：專門的立法及行業標準也會陸續發佈，但數據開放利用與數據安全成為“一個硬幣的兩面”，也是各國政策法律的焦點和難點。
以數據為中心的數據安全體系將逐漸被認可：未來數據安全將成為企業的核心競爭力之一而不是成本，即能者多勞，數據安全做的好，可以獲得更多的業務機會。
短期不會有一個技術系統可以解決所有的數據安全問題，而是基於不同的場景下使用不同的技術來解決不同的安全問題：比如sgx和安全多方計算可以解決多方互不相信的數據融合的問題，端上的邊緣計算可以解決採集合規的風險，差分隱私可以解決部分個人隱私數據洩露的問題，基於智能算法可以解決數據流通過程中的風險識別和控制問題等。
數據安全產業將迎來重大機遇：數字經濟時代的發展，強烈依賴以大數據為生產資料的挖掘和應用，在此過程中需要解決數據孤島問題，增加數據資源的商業價值和社會價值。
數據權屬關係將更為複雜：數據保護需求全面爆發，數據安全的新技術、新模式不斷湧現，數據安全產業邊界呈現不斷拓展和融合的態勢。