大數據

DataFlux:實時數據應用的新選擇——阿里雲 MVP蔣爍淼

【MVP時間】線上峰會,一鍵收藏

《DataFlux--開啟全新實時數據應用方式》精彩直播

查看文章,《DataFlux--開啟全新實時數據應用方式——企業級雲原生數據庫介紹》

一、DataFlux

(一)實時數據

什麼是實時數據?它指的是數據的接入是實時的,轉換是實時的,計算是實時的,最後BI(Business Intelligence)也是實時的。那麼我們為什麼需要實時數據呢?

如下圖所示,圖中左邊是傳統的數據處理的一個流程,右邊是加入實時數據之後整個數據應用的流程。從根本上來說,只有實時數據才能驅動業務,因為所有的業務系統本質上都是一個實時系統,數據不再是簡單地進行數據分析、整理報表使用。在用實時數據驅動業務之後,將會對現有業務產生較大的改變,直接用(現在的)數據驅動業務而不是用過去(數據)驅動業務,大大提升了業務運轉效率。

image.png

(二)DataFlux簡介

DataFlux 是駐雲推出的統一實時大數據平臺,首先它是一個產品,而不僅僅是一個技術,不是簡單的技術堆積,而是針對業務中的痛點問題提供針對性的解決方法。DataFlux是一個很完整的產品,所用到的技術包括InfluxDB、MySQL、Redis等等,但是用戶可以不需要考慮這些技術問題,而只需要去使用即可,因為DataFlux提供了完整的解決方案。有需要的用戶可以很方便的在容器市場購買進行安裝即可。

從服務提供商的角度思考,客戶需要什麼樣的數據產品呢?當前,很多開發者和客戶被大量的開源技術和產品弄得眼花繚亂,不知道自己真正需要的是什麼樣子的產品。蔣總認為好的數據產品應該有以下四點特性:

  • 簡單好用:安裝簡單,用戶不需要專業的知識即可安裝使用,做到開箱即用。
  • 面向業務:數據能直接解決業務問題。
  • 性價比高:價格不能凌駕於價值。
  • 面向未來:避免重複投資,擁抱未來科技。

(三)DataFlux的核心模塊及特性

DataFlux在設計之初就考慮到了以上幾個問題,每個模塊都有著極為優秀的特性。目前,DataFlux主要有以下幾大功能模塊:

(1)實時匯聚數據

實時數據匯聚模塊可以通過非常簡單的配置來快速收集大量的實時數據,為業務系統開足馬力供能,主要有以下特性:

  • 快速接入:通過DataFlux的DataKit進行簡單配置即可快速獲得實時數據,數據採集變得非常輕鬆可靠。
  • 全面完整:目前DataFlux可以對接超過400中數據協議,機器設備數據,業務數據,I/P/Saas數據,用戶行為數據,爬蟲數據等都可以快速收集。
  • 性能優異:得益於整體的架構設計,一套DataFlux可支持超過每秒50萬以上的數據寫入,並可以保持實時,同時如果進行水平擴展將支持更高能力。
  • 跨越網絡:DataFlux DataWay的設計方式可以支持從複雜的網絡結構,多層網絡結構,跨國網絡中輕鬆實時匯聚數據,並且安全可靠無需昂貴的網絡成本。

(2)實時在線多維度分析

從產品角度來說DataFlux是一個端到端的產品,所有收集到的數據都可以實時在線進行多維度分析,給客戶提供一個真正的RealBI產品,其主要特點包括以下幾點:

  • 在線的數據實時查詢
  • 多維度數據實時分析(RealBI)
  • 利用場景與節點快速構建數據駕駛艙
  • 友好的查詢支持,無需SQL能力
  • 大量專業圖標內置,輕鬆表達數據
  • 內置大量數據函數,像Excel一樣簡單

(3)實時異常檢測

實時數據最核心的應用就是異常檢測,因為數據是實時的,在檢測到異常的第一時間發出報警,可以避免對業務的重大損失並且提醒用戶及時處理異常。

DataFlux的異常檢測與傳統的監控軟件的異常檢測區別在於異常檢測函數可以自定義,而且不僅僅是簡單的閾值檢測,比如依靠專家系統來預測磁盤空間故障的發生等。該模塊的主要功能特點如下:

  • 可以支持多指標的實時異常檢測
  • 支持通過多閾值計算來進行數據檢測
  • 支持自定義預測函數實現預測
  • 支持通過數據模型,神經網絡進行檢測
  • 可以靈活設定檢測後的行為

(4)關鍵事件定位

關鍵事件定位也是DataFlux的一個核心功能。關鍵事件指的是能夠改變實時數據走勢的事件,因為它一般是突發的且不受前面的數據影響,因此很難被預測,屬於“黑天鵝”事件。關鍵事件對其之後的數據走勢影響非常大,因為對關鍵事件的收集也相當重要。通過DataFlux關鍵事件定位模塊我們可以通過DataKit捕捉關鍵事件,也可以通過異常檢測自動產生關鍵事件,這樣便能快速發現趨勢變化時候的關鍵因素,實時的掌握關鍵事件,從而快速做出響應。

(5)DataFlux Function

DataFlux Function是一個集成到實時數據開發中的應用平臺,可以認為是一個在線的Python IDE,實際上是完全封裝的一個沙箱環境,用來支撐DataFlux的運轉,其主要功能特性如下:
 支持自定義的數據分析
 支持自定義的異常檢測/時序預測
 支持將數據實時導出到其他平臺
 支持通過數據驅動業務平臺
 支持將實時數據的開發及算法發佈成API,實現自定義的數據API平臺

除了以上模塊,DataFlux還包括以下三個比較重要的模塊:DataFlux DataWay、DataFlux Datakit、DataFlux WareHouse,他們的主要功能特點如圖所示。DataFlux Studio、DataFlux Function和DataFlux Mobile三個平臺構成了DataFlux的整個產品。

image.png

(四)DataFlux的應用場景

DataFlux具有眾多優點,那麼其主要適用什麼場景呢?我們將DataFlux定位為一個Paas+Saas的平臺,其適用於包括如下圖所示的眾多場景。

image.png

以上是對DataFlux的簡單介紹,包括DataFlux的核心模塊以及功能特性。當前,大家可以通過以下兩種渠道來獲取DataFlux:

  1. 在www.DataFlux.cn上進行註冊即可免費使用Saas版本。
  2. 在阿里雲上購買相應的產品,包括DataFlux Professional。
    需要注意的是Professional才可以有Function功能,而Saas版本中的Function功能是由官方來提供的

(五)DataFlux以及DataFLux Professional的主要優勢

(1)DataFlux.cn的主要優點:

  • 更多數據源:支持超過400種數據採集,遠超普通開源數據採集工具,涵蓋雲端、應用、日誌等。
  • 更便宜:SaaS即開即用為自己搭建成為的30%,無運維成本、資金投入只有傳統大數據平臺的20%。
  • 更好用:全中文化,所有采集器配有安裝配置文檔,7*24服務支持,內置多樣場景模板及豐富圖表樣式。

(2)DataFLux Professional的強大之處:

  • 專業數據接入:將會接入更多的專業數據,幾乎用戶想象到的數據都會接入,比如車輛的OBD等。
  • 多業務場景支持:會有更多的創新場景支持,包括金融領域等。
  • 高可定製型:擁有非常高的定製型,而且任何形態的定製完成時間非常短。
  • 連接一切業務:該版本所擁有Function功能使得用戶幾乎可以連接一切業務。

大家可以從官方網站和阿里雲的雲市場更多地瞭解DataFlux,未來我們也會在阿里雲的開發者社區更新更多的資料來幫助用戶快速入門DataFlux。

《DataFlux--開啟全新實時數據應用方式》精彩直播

查看續集文章,《DataFlux--開啟全新實時數據應用方式》

Leave a Reply

Your email address will not be published. Required fields are marked *