開發與維運

架構微服務階段:容器、Fast Data架構——阿里雲 MVP喬銳傑

喬幫主的直播內容經精煉整理、分以下5篇:
一、分享介紹&架構三原則
二、雲架構、架構的原始階段和基礎階段
三、架構動靜分離和分佈式階段
四、架構數據緩存階段和兩個維度拓展階段
五、架構微服務階段

架構微服務階段:容器、Fast Data架構

image.png

在微服務階段,結合容器技術,未來業務跨雲平臺分佈式架構才是最主流的形態。如左邊架構圖所示,在這個架構階段採用的雲產品,相比水平擴展的分佈式階段,主要增加了DNS智能解析、時序數據庫InfluxDB、阿里雲容器服務kubernetes(ACK)、數據庫傳輸服務DTS。

這階段有四個核心技術特點。
第一點:我們通過容器技術DOCKER+K8S,讓業務部署跨平臺,不依賴雲平臺或者底層物理環境。

第二點:通過DNS智能解析,我們能將用戶請求分別調度轉發到不同平臺中。說到DNS智能解析,其實CDN的就近訪問核心功能就是依靠CDN的智能解析。

第三點:在跨雲平臺分佈式架構中,最難的技術點其實就是核心技術點,就是數據同步。我們把業務部署在不同平臺上,意味著數據在不同地域上,我們怎麼樣保障不同地域連接的數據庫的數據做實時同步,保障數據一致性呢。阿里雲有DTS成熟的同步方案,加上專線高速通道解決數據傳輸速度等問題,這也是這方面較成熟的解決方案。

第四點:採用時序數據庫InfluxDB,實現海量數據實時採集及存儲,並且實現海量數據的實時查詢計算。具體我們看一個FAST DATA的案例:駐雲DataFlux產品功能架構圖。
image.png

駐雲DataFlux當然也是採用微服務+容器的架構。在這裡主要跟大家分享的是fast data技術特點,即如何體現在fast上?如圖架構圖,我主要說三個實時的技術特點,讓大家理解fast data階段的技術特性。
第一,數據的採集上,DataFlux可以採集各類業務場景數據源,並且是實時的採集的。採集器有駐雲自主研發的datakit、wdf、pdf採集器,也支持telegraf、prometheus等熱門採集器。這是第一個實時性。

第二,數據實時採集後,通過數據網關(類似zabbix proxy代理),上報到數據處理開發平臺,進行實時處理。

第三,最為核心的實時性特點,數據經過實時處理後,核心通過influxdb時序數據庫進行統一存儲。

Influxdb是個分佈式數據庫,讀寫速度能輕鬆達到秒級千萬級數據量。特別是在查詢分析上這是influxdb的核心優勢。利用這第三個實時性的特點,我們把數據輸出到數據洞察等多種企業級應用場景中,能輕鬆應對大規模海量數據的實時分析。這也influxdb為什麼適合物聯網IOT海量數據讀寫的重要原因,也基本上是物聯網IOT架構中不可缺少的技術環節。

通過“Fast Data”的一個案例,本次圍繞“阿里雲千萬級架構構建”的主題分享就這些,更多精彩可購閱我新出版書籍哦。
image.png

Leave a Reply

Your email address will not be published. Required fields are marked *