大數據

NBI可視化集成clickhouse,實現百億級數據分析能力

什麼是ClickHouse
ClickHouse是一款MPP架構的列式存儲數據庫,並允許使用SQL查詢實時生成分析報告,也是一個新的開源列式數據庫。
隨著業務的迅猛增長,Yandex.Metrica目前已經成為世界第三大Web流量分析平臺,每天處理超過200億個跟蹤事件。能夠擁有如此驚人的體量,在它背後提供支撐的ClickHouse功不可沒。ClickHouse已經為Yandex.Metrica存儲了超過20萬億行的數據,90%的自定義查詢能夠在1秒內返回,其集群規模也超過了400臺服務器。雖然ClickHouse起初只是為了Yandex.Metrica而研發的,但由於它出眾的性能,目前也被廣泛應用於Yandex內部其他數十個產品上。
1.png
ClickHouse的核心特性:
1、ClickHouse擁有完備的管理功能,所以它稱得上是一個DBMS ( Database Management System,數據庫管理系統 ),而不僅是一個數據庫。作為一個DBMS,它具備了一些基本功能,如下所示。
(1)DDL ( 數據定義語言 ):可以動態地創建、修改或刪除數據庫、表和視圖,而無須重啟服務。
(2)DML ( 數據操作語言 ):可以動態查詢、插入、修改或刪除數據。
(3)權限控制:可以按照用戶粒度設置數據庫或者表的操作權限,保障數據的安全性。
(4)數據備份與恢復:提供了數據備份導出與導入恢復機制,滿足生產環境的要求。
(5)分佈式管理:提供集群模式,能夠自動管理多個數據庫節點。
2、列式存儲與數據壓縮
列式存儲和數據壓縮,對於一款高性能數據庫來說是必不可少的特性。一個非常流行的觀點認為,如果你想讓查詢變得更快,最簡單且有效的方法是減少數據掃描範圍和數據傳輸時的大小,而列式存儲和數據壓縮就可以幫助我們實現上述兩點。列式存儲和數據壓縮通常是伴生的,因為一般來說列式存儲是數據壓縮的前提。
3、向量化執行引擎
向量化執行,可以簡單地看作一項消除程序中循環的優化,需要利用CPU的SIMD指令。SIMD的全稱是Single Instruction Multiple Data,即用單條指令操作多條數據。現代計算機系統概念中,它是通過數據並行以提高性能的一種實現方式 ( 其他的還有指令級並行和線程級並行 ),它的原理是在CPU寄存器層面實現數據的並行操作。
4、關係模型與SQL查詢
因為關係型數據庫和SQL語言,可以說是軟件領域發展至今應用最為廣泛的技術之一,擁有極高的"群眾基礎"。也正因為ClickHouse提供了標準協議的SQL查詢接口,使得現有的第三方分析可視化系統可以輕鬆與它集成對接。
5、多樣化的表引擎
ClickHouse共擁有合併樹、內存、文件、接口和其他6大類20多種表引擎。其中每一種表引擎都有著各自的特點,用戶可以根據實際業務場景的要求,選擇合適的表引擎使用。
6、分佈式架構
ClickHouse在數據存取方面,既支持分區 ( 縱向擴展,利用多線程原理 ),也支持分片 ( 橫向擴展,利用分佈式原理 ),可以說是將多線程和分佈式的技術應用到了極致。
ClickHouse採用Multi-Master多主架構,集群中的每個節點角色對等,客戶端訪問任意一個節點都能得到相同的效果。
2.png
NBI可視化平臺介紹:
NBI大數據可視化分析平臺作為新一代自助式、探索式分析工具,在產品設計理念上始終從用戶的角度出發,一直圍繞簡單、易用,強調交互分析為目的的新型產品。我們將數據分析的各環節(數據準備、自服務數據建模、探索式分析、權限管控)融入到系統當中,讓企業有序的、安全的管理數據和分析數據。
NBI大數據可視化分析平臺特性介紹:
(1)豐富的數據源接入能力:(關係型數據源、大數據分析引擎、MPP數據庫、時序數據庫...)
3.png
(2)易於操作的可視化編輯器:(通過簡單的點擊、拖拽實現數據的連接和處理,快速實現數據可視化需求)
4.png

4.1.png

(3)豐富的展示組件:(NBI可視化平臺中有多達50餘種可視化組件)
5.png

6.png

7.png

8.png

9.png

10.png

11.png

12.png

13.png

14.png

15.png

16.png

17.png

Leave a Reply

Your email address will not be published. Required fields are marked *