資安

Elasticsearch, 你值得擁有!—— 雲棲大會 Elasticsearch 場景化應用全景回顧

原創作者:銘毅天下 — Elastic認證工程師、Elastic中文社區2018傑出貢獻者、Elastic中文社區日報責任編輯、阿里雲MVP、elastic.blog.csdn.net 博主專家、銘毅天下 公眾號作者

為什麼要參加雲棲大會?

今年是線上的方式,參加大會實際就是看直播或者回放視頻。

我在多種場合提及我的偶像是俞敏洪,多年前他在高校的演講有這麼一段:“我和馬雲的聊天,你們想不想聽?當然想聽,因為我們聊的內容都是書本上看不到的內容”。

是的,雲棲大會大咖雲集,作為Elastic愛好者,參加大會就是想看平時看不到、學不到的內容。

認知的四個維度中“不知道自己不知道”最為可怕。

image.png

之前微信群中有這麼一段討論:

[其實能做得很多 es本身一開始更多的是文本相關性的搜索。但是其實現在信息已經更多是圖像化、視頻化、其他媒體類型。其實很重要得一點。就是原始數據進行embeding生成向量,存儲向量,進行相似性檢索。Elasticsearch 在這方面需要做的東西還是有很大空間]

引發了大家關於 Elasticsearch 未來發展方向的討論。

本次雲棲大會Elasticsearch 場景化應用給出了答案。

我們從:Elastic Stack 三大解決方案、從Zero到Hero學習路徑、阿里雲 Elasticsearch 牛逼之處做下覆盤。

Elastic Stack 三大解決方案

“3 + 1“ 戰略場景

“3 + 1”是指在Elastic Stack 基礎上在Elastic 企業搜索、Elastic 全觀察、Elastic 安全 三個核心業務場景發力。

image.png

1:代表的是——Elastic Stack。

3:代表的是——搜索、可觀察性、安全。

1)搜索——不用過多介紹了,傳統的搜索場景,比如:網頁搜索、APP搜索 等。

2)可觀察性——則是圍繞企業基礎設施數據,日誌、指標、APM,三位一體。

ps: 我一直認為:可觀察性 和 全觀察 中文不好理解,甚至辭海里面都沒有收錄。本質是:數據可視化的意思。

image.png

英文意思:Elastic Observability。最新官方文檔的這個翻譯,能相對好理解一些。

image.png

3)安全是 Elastic 重點在發力的一個方向,這一塊 Elastic 同樣是一個行業的顛覆者。

Elastic 是業界第一個提供開源免費的終端安全防護解決方案的廠商,最近還發布了自己的開源檢測規則庫,開放、透明和社區協作將是未來應對大規模安全威脅的不二選擇,企業能夠藉助 Elastic 的 SIEM 和終端防護方案,打造自己的 SOC 團隊,保護企業的數字資產。

一句話:Elastic 已經由原來的 Elasticsearch 檢索工具轉變為 Elastic Stack 解決方案提供商。

如何實現全方位數據可視性?

image.png

讓數據採集更簡單

image.png

1、Elastic Agent

1.1、解決:beats 多,不方便管理的問題

1.2、屏蔽多agent複雜性問題,減少安裝複雜的困擾

2、Fleet

2.1、集群管理大量Agent

3、ingest Manager

3.1、UI 管理,對接各種數據源

3.2、更好的開箱即用

4、Data stream

4.1、對不同數據集更好管理數據的全生命週期

異步搜索,承載更多數據

image.png

對於大數據離線非實時業務場景,對檢索響應時間沒有要求,但很在意返回結果的場景非常有用。

堆內存升級改造

image.png

為了提升搜索、聚合性能,Elasticsearch 一直在快步迭代升級自己。

更好的可視化效果

image.png

1、圖表下鑽、不同dashboad 跳轉
做過大數據分析的都知道,不能下鑽很痛苦,還得藉助:echart等自己實現。

2、kibana Lens 持續改進 支持餅圖、圈圖、樹狀結構圖
圖表& 分析持續更新

3、全新告警系統 整合解決方案,配置更容易。

4、APM Sevice Map 全字段自動化監測

更好的分析和展示

image.png

一句話:Elasticsearch 要革數據分析的命!

傳統的數據分析師藉助Elastic stack 可以更高效實現分析工作,簡直“如虎添翼”。

甚至:一些開發人員、運維人員都可以實現自己的多種維度數據分析。

從 Zero 到 Hero Elastic Stack 學習路徑

李猛老師文風流暢、點評辛辣,寫出了很多漂亮的 Elasticsearch 實戰博文。
李猛老師在這個版本談了自己的想法,梳理總結如下。

系統化學習

摒棄拼裝學習、碎片化學習的思維。

的確,遇到問題解決問題的那一刻很有成就感,但沒有系統化的思維,很容易出現要麼“坐井觀天”、要麼“鑽牛角尖”。

如何提升?

1、認知要非常正確

2、寬廣的胸懷學習 Elasticsearch,ES 不足的地方可以結合其他方案完善。

3、知道 Elastic Stack 能幹什麼、不能幹什麼?

4、定位自己,開發、架構、運維、源碼、算法,不同定位,不同學習路徑。

但,要想深入,源碼是必要的。

5、多看書、多看視頻。

6、多交流,每個人的業務場景、知識體系都是有侷限性的。

交流包含但不限於:經驗交流,項目交流,認知交流等。

牛逼的阿里雲 Elasticsearch

簡單——無限的存儲空間及計算能力

好用——豐富的檢索功能擴展(人臉識別,dsl2sql)

便宜——各類場景化套餐

image.png

寫入高效——消息隊列緩存,提高數據寫入能力。

Eyou——健康監測,探測潛在風險,讓開發更便捷。

image.png

計算和存儲分離——不需要ES多副本機制,依賴雲存儲

雲端組件化——分詞、SQL、向量檢索、流量控制

image.png

小結

正如阮一鳴老師所說:“Elasticsearch 當前面臨:控制成本、提高精度、保持高性能的挑戰,為了應對挑戰 Elasticsearch 推出了:冷熱架構、跨集群複製、快照搜索,還有這次會議提到的:異步搜索、Off heap 等特性,相比於其他的大數據產品,Elasticsearch 迎合了大數據時代的趨勢。” 所以,Elastic 發展的很快,版本更新迭代的也快!

作為 Elastic 的鐵粉,每次看到新的功能、技術點出現(比如:近期的 Wildcard Type、Date Streams 等),都會很興奮。

圓桌會議的最後,王剛老師讓每位嘉賓一句話做總結:

Medcl 老師:選 Elasticsearch 就對了!

阮一鳴老師:Elasticsearch, 你值得擁有!

李猛老師:任何數據問題都可以用 ES 來拆解,如果不能,請再來一套!

這個小結作為本文的結尾也非常貼合。

彩蛋環節

視頻建議:2倍速播放,挺2遍,挺有意思的(很有喜感)。

王剛老師 和 medcl 老師書房的書單,能否提供一下(我只看到了一本《這就是搜索引擎》)?給廣大 Elastic 愛好者提供這方面的入門啟蒙知識。

更多文章關注公眾號“銘毅天下”
可能是中國關注人數最多的非官方 Elastic 公眾號!

注:本文有公眾號“銘毅天下”授權轉載


image.png

阿里雲Elastic Stack】100%兼容開源ES,獨有9大能力,提供免費 X-pack服務(單節點價值$6000)

相關活動


更多折扣活動,請訪問阿里雲 Elasticsearch 官網

阿里雲 Elasticsearch 商業通用版,1核2G ,SSD 20G首月免費
阿里雲 Logstash 2核4G首月免費
下載白皮書:Elasticsearch 八大經典場景應用


image.png

image.png

Leave a Reply

Your email address will not be published. Required fields are marked *