原創作者:銘毅天下 — Elastic認證工程師、Elastic中文社區2018傑出貢獻者、Elastic中文社區日報責任編輯、阿里雲MVP、elastic.blog.csdn.net 博主專家、銘毅天下 公眾號作者
為什麼要參加雲棲大會?
今年是線上的方式,參加大會實際就是看直播或者回放視頻。
我在多種場合提及我的偶像是俞敏洪,多年前他在高校的演講有這麼一段:“我和馬雲的聊天,你們想不想聽?當然想聽,因為我們聊的內容都是書本上看不到的內容”。
是的,雲棲大會大咖雲集,作為Elastic愛好者,參加大會就是想看平時看不到、學不到的內容。
認知的四個維度中“不知道自己不知道”最為可怕。
之前微信群中有這麼一段討論:
[其實能做得很多 es本身一開始更多的是文本相關性的搜索。但是其實現在信息已經更多是圖像化、視頻化、其他媒體類型。其實很重要得一點。就是原始數據進行embeding生成向量,存儲向量,進行相似性檢索。Elasticsearch 在這方面需要做的東西還是有很大空間]
引發了大家關於 Elasticsearch 未來發展方向的討論。
本次雲棲大會Elasticsearch 場景化應用給出了答案。
我們從:Elastic Stack 三大解決方案、從Zero到Hero學習路徑、阿里雲 Elasticsearch 牛逼之處做下覆盤。
Elastic Stack 三大解決方案
“3 + 1“ 戰略場景
“3 + 1”是指在Elastic Stack 基礎上在Elastic 企業搜索、Elastic 全觀察、Elastic 安全 三個核心業務場景發力。
1:代表的是——Elastic Stack。
3:代表的是——搜索、可觀察性、安全。
1)搜索——不用過多介紹了,傳統的搜索場景,比如:網頁搜索、APP搜索 等。
2)可觀察性——則是圍繞企業基礎設施數據,日誌、指標、APM,三位一體。
ps: 我一直認為:可觀察性 和 全觀察 中文不好理解,甚至辭海里面都沒有收錄。本質是:數據可視化的意思。
英文意思:Elastic Observability。最新官方文檔的這個翻譯,能相對好理解一些。
3)安全是 Elastic 重點在發力的一個方向,這一塊 Elastic 同樣是一個行業的顛覆者。
Elastic 是業界第一個提供開源免費的終端安全防護解決方案的廠商,最近還發布了自己的開源檢測規則庫,開放、透明和社區協作將是未來應對大規模安全威脅的不二選擇,企業能夠藉助 Elastic 的 SIEM 和終端防護方案,打造自己的 SOC 團隊,保護企業的數字資產。
一句話:Elastic 已經由原來的 Elasticsearch 檢索工具轉變為 Elastic Stack 解決方案提供商。
如何實現全方位數據可視性?
讓數據採集更簡單
1、Elastic Agent
1.1、解決:beats 多,不方便管理的問題
1.2、屏蔽多agent複雜性問題,減少安裝複雜的困擾
2、Fleet
2.1、集群管理大量Agent
3、ingest Manager
3.1、UI 管理,對接各種數據源
3.2、更好的開箱即用
4、Data stream
4.1、對不同數據集更好管理數據的全生命週期
異步搜索,承載更多數據
對於大數據離線非實時業務場景,對檢索響應時間沒有要求,但很在意返回結果的場景非常有用。
堆內存升級改造
為了提升搜索、聚合性能,Elasticsearch 一直在快步迭代升級自己。
更好的可視化效果
1、圖表下鑽、不同dashboad 跳轉
做過大數據分析的都知道,不能下鑽很痛苦,還得藉助:echart等自己實現。
2、kibana Lens 持續改進 支持餅圖、圈圖、樹狀結構圖
圖表& 分析持續更新
3、全新告警系統 整合解決方案,配置更容易。
4、APM Sevice Map 全字段自動化監測
更好的分析和展示
一句話:Elasticsearch 要革數據分析的命!
傳統的數據分析師藉助Elastic stack 可以更高效實現分析工作,簡直“如虎添翼”。
甚至:一些開發人員、運維人員都可以實現自己的多種維度數據分析。
從 Zero 到 Hero Elastic Stack 學習路徑
李猛老師文風流暢、點評辛辣,寫出了很多漂亮的 Elasticsearch 實戰博文。
李猛老師在這個版本談了自己的想法,梳理總結如下。
系統化學習
摒棄拼裝學習、碎片化學習的思維。
的確,遇到問題解決問題的那一刻很有成就感,但沒有系統化的思維,很容易出現要麼“坐井觀天”、要麼“鑽牛角尖”。
如何提升?
1、認知要非常正確
2、寬廣的胸懷學習 Elasticsearch,ES 不足的地方可以結合其他方案完善。
3、知道 Elastic Stack 能幹什麼、不能幹什麼?
4、定位自己,開發、架構、運維、源碼、算法,不同定位,不同學習路徑。
但,要想深入,源碼是必要的。
5、多看書、多看視頻。
6、多交流,每個人的業務場景、知識體系都是有侷限性的。
交流包含但不限於:經驗交流,項目交流,認知交流等。
牛逼的阿里雲 Elasticsearch
簡單——無限的存儲空間及計算能力
好用——豐富的檢索功能擴展(人臉識別,dsl2sql)
便宜——各類場景化套餐
寫入高效——消息隊列緩存,提高數據寫入能力。
Eyou——健康監測,探測潛在風險,讓開發更便捷。
計算和存儲分離——不需要ES多副本機制,依賴雲存儲
雲端組件化——分詞、SQL、向量檢索、流量控制
小結
正如阮一鳴老師所說:“Elasticsearch 當前面臨:控制成本、提高精度、保持高性能的挑戰,為了應對挑戰 Elasticsearch 推出了:冷熱架構、跨集群複製、快照搜索,還有這次會議提到的:異步搜索、Off heap 等特性,相比於其他的大數據產品,Elasticsearch 迎合了大數據時代的趨勢。” 所以,Elastic 發展的很快,版本更新迭代的也快!
作為 Elastic 的鐵粉,每次看到新的功能、技術點出現(比如:近期的 Wildcard Type、Date Streams 等),都會很興奮。
圓桌會議的最後,王剛老師讓每位嘉賓一句話做總結:
Medcl 老師:選 Elasticsearch 就對了!
阮一鳴老師:Elasticsearch, 你值得擁有!
李猛老師:任何數據問題都可以用 ES 來拆解,如果不能,請再來一套!
這個小結作為本文的結尾也非常貼合。
彩蛋環節
視頻建議:2倍速播放,挺2遍,挺有意思的(很有喜感)。
王剛老師 和 medcl 老師書房的書單,能否提供一下(我只看到了一本《這就是搜索引擎》)?給廣大 Elastic 愛好者提供這方面的入門啟蒙知識。
更多文章關注公眾號“銘毅天下”
可能是中國關注人數最多的非官方 Elastic 公眾號!
注:本文有公眾號“銘毅天下”授權轉載
【阿里雲Elastic Stack】100%兼容開源ES,獨有9大能力,提供免費 X-pack服務(單節點價值$6000)
相關活動
更多折扣活動,請訪問阿里雲 Elasticsearch 官網
阿里雲 Elasticsearch 商業通用版,1核2G ,SSD 20G首月免費
阿里雲 Logstash 2核4G首月免費
下載白皮書:Elasticsearch 八大經典場景應用