大數據

開發者社區精選直播合集 | Spark最佳實踐

往期精選合集包(戳我前往)

囊括了:AI、架構師、 Serverless 、AIoT、DevOps、容器化、機器學習、雲計算、K8s、微服務、雲原生、視覺AI、大數據、小程序、物聯網等各種主題直播合集。

huagai_VCG41N588365450_RF_2M.jpg

Spark SQL模型變為在線服務

image.png
講師:王太澤,第四範式特徵工程數據庫負責人
推薦理由:SparkSQ在機器學習場景中應用模型從批量到實時面臨的問題諸如SparkSQL轉換成實時執行成本高、離線特徵和在線特徵保持一致困難、離線效果與在線效果差距大等如何解?本視頻一直致力於解決機器學習模型從離線到在線特徵一致性問題和性能問題的第四範式特徵工程數據庫負責人王太澤給你分享經驗,並用SparkSQL實時上線demo給你分析他們與傳統實現方式的優勢。戳我觀看

基於 Spark 打造高效雲原生數據分析引擎

image.png

講師:辛庸,阿里巴巴計算平臺事業部 EMR 技術專家
推薦理由:由阿里巴巴 EMR 團隊提交的 TPC-DS 成績如何能在九月份的榜單中取得了排名第一的成績?本視頻阿里巴巴計算平臺事業部 EMR 技術專家選取一些有代表性的優化點,深入到技術細節做詳細介紹,帶你瞭解動態過濾、CBO增強、TopK排序等等,給你展示這個成績背後EMR 團隊對 Spark 執行引擎持續不斷的優化成果。戳我觀看

Tblestore結合Spark的雲上流批一體大數據架構

image.png

講師:王卓然, 花名琸然 阿里雲存儲服務技術專家
推薦理由:傳統Lambda架構組件多運維複雜,如何使用一套存儲和一套計算來實現流批架構充分享受技術紅利?以Delta Lake為代表的新型數據湖方案越來越流行,傳統的Lambda架構如何向數據湖架構進行擴展?以及結構化數據結合Delta Lake的最佳解決方案是什麼。本視頻阿里雲存儲服務技術專家琸然結合理論講解和實際場景為你一一解答。戳我觀看

基於Spark與TensorFlow的機器學習實踐

image.png

講師:吳威(無謂), 阿里巴巴高級技術專家
推薦理由:Apache Spark是目前最火熱的計算框架, TensorFlow是目前最火熱的機器學習框架,兩者個碰撞到一起會產生什麼巨大的火花?本視頻通過EMR和PAI在這個上面的實踐給你展示。戳我觀看

Spark Relational Cache實現亞秒級響應的交互式分析

image.png

講師:王道遠(健身),阿里雲EMR技術專家
推薦理由:Apache Spark被廣泛用於超大規模的數據分析處理,在交互式分析等時間敏感的場景中,超大規模數據量的處理時間可能無法滿足用戶快速響應的需求怎麼辦?本視頻阿里雲EMR技術專家王道遠通過Spark Relational Cache的實現原理和使用場景,帶你瞭解如何通過數據的預組織和預計算,將頻繁訪問的數據和計算提前執行並保存在Relational Cache中,優化後續特定模式的查詢,顯著提高查詢速度,實現亞秒級的響應。戳我觀看

Leave a Reply

Your email address will not be published. Required fields are marked *