大數據

在大數據領域，Hologres一直以其超牛的功能、超高的性能，低成本的運維等優勢廣受好評，但是隨著越來越多的企業開始使用Hologres，大家對Hologres的期待也越來越多： Hologres的功能那麼多，應該從哪裡開始快速入門？ 文檔介紹太詳細，功能使用的最佳實踐究竟是什麼？ 怎麼跟大數據生態產品相結合，發揮出最優的能力？ 使用注意事項有哪些？怎麼避免誤入“坑”？ …… 於是，這個夏天，為了讓大家更加了解並精通Hologres，由阿里雲Hologres專業團隊打造的《玩轉一站式實時數倉Hologres實操乾貨20講》重磅來襲，從7月20日開始，每週二到週四晚19:00定時直播，讓你一次學到爽！ 超強嘉賓陣容手把手教學 阿里雲10+技術專家齊上陣，精心打磨課程內容，直擊使用Hologres遇到的痛點問題，手把手實操教學，有關Hologres的獨門絕學全部傾囊教授，讓您躺平就能玩轉一站式實時數倉Hologres！ 超級實操乾貨0基礎入門 6大板塊，20節實操課程，從快速入門，到離線數倉加速，實時數倉實時寫入，再到性能調優，企業級安全與運維，只要你想學的，我們都免費教教教！保證節節有乾貨，場場有驚喜，讓您從零開始，入門到精通，成為大數據領域專家不是夢！ 以下是本系列直播課的具體內容概括： 快速狙擊Hologres入門精髓：從場景出發，深入淺出簡介Hologres開發體系和基礎，帶您30分鐘快速入門。 領悟數倉開發核心：全方位講解如何將數據高性能寫入Hologres，手把手教學如何搭建一站式實時數倉，大數據開發不再是盲盒。 滿足自助運維需求：從性能測試到性能調優，再到監控告警，企業級安全與運維知識全部囊括，分分鐘成為大數據運維大師 緊密學習節奏一刻也不浪費 本系列直播課程將會從7月20日開始，每週二到週四晚19:00在Hologres用戶交流群準時直播，歡迎掃描下方二維碼加入釘釘交流群！ 同時我們也將會在開發者社區同步直播，歡迎收藏開發者社區直播頁隨時隨地看直播， 點擊進入直播頁>>https://www.aliyun.com/page-source//developer/special/hologres/practices?spm=5176.20960838.0.0.5252305eTKUriW 這個夏天，你要偷偷努力，然後驚豔所有人！

2021阿里巴巴大數據技術公開課第一季將在7月21日開講，本季直播將帶領大數據開發者走進SaaS模式雲數據倉庫MaxCompute 生態，通過三次主題分享為開發者介紹SaaS模式雲原生數據倉庫 MaxCompute 生態建設概況以及商業和開源BI分析工具、開源數據庫管理工具、開源ETL工具的接入實戰。 如果您是MaxCompute 產品開發者或者計劃使用雲數據倉庫、湖倉一體方案和產品，歡迎掃描本文下方二維碼，加入釘群觀看直播，與更多開發者共同討論數據倉庫、湖倉一體等技術。 「 第一講 」外部工具連接SaaS模式雲數倉MaxCompute — 商業BI分析工具篇   分享人：木弈 阿里雲智能產品經理 直播時間：2021年7月21日 17:00-17:30 直播簡介：整體介紹MaxCompute產品生態，並重點介紹MaxComput支持的商業BI分析工具，同時進行連接示例演示。 「 第二講 」外部工具連接SaaS模式雲數倉MaxCompute

A few years ago, I was studying Machine Learning in school. In that time, I feel that playing Machine Learning

本文整理自直播《基於 Apache Flink + Hologres 的實時推薦系統架構解析-秦江傑》視頻鏈接:https://c.tb.cn/F3.0d98Xr 摘要：本文由實時數倉線上課程秦江傑老師演講內容整理。 內容簡要： 一、實時推薦系統原理 二、實時推薦系統架構 三、基於 Apache Flink + Hologres 的實時推薦系統關鍵技術 實時推薦系統原理 （一）靜態推薦系統 在介紹實時推薦系統之前，先看一下靜態推薦系統是什麼樣子的。 上方是一個非常經典的靜態推薦系統的架構圖。前端會有很多用戶端的應用，這些用戶會產生大量用戶的行為日誌，然後放到一個消息隊列裡面，進入ETL。接著通過離線系統去做一些特徵生成和模型訓練，最後把模型和特徵推到線上系統中，通過在線的服務就可以去調用在線推理服務去獲得推薦結果。這就是一個非常經典的靜態推薦系統運作流程，下面我們舉一個具體的例子來看靜態推薦系統到底是怎麼樣工作的。

視頻有邊界嗎？ 在過去，答案是肯定的。 那時視頻可能會被鎖在電視機裡，關在大銀幕中。可隨著越來越多的硬件設備進入家庭，隨著網絡技術層層變革，隨著計算能力持續升級，隨著視頻的編解碼能力不斷提升…… 視頻，已然成為一種新的信息載體，而作為新時代大視頻產業的底座，視頻雲就被賦予了可以變革社會的關鍵使命。 7 月 10 日，“Imagine”——2021 阿里雲視頻雲全景創新峰會暨全球視頻雲創新挑戰賽決賽頒獎典禮在北京舉辦。關於視頻未來的發展前景，關於視頻雲的全景藍圖，關於學術界、藝術界、創投界多界聯動，關於開發者與音視頻技術領域的多維探索，通過這場峰會的觀點碰撞，我們似乎已然能夠窺到未來視頻發展的康莊之路。 從視頻化到超視頻化，視頻雲角色加碼 在前幾年，視頻化一詞被越來越多的提及。那麼什麼是視頻化？ 簡單來講，就是信息的傳遞逐漸加入了視頻作為載體。由於視頻生產門檻持續的降低，用戶接受度不斷提高，用戶使用時長也在不斷增加，內容全視頻化時代已然到來。與此同時，視頻不僅僅在消費領域大放異彩，在教育、會議、醫療、金融等各行各業也在衍生出新的需求。 用戶花在視頻上的整體時間消耗明顯在增加，整個社會基於視頻在各種各樣的業務場景中的交互也上升明顯。“內容在更多的向視頻演進，交互的形式更加多樣，相比以前的視頻化來講，這是一個超視頻化時代。” 阿里巴巴研究員、阿里雲智能視頻雲負責人林昊如此定義當前的這些變化。 想要定義一個時代，就需要了解這個時代。林昊解釋稱超視頻化時代有五大特點，超內容，超交互、超鏈接、超語言能力及超未來圖景。解析來看，其意味著視頻的形式持續演進，交互更加豐富，其傳播跨越了語言限制，並且還能夠以 AR、VR 等途徑影響到大眾的日常。 那麼超視頻化的時代是怎樣到來的呢？林昊認為 5G 起到了重要的推動作用，5G

閒魚技術——雨成 1.現狀 閒魚作為一款閒置交易APP，在二手交易市場中是當之無愧的佼佼者。閒魚從2014年誕生到現在七整年間持續增長，在這高速增長的背後帶來的是每天近百億的曝光點擊瀏覽等數據，在這些數據規模如此龐大的背後也會帶來諸多關於實時性的問題： 用戶反饋商品曝光異常，如何快速定位？ 產品同學圈了一批商品，如何查看該樣本的實時報表？ 發現問題總是晚一步，如何在第一時間獲取自定義的預警信息？     …… 為了解決上述的這些問題，我們開始了打造閒魚實時數倉的探索之路。 2.實時數倉調研 數倉調研 在開始設計閒魚的實時數據倉庫之前，我們也調研了集團內外的各種數據倉庫的設計與架構，一些是比較老的架構設計，另外一些是由於技術突破後進而帶來的創新性的解決方案。本文不妨將這些實時數據倉庫的新老設計做一下分類： 第一類：從無到有 當Apache Storm(開源的分佈式實時計算系統)問世後，大數據不在依靠MapReduce這種單一的計算方式，擁有了當日數據當日處理的能力。 第二類：從有到全 以Lambda和Kappa為代表的架構，能夠將實時與離線架構結合在一起，一套產品可以實現多種數據更新策略。 第三類：從全到簡 以Flink為代表的支持窗口計算的流式框架出現，使離線和實時的邏輯能夠統一起來，一套代碼實現兩種更新策略，避免了因為開發方式不統一導致的數據不一致問題。 第四類：架構走向工具

好消息，從Hologres V0.10.25版本開始，Hologres的默認連接數增加一倍啦！這就意味著，同等規格實例將會擁有更多的連接數，業務上也可以增加更多的應用去連接Hologres，無需再為連接數不夠而擔心啦！ 下面我們來康康現在新版本的連接數和實例規格的映射關係吧： 實例規格 最大總連接數（個） ① Superuser預留總連接數 32Core 256（128*2） 6 64Core 512（128*4） 6 96Core 768（128*6） 6 128Core 1024（128*8） 9 160Core

作者：李唯 來源：金融級分佈式架構公眾號 上次跟大家分享了 Service Mesh 雙十一後的探索和思考(上)。在過去的一年多時間裡，螞蟻在 Service Mesh 上建設了大量能力，而這些基礎設施能力的快速演進正是得益於 Service Mesh 將業務和基礎設施的解耦。 1. 引言 在 Service Mesh 落地之後，我們曾設想過 Service Mesh

你還記得最近因為優秀的推送文案而讓你印象深刻的App是哪個麼？某遊戲的熱血邀約？某標題黨的新聞資訊？或者是某次約會提醒？ 恐怕很多人的答案是否定的。因為有無數的案例證明現在主流的推送方案問題多多，已經無法承載向用戶推送有價值的信息的功能屬性了。消息推送成為了互聯網的玄學。作為用戶，每天問你早安的可能不一定是戀人而是手機裡的消息推送。新聞App可能比你更關心你今天想關心什麼新聞，電商App可能比你更瞭解你明天要買什麼物品，你甚至懷疑在地球毀滅那天，你手機裡的App還是會定點向你問候早中晚三次。而作為開發者，你期待用戶能打開你推送的每一次鏈接，關注、閱讀、下拉、停留……因為每個動作的背後可能就藏著你的年終獎，你開發的App能不能成為獨角獸？數據和答案也從這裡一點點顯現。 在激烈的流量競爭下，推送由於能喚醒用戶點擊而被寄予厚望。而推送文案則必須像磁鐵，像用戶心中的頂級愛豆，能牢牢吸住目光。 從搜索引擎到信息流推薦，算法通過對大量數據的處理，來決定向用戶推送何種個性化的內容。同時因為消息推送的智能化越來越重要，其工程化也在近期實現。這一領先的智能推送算法技術來自阿里巴巴達摩院，該技術由達摩院-機器智能技術-決策智能實驗室自主研發，採用MindOpt優化求解器中的在線優化算法，並結合了流計算等技術，是一種在線學習與優化（簡稱OLAD）的方案。該方案起步於在流量業務場景中對需求背後的基本問題進行優化建模與求解，以及對在線優化技術的廣泛實踐，已經穩定服務了多個阿里內部的業務場景。 達摩院決策智能實驗室講算法技術與友盟+強強合作，推出國內首個智能推送功能，幫助產品運營人員實現一鍵式觸達的精細化運營。通過精心打磨的在線學習與優化算法，對推送人群與推送文案進行精準匹配，最大化用戶點擊量。通過對不同用戶場景感知和各種約束配額下的最佳分配，將無用推送信息降權顯示，降低對用戶的干擾，優化用戶維度的推送體驗。 智能推送 如何只製造關心和需要 智能推送= 優質的內容 x 合適的時機 x 恰當的頻次 x 合理的渠道 x 精準的用戶，讓信息垃圾遠離用戶，只提供關心和需要。 人群智能匹配，提升推送點擊量和轉化 運營人員創建推送計劃時，可以同時創建多個推送文案，推送消息開始下發時，阿里達摩院算法會根據用戶實時點擊情況，並結合友盟+全域數據，實現文案的精準匹配，將每一個文案推送給最合適的用戶群體，因此可以提升消息推送整體的用戶點擊量和點擊率。 以電商行業為例，多個推送文案可以是同一件商品的不同描述，例如“99元零食包郵必看”、“零食禮包只要99元”、“大家都在瘋搶這個零食禮包”等等。也可以是不同商品的描述，例如“蛋黃酥促銷必搶”、“最好吃的螺螄粉就是TA”等等。差異化的文案策略更有利於匹配到不同偏好的用戶群體。

日前，權威諮詢機構 Forrester 發佈了 2021 Q2 全球數據流分析報告，阿里雲憑藉領先的實時計算產品、開發者友好度和大規模實踐，挺進該報告的“強勁表現者”象限，刷新了國內公司在數據流計算領域的最好成績。 Forrester 是全球最權威的IT諮詢評測機構之一，本次針對入選的 14 家國際最重要的數據流分析服務商，從產品、戰略、市場表現三個維度，12 個標準 20 多項評估細則進行了深入研究分析和評分。與此前相比，本次報告的評測標準更為嚴苛。 Forrester 分析師認為，阿里雲旗下的 Ververica 在性能、分析和部署選項方面具有領先優勢，符合強勁表現者（Strong Performers）象限的評估標準。 數據流分析又被稱作“跳舞的大數據”，基於數據流分析衍生出來的實時計算已經成為全球最受歡迎的技術之一。通過實時計算，企業可實時掌握當下正在發生的事，比如工廠設備的物聯網設備能實時分析數據、提高生產良品率；物流派送平臺能第一時間下單，把商品及時送到消費者手中；導航軟件時刻緊隨出行軌跡，不再錯過轉彎口…… 作為國內最早佈局實時計算技術方向的企業之一，早在 2016 年阿里巴巴就已經開始大規模上線使用實時計算產品。本次入選強勁表現者象限的 Ververica 就是阿里巴巴旗下的數據智能商業公司，其研發的Flink平臺是全球最受歡迎的實時計算平臺之一。 基於