雲計算

隨著AI技術、數據分析等領域興起，數據變得越來越重要了，數據處理往往需要用到大量的內存，數據量爆發式增長讓各種內存密集型應用層出不窮，如Redis數據庫、SAP HANA企業核心系統。在CSDN 2019、2020年度的開發者調查數據中，有四成的開發者在數據收集和消息處理中採用Redis，並且比例在逐年上升。 不過現階段的困境是，底層基礎設施的發展卻未能完全匹配數據爆炸的需求。 隨著5G和網絡性能的提升，計算存儲網絡三部分中的存儲短板問題變得更加突出，內存的容量密度及速度與處理器的核數增長之間的差距越來越大，內存成為了短板。為了讓機器得以處理更多的數據，部分企業只能擴大內存，而內存與CPU的配比有限，這又會造成CPU算力的浪費，昂貴的內存也會讓企業面臨更高的成本壓力。 長久以來，雖然分級存儲機制已經最大化平衡了各類存儲介質的性能與成本要求，但業界對於新存儲介質的探索一直未停歇。而在去年，阿里雲推出了持久內存實例（簡稱re6p），更像是向馮諾依曼計算機體系中的終極夢幻存儲方案邁進了一步。CSDN近日採訪了阿里雲ECS彈性計算產品團隊負責人王志坤與阿里雲持久內存型實例產品經理唐湘華，揭祕阿里雲對持久內存實例的設計理念與對存儲未來方向的理解。 馮諾依曼架構的難題：“內存牆” 過去近一個世紀，馮諾依曼架構構成了計算機科學的基礎。在馮諾伊曼架構中，中央處理器（CPU）通過指令從內存中讀取數據，並完成計算，再將數據返回內存保存。馮諾依曼理論模型的一個很重要的假設，就是計算與存儲的速度相當。但是一旦出現不匹配，慢的一方會成為瓶頸。 如今，雖然數據量在猛增，但底層技術未能均衡發展。內存的容量密度及速度與處理器的核數增長之間的差距越來越大，內存發展速度跟不上計算核數的增長，內存成為的短板，這就是“內存牆”。 為此，不少企業用提升內存的方式對應對該問題。阿里雲彈性計算為了滿足客戶需求也推出了大內存實例，比如阿里雲最近推出了6TB 大內存的實例。然而，如前所述，這又會造成CPU算力的浪費，昂貴的內存也會讓企業面臨更高的成本壓力。這並非長久之計，也難以規模化，需要從底層技術角度解決“內存牆”這個行業難題。 王志坤回憶，自己跟存儲頗有淵源，自己在讀博士的時候剛好就研究這一領域。“IO在整個計算機也好，服務器也好，一直是比較慢速的設備……馮諾依曼架構為什麼有一層緩存系統？就是為了解決我們計算、內存和存儲之間的性能鴻溝。”其實早在十幾年前，學術界就在致力於研究存儲領域的介質，來填補這個鴻溝。學術界和工業界都在尋找一種新型的存儲介質，能夠同時具備內存級別的性能，和硬盤對數據存儲的持久性。 可惜，不少嘗試都侷限在實驗室階段，缺乏大規模商業化的可能性。 打破“內存牆”困境 直到這幾年，阿里雲發現了成熟的、可商用的產品——英特爾傲騰持久內存。該產品重新定義了傳統的兩級存儲架構，性能和形態已經接近內存，而且同時也具備了存儲的持久特性。傲騰持久內存與內存的IO性能幾乎在相同數量級，但成本大大降低，幾乎是為打破內存困境而生。 不過，要發揮這款產品的真正威力，需要非常高的技術能力，僅有少數技術領先的大型企業可以運用得當。阿里巴巴就是其中一家。阿里雲啟動了研發，希望能將這種能力產品化，讓更多的企業低門檻地享受到技術紅利。 最終，阿里雲基於英特爾傲騰持久內存，賦予了其可為客戶提供直接IaaS級雲服務的能力，將內存非易失性這種顛覆性的存儲架構特性帶到了雲上。阿里雲持久內存實例產品經理唐湘華介紹，阿里雲研發推出的持久內存實例提高了單條內存的容量密度，擴大了單顆CPU對應的內存容量，提高了CPU的利用率。持久內存實例應用會幫助用戶打破“內存牆”藩籬，獲得更高性能的同時，有效降低整體IT基礎設施擁有成本（TCO）。 不過，任何IT新的技術從推出到企業級市場落地，企業用戶只會用腳投票，拷問新技術與新產品的性價比。所以持久內存在初始期，必定是用來解決IT存儲中的短板、最痛的那個問題。 關於持久內存實例的應用場景，阿里雲從Redis緩存型數據庫、SAP HANA這類典型的內存密集型應用入手，因為這些應用能夠最直接地體現介質升級所帶來的性能紅利。不過唐湘華表示，阿里雲團隊正在更深入分析持久內存實例，例如在消息隊列MQ的應用場景，可以大幅度地降低消息的長尾延時和業務抖動。除了作為內存的低成本替代品之外，傲騰持久內存也可以作為SSD來使用，在遊戲前端、直播前端這些高負載、高併發的IO密集型應用中，持久內存實例想象空間將更加巨大，這也會是阿里雲彈性計算的重點發力方向。 […]

【作者】 王紹翾(大沙) 阿里達摩院機器智能實驗室 資深技術專家 肖允鋒(鶴衝) 阿里達摩院機器智能實驗室 資深技術專家 人工智能，簡稱 AI，是計算機發明時就存在的一個技術領域。它的一大核心特點就是可以類人腦地輔助人類工作。其通過一系列數學的方法，如概率論、統計、線性代數等，分析和設計出能讓計算機自動學習的算法。 如下圖所示，人工智能算法可以對物理世界的人/物/場景所產生各種非結構化數據（如語音、圖片、視頻，語言文字、行為等）進行抽象，變成多維的向量。這些向量如同數學空間中的座標，標識著各個實體和實體關係。我們一般將非結構化數據變成向量的過程稱為 Embedding，而非結構化檢索則是對這些生成的向量進行檢索，從而找到相應實體的過程。 非結構化檢索本質是向量檢索技術，其主要的應用領域如人臉識別、推薦系統、圖片搜索、視頻指紋、語音處理、自然語言處理、文件搜索等。隨著 AI 技術的廣泛應用，以及數據規模的不斷增長，向量檢索也逐漸成了 AI 技術鏈路中不可或缺的一環，更是對傳統搜索技術的補充，並且具備多模態搜索的能力。 1. 業務場景 1.1 語音/圖像/視頻檢索

本文作者大沙，阿里巴巴達摩院機器智能實驗室 資深技術專家鶴衝，阿里巴巴達摩院機器智能實驗室 資深技術專家 人工智能，簡稱 AI，是計算機發明時就存在的一個技術領域。它的一大核心特點就是可以類人腦地輔助人類工作。其通過一系列數學的方法，如概率論、統計、線性代數等，分析和設計出能讓計算機自動學習的算法。 如下圖所示，人工智能算法可以對物理世界的人/物/場景所產生各種非結構化數據（如語音、圖片、視頻，語言文字、行為等）進行抽象，變成多維的向量。這些向量如同數學空間中的座標，標識著各個實體和實體關係。我們一般將非結構化數據變成向量的過程稱為 Embedding，而非結構化檢索則是對這些生成的向量進行檢索，從而找到相應實體的過程。 非結構化檢索本質是向量檢索技術，其主要的應用領域如人臉識別、推薦系統、圖片搜索、視頻指紋、語音處理、自然語言處理、文件搜索等。隨著 AI 技術的廣泛應用，以及數據規模的不斷增長，向量檢索也逐漸成了 AI 技術鏈路中不可或缺的一環，更是對傳統搜索技術的補充，並且具備多模態搜索的能力。 一 業務場景 1 語音/圖像/視頻檢索 向量檢索的第一大類應用就是對語音、圖像、視頻這些人類所接觸到的，也最為常見的非結構化數據的檢索。傳統的檢索引擎只是對這些多媒體的名稱和描述進行了索引，而並沒有嘗試對這些非結構數據的內容進行理解和建立索引，因此傳統引擎的檢索結果具有非常大的侷限性。 隨著人工智能的發展，AI 的能力使得我們可以快速且成本較低地對這些非結構化數據進行理解，這樣就使得對這些非結構化的數據內容進行直接檢索成為了可能。這其中，很重要的一環就是向量檢索。 如下圖所示，以圖片搜索為例，我們先以離線的方式對所有歷史圖片進行機器學習分析，將每一幅圖片（或者圖片裡分割出來的人物）抽象成高維向量特徵，然後將所有特徵構建成高效的向量索引，當一個新查詢（圖片）來的時候，我們用同樣的機器學習方法對其進行分析併產出一個表徵向量，然後用這個向量在之前構建的向量索引中查找出最相似的結果，這樣就完成了一次以圖片內容為基礎的圖像檢索。

2020 年 11 月 1 日，阿里雲視頻雲亮相 LiveVideoStackCon 音視頻技術大會，阿里雲智能視頻雲高級技術專家鄒娟，就智能媒體生產展開主題演講 ——《“雲端一體” 的智能媒體生產製作演進之路》，以下為完整的演講內容： 大家好，我是來自阿里雲視頻雲的鄒娟，我在視頻雲是負責媒體生產平臺的架構設計和開發工作。我今天分享的主題是 “雲端一體的智能媒體生產製作的技術演進之路”。我的整個分享將會從三個部分來展開。 第一部分是媒體生產製作技術的演進，如果我們把製作放大到整個視頻全鏈路的範圍來看的話。視頻全鏈路是把它抽象成了 5 個環節，從採集開始，歷經製作管理，最後是分發和消費。 以前到現在，過去這麼多年，視頻技術在整個行業發展了好幾十年。在整個環節的流轉當中，視頻全鏈路的每一個環節以前跟現在都發生了很大的變化。 比如，在採集環節，我們從最開始的採集過程，必須要通過專業的像索尼松下這種攝像機來去拍攝。到現在我們可以用手機就能夠拍攝視頻。在製作這個環節，我們從最開始必須要用專業的非線性編輯軟件和桌面的這樣的工具，或者是像這種演播車硬件導播臺來去做這種後期或者實時的製作，現在，我們可以在手機上一鍵美顏，可以在外部上做在線的剪輯。 從管理來看，最開始傳統模式是我們需要用人工的方式去進行原數據的編幕，然後要歷經很多個審核的環節，到現在我們可以用智能思維來構建動態的原數據體系，去做知識圖譜的這個素材之間的挖掘。並可以用智能審核去就是減輕審核的壓力，提升整個流程的性能。 整個發展的路徑是從最開始都是靠人工，到現在我們可以用智能化的方式去融入整個過程當中來提升整個的效率。 以前製作視頻的都是專業的機構來製作。像電視臺或者電影電視製作公司來製作。到現在每一個老百姓都可以去來製作視頻。整個的趨勢就是從人工到智能，從小眾到大眾。

此次淘寶直播數據顯示，商家自播 GMV 佔比超六成，直播商家覆蓋數增長 220%。 可想，薇婭與李佳琦的淘寶直播間大概是這場熱浪之巔，據達人帶貨當日實時排行顯示，兩者分列一二位。 不妨簡單回顧一下。 2020 年 10 月 21 日零點，雙 11 第一波預售，淘寶直播間宛若 “過年”。 李佳琦直播間觀看量超 1.6 億人次，觀看人數達 7741 萬。薇婭直播觀看量超

信息技術創新和普及應用已經成為培育經濟發展新動能、推動社會提檔升級、構築競爭新優勢的重要手段。2021年1月17日，以“匠心智造，引領未來”為主題的“中國信息化iTECH 2020年會暨中國智能製造百人會2021年會”在北京召開。 會上，眾多專家院士、行業領軍企業代表薈萃一堂，圍繞國家制造強國和網絡強國建設，共同研討實體企業數智化轉型升級新思路、實體經濟高質量發展新模式。《中國信息化》雜誌執行社長熊偉正式公佈了“iTECH 2020”年度事件、年度成長企業、年度明星產品等獎項歸屬，阿里雲文件存儲NAS因為在技術與應用場景上的創新，成功摘獲了“iTECH2020”年度明星產品獎。 阿里雲文件存儲NAS，是一個可共享訪問，彈性擴展的高性能雲原生分佈式文件系統，支持冷熱數據分級存儲，廣泛應用於容器存儲、大數據分析、Web 服務和內容管理、應用程序開發和測試、媒體和娛樂工作流程、數據庫備份等場景。分佈式架構允許單個NAS文件系統的性能能夠隨存儲容量線性擴展，使用戶無需購買高端的傳統NAS設備，大幅降低使用成本。 “大鵬之動，非一羽之輕也；騏驥之速，非一足之力也。”本次阿里雲文件存儲NAS的獲獎，是對阿里雲長期耕耘成果的肯定。在快速迭代的技術面前，阿里雲存儲將繼續以穩定、安全、可靠為立身之本，並利用智能技術的新元素賦能存儲，以普惠智能決策與智能計算。

點擊訂閱新品發佈會 新產品、新版本、新技術、新功能、價格調整，評論在下方，下期更新！關注更多新品發佈會！ 精品直播 第125期: 阿里雲MaxCompute 聯合帆軟重磅發佈企業級BI分析解決方案 直播時間：2021年1月27日 14:00-15:00 預約直播 MaxCompute是阿里雲提供的SaaS模式雲數據倉庫服務，服務著數以萬計的客戶和阿里巴巴集團。MaxCompute秉持兼容生態的開放技術路線，持續投入產品生態建設，一方面與阿里雲上多款雲產品實現集成，同時與眾多開源大數據生態和商業工具生態也實現集成互通，滿足客戶靈活、多樣的產品集成需求。 本次將發佈MaxCompute與帆軟FineBI 、FineReport兩款產品的集成，並以客戶用例展現MaxCompute與帆軟聯合BI分析解決方案的高效交互分析和強大的報表展示功能，以及由此為客戶帶來的業務價值。 點擊查看詳情 雲計算情報局 第5期： 1分鐘快速搭建屬於自己的數字孿生應用 點擊關注 直播時間：2021年1月29日 14:00 隨著新基建浪潮的興起，針對智慧城市、智慧園區等行業對高質量三維場景的需求，阿里雲DataV數據可視化團隊帶來全新的三維場景構建方案。

自 2015 年以來，每年的貓晚都是重金打造、眾星雲集，並通過廣電衛視和互聯網多渠道同時進行全球多屏分發。 想要把這場極具藝術價值的舞臺風景，通過直播技術演幻到移動端，還原真實，甚至超越真實的音效與視覺，並非易事，但卻是阿里雲視頻雲的執著之事。 眾所不知，阿里雲視頻雲團隊在貓晚這樣的重量級晚會直播上，一直承擔著重要的技術角色，今年如是，每年如是。 具體說來，貓晚有兩大特點：第一個是廣電級別的匠心製作。精心的編排，豪華的陣容，酷炫的舞臺效果，堪稱頂級現場製作。第二個是極致專業，專業的演員和表演，同時現場有專業的各種設備，諸如燈光、攝影、音響和調音臺等等設備以及專業的現場導播製作團隊。 要把這場實時晚會盛宴進行多屏分發到全球各地，確保屏幕前的觀眾一起參與狂歡，感受晚會氛圍，就需要背後的技術指標至少要滿足三點：高可靠、高畫質、高音質。 首先，高可靠。確保晚會表演的每一幀畫面、每一個聲音都能讓屏幕前的觀眾看得到、聽得到、感受得到，那麼就要求除了各個雲端服務必要的高可靠性以外，還需要端到端的全鏈路來保障每個鏈路環節的高可靠。 再者，高畫質與高音質。如此匠心之作的晚會，要求區別於一般的泛娛樂主播秀，不僅要注重屏幕前觀眾的視覺享受，同時也必須要保證他們聽覺上的享受，要讓屏幕前的觀眾有如臨現場的觀看體驗。 怎樣達到這些技術指標？來看看阿里雲視頻雲的技術解決方案。 高可靠保障：端到端全鏈路主備雙重機制 針對高可靠，阿里雲視頻雲是採用端到端的全鏈路主備雙重機制來實現，同時值得強調的是，阿里雲不是採用兩條主備全鏈路，而是針對全鏈路的每個環節，進行主備雙重機制重保來實現的。主備雙重機制可以保證主設備或者主鏈路環節出了任何抖動、卡頓或者故障等問題，其備用環節會立即補上，讓播放端無感知，最大可能保證觀看流暢。 阿里雲視頻雲把全鏈路拆分為三大環節：活動現場、阿里雲端、用戶側多屏播放端。（下圖所示） 在活動現場環節，主要是信號採集、處理、編碼、上傳幾個模塊。其中信號的採集和處理是通過現場的導播製作團隊來保證高可靠的，比如：可以通過添加多個專業設備和專業人士以及多條線路。 而編碼和上傳就是信號 IP 化，這需要進行主備重保來保證該環節的高可靠。現場製作而來的信號需要同時傳輸給主備兩個編碼器，這兩個編碼器使用同一組信號源，同一組編碼參數進行編碼，然後經過不同運營商的多條專線網絡上傳到阿里雲直播服務中心。 在阿里雲端環節中，我們採用雙中心多機房、主備合流、無縫切換的技術加上資源隔離以及機器獨享、冗餘的方式來確保雲端各個環節的高可靠性。其中雙中心多機房是為了容災，而主備合流是為了保證主備鏈路環節的流，能夠動態選取最優幀率的鏈路，無縫合併成一路輸出。 同時在播放側，阿里雲視頻雲除了通過全球 2800

來自阿里雲智能視頻雲的資深技術專家 —— 致凡，將以直播技術為主題帶來《極致觀看體驗：超低延時直播技術》的演講，為大家解答以上問題。 直播新趨勢 直播技術的發展，需要從當下的直播趨勢來看，2020 年的直播趨勢，我認為主要有三點： 第一，在線直播的用戶規模不斷增長。根據著名的思科互聯網趨勢報告，預測今年直播新視頻內容將佔到整個互聯網流量的 82%，其中直播流量將佔到互聯網流量的 17%。也就是說全球超過六分之一的互聯網流量是直播流量。其實在中國我們也看到了直播用戶的迅猛增長。預計今年直播用戶的規模將達到 5.3 億人。 第二，直播 + 的模式發展迅速。其中最受關注的是電商直播，各大直播平臺都推出了網紅直播帶貨、名人直播帶貨，受到全社會的關注。此外，直播 + 娛樂、直播 + 公益、直播 + 教育、直播

《快速搭建不同場景的直播系統》 阿里雲智能技術專家 熊金水 直播場景需求的多樣性 直播的歷史悠久，出現過各種各樣的直播業務場景，目前比較火爆的業務場景主要有三個： 第一個場景，直播帶貨。直播帶貨是在疫情期間出現的一個風口，大家在各種各樣的直播平臺上可以看到很多流量明星出來帶貨，成交金額非常的驚人。 直播帶貨的技術挑戰除了不卡頓、不掉線和高併發以外，還出現了低延時的要求。低延時是從主播看到觀眾的文字留言，到觀眾看到主播的視頻回覆。如果這個過程非常長的話，觀眾可能會覺得自己被冷落了，從而降低了購買慾望。 第二個場景是主播 PK 的場景，主播 PK 的場景是主播與主播之間連麥，這是一個比較典型的 RTC 的場景，要求延時在 200 毫秒左右，對編碼器和傳輸算法的要求是非常高的。 第三個場景是多人互動的場景。在在線遊戲、在線教育等場景，有著非常廣泛的應用。這個場景的主要挑戰在於通過雲端的合流做特效玩法。 當然，不同的直播業務場景也有通用的技術挑戰。 比如說主播和觀眾他們都處於不同的網絡下。甚至是同一個人，他在不同的時間，他的網絡環境也是不一樣的。這個對網絡自適應的要求非常高，另外主播和觀眾使用的手機的能力也是不一樣的，這需要做大量的適配工作。 阿里雲直播技術架構