數據湖實操講解【JindoFS 緩存加速】第十二講:Spark 訪問 OSS 透明緩存加速
本期導讀 :【JindoFS 緩存加速】第十二講 主題:Spark 訪問 OSS 透明緩存加速 講師:辰山,阿里巴巴計算平臺事業部 EMR 技術專家 內容框架: JIndoFS 緩存模式簡介 Spark 訪問 OSS 的緩存加速 緩存效果 實操演示 直播回放鏈接:(12講) […]
本期導讀 :【JindoFS 緩存加速】第十二講 主題:Spark 訪問 OSS 透明緩存加速 講師:辰山,阿里巴巴計算平臺事業部 EMR 技術專家 內容框架: JIndoFS 緩存模式簡介 Spark 訪問 OSS 的緩存加速 緩存效果 實操演示 直播回放鏈接:(12講) […]
對於任何一家企業來講,數據都是最寶貴的財富。 如何保護數據完整性,數據不受損壞,在發生故障時,如何保住數據,在發生誤操作,黑客入侵,數據篡改等場景時,如何基於我們的備份來進行數據恢復,是每個技術人員需要關注的關鍵點。 阿里雲致力於服務客戶,為客戶數據庫提供連續數據保護、低成本的備份服務。它可以為多種環境的數據提供強有力的保護,以及強力恢復。在發生數據丟失、數據損壞的極端情況下,RDS管控平臺具有一鍵還原的功能,基於客戶設置的需要恢復的時間點,進行數據全方位恢復。 1. 按時間點恢復的技術實現 如果客戶在某時間節點由於誤操作,導致數據丟失,RDS管控服務是如何進行恢復的呢? 按時間點恢復的整體思路如下:一次完整的數據恢復是由物理備份+binlog恢復+binlog裁剪構成的。 圖1 首先獲取到可用的備份集,將備份集應用到目標實例上,然後再目標實例重放需要恢復的binlog文件,最後通過binlog裁剪的形式應用sql文件,實現整體的恢復。 2. 按時間點恢復的管控流程 1. 創建用於恢復的目的實例 當我們需要整體恢復源數據庫數據時,我們首先需要創建一個與源實例同規格、同網絡環境的目標實例。 為什麼要這樣做? 因為備份恢復屬於高危操作,如果直接還原到源實例,一旦出現備份集不可用、binlog缺失等等問題,那麼不僅丟失數據無法找回,甚至原數據都無法完好保住,所以強烈建議使用新實例來進行恢復! 2. 明確備份恢復時間點 當客戶在執行了一系列數據庫操作之後,如誤刪除、誤修改等,操作之後無感知,等到業務受損、故障發生時,如何定位到當時操作的準確時間點用於數據恢復呢? 方式1:可以通過日誌審計功能找到對應的誤操作時間點。
在河南鄭州,建業•藍海鄭風智慧社區的樣板點正悄然落地,在這裡社區預約系統、智能導覽、智能巡檢、智能跑道、小蠻驢無人車、智能回收、無人零售等一應俱全。 今天,在雲啟中國•數智空間產業峰會上,這個由建業集團、阿里雲聯手打造的智慧社區,終於揭開了面紗。 建業集團成立於1992年,過去29年共打造了超過400個社區,服務了超過150萬居民。隨著雲計算、物聯網、人工智能等新興技術的發展,社區也將迎來數字化升級。 2020年7月,建業集團與阿里雲合作簽約儀式在杭州舉行。此後,雙方在河南鄭州共同發起“社區+科技”的融合實驗。 建業集團總裁王俊表示,建業在戰略升級的進程裡,數智化轉型是重要的載體。在新的時代,建業集團積極把握數智化發展契機,實現企業數智化的全面融合,從而更好的滿足人們對生活更美好的追求。 在“建業•藍海鄭風”智慧社區試點項目中,小蠻驢無人車首次進入社區,依託達摩院人工智能、自動駕駛技術,可以為社區4萬戶居民提供最後一公里配送服務。 同時,依託入園訪客碼、邊界安全預警等場景技術降低安全風險。智慧社區還配備了24小時社區圖書館、智慧運動場館等數字化設施,覆蓋醫療到健康生活的各項生活場景。 阿里雲智能副總裁陳崢介紹,以阿里云云計算、大數據、IoT、人工智能為基礎,藍海鄭風智慧社區將實現30+類智能化設備整合接入、40+社區場景服務,社區人群100%覆蓋。未來,隨著AI技術和智能硬件的持續升級,社區的智能服務場景將會進一步豐富。
點擊訂閱新品發佈會 新產品、新版本、新技術、新功能、價格調整,評論在下方,下期更新!關注更多新品發佈會! 新品發佈 第135期: 阿里云云盒正式商業化 預約直播 隨著大數據、人工智能、物聯網、5G 等技術的快速發展,大部分公司將數字化轉型列為企業的優先戰略,但因為受限於合規、帶寬、延時和成本等要求,一些企業需要將部分業務部署在本地機房,但同時又希望在本地機房獲得公共雲彈性便捷的體驗。雲盒就是為解決這一難題而生。 雲計算情報局 第15期: 解讀算力走向邊緣的最佳實踐和挑戰 時間:2021年6月25日 點擊關注 5月28日,在2021 阿里雲峰會現場,阿里雲正式推出邊緣雲節點,致力於幫助企業級客戶快速構建其邊緣雲基礎設施,基於邊緣雲開展業務創新、市場拓展及商業探索,助力客戶業務轉型。邊緣雲節點尤其適用於視頻直播、在線教育、雲遊戲等對時延要求極高的場景。在原有 CDN 加速的基礎上,邊緣雲節點將視頻、圖片等內容的計算前置,進行就近計算,從而提升用戶體驗。目前,阿里雲在全球擁有 2800 多個邊緣計算節點。 熱門閱讀
阿里雲已正式開源雲原生數據庫能力,開放關係型數據庫PolarDB for PostgreSQL的源代碼。為了將阿里雲內部沉澱多年的的數據庫技術能力回饋給開發者,和百萬開發者共同成長,阿里雲聯合PG中文社區、白玉蘭開源共同打造“七天玩轉PolarDB for PostgreSQL開源創造營”,特別邀請中國計算機學會(CCF)數據庫專委副主任、武漢大學計算機學院彭智勇教授為你解讀數據庫領域前沿趨勢,還有PG社區資深專家、阿里雲數據庫技術大咖聯合授課,從理論講解到手把手實戰演練,提升個人代碼質量,探索職業突破! 本期訓練營內容充實,可以滿足數據庫領域不同開發者的多樣化需求。無論你是新晉開發者,還是身經百戰的數據庫大牛,都歡迎報名,與阿里雲共建雲原生數據庫生態。代碼貢獻者更有機會獲得絕佳項目offer,還有PolarDB精美定製禮品等著你! 報名時間:6月28日-7月11日 開營時間:7月12日-7月18日 20:00-21:00 開營名額:2000人(名額有限,報完即止) 價格:0元帶你玩轉 PolarDB for PostgreSQL 報名要求:希望你有一定的開發基礎,對PG數據庫感興趣,想進一步瞭解學習 報名鏈接:6月28日更新,敬請期待 7天訓練營你將收穫
作者 | 家純來源 | 阿里技術公眾號 一 什麼是 Netty? 能做什麼? Netty 是一個致力於創建高性能網絡應用程序的成熟的 IO 框架。 相比較與直接使用底層的 Java IO API,你不需要先成為網絡專家就可以基於 Netty 去構建複雜的網絡應用。 業界常見的涉及到網絡通信的相關中間件大部分基於
作者|樑勇 背景 哈囉已進化為包括兩輪出行(哈囉單車、哈囉助力車、哈囉電動車、小哈換電)、四輪出行(哈囉順風車、全網叫車、哈囉打車)等的綜合化移動出行平臺,並向酒店、到店團購等眾多本地生活化生態探索。隨著公司業務的不斷髮展,流量也在不斷增長。我們發現生產中的一些重大事故,往往是被突發的流量衝跨的,對流量的治理和防護,保障系統高可用就尤為重要。本文就哈囉在消息流量和微服務調用的治理中踩過的坑、積累的經驗進行分享。 作者介紹 樑勇 ( 老樑 ) ,《 RocketMQ 實戰與進階》專欄聯合作者、參與了《 RocketMQ 技術內幕》審稿工作。ArchSummit 全球架構師大會講師、QCon 案例研習社講師。 當前主要在後端中間件方向,在公眾號【瓜農老樑】已陸續發表百餘篇源碼實戰類文章,涵蓋 RocketMQ 系列、Kafka 系列、GRPC
隨著信息技術快速發展與應用,產業數字化和智能化趨勢正日益加深,企業信息安全與防護被提升到前所有未有的高度。阿里雲CDN經過10多年的技術發展時間,已逐步構築一個邊緣+雲的安全網絡立體防護體系,包含了全鏈路安全傳輸、常見攻擊類型的邊緣防禦、企業級獨享資源部署、運維以及內容安全保障機制,為企業打造安全出海的網絡運營環境。在CDN安全防護存在兩個核心場景:擁塞帶寬和耗盡資源。對於擁塞有限帶寬入口這類攻擊,本質上要在流量上Hold住。CDN天然具有豐富的節點資源,使用分佈式的網絡將攻擊分散到不同的邊緣節點,同時在近源清洗後返回服務端。對於耗盡有限資源這類攻擊,本質上要做到攻擊的快速可見,並且能夠把相應特徵進行阻斷。單純依靠CDN不能特別有效的解決問題,需要通過CDN節點上的配置,完成智能精準檢測DDoS攻擊,並自動化調度攻擊到DDoS高防進行流量清洗,這時候需要用戶購買高防抗DDoS的產品。 基於阿里雲CDN+雲安全構建的邊緣安全體系 基於阿里雲CDN構建的邊緣安全體系,其核心能力仍是加速,但又不止於加速。加速是整體方案的基礎,依託於阿里雲全站加速平臺,通過自動化動靜分離,智能路由選路,私有協議傳輸等核心技術,提升靜動態混合站點的全站加速效果。在加速基礎之上,為客戶提供豐富的邊緣應用層安全、網絡層DDoS防禦、內容防篡改、全鏈路HTTPS傳輸,高可用安全,安全合規 6大方面安全能力,從客戶業務流量進入CDN產品體系,一直到回到客戶源站,全鏈路提供安全保障,保障企業互聯網業務的安全加速。邊緣安全防護阿里雲CDN通過構建完整的企業級邊緣安全能力,包括DDoS緩解,WAF,頻次控制,IP/區域封禁,機器流量管理,精準訪問控制等,做到從網絡層到應用層的全棧防護。在不犧牲網站加速性能的同時,全面保障客戶在線業務的穩定性和安全性。每年,阿里雲安全監測到雲上DDoS攻擊發生近百萬次,應用層DDoS(CC攻擊)成為常見的攻擊類型,攻擊手法也更為多變複雜;同時,Web應用安全相關的問題依然佔據非常大的比重,從用戶信息洩露到羊毛黨的狂歡,無時無刻不在考驗著每一個行業、每一個Web應用的安全水位。為了讓承載數據傳輸的網絡平臺更加安全可靠,阿里雲CDN一直不斷夯實安全上的能力。1. DDoS緩解CDN與DDoS高防產品可以實現聯動,在分發場景中可以通過CDN進行分發。在DDoS攻擊發生時,可以將發生DDoS攻擊區域的流量調度到DDoS高防去清洗,有效保護業務的服務質量。通過聯動方案可以有效清洗海量DDoS攻擊,完美防禦SYN 、ACK 、ICMP 、UDP 、NTP 、SSDP 、DNS等Flood 型攻擊。同時,基於阿里雲飛天平臺的計算能力和深度學習算法,智能預判DDoS攻擊,平滑切換為DDoS高防,且不影響業務運行。2. 機器流量管理面對網絡爬蟲的惡意爬取,CDN平臺基於阿里巴巴集團業務沉澱的惡意IP庫、惡意指紋庫等,通過貼近業務風險的機器學習能力和定製化爬蟲模型進行精準對抗,降低爬蟲、自動化工具對網站業務的影響,保障企業的數據安全,維護企業的核心商業價值。3. 頻次控制當網站遭受惡意CC攻擊並響應緩慢時,通過頻次控制功能,可以秒級阻斷訪問該網站的請求,提升網站的安全性。頻次控制保護您的網站 URL免受超出設定閾值的可疑請求的影響。它支持豐富的監測對象,並配以自定義規則,來定義合適的訪問閾值。一旦達到設定的請求閾值,就會觸發自定義響應,通過多樣化的手段(如阻斷或者質詢)來處理過於頻繁的訪問請求。4. IP/區域封禁配置IP黑白名單來實現對訪客身份的識別和過濾,從而限制訪問CDN資源的用戶,提升CDN的安全性。另外還能配置國家的黑白名單,幫助您一鍵阻斷來自指定區域的訪問請求,解決部分地區高發的惡意請求問題。5. 精準訪問控制允許自定義匹配條件,實施精準的訪問控制。匹配條件能夠檢查常見的HTTP字段(如IP、URL、header等),來滿足業務場景的定製化需求。該功能通過支持豐富的請求字段,定義多樣化的匹配條件,來描述所要捕獲的訪問請求。一旦請求被匹配,就會觸發規則所定義的操作,如質詢、觀察、阻斷等,做到精準的訪問准入。6. WAF由於CDN的分佈式架構,用戶通過訪問就近邊緣節點獲取內容,通過這樣的跳板,有效地隱藏源站IP,從而分解源站的訪問壓力。當大規模惡意攻擊來襲時,邊緣節點可以做為第一道防線,不僅大大分散攻擊強度,還可以通過上述的多種安全能力完成邊緣的防護。 阿里雲CDN 還集成雲WAF能力,實現源站最後一層的防護。WAF
2021年6月17日,國內諮詢機構數世諮詢發佈《中國網絡安全百強報告(2021)》。阿里雲作為雲廠商憑藉安全領域的綜合能力及行業影響,在此次調研的700餘家網絡安全企業中脫穎而出,強勢佔位綜合實力百強領軍者。 此次調研基於上百項評價指標,結合不同維度的企業相關數據進行梳理和評價,聚焦品牌影響力、企業規模、技術創新力三大方向,以點陣圖形式展現。 阿里雲入選中國網絡安全“綜合實力百強領軍者”,不僅是對綜合安全實力的認可,更說明了雲安全在整個網絡安全發展中扮演著越來越重要的角色。 數世諮詢創始人李少鵬表示: “在當今數字互聯的大趨勢下,雲服務商已經成為重要的網絡安全能力提供者。雲服務商的優勢在於天然的安全基座,在管理、應用和性能等方面有著無可比擬的優勢。阿里雲作為國際領先的雲服務商,無論在攻防對抗還是多樣化的應用場景方面,通過將安全與雲深度融合,解決了之前很多難以解決的安全問題。可以預見,不久的將來,雲服務商一定會成為安全技術與產業的重要基石。” 國際諮詢機構Gartner曾預測,未來的雲安全即安全,無論企業是否上雲,都會或多或少用到雲安全的能力。從雲而生的原生安全能力,通過與基礎設施深度融合,可以將安全服務化真正落地,按需調用計量收費,提升安全防護水平的同時,將綜合擁有成本降低。企業可以根據自身業務需求靈活配置,安全能力擺在眼前即插即用,避免大量前期軟硬件成本投入。 以數字鄭州為例,基於阿里雲IDaaS構建的政務統一身份中臺,基於雲平臺底座,分佈式微服務架構,支持千萬級用戶管理,併發性能高達10000TPS,強力保障系統高可靠和業務連續性,可輕鬆應對疫情期間防疫亮碼、秒殺活動等多種業務場景。具體內容請點此鏈接“鄭州:如何”變身“一座全場景數字化運營的城” 雲原生安全能力另一特點是安全所需網絡、計算等資源默認調用雲計算基礎設施資源,可以避免底層環境的重複建設和資源浪費,符合當前全球倡導的“零碳”節能減排理念。 未來大規模數字化時代,數字服務會因需求波動而動態變化,從雲而生的原生安全能可以及時滿足數字業務的動態變化,讓安全不再是業務發展的“剎車系統”,而是真正成為業務加速驅動力。
作者 | 飛刀來源 | 阿里技術公眾號 雲原生是一種新型技術體系,是雲計算未來的發展方向。今天,我來談談何為雲原生、雲原生如何與分佈式有機結合,以及雲原生技術如何幫助客戶邁入數字原生時代。 李飛飛,阿里巴巴集團副總裁,ACM傑出科學家,阿里雲數據庫產品事業部負責人,達摩院數據庫與存儲實驗室負責人。 一 雲原生:從小池塘到江河大海 雲原生數據庫在海外被稱為「Cloud-Native Database Systems」,前面譯成中文就是「雲原生」,理解雲原生先要理解兩個關鍵詞——「雲」和「原生」。 在傳統數據庫的系統架構下,必須是緊耦合的設計方式,才能最大效能地發揮系統的優勢。舉個生活中的例子,過去每家每戶會根據用水量打一口水井使用,這與傳統的數據庫系統使用計算、存儲資源的方式一樣,但它是緊耦合的方式。如果水不夠了怎麼辦?對應的,這就是傳統數據庫系統裡經常提到的業務擴容。在金融行業,數據庫系統擴容通常需要提前幾個月甚至半年去做規劃,進而細緻部署、縝密實施,上線——灰度——再驗證,一整套流程就是為了擴容、縮容。傳統擴容過程非常漫長,而業務高峰過後縮容也很痛苦,往往會造成極大的資源浪費,也很難應對業務層需要的快速變化能力,這是傳統架構非常大的弊端之一。 如果清楚這些概念和背景就很好理解雲原生了。「雲」就是使用虛擬化的技術將資源池化。水是資源,不用緊耦合的方式來部署和使用,不用家家戶戶打水井,而是整個村莊聯合起來“打”一個湖或池塘,再修管道連到各家各戶,這就是資源池化。資源池化以後可以做到按需按量使用,彈性調度,甚至還可以將資源進行解耦,比如,將廚房當作一個計算節點,水當作存儲節點,可以隨時切換,如果這個廚房不夠了,通過系統調度,可以快速拉起另外兩三個廚房做計算。這就是雲原生核心邏輯,將不同類型資源解耦,並進行池化。讓原來的一口口獨立水井,在背後合併成一個看不見的江河湖海。具體的,比如在雲原生的計算存儲分離架構下,業務節點可以根據需要自由的對計算、存儲進行快速的擴縮容等操作。 可以看到,雲原生帶來的本質性變化就像水井和池塘,隨著池塘不斷變大,越來越多應用遷移上雲,池塘不再是池塘,而變成了江河大海。雲原生帶來的最大技術紅利以及經濟紅利就是規模化應用後帶來邊際成本下降效應,因此向雲原生技術演進的趨勢自然發生並且非常清晰,無論用公共雲還是專有云私有化部署。這個邊際成本下降效應體現在產品上,客戶就會因此受益,TCO也一定會下降。 二 數據庫的未來:雲原生+分佈式 全球知名諮詢公司Gartner指出,雲將主導數據庫市場的未來,到2022年,75%的數據庫將被部署或遷移至雲平臺,只有25%的數據庫會在本地運行。雲化無疑代表了未來,企業如何在雲原生架構下使用數據庫,就成為必須要思考的問題的。 隨著企業業務全面向數字化、在線化、智能化演進,企業面臨著呈指數級遞增的海量存儲需求和挑戰,業務有更多的熱點和突發流量帶來的挑戰,企業需要降本增效,進行更智能的數據決策,傳統的商業數據庫已經難以滿足和響應快速增長的業務訴求。 在架構創新上,我們將雲原生與分佈式結合起來,全新的雲原生分佈式架構的數據庫具備了高擴展性、易用性、迭代快速、成本降低等特點,可以很好的幫助企業解決上述問題。未來數據庫也將全面進入雲原生加分佈式的時代。具體來講: