雲計算

面對10倍需求只用 40% 成本,這是一種怎樣的體驗?

作者 | 山獵

來源 | 凌雲時刻(微信號:linuxpk)

前言

國內一些大公司已經有了一些成熟的 Serverless 應用案例,一些創業公司也開始加入 Serverless 陣營,如果說Serverless 到底解決了什麼問題,核心就是節約成本、節省精力。

藍墨是一家由美國留學生回國創業的高科技公司,專注於移動互聯時代數字出版和移動學習領域的新技術研究及平臺運營,依託自主研發的藍墨移動交互式數字教材核心技術體系,為出版社、學校和教師提供移動交互式數字教材、校園移動學習平臺及教師自助數字出版等解決方案。

自 2012 年成立以來,藍墨的技術團隊對於一些開放的新技術抱有極大的熱情,並願意應用快速迭代的互聯網新技術,來確保其業務系統穩定運行。2020 年初,疫情期間,在線教育迎來需求爆發。為了應對高流量,藍墨加大了整合業界優質課程資源的力度,不斷拓展自身的業務邊界,在贏得機遇的同時,技術團隊也面臨了前所未有的挑戰。

面臨挑戰

作為教學平臺,藍墨每天要處理大量視頻教材資源,涉及到視頻剪輯、切分、組合、轉碼、分辨率調整、客戶端適配等一系列複雜的技術工作,視頻處理相關業務是藍墨的技術團隊面臨的最大挑戰之一。通過幾年的技術實踐,藍墨技術團隊通過 FFmpeg 等技術已經建立起一整套自主可控視頻處理機制,支撐了業務的快速發展。但今年的業務增長速度讓藍墨的技術團隊始料未及,高峰期數十倍於往年的視頻處理需求讓現有的架構不堪重負,嚴重影響了用戶體驗。

高峰需求量難規劃,水平擴容難走通

面對挑戰,最初藍墨技術團隊希望通過水平擴容解決問題,但在全天範圍內,視頻處理的需求量存在極為陡峭的波峰波谷,大量的任務發生在幾個高峰時間段,而且具有一定程度上的突發性。如果按照最高峰期的需求量來規劃系統容量,會造成計算資源的大量浪費,而且最高峰期的需求量到底是多少,也是很難預判的。如果採用錯峰處理的方式,可以降低計算資源成本,但對於用戶的需求得不到及時的處理。水平擴容方案因此被放棄。

自身業務邏輯要求,難以使用第三方的視頻轉碼服務

還有一種解決方案是直接使用雲廠商提供的視頻轉碼服務,類似於 BaaS 的方式。採用這樣的方案的優勢是,可以完全不用考慮容量規劃的問題,根據實際業務量按需調用雲服務即可。但藍墨的視頻處理機制做得非常精細,包含著大量自定義的業務邏輯,需要使用代碼來實現,第三方的視頻轉碼服務根本無法滿足要求。

解決方案

推倒重來!藍墨現在的核心訴求概括有三個:節省成本、極致彈性、免運維,而這些恰恰是 Serverless 最擅長解決的問題。經過對國內雲廠商提供的 Serverless 服務的多方面調研後,藍墨技術團隊一致認為在視頻處理領域阿里雲函數計算是最適合他們的方案。

阿里雲函數計算(Function Compute,簡稱 FC)是一個事件驅動的全託管 Serverless 計算服務,對於使用者而言,無需管理服務器等基礎設施,只需編寫代碼並上傳,函數計算會準備好計算資源,並以彈性、可靠的方式運行代碼。由於阿里雲函數計算完全兼容現有的代碼邏輯,也能夠支持各類主流的開發語言,所以藍墨技術團隊可以把代碼邏輯以近乎無縫銜接的方式從原有的架構遷移到阿里雲函數計算上,並且成本極低。通過對接 OSS 觸發器,只要 OSS 上有新的視頻源文件上傳,就能自動拉起函數計算實例,開啟一次視頻處理業務的生命週期。通過整合 Serverless 工作流,還能對分佈式任務進行統一編排,實現對於大文件切片後進行並行處理並最終合併的複雜操作,更進一步的提升了處理效率。

image.png

對於藍墨的技術團隊而言,函數計算是一種完全按需調用的 Serverless 化方案,能夠充分利用雲計算的彈性能力。

一方面,阿里雲函數計算能夠在短時間內迅速調集上萬個實例的計算資源,實現視頻處理任務的快速執行;

另一方面,由於不需要預留計算資源,也不需要對底層的軟硬件進行維護,可以極大地降低運營成本,讓藍墨技術團隊更專注於複雜業務邏輯的實現上。

相比於傳統的方式,基於阿里雲函數計算的 Serverless 方案在視頻處理場景下,幫助藍墨節省了 60% 左右的 IT 成本投入。

在享受到函數計算所帶來的巨大價值後,藍墨也積極在視頻處理之外的其他業務領域探索可以進行 Serverless 化改造的場景,併成功落地了阿里雲函數計算和日誌服務的集成,當日志以流的方式源源不斷寫入時,日誌服務會自動觸發函數計算對數據進行處理,分析日誌中的重要信息,實現異常事件的報警,並按照業務規則把日誌進行壓縮、轉換後存放到其他媒介中。

藍墨技術團隊負責人表示,將來藍墨會將更多場景與阿里雲函數計算進行整合,充分享受雲原生的技術紅利,提升整個團隊的戰鬥力。而阿里雲也將一直與用戶站在一起,打贏接下來每一場漂亮的戰鬥!

阿里雲函數計算

阿里雲是國內最早一批推出 Serverless 計算服務的企業,函數計算(Function as a Service)更是 Serverless 中最具代表性的產品形態。可以說,藍墨並不是第一家享受到函數計算 FC 巨大價值的企業,新浪微博、石墨文檔、芒果TV等都是函數計算的擁躉者。前不久,在2020可信雲線上峰會上,阿里雲函數計算FC通過了基礎能力要求、平臺可觀測能力、服務性能、服務和服務計量準確等21項測試,以全部滿分的成績通過了可信雲函數即服務能力認證。此前,在 Forrester 發佈的報告中,阿里雲函數計算被給予“強勁表現者”的評價。

除了拓展更加豐富的產品形態,阿里雲函數計算也不斷優化用戶體驗,包括做了硬盤掛載、預留實例、鏡像加速、大規模實例等業內領先的實踐,真正把用戶需求放在首位,沉下心來做對用戶更有價值的產品。

Leave a Reply

Your email address will not be published. Required fields are marked *