作者| 阿里文娛算法專家 靜齋、阿里文娛算法專家 邑塵
一、系統設計背景
互聯網視頻平臺以內容為王,如何幫助內容發揮更大的價值,是技術團隊一直努力的方向。 優酷媒體生產團隊服務於優酷全站的內容生產,並與媒資運營一起保障著 OGC/PGC 內容的上 線時效與質量。為配合媒資運營提供高時效,高畫質,易操作的在線剪輯服務,技術團隊啟動 了媒資中心全方位升級項目,從基礎提效、供需分發匹配、標籤體系和生態供給等多個維度, 實現媒資的智能化生產和有效供給,優酷直(播)轉點(播)在線剪輯系統應運而生。
直轉點在線剪輯系統是一個基於 Web 頁面的在線生產剪輯系統,前端頁面用於用戶操作剪 輯並預覽效果,後端剪輯服務接受前端指令來做視頻的裁剪、遮標、整檔上線,拆條等功能, 可支撐不同的生產業務方流水線工作,極大的提升生產效率。
本文將介紹其中最常用的直播轉點播業務,描述我們如何從生產時效以及智能化上助力生產。
直(播)轉點(播)的業務,應用於廣電或者第三方的直播流,在線剪輯快速上線的業務 場景。比如,雙 11 貓晚直播結束後,剪輯的完整版在 30 秒內就可在優酷上線,並具備直播流 實時幀級剪裁、遮標等功能,時效上領先行業。
二、直轉點在線剪輯系統架構
1.系統架構
1)核心模塊: a)前端頁面:用於用戶錄入視頻信息,提交錄製任務,操作剪輯,預覽效果等功能; b)前端服務:用於記錄用戶操作,轉發指令到媒資服務、剪輯 API 服務等功能; c)媒資服務:視頻節目信息入庫存儲,視頻送審,介質管理等功能; d)剪輯服務:主要包含實時轉碼收錄,重轉碼兩個模塊,用於直播流收錄剪輯。 2)生產流程如下:
a)用戶通過前端頁面發起收錄任務; b)轉碼收錄拉取直播流實時收錄轉碼;
c)用戶通過前端頁面預覽收錄內容,進行打點剪輯,遮標等操作,並可預覽前端模擬剪輯 的效果;
d)重轉碼服務接受剪輯指令,對檢測遮標等操作做最小化轉碼; e)提交視頻上線發佈。
2.轉碼技術
1)轉碼收錄單元
收錄單元的主要功能是錄製直播流,支持 rtmp/hls 等多種直播拉流方式,具備 7x24 小時不 間斷的穩定錄製能力,為後續的剪輯提供基礎性物料。
收錄單元可分的三個模塊:
a)前處理模塊:針對信號源做前處理,包含 sar 糾正、遮標、加標、hdr,畫質算法優化等 功能;
b)多路並行轉碼:用於轉碼各清晰度流,保證上線後各檔位幀級對齊;並支持單獨錄製原 始流做存儲備份;
c)切片模塊:多路幀對齊切片存儲,上傳到 oss 存儲的管理,切片存儲可以為後續剪輯時 做最小化轉碼提供便利。
2)重轉碼系統 重轉碼系統用於對用戶下發的剪輯指令做最小化轉碼,業務上可分為兩大類: a)整檔發佈:用於發佈整檔內容,例如整檔晚會的生產,可以剪裁掉直播流中的廣告片段,
遮臺標,浮層廣告等功能;
b)拆條發佈:用於做精華片段拆條,並引入智能化算法,可依據視頻分析做智能拆條,橫 屏視頻轉豎屏視頻等功能。
重轉碼系統主要由切片轉碼技術實現,首先,定義打點協議,如下圖中所示。前端預覽視 頻,進行打點,提交到服務器。其次,服務器使用轉碼工具對涉及轉碼的分片進行最小化轉碼, 多檔位並行處理,用最簡單的轉碼提供最快速的能力。
切片轉碼技術,是直轉點的時效精髓所在。關於切片轉碼的理論,在多年前就已經出現。 但真正使用,會遇到各種各樣的問題,比如聲音銜接、多清晰度對齊等問題。我們基於傳統的
切片理論,並結合獨有的工程實現方式,最終將並行切片轉碼應用到真實的工程中來,並取得 極好的效果。
3)剪輯整體數據鏈路
3.關鍵技術
1)斷流續錄
7✖️24 小時的錄製,難免遇到輸入流的各種異常問題。能夠智能重連,是實現7✖️24小時錄 制的必備技術。通過分析輸入流的中斷方式,實現了具備自動重連機制的斷流續錄架構,自動 探測上游鏈路的健康狀況、對當前鏈接添加超時檢測、保持上下文狀態的方式實現斷鏈重連, 並保持時戳單增。
2)智能生產 我們在剪輯系統中引入了很多智能分析算法,例如智能檢測臺標遮標,自動去片頭片尾廣
告,智能橫版轉豎版,智能拆條等功能。
例如:豎版拆條示例,算法可自動分析出豎版區域,並在用戶界面中圈出供用戶選擇。
三、系統展望
經過兩年多的技術沉澱,我們這套系統也在不斷的補充生產能力,例如更高清轉碼流 hdr/4k 的準實時錄製,智能的拆條剪輯,依據 EPG 電視臺節目單的自動錄製等。目前從時效上已經領 先業界,但直播重點內容還是需要人工參與幀級剪輯+審核,所以智能化生產上還有很長的路要 走。此外,目前這套系統部署在優酷內網,並服務於優酷內部重點內容,未來時機成熟後會考 慮遷移上雲,服務於更多的用戶。
本章內容出自《智慧文娛》電子書,118篇精選文章,900頁豐富呈現,覆蓋8大技術棧,縱覽文娛技術全景。阿里文娛團隊匠心出品,點擊免費下載完整版!