企業邊緣應用面臨的挑戰
CDN是通過在全球範圍內分佈式地部署邊緣服務器將各類互聯網內容緩存到靠近用戶的邊緣服務器上，從而降低用戶訪問時延並大幅減少穿越互聯網核心網的流量。互聯網業務使用CDN已經成為一種必然的選擇。傳統網站防護基本上都是保護源站，客戶購買防火牆、WAF等產品就可以保護自己核心業務的內容不被惡意竊取。但傳統防護方式並不能完全滿足業務流量通過CDN分發的場景：
- 部署位置在源站前，主要為了保護源站。在CDN架構中，頁面基本都緩存在CDN上，爬蟲可以直接從CDN上直接爬走用戶敏感業務數據。
- 識別手段主要依靠在用戶頁面中嵌入JS，這種方式本質上修改了用戶的頁面，有很強的侵入性，並且只能適配web業務，針對api業務不生效。
- 處置手段一般通過頻次控制，對高頻的IP等特徵進行限制，這種方式容易被繞過，現在爬蟲基本都會採用IP代理池的方式，隨機修改請求的header字端，這樣很難找到特徵進行頻次控制。
CDN當前承接了主站大量業務，也必然要保證業務瀏覽和交易體驗，防止內容不被惡意竊取。越來越多的業務數據緩存在CDN的邊緣服務器上，邊緣安全的權重越來越高。而基於邊緣雲的機器流量管理應運而生，應對CDN邊緣安全隱患，實現用戶應用數據安全保護。
邊緣雲的機器流量管理的實現及優勢
基於CDN邊緣節點的機器流量管理分析及處理流程如下圖所示：
互聯網訪問一般分為用戶正常，商業搜索引擎訪問，惡意爬蟲訪問等，機器流量管理通過在邊緣提取請求報文特徵，基於報文特徵識別請求類型，在邊緣阻斷惡意爬蟲訪問，保護CDN上緩存資源不被惡意爬取。
機器流量管理的優勢如下：
- 基於CDN邊緣網絡架構實現機器流量管理能力，通過請求報文特徵識別域名的請求類型，區分是正常的請求還是惡意的機器請求，幫助用戶管理自己的請求，阻斷惡意請求。
- 通過識別域名的請求類型，實時標記出請求的報文類型，非常直觀的展示出當前的業務請求中的報文類型，客戶可以直觀的感知到自己的網站的訪問類型分佈情況，針對異常的報文類型進行處置。
- 通過處置報文類型而不是處置IP，只要惡意請求的報文類型不變，攻擊者隨機頭部字段或者使用秒撥代理IP池都無法繞過。
機器流量管理實際結果驗證
在雙11業務場景，機器流量管理針對訪問主站詳情頁的全部流量做識別，並對 Bot 流量進行細化分類。核心策略是放行搜索引擎等正規商業爬蟲，限制或攔截惡意爬蟲。
通過分析詳情頁的流量以及請求的行為特徵，分析出近40%的請求都是惡意訪問。在雙11前，通過開啟了處置策略，成功幫助主站某業務攔截了超過70%的爬蟲流量。下圖為開啟處置前後的流量對比情況，藍線為未開啟處置策略是的流量趨勢，綠線為開啟處置策略後的流量趨勢，攔截效果非常明顯，並且不影響實際業務運行。
雙11當日，基本上請求的訪問特徵沒有變化，最終攔截數億次惡意請求、上百萬惡意IP及數千萬惡意爬取商品ID。
CDN機器流量管理承擔更多主站業務的防護，並且發現部分爬取主站內容的請求可以透過防護策略，即爬取的請求行為發生了變化。通過對線上突增qps分析，定位出變異爬蟲主要使用的是IE的瀏覽器引擎，源IP大量使用秒撥代理IP，具有明顯的商業爬蟲特徵。經上報，快速形成了應急預案，快速對異常類型進行處置。
