行業挑戰
隨著互聯網技術快速發展、經濟水平不斷提高、社會對教育重視程度也越來越高，在線教育行業的發展呈顯著增長趨勢。iiMedia Research(艾媒諮詢)數據顯示，2020 年中國在線教育用戶規模將達 3.09 億人，市場規模將達到 4538 億元。受政策利好、社會教育意識加強以及中小學學生升學壓力等因素的積極影響，未來 K12 在線教育市場需求還將繼續擴大。
同時，在線教育行業與大數據及 AI 的結合也越來越緊密：
- 人工智能：利用 AI 技術可以將知識點進行分解，構建學生知識網絡，精準發現學生的知識漏洞，並即時反饋，從而有針對性的推送相關教學內容，促進個性化教學，提高學習效率。
- 大數據：運用大數據和生物特徵識別技術，可以分析學生的特徵和學習狀態，精準描述用戶畫像，掌握學生學習時的專注度和投入度。
在線教育行業實時化和智能化轉型的過程中，對實時數據處理面臨很多問題：
- 數據量大：包括日誌、數據庫、業務集群數據等均有實時分析需求。
- 低延時：很多場景對低延時需求非常迫切。
- 使用角色多樣化：公司中各個角色，包括 BI 分析師、其他技術人員、業務運營人員等對實時報表都有需求。
- 需求複雜：在線教育行業業務模型複雜，一些實時 BI 場景邏輯也非常複雜，需要平臺有完善的 SQL 支持。
解決方案
在線教育行業，實時計算 Flink版的典型使用場景：
- 實時 ETL&索引構建：提供 Flink SQL，大大簡化計算模型，降低用戶使用 Flink 的門檻。
- 實時統計&分析：實時數倉構建。
- 實時機器學習平臺：實時特徵處理，為下游機器學習模型訓練準備數據。
- 實時事件處理：在線教育行業定型的監控及風控業務。
實時計算 Flink版在這些場景的優勢：
- Flink SQL大大降低實時數據處理的門檻，BI 分析師、普通工程師、業務運營人員等都可開發 Flink 任務。
- Checkpoint 實現 exactly-once 語意。
- Watermark 解決數據延時和亂序問題。
- 豐富的 Window 實現，滿足不同業務需求。
- 多種內置 Connector 支持，無縫對接各種開源及雲產品，大大降低生態對接成本。
成功案例
VIPKID
客戶簡介
VIPKID 是全球增長速度最快的在線青少兒英語教育品牌，純北美外教 1 對 1 在線授課，通過互聯網的方式將中國小朋友與北美老師連接起來。2017 年 8 月，VIPKID 推出全球首個 100% 浸入式教學在線少兒中文教育平臺 Lingo Bus，正式發力中文出海業務。2019 年 6 月 11 日，VIPKID 入選“2019 福布斯中國最具創新力企業榜”。截至 2019 年 8 月，VIPKID 平臺付費學生規模超過 70 萬人，北美外教數量超過 9 萬人。2019 年 12 月，教育部辦公廳公佈第一批教育 App 備案名單，VIPKID 通過備案。
*數據來源：百度百科
業務需求
- BI 實時指標計算：VIPKID 的核心業務場景中，需要實時統計當前時間的約課數量，是計算平臺團隊的一個核心需求。
-
實時 ETL：VIPKID 日常的業務中，包含大量的數據 ETL 工作，數據來源也非常多樣，包括：
- 在線教室網絡鏈路的狀態和日誌
- 業務系統日誌
- 業務數據
- 操作日誌
系統架構
實時計算處理架構為 MQ + 實時計算 Flink 版：
- 使用 MQ 對接上游的數據來源，包括日誌信息、數據庫、業務數據集群。
- 然後通過實時計算 Flink版，完成對於數據的“抽取”、“轉換”、“裝載”；之後對接到下游的數據庫，Kafka 隊列、ES、大數據集群（Hadoop）。
業務總結
- 實時計算 Flink 版提供了完整的SQL能力，能夠大大降低用戶使用實時計算的門檻。VIPKID 計算平臺團隊使用實時計算 Flink 版，能夠快速構建計算模型，響應實時指標計算需求，完成對業務需求的快速適配。
- 基於阿里雲實時計算 Flink版，計算平臺團隊為公司建設了統一的實時計算平臺，目前支撐了監控告警、數據清洗以及一些實時消息處理方面的需求
未來規劃
- 從業務平臺到公司平臺：基於實時計算Flink 版建設實時數倉能力，延伸數據 ETL 平臺到更多業務線。
- 商業智能從 1 到 N：擴展更多 BI 業務場景，為業務提供實時統計和數據支撐。
- 實時視頻分析和預警：與視頻分析結合，嘗試實現在線教育場景分析和業務實時預警
實時計算 Flink 版產品交流群
阿里雲實時計算Flink - 解決方案：
https://developer.aliyun.com/article/765097
阿里雲實時計算Flink - 場景案例：
https://ververica.cn/corporate-practice
阿里雲實時計算Flink - 產品詳情頁：
https://www.aliyun.com/product/bigdata/product/sc