【行業應用】阿里雲實時計算 Flink 版金融行業解決方案

行業挑戰

近年來，隨著互聯網金融行業的飛速發展，傳統金融機構（如交易所、證券公司、銀行等）的各類業務與互聯網的結合也越來越緊密，如：各大金融機構紛紛推出手機 APP 客戶端，支持用戶自主辦理移動支付、理財、網絡借貸、購買金融產品等各類金融業務。新的業務方式對金融行業也提出了新的要求：

• 長鏈路且快速變化的業務：從業務需求出發，需要分析用戶的行為軌跡和交易記錄，以應對業務的快速變化。
• 越來越多的實時數據需求：目前需要更多的實時數據來支持業務決策。比如需要依據流量監控、銷售情況等，對不同的資源位做出相應調整；同時部分活動也需要實時數據來增強與用戶的互動，尤其在金融產品營銷活動中需要實時針對用戶行為調整策略。
• 越來越高的數據質量要求：數據的結果會直接影響業務決策和線上運營活動的效果，數據質量也決定了計算結果是否可以作為判斷的依據。

• 越來越多的實時風控需求：傳統風控系統需要完成從依賴專家規則到智能風控的實時化轉變，如信用違約、賬戶安全、貸款欺詐等典型場景：

  • 欺詐檢測：在辦理業務過程中，對用戶賬號、交易行為等進行實時監控與識別。快速識別異常交易，減少造成用戶財產損失的可能。
  • 信用評估：在貸款等銀行業務審核過程中，快速識別虛假資料、信息偽冒等惡意欺詐行為，並進行高危人群鑑別，整體信用風險評估等，縮短業務審核流程。

解決方案

基於實時計算 Flink 版的解決方案可幫助金融機構從容應對上述挑戰，通過 Flink 構建實時數倉、實時反欺詐系統，助力金融機構快速構建實時風控體系。整個數倉體系架構如下：

實時數倉的數據處理過程涉及到以下幾個關鍵環節：

1. 數據產生：一般場景下，數據有兩個來源：

   1. 用戶行為日誌：用戶在 App 上的操作會產生一系列日誌，包括點擊、跳轉、瀏覽、停留時長、機型、IP等信息。
   2. 數據庫中相關信息：用戶下單等業務類行為會被記錄到數據庫中。
2. 數據採集：日誌和數據庫的內容，需要上報到消息隊列中，使整條數據鏈路“流動”起來。比如日誌中的數據，可通過日誌採集等工具被實時上報到消息隊列中。而數據庫的數據(Binlog)，可通過阿里雲數據集成、DTS 產品或者其他開源組件被實時採集到消息隊列中。
3. 數據加工：消息隊列（比如 DataHub/Kafka）的原始數據，往往在格式不齊、內容不全，需要經過數據清洗（ETL）之後，才能更好的被下游業務利用。而整個 ETL 過程，是實時數倉架構設計上非常重要的一環。該環節要做到延時小、成本低、可擴展性好、業務指標計算準確。

在系統選型上，需要選擇 Flink 對數據進行處理，Flink 具有強大的數據處理能力，低延時、高吞吐，從而保證業務產出。同時阿里雲上也推出了實時計算 Flink 版產品，為用戶提供一站式高可用的 Flink 服務。
在數據架構設計上，也可以依據數倉的基本方法論來構建 ODS/DWD/ADS 層，從而減少數據冗餘，降低數據存儲成本，並且使數據結構具備更好的可擴展性。

1. 數據分析：經過 Flink(ETL)處理好的部分數據可以直接被業務方使用，如 App 當日激活/PV/UV 等實時指標。另一部分數據需要經過多維分析才能被業務方使用，這就需要用到 OLAP 系統（如阿里雲交互式分析），將數據寫入 OLAP 系統後，通過與歷史數據的合併查詢，即可得到相關數據。
2. 數據挖掘：從歷史中預測未來一直是人類的夢想，對公司來說，能對未來趨勢作出正確的判斷才能基業長青。機器學習就是通過歷史數據對未來進行預測的一種手段，可以使數據發揮最大的價值。
3. 業務系統：經過處理的數據，可直接服務於相關業務方，如運營、決策者、相關應用等，如運營人員可通過實時報表中的數據及時調整運營策略，提高活動轉化率；利用實時風控系統，實時預警風險事件，可避免業務損失等。

基於 Flink 的實時數倉架構：

Flink 主要用於實時數倉 ETL 及 BI 部分的指標計算，與各種上下游打通。

成功案例

眾安保險

眾安保險基於阿里雲實時計算 Flink 版產品構建了實時數倉，其應用場景分為三類: 營銷活動、實時大屏及反欺詐。

• 在營銷活動中主要應用於營銷活動流量和交易。通過實時計算可以動態觀察用戶進入活動各個入口的流量情況，以及活動的 PV/UV、交易量等。通過動態觀測的用戶行為，可制定更精準的營銷策略，提高轉化。
• 實時大屏主要應用於實時 KPI 指標監控，如當日保費、當日投保量、當日總體和分平臺 PV/UV 等。
• 反欺詐主要應用於積分獎勵等現金類的權益監控；針對某個入口是否為用戶真實行為的實時監控判斷、經緯度判斷等。

隨著業務快速變化發展，對實時計算的要求也越來越高，需要平臺提供低延時、低資源消耗、高效率、高精準度等能力。在滿足業務最基本需求的同時，我們也在充分利用實時計算 Flink 版平臺的特性，豐富輸入輸出接口，保證數據質量。在未來的一段時期裡， Flink 的 ML 和 Scala 版本也將會在 SQL 版本之上讓實時計算在反欺詐方面和複雜的業務領域綻放精彩。

深交所

深圳證券交易所新一代監察系統圍繞異常交易行為監管、違法違規線索篩查等核心業務，全面支持交易監控、調查分析、業務研究的一體化監管工作，遵循“安全高效、持續演進、主流開放、自主可控”的設計原則，打造了安全高效、靈活易用、具備較高包容性的分佈式架構技術系統。

實時監控平臺是監察系統的核心子系統。從架構設計、核心技術、計算能力、高可用和容災設計等多方面考察，認為 Flink 能夠代表實時計算技術的未來趨勢，是實時監控平臺技術路線的最佳選擇。與 Storm 比較，Flink 提供了強大的狀態管理機制，更加友好的編程接口以及 Exactly-Once 語義；與 Spark Streaming 比較，Flink 提供了更加強大的窗口計算能力，並且在性能上更加能夠滿足低時延的要求。

Flink 幫助應用管理狀態，自動保存狀態（Checkpoint），並提供多種後端實現。當應用需要維護大量狀態時，可使用 RocksDB 狀態後端，大大降低內存開銷，緩解 GC 問題。在故障時，能夠將應用狀態恢復到最近一個檢查點。

Flink SQL 強大的表達能力大大降低了流計算業務開發的門檻，可滿足監察系統的實時統計和實時告警業務 80% 以上的開發需求。擴展 UDF、UDAF、UDTF，實現特定的業務功能性函數，進一步簡化了業務研發。

Flink 窗口計算支持業務時間（Event Time），支持全量計算和增量計算等模式，優化的內部算法讓性能指標十分出色，方便實現區間值指標計算。

Flink 基於 Chandy-Lamport 分佈式快照算法，實現了自動故障處理。在系統出現故障時，作業可以從最近的一個狀態快照中恢復並繼續運行，且能保證內部數據處理的 Exactly-Once 語義。為監察系統實現高可用的分佈式實時計算平臺提供牢固的基礎。

2019 年深交所與阿里巴巴實時計算團隊簽訂合作協議。新一代監察系統的實時計算平臺已安全、可靠地運行了近 300 天。截至 2020 年 4 月底，原始業務消息數量平均達 5千多筆/秒，峰值達到 120多萬/秒，關鍵業務統計、監察報警計算平均耗時百毫秒，為核心監察實時業務提供了強有力的支撐。

[1] https://www.leiphone.com/news/201705/ZVhqW69XRJaKe3cD.html
[2] https://www.infoq.cn/article/wIwa7N6sFBR4QV-ScOgO

實時計算 Flink 版產品交流群

阿里雲實時計算Flink - 解決方案：
https://developer.aliyun.com/article/765097
阿里雲實時計算Flink - 場景案例：
https://ververica.cn/corporate-practice
阿里雲實時計算Flink - 產品詳情頁：
https://www.aliyun.com/product/bigdata/product/sc