客戶簡介
廈門點觸科技股份有限公司，新三板掛牌企業（股票代碼：870702），成立於2013年，是一家以歷史養成類遊戲研發與發行為主，專業從事手機遊戲的策劃、研發製作、商業化運營的創新型發展公司。目前已經成功研發出《叫我萬歲爺》、《我在大清當皇帝》、《Game of Sultan》、《皇上吉祥》等多款歷史題材類遊戲並深受玩家喜愛。覆蓋了全國及港臺、東南亞等部分海外市場。
業務挑戰
- 某些惡意用戶利用信用卡或者別的漏洞刷單（代充），系統需要實時查詢多種日誌（比如登入日誌，充值日誌等）從而識別並攔截遊戲代充訂單，才能避免損失代充訂單的錢。
- 隨著業務快速發展，用戶行為日誌快速增長，需要從海量的點擊流日誌和激活日誌中挖掘數據的價值，比如廣告轉化率、激活率，每安裝用戶成本等等。
- 原來使用Greenplum做實時計算和統計分析。但是Greenplum存在以下缺陷，難以應對業務的快速發展：
- Greenplum架構難以應對日益複雜的計算任務；
- Greenplum的單表分區數目有限制，同時多級分區支持不夠友好，不適用單表數據量比較大且需要永久保存的日誌，如果單個分區表數據量比較大的時候查詢性能無法滿足業務性能需求；
- Greenplum擴容時由於數據要重分佈會比較慢；
- Greenplum不適合處理非結構化的數據。
解決方案
選擇阿里雲HBase SQL服務(Phoenix)+ Spark服務構建實時計算和數據倉庫解決方案。
- HBase SQL提供在線查詢能力、Spark提供流式處理、複雜分析等能力來滿足業務需求；
- 梳理業務數據，對數據進行分層存儲在HBase SQL(Phoenix)+Spark中：
- 操作數據層：手遊客戶端、用戶中心、廣告監測、遊戲服務器等產生的原始日誌；
- 數據明細層：【操作數據層】使用Spark Streaming等進行數據去噪、去重、字段規範後寫入HBase SQL服務，也可以直接使用JDBC寫入數據；
- 數據彙總層：【數據明細層】的數據可以定期（按天或者按小時）ETL（比如關聯維表、過濾、聚合）後寫入到【數據彙總層】。數據彙總層的數據供後續的複雜分析；
- 應用數據層：直接對外提供數據查詢服務（基於HBase SQL服務）支撐上層大數據風控、廣告推薦、海量數據精細化運營；【數據彙總層】的數據經過處理後會把結果數據寫入到HBase SQL中對外提供查詢服務。
客戶價值
- 毫秒級識別攔截代充訂單。HBase SQL(Phoenix) 高併發實時讀寫，TPS可達百萬量級，併發十萬量級，毫秒級簡單查詢；
- Spark優秀的計算能力。同樣作業Spark基於列式存儲Parquet的分析在數據量大的情況下比Greenplum集群有10倍的性能提升。支撐了廣告轉化率、激活率，安裝用戶成本，數據驅動精細化運營等業務計算需求；
- 一站式解決方案。Spark服務原生支持通過SQL讀取HBase SQL(Phoenix)數據能力，具備列裁剪、謂詞下推、分區裁剪等優化；高效地把HBase SQL在線庫的數據ETL後歸檔到Spark數據倉庫；
- 聚焦業務。全託管的Spark服務保證了作業運行的穩定性，釋放運維人力，同時數據工作臺降低了Spark作業管理成本。