1.需求定位
1.1常見痛點
- 速度 – 慢，基礎設施構建和集群搭建週期長。
- 成本 – 高，硬件要求高，一次性成本高，額外費用比較多，付費模式單一。
- 彈性 – 無，難以快速應對業務和數據爆炸性增長。
- 安全 – 沒有可靠的防護體系，認證、數據安全差，無法規避風險。
- 運維 – 強依賴於運維團隊，運維能力要求高。
- 技術 – 有需求無實力，技術能力薄弱，大數據開發成本高，能力要求比較高。
- 容災 - 異地或者多集群容災成本過高 ，幾乎不會考慮。
- 解決方案 – 缺少解決方案，沒有經驗，容易走錯路。
- 服務 – 自給自足 ，解決問題能力弱，低效不專業。
1.2定點排除
- 快速 - 互聯網最新技術開箱即用。
- 成本 - 按需使用，更低的試驗和創新成本。
- 彈性 - 業務爆炸性增長輕鬆應對。
- 安全 - 可靠的防護體系，完善的合規認證規避風險。
- 專業 - 行業領先的解決方案。
- 標準 - 更容易標準化和自動化，方便運維。
- 規模 - 全球化的部署，更快的全球業務擴展。
- 解決方案- 覆蓋度最高最全的解決方案，最佳實踐。
- 服務 – 專業的支持和服務團隊，SRE全程護航。
2.大數據上雲
2.1上雲前
- SRE諮詢
使用戶熟悉雲上服務體系與各個產品團隊對接人，減少溝通成本，推動上雲進程。 - 應用架構諮詢
收集用戶部署架構，後期提供雲上軟件棧選型、硬件規格選用、region資源規劃。 - 大數據應用諮詢
基於用戶架構、規格和業務場景，提供雲上產品對接最佳實踐。 - 上雲解決方案
產品選型，自建組件對應遷移方案以及用戶業務場景進行項目摸底，最終確定部署方案。
2.2上雲中
- 雲上基礎設施
專線規格開通與部署、IDC雲上網絡互通等大數據運行環境部署。 - 規格測試選型
評估硬件環境，資源規劃，對計算平臺進行算力壓測tpcd-h，也可以根據用戶集群規模選型。 - 平臺運維及培訓
提供產品使用須知和demo最佳實踐，根據業務流節點特性進行作業配置，日誌查詢，運行測試等。 - 應用改造
ETL數據計算過程中，將開源語句諸如zakaban、MR等進行改造（pyodps限制、java沙箱、3個版本支持的數據類型、與其他sql語法差異、類型轉換與支持、分區限制、sql使用限制、子查詢限制、odps客戶端常用命令及限制）。 - 大數據應用遷移
用戶原應用系統，如：客戶畫像，產業報表等系統作業上雲測試部署。 - 存儲上雲實施
根據遷移方案&遷移工具使用，將如hbase，hive，hdfs，kafka等自建源數據遷移計算平臺。 - 大數據展現實施
結合quick bi將計算過濾後的數據可視化展現，用於分析。
2.3上雲後
- 彈性優化實施
emr節點算力資源task支持彈性調動。 - 計算存儲分離
計算平臺數據存儲方式OSS+Jindofs模式。 - 資源規格優化
需要通過實際計算量判斷。 - 網絡優化實施
公、私網結合方式。
3.上雲方案
3.1整體方向
企業畫像-->部署架構，即根據用戶業務平臺+大數據使用情況/平臺（ETL使用與配置情況）+數據源（結構化&非結構化）構思部署雲上計算產品部署結構，包括：數據源-->數據接入-->數據處理-->數據服務-->應用。
3.2方案推薦
（1）機器集群選型
根據客戶畫像+企業標籤形式，在機器選型上給出推薦。
如：用戶大數據團隊為開源計算，具備一定計算組件的開發能力，且更多原意接觸自建的工作模式--EMR。
如：用戶大數據團隊能夠快速吸收新的計算引擎，對雲上計算平臺的產品配合與工作模式具有一定認識--ODPS。
（2）一站式實時數倉開發方案架構/數據分析
AnalyticDB +Dataworks--入門快、門檻低、開發簡單，大大降低運維成本。
數據源（如：日誌與業務數據）-->數據集成（批量、增量、實時）-->實時數倉引擎AnalyticDB-->數據治理。
（3）數據分析
MaxCompte +quickBI。
VPC（ECS、RDS）-->數據通道（SLS、flume、datax、dts）-->數據計算（MaxCompte）-->報表展示。
（4）存儲選型
OSS+Jindofs：數據高可用、成本低、性能高、通用性強。
作者：胡學鵬
阿里雲智能GTS-SRE團隊高級技術服務經理
阿里雲在線教育售後技術負責人，曾參與阿里雲多個頭部客戶的全站上雲護航工作，積累了豐富的大數據上雲護航經驗，現任阿里雲教育線TAM。
我們是阿里雲智能全球技術服務-SRE團隊，我們致力成為一個以技術為基礎、面向服務、保障業務系統高可用的工程師團隊；提供專業、體系化的SRE服務，幫助廣大客戶更好地使用雲、基於雲構建更加穩定可靠的業務系統，提升業務穩定性。我們期望能夠分享更多幫助企業客戶上雲、用好雲，讓客戶雲上業務運行更加穩定可靠的技術，您可用釘釘掃描下方二維碼，加入阿里雲SRE技術學院釘釘圈子，和更多雲上人交流關於雲平臺的那些事。
