雲計算

操作審計日誌分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日誌

簡單瞭解原理

(1)在操作審計創建跟蹤可以將賬號下發生的雲上管控操作日誌持續投遞到SLS Logstore和OSS Bucket;
(2)在數據湖分析(DLA)服務,可以通過簡單的設置將操作日誌從OSS Bucket導入DLA。

dla-oss.png

DLA是一款基於Serverless的強大的交互式數據查詢分析服務,能夠便捷的對不同格式的數據源進行格式化整合並使用統一SQL查詢分析。將OSS Bucket 中的操作日誌導入DLA後,
(1)DLA將OSS Bucket內以Array形式保存的一行多條日誌記錄拆分為多條數據;
(2)DLA將以JSON保存的每條操作日誌轉換為結構化的數據表。
這使面向OSS Bucket的數據解析被大大的簡化,直接實現可視化的標準SQL分析。

需求背景.png

開始實踐

Step1:確認最佳實踐的前提條件

1、確認您已經在操作審計創建了跟蹤。如果還未創建跟蹤,請先完成創建賬號追蹤操作,並配置將操作記錄投遞到對象存儲(OSS)。
2、確認開通了DLA服務,請參見開通DLA服務

Step2:在DLA服務中創建Schema

1、登錄Data Lake Analytics管理控制檯
2、在頁面左上角,選擇與OSS所在地域一致的DLA地域。
3、單擊左側導航欄的數據湖構建 > 數據入湖,在數據入湖頁面單擊ActionTrail日誌清洗中的進入嚮導。
4、在ActionTrail日誌清洗頁面,根據頁面提示進行參數配置。

創建Schema_1.png

5、完成上述參數配置後單擊創建,創建Schema。
服務端預設的操作審計日誌Schema結構如下方表格所示。

1111111111111111111.png

Schema表結構介紹

表格長圖.png

Step3:開啟同步

Schema創建成功後,ActionTrail投遞到OSS Bucket中的日誌數據尚未同步到DLA中,DLA中尚未創建OSS日誌文件對應的表,您還需要通過單擊立即同步來創建表並同步表數據。
1、單擊立即同步啟動數據同步任務。

在配置頁簽下,單擊更新更新Schema配置。

立即同步.png

2、單擊表頁籤,查看數據同步情況。

元數據管理.png

數據同步到DLA以後,您就可以在DLA中使用標準SQL語法對ActionTrail日誌數據進行分析。

Step4:數據分析示例

1、單擊DLA控制檯左側 SQL執行 選項卡,選擇目標前面設置的數據庫。

SQL界面.png

2、輸入查詢語句,在這裡輸入單擊 同步執行

輸入SQL.png

3、得到查詢結果

查詢結果.png

您可以使用任何符合SQL語法的語句去對DLA中的日誌信息進行查詢。

常用查詢案例

案例1:查詢某個AK的操作日誌

1、輸入語句:select * from action_trail where user_identity_access_key_id = '你的目標AK' limit 20;

案例查詢1語句.png

2、單擊 同步執行 得到前20條符合條件的記錄如下

案例1查詢結果.png

案例2:查詢某個AK訪問某個產品的操作日誌
1、輸入語句,查詢AK為指定值,調用Ecs服務的記錄:select * from action_trail where user_identity_access_key_id = '你的目標AK' AND service_name = 'Ecs' limit 20;

案例查詢2語句.png

2、單擊 同步執行 得到前20條符合條件的記錄如下
案例2查詢結果.png

Leave a Reply

Your email address will not be published. Required fields are marked *