大數據

納米鏡系列文章|智能切面分析

閒魚技術-仝輝

背景

       大數據時代,閒魚在實際運營過程中缺乏深入的數據驅動分析能力。我們希望通過引入納米鏡來提供更加全面的數據分析能力,為運營解決業務痛點問題。運營分析存在以下痛點:運營分析存在一些痛點:

       1)對於歷史數據缺乏積累,運營A離職,運營B重複做相似實驗,運營B離職,運營C重複做實驗的死循環。

       2)缺少對現有活動細緻分析的能力,例如實驗A整體指標效果不明顯,但是對於子切面A1和B2的組合下效果很好,高於整體水平。


TB181CQw1H2gK0jSZFEXXcqMpXa-1124-684.png


       針對這些痛點,推出了納米鏡數據分析平臺,針對過去和現在的運營活動做更細緻地分析,輔助運營更好地做出決策分析。

       本期主要分享納米鏡的決策分析能力--智能切面分析,功能是找到指標提升效果最顯著的人群切面組合,幫助運營快速找到較合理的子人群,
從而做進一步的干預,例如子人群放大投放等。

智能切面分析

智能切面分析包含了兩個部分:

  1)活動指標切面分析: 找出活動本身效果最好的切面組合

  2)AB桶效果切面分析: 找出實驗桶和對照桶差異最大的切面組合

活動指標切面分析

活動指標切面分析目的是找出活動本身效果最好的切面組合,給出的分析結果:

  1) 獲取效果最顯著的人群切面組合,並給出每個人群切面下的指標結果

  2) 給出每個切面下最小樣本量,小於最小樣本量則結果有一定的偶然性和不確定性

獲取這些分析結果的具體步驟如下:

  1)分析數據:輸入幾十個切面和單個分析指標。切面:例如性別、年齡、職業等,指標:例如購買率、發佈率、次留率等。

  2)相關分析:分析切面和指標,切面和切面的相關性,剔除一些強相關的切面。例如7天內購買數量和14天購買數量這兩個切面如果存在強相關性只需要留一個就可以了。

  3)聚類分析:將切面的連續型數值通過聚類算法聚類成離散的類別。

  4)信息增益率計算:計算信息增益率最大的切面,並在這個切面的基礎上遞歸獲取最大信息增益的切面。

  5)剪枝:小於人數和增益率的閾值,則剔除子節點。

  6)獲取最佳切面:分析切面有效性,計算最小有效樣本量。


TB1FzYsxkT2gK0jSZFkXXcIQFXa-392-1008.png

       我們會從幾十個切面,例如職業、點擊數、性別、年齡、消費水平等等幾十個切面中進行切面分析,得到指標最優的切面組合。給出的結論如下所示(考慮到數據安全,以下數據非真實數據,僅供參考):

       活動命中人數1000000,活動整體(是否當日新購買)指標為5%, 其中年齡區間=20~30歲,性別=女性,人群切面的活動效果最佳(該切面人群數量為200000,最小樣本量為10000,指標值為10%),後續可以根據人群切面的效果做策略調整。


TB1txyixHY1gK0jSZTEXXXDQVXa-1674-686.png

AB桶效果切面分析

       AB桶效果切面分析目的是找出受到活動印象最大和最小的切面組合。基於AB實驗的人群切面數據差異對比,我們可以對正向影響人群做放大投放,對負向影響人群減少投放。

       例如,活動指標切面分析購買率最高的切面:年齡區間=20~30歲,性別=女性,人群切面的活動效果最佳。這時候只能證明這個活動切面是購買意願最強的,不能證明是否是活動帶來的增量。例如在活動指標切面分析中發現年齡區間=20~30歲,性別=女性的切面效果是最好的,但是不是活動帶來增量最大的切面,帶來活動增量最大的切面是年齡區間=30~40歲,性別=女性。


TB1Y6WjxQT2gK0jSZPcXXcKkpXa-1412-1098.png

AB桶效果切面分析具體步驟與活動指標切面分析類似,具體如下:

  1)分析數據:輸入幾十個切面和單個分析指標。切面:例如性別、年齡、職業等,指標:例如購買率、發佈率、次留率等。

  2)相關分析:分析切面和指標,切面和切面的相關性,剔除一些強相關的切面。例如7天內購買數量和14天購買數量這兩個切面如果存在強相關性只需要留一個就可以了。

  3)聚類分析:將切面的連續型數值通過聚類算法聚類成離散的類別。

  4)選取合理的切面組合:選取切面組合,計算最小有效樣本量,設置閾值剔除人數過少和不滿足最小樣本量的切面組合。

  5)獲取最佳切面:獲取差異最大和最小的切面組合。


TB17byixND1gK0jSZFsXXbldVXa-414-860.png

       通過以上的AB桶效果切面分析,我們就能拿到活動給各個人群切面帶來的正負向影響。對切面30~40歲,性別=女性人群加大投放,對於沒有明顯提升效果的人群減少投放。

結果

       納米鏡現在可以分析閒魚線上已有的活動,包括222、紅包、導賣活動等。運營只需要輸入活動ID和對應分析的時間,即可通過交互界面分析得到相關的結果.考慮到數據安全,已經隱去了相關敏感字段, 分析結論示例如下:

活動指標切面分析結論

活動命中人數xxx,活動整體(是否當日新購買)指標為4.77%, 其中用戶年齡=xxx人群切面的活動效果最佳(該切面人群數量為xxx,指標值為5.71%)
查看全部切面

AB分桶效果切面分析結論

是否當日新購買指標在以下3個切面的提升最大,分別是:

1、桶xx(人數xxx 指標值5.62%)相比桶others(人數xxx 指標值4.86%)在切面是否敏感人群=1,30天內買家身份互動過的天數=xxx提升了0.76%(該置信度最小人數為xxx)

2、桶xx(人數xxx 指標值5.72%)相比桶others(人數xxx 指標值4.91%)在切面是否敏感人群=1,是否當天新會員=0提升了0.81%(該置信度最小人數為xxx)

3、桶xx(人數xxx 指標值5.73%)相比桶others(人數xxx 指標值4.91%)在切面最近30天的訪問天數=x,是否敏感人群=1提升了0.81%(該置信度最小人數為xxx)去修改活動的投放人群

展望

       本文介紹瞭如何對運營活動進行切面分析,活動指標切面分析可以幫助運營分析現有活動在哪些人群切面下效果最佳,AB桶效果切面分析可以分析在哪些切面下活動提升的效果最佳。但是現在的這些運營分析必須建立在活動已經投放的基礎上才能進行復盤,還是存在著活動迭代週期長的問題。

       後續,我們希望可以通過利用已有的知識,仿真運營結果,幫助運營降低運營成本和減少活動迭代週期。

Leave a Reply

Your email address will not be published. Required fields are marked *