--------點擊屏幕右側或者屏幕底部“+訂閱”，關注我，隨時分享機器智能最新行業動態及技術乾貨----------
2020年註定是不平凡的一年。開年伊始的新冠疫情打亂了所有人、行業、甚至國家的節奏。
人們通常把極端異常的事件成為“黑天鵝事件”，新冠這隻“黑天鵝”，不僅在爆發時讓人措手不及，人們為了遏制疫情而採取的措施，正在世界全方位的系統中產生巨大的連鎖反應，包括衛生健康、商業、金融、交通和旅行等等。
黑天鵝事件也給機器學習模型帶來了不小的挑戰。ML模型基於先前觀測到的數據，從而可以預測到未來的場景。然而，這些模型如今遇到的事件，和它們接受過的訓練卻大相徑庭。
以信貸和金融領域為首的許多企業組織中，運行著百餘個甚至上千個實時生產模型，這些模型對數據做出了錯誤的決策，進而會影響接下來的業務成效。未來幾天、幾個月可能出現問題的模型包括信貸、房屋定價、資產定價、需求預測、轉換/流失模型、零售公司的供求關係、廣告定價等等。
標準模型訓練過程會在模型中給出儘可能多的數據，幫助其適應通用跨事件的數據結構，預測在訓練數據中未見過的場景是困難的。而真正的黑天鵝事件正是這樣，沒法在其他事件中學習結構，靠人們去填補數據和模型的空白。那該怎麼辦?
本文將試圖給出答案。事實上，已經有一些出色的實踐，通過對生產模型進行強有力的監視、分析和故障排除來掌握離群值事件。
當前的環境有多極端?
極端到了極點了。
從天氣、失業率、交通模式、用戶支出等輸入特性數據進入生產模型時，你會發現這些數據與模型的訓練數據相差甚遠。
首先看看剛剛發佈的失業率數據。申請失業人數高達328萬，比第二峰值高出4-5倍，是西格瑪事件的25倍不止。
美國就業與培訓管理局1995年至今圖表
任何使用失業數據作為輸入並依此做出決策的模型，都使用了超出預期值20個希格瑪的特徵。而這是每10萬年才會發生一次的事件!這只是系列極端事件中的一個，並且被應用於日常商業決策的模型中而已。
模型不可能完美處理所有預期外的輸入。因此，重要的是考慮整個系統處理這些輸入的彈性程度，以及出現問題時排除故障的能力。
團隊最重要的事情是擁有可觀測的模型;不會觀測，就學不會適應。這意味著要對模型決策進行檢測和分析。
模型可觀測性要求：
- 能檢測到異常值的事件，並自動展示
- 能把離群值事件和用於排除模型故障反應的分析相聯繫
很明顯，失業數據將徹底散亂分佈。
再來看看汽車交通的數據：
素材來源：TomTom International
上圖為紐約3月18日至3月24日的交通量，交通量已經跌至每日交通量的20%，去往任何地方的交通量都跌為先前的1-10%。
降幅遠超預期中的日值，而這只是模型預期值的一小部分。
素材來源：TomTom International
邁阿密的交通量並沒有像紐約下降的那麼多。看起來邁阿密的居民並沒有像紐約那樣積極採取隔離措施。在這種情況下，進行城市特定預測的ML模型，在使用交通量作為輸入時，會因為城市的不同而產生變化。
模型可觀測性要求：
- 能監控到輸入數據的分佈偏移
- 模型輸入強有力的剪切和過濾能力
從目前的表現看，面對冠狀病毒帶來的影響，AI並沒有做好準備。天氣預報不準確，銀行也認為人工智能模型可能無法應對市場低迷。
在極端時期建立彈性機制
對於突逢鉅變的企業來說，目前正應用於生產的AI/ML模型所依據的訓練數據，與現如今的情況大不相同。
當模型以前沒有經歷過這些情況時，企業應該怎麼做呢?當過去與現在脫節，我們該如何預測未來?
圖源：unsplash
新冠狀病毒持續影響許多人類系統，利用AI/ML的企業將不得不在其生產環境中建立彈性機制。模型性能會不斷波動，企業需要對生產模型進行實時監控，瞭解模型輸入是如何變化的，以及模型在哪些方面仍有欠缺。
輸入的東西必須反應在輸出
一切要從輸入數據用於生成預測的模型開始。
如果這個罕見事件和其他極端事件有相似之處，那麼就有辦法將預測結果組合，創建基準週期並進行分析。
如果罕見事件在輸入數據結構後，與訓練集中的任何其他數據組都沒有關係，那仍然需要監測它是如何影響模型的。
在新冠病毒肺炎的案例中，這些場景並非單次的異常值，而是出現在世界各地不同城市，呈數以百萬計的快速發展趨勢，每個趨勢都有不同的時間線和反應。展開情景的規模需要大量不同的分析和檢查，跨越許多不同的預測子群。
以下是AI/ML模型在生產中應該具備的輸入級觀測:
輸入檢查，以確定特性的值和分佈是否與正常基準週期大相徑庭
檢測模型最敏感的特性是否已經發生了巨大的變化
檢測用於確定特性與訓練集之間的差距的統計數據
檢查單個事件或少量最近發生的事件，發現分佈問題
圖源：unsplash
模型反應怎麼樣?
瞭解輸入發生的變化後，接下來要監視的就是模型如何對極端輸入做出反應。
檢查特定預測子類的模型性能，諸如能源、航空或旅遊業等某些行業可能面臨的重大風險，需要針對不同的預測組進行快速的在線檢查。
利用以前產生最壞情況的情景和基本情況的情景，然後與結果進行比較。實時監控收到的每個新的真實事件，獲得真實世界預測的反饋。如果由於時間滯後，無法得到真實世界的反饋，可以使用代理度量標準，這樣可以通過預測和測量來決定模型的性能。
極端環境下ML模型生產的最佳實踐
在Arize人工智能，我們每天都在思考ML的可觀察性和彈性，目的就是在這個不確定的時期把我們的一些經驗傳授給更多的團隊。
ML生產模型的最佳實踐離生產軟件的最佳實踐並不遙遠，只需構建可觀測工具，以瞭解當模型或軟件激活時會發生什麼，在其影響客戶之前捕捉到會發生的問題。
從在許多公司部署的AI/ML模型背景來看，我們正在分享這些極端環境下生產ML模型的一些優秀實踐。
1. 跟蹤和識別異常事件
這包括跟蹤輸入數據和異常事件的模型性能。在為未來的極端環境收集訓練數據時，給這些事件加註釋，篩選異常事件是大有幫助。考慮是否將異常事件包括在數據中，以便將來進行模型訓練也很重要。這個模型將積極應對未來的極端情況，但它也可能認為極端情況是新的常態。
2. 決定模型後備計劃
在過去，當模型沒有什麼可以學習的時候，它在做什麼?
瞭解模型在過去極端環境中的表現，有利於理解模型現在是如何執行的。如果模型表現不佳，你能根據最後的n分鐘或n天設置一些簡單的預測，並將模型表現與這個簡單模型進行比較嗎?
3.尋找相似的事件
能夠觀察過去類似的事件為當前的情況建立相似的模型嗎?例如，如果模型採用了失業數據作為輸入，或許可以利用類似的經濟衰退時的失業數據，比如2008年的經濟衰退。
4.建立多樣化的模型組合，比較模型的性能
對外部世界做出反應的實時模型，如今可能比批量預測表現得更好。擁有多樣化的模型組合，使團隊能夠將模型性能及路由流量，與能夠更好應對極端環境的模型進行比較。
5.模型性能無法改善時，瞭解模型預測的不確定性。
有時候可能並沒有好的模型，這種情況下，如何知道你的模型有多不確定嗎?此時，可以利用貝葉斯方法返回模型的預測及其置信水平。
監測是最重要的。馴服“黑天鵝”，或許不是天方夜譚。
原文鏈接：https://ai.51cto.com/art/202004/615095.htm
文章轉自51CTO，本文一切觀點和《機器智能技術》圈子無關