視覺技術作為人工智能之眼還在不斷地認識世界，認識的事物從少到多，從模糊到清晰，從認識到理解。每一階段都是一座里程碑，從人工智能流行之初，達摩院就對這個人工智能之眼有著深厚的興趣。本次向大家介紹，達摩院之計算機視網膜修復工程。
摳圖（matting）-作為計算機視覺理解認識事物的第一步，指的是從圖片中精確分割出其中的目標區域，計算機視覺需要從平面，3D等影像中扣出它需要認識的區域並且加以識別，而摳圖的精度則是其識別準確度的基礎，就像手不是人，車輪不是汽車，雲不是天空一樣，很好理解。摳圖的精度通常要求達到髮絲級處理精度，而傳統的摳圖，需要輸入額外的語義信息作約束，通常為trimap（前景、背景和不確定區域），且交互成本都極大。
達摩院又是如何走出從優化到應用的這一質變的過程？
蛻變
傳統摳圖是交互式摳圖，要求輸入trimap作為約束，即已包含有較準備的語義信息，如下圖2（b）所示，所需估計的是trimap中的灰色區域。對於無交互的人像摳圖，則是直接從輸入圖像中不帶任何約束地估計正確的語義信息及精準的alpha細節。提升模型效果的一個重大因素即大量精準標註的訓練數據，如果訓練數據不充分或分佈不均，極容易導致估計的語義信息不準從而影響最後摳圖結果的精度，如下圖2（d）所示。據此，達摩院提出了一種在不降低訓練效果前提下最大限度降低數據標註成本的方法，該方法使用了獲取成本較低的粗標註數據，以及部分精度較高的標註數據，實驗結果表明該模型的可以更好的估計語義信息，同時對髮絲細節的處理精度也很好，如下圖2（e）所示。
圖2:（a）輸入圖；（b）trimap（前景、背景、不確定區域）；（c）Deep Image Matting結果；（d）不使用粗標註數據結果；（e）同時使用粗標註數據和精確標註數據結果；（f）真實值。
破繭
為了在精確摳圖中使用非精確標註的數據，達摩院提出瞭如下的網絡框架。提出的模型框架分為三部分：粗mask估計網絡（MPN）、質量統一化網絡（QUN），以及精確alpha matte估計網絡（MRN）。該部分的設計理念為：複雜問題拆解，先粗分割（MPN）再精細化分割（MRN）。學術界有大量易獲取的粗分割數據，可以利用起來。但在實操過程中發現，粗分割數據和精分割數據不一致導致預期GAP很大，故而又設計了質量統一化網絡（QUN）。MPN的用途是估計粗語義信息（粗mask），使用粗標註數據和精標註數據一起訓練。QUN是質量統一化網絡，用以規範粗mask質量，QUN可以統一MPN輸出的粗mask質量。MRN網絡輸入原圖和經過QUN規範化後的粗mask，估計精確的alpha matte，使用精確標註數據訓練。
圖3:算法框架圖。算法框架包括三個部分：MPN，粗mask估計網絡；QUN，mask質量規範化網絡；MRN，精確alpha matte估計網絡
實驗結果
Baseline的對比：對比方法包括傳統的matting方法以及最新基於神經網絡的方法。訓練數據中包括一半精標註數據，一半粗標註數據。對比方法（除deeplab）由於算法限制只能使用精標註數據，因而只使用了精標註數據訓練。而達摩院的方法分別用只使用精標註數據以及同時使用精標註數據和粗標註數據進行了實驗。如下圖4結果表明，達摩院的方法在使用了粗標註數據之後，對複雜case的語義信息估計的要更準確，同時細節信息也估計的更好。
圖4: 實驗結果對比圖
在真實圖片結果的測試結果如下：
圖5:真實應用場景下人像摳圖的效果
達摩院的方法還可以應用到數據的精細化中，如果給定了粗mask，輸入達摩院的QUN+MRN網絡，可以直接得到精細化之後的數據，如下圖6所示，達摩院分別對公開數據集coco和pascal中的人像數據做了精細化。另外，達摩院也將達摩院的方法應用到其他類目的分割當中去，如商品分割、頭像分割等，也取得了不錯的效果，如圖7所示。
圖6: 粗標註數據用達摩院網絡進行refine後的結果
圖7: 其他場景的分割效果
化蝶
當一個技術在精度上有了質的提升，並且解決了成本問題，那麼它就達到了應用的門檻，達摩院將上述方法拓展到了商品、動物、汽車等行業做主體分割，並將技術落地成應用遍佈市場，單阿里巴巴集團內已覆蓋9大BU（優酷、淘寶、天貓、CBU/ICBU、阿里健康、Lazada、視頻雲、釘釘、支付寶）9大BU，魯班場景的商品摳圖轉化率高達80%+。
阿里雲視覺AI開發者創意應用賽向社會各界免費開放所有視覺AI技術接口，如人像分割、商品分割、頭像摳圖等。開發者可以任意使用達摩院的技術打磨自己的產品，或者將自己的產品在大賽中展出，作為主辦方，阿里雲將會為優秀的作品對接創業資源和孵化環境，更有總計近百萬的獎金和獎品等你來拿。
體驗地址：https://vision.aliyun.com/experience
大賽平臺：https://developer.aliyun.com/ai/activity/viapi?spm=a211p3.14921014.J_2252694630.5.514a46a07ZMiqM