人工智能們再也不用擔心撞上玻璃櫥窗了

--------點擊屏幕右側或者屏幕底部“+訂閱”，關注我，隨時分享機器智能最新行業動態及技術乾貨----------

△ 圖左為目標場景，圖右黃色部分為玻璃檢測

自動送貨車撞上玻璃、掃地機器人撞碎玻璃傷行人……如今這些事件也即將成為過去式。

大連理工大學等單位研發了一個玻璃檢測神經網絡，能夠利用AI在真實環境下檢測玻璃。

從圖中可見，神經網絡能很好地將玻璃從實際場景中分割出來。

但事實上，玻璃檢測絕非想象中那般簡單，不僅因為它幾乎是透明的，而且還具有反射性。

更何況，玻璃並沒有固定的形狀，無法根據外形判定某一區域是否存在玻璃。

既然如此，為什麼人眼能這麼準確地判定出玻璃的存在呢？

研究發現，人眼不僅能通過玻璃內外部顏色的差異來判斷玻璃的存在，還能根據反射產生的光斑或重影發現玻璃。

這給了研究者們很大的啟發，並最終設計了名為大視場上下文特徵融合（ Large-field Contextual Feature Integration ，下簡稱 LCFI）的模塊。

△ LCFI模塊構造

LCFI 模塊用來同時提取高級語義特徵和顏色紋理等低級特徵兩種上下文特徵，用於檢測真實場景中玻璃的存在。

為了提取大量上下文信息，通常的做法是採用大卷積核或進行擴張卷積，但前者會導致大計算量，後者則會稀疏採樣。

而且，這兩種方法並非最優。

△ 實驗對比效果

研究發現，採用非局部運算（non-local）可以同時解決這兩個問題，便有了 LCFI 模塊。

LCFI 模塊採用空間可分離卷積，從水平和垂直兩個維度分別對圖像進行卷積。

由於圖像中玻璃區域的信息非常複雜，且與非玻璃區域有一定的相似度，為了消除這種歧義，模塊將再進行一遍卷積，不過這次是先從垂直、再從水平維度提取互補的上下文特徵。

最後，將提取的特徵進行融合。

而這個 LCFI 模塊，是玻璃檢測神經網絡 GDNet 中最核心的部分。

△ GDNet 網絡示意圖

GDNet 網絡整體工作原理如下：

第一步，使用預訓練的 ResNeXt101 網絡用於多級特徵提取，目的是獲得各種級別的特徵。
第二步，在網絡最後嵌入四層 LCFI 模塊，目的是進行各級別大視場內上下文的特徵學習。
第三步，將其中三個 LCFI 模塊的輸出通過注意模塊（Attention Module）進行連接和融合，目的是生成大視場內上下文的高級特徵。
第四步，從這些高級特徵中學習 Attention Map，目的是引導大視場內上下文的低級特徵（例如第一個 LCFI 模塊的輸出），以將更多注意力集中在玻璃區域。

最後，通過級聯和注意力機制，合高級與低級特徵，目的是生成最終的玻璃特徵圖。

GDNet 的創新之處在於，它設計的 LCFI 模塊採用空間可分離卷積，更好地獲取了圖像中有關玻璃的特徵。

雖然此前也有關於玻璃的目標檢測研究，但基本集中在玻璃杯、器皿這樣的小型玻璃物體上，檢測方法也多從物體的形狀入手。

這次研究通過玻璃本身的特徵，設計了具普適性的玻璃檢測網絡，能有效防止自動駕駛車輛對玻璃幕牆或玻璃門進行誤判，避免發生碰撞事故。

除此之外，對於機器學習中的深度預測、場景理解和去反射等技術任務，也有著重要的意義。