大數據

對話智能的前沿研究和大規模應用雲講座

講座聚焦對話智能,介紹了達摩院在對話智能方面實施的技術方案以及大規模應用。依託豐富的實施經驗和多年的技術沉澱,達摩院對話智能在自然語言理解、多輪對話管理、智能問答、多模態對話等多個領域取得了不錯的效果,其智能客服機器人已經大規模應用於金融、政務、醫療、運營商等多個行業。
李永彬老師以2020年1月疫情爆發初期達摩院研發的“疫情防控智能服務平臺”為例,生動講述了對話智能的難點和解決難點的技術。“疫情防控智能服務平臺”包含疫情智能外呼、疫情文本智能機器人、熱線智能導航等功能,可以解答“溫州北高速收費站是否可以通行”等問題,可以幫助衛健委疾控部門對與確診病例同乘交通工具的人員開展14天跟蹤排查,服務於全國57個城市,累積外呼1600萬,多輪對話完成率90%以上,成為全國最大的智能外呼平臺。

疫情防控智能服務平臺在搭建過程中存在三個難點:一是如何解決低資源小樣本下的理解問題;二是如何解決帶推理的深層語義理解問題;三是如何讓規則化的多輪對話管理具備數據學習能力問題。
針對如何解決低資源小樣本下的理解問題,達摩院首次將Few-shot learning小樣本學習技術引用到對話系統。小樣本學習技術適用於場景應用具體但訓練樣本少的情況。其訓練過程是從龐大的數據集中每次採樣較少的類,每個類採樣K個樣本(小樣本)構成訓練集,從剩餘樣本中構建測試集,由此形成元任務進行分類學習。小樣本能夠訓練的關鍵在於整個數據集數量龐大,雖然每輪訓練的樣本少,但可訓練的輪數多,因此小樣本訓練模型具有強大的泛化能力。該技術初期用於圖像領域包括孿生網絡、匹配網絡、原型網絡、關係網絡等,達摩院將小樣本學習在圖像領域的應用總結提煉出“編碼—歸納—關係”的框架,把樣本數據編碼為樣本表示,再結合語義歸納為類表示,最後根據語義關係計算得到結果。

為了解決自然語言處理在歸納能力和記憶能力方面效果不佳的問題,達摩院提出歸納機制,引入膠囊網絡的表達方式和動態路由的計算算法,構建從“樣本表示”到更抽象的“類表示”的歸納機制。在記憶能力方面,達摩院提出動態記憶機制,設計出動態記憶方法使用全局記憶來解決小樣本遺忘問題,設計尋找增強歸納方法對尋找要素進行樣本匹配,找出最相關的樣本,解決樣本多樣性難歸納的問題。實驗表明,歸納機制和動態記憶機制在英文公開數據集和中文意圖分類數據集上都取得了最好效果。

針對如何解決帶推理的深層語義理解問題,達摩院設計了CoAMR Parsing算法深層次理解語義。鑑於AMR抽象語義表示體系的特點——以概念為中心便於對語義進行抽象和後續理解,具有相對完整的語義關係體系,達摩院吸收了AMR的優點,設計了面向人機對話的抽象語義表示CoAMR,同時簡化修改通用概念以及建立核心關係和非核心關係的語義體系,解決了AMR模型複雜的問題。在對具體場景數據進行標識的基礎上,使用CoAMR模型進行深層語義的訓練。

針對如何讓規則化的多輪對話管理具備數據學習能力的問題。達摩院發現,多輪對話訓練的核心難點在於訓練數據獲取難、標註難。因此在數據獲取方面,達摩院引入用戶模擬器,使得對話機器人和用戶模擬器互相對話,兩個機器在對話中產生大量的標註數據,突破了數據約束。在數據標註方面,引入多場景知識遷移模型,實現了對話管理模型的遷移學習,在小樣本模型下效果提升4-5個百分點。

最後,李永彬老師分析了對話智能的未來研究趨勢。李永彬老師分析認為,未來對話智能領域有七大研究方向:預訓練對話模型、多引擎統一對話、多模態對話、對話式營銷、複雜推理能力、符號知識和神經網路機制的融合、終身學習的對話智能系統。

本次講座技術內容豐富,兼具技術理論的前沿性和工業應用的實踐性,抓住當前自然語言處理的難點和技術處理路線進行了詳細分析,同學們紛紛表示收穫很大,並對感興趣的問題與李永彬老師進行了互動交流(彭文文錄)。

無標題.jpg

Leave a Reply

Your email address will not be published. Required fields are marked *