論文中指出,以往關于ED的工作都是考慮如何提升模型的性能,而較少考慮模型的魯棒性和泛化能力,作者將模型的魯棒性和泛化能力定義為如下三條,并通過設計模型進行研究:
抗攻擊性能:當訓練數據中被加入擾動,會如何影響模型性能;
新類型的預測:模型能否預測出訓練集中未見過的事件類型;
事件類型的模糊性: 根據統計,70%的事件觸發詞能夠觸發不同類型的事件,如何正確識別出這些模糊性觸發詞在各自上下文中所觸發的具體事件類型。
基于以上問題,作者提出一種新的學習方式,主要包括一下兩部分:
Contextselective discriminative learning: 根據句子內部的不同words的重要性得到trigger的上下文表示,目標是基于trigger的上下文表示預測句子中被mask的trigger的事件類型。
Contextualized similarity learning:基于"相同類型的事件觸發詞應當具有相似上下文"的假設,以mask-contraining的句子對為輸入,如何輸入中的兩個句子表達的是同一事件類型,則訓練目標是使他們的masked triggers具有語義相近的上下文表示。
作者分別將本文的模型與以往的SOTA模型進行了對比實驗,證明了本文模型能較好地應對對抗攻擊、未知類型預測和事件模糊性區分的問題。
原文標題:【每日一讀】EMNLP2020:如何提高事件檢測(ED)模型的魯棒性和泛化能力?
文章出處:【微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。
責任編輯:haq
-
模型
+關注
關注
1文章
3464瀏覽量
49803 -
深度學習
+關注
關注
73文章
5547瀏覽量
122296
原文標題:【每日一讀】EMNLP2020:如何提高事件檢測(ED)模型的魯棒性和泛化能力?
文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
VirtualLab Fusion應用:光柵的魯棒性分析與優化
【「基于大模型的RAG應用開發與優化」閱讀體驗】+大模型微調技術解讀
自動駕駛中常提的魯棒性是個啥?

AI模型部署邊緣設備的奇妙之旅:目標檢測模型
深度學習模型的魯棒性優化
【大規模語言模型:從理論到實踐】- 閱讀體驗
智能駕駛大模型:有望顯著提升自動駕駛系統的性能和魯棒性

評論