摘要: 在今年的 EMNLP 2017 上,臺灣大學黃意堯與加州聖塔芭芭拉大學 (UCSB)William Wang 教授有一篇合作論文被錄用。黃意堯撰寫了關於這篇論文的研究歷程,以供學習與參考。我們做了不改動原意的編輯與修改,將繁體字轉換爲簡體,並將一些臺灣常用表述轉換爲大陸的通用說法。

 


臺灣大學黃意堯:深度殘差網絡下的弱監督關係抽取

 

在今年的 EMNLP 2017 上,臺灣大學黃意堯與加州聖塔芭芭拉大學 (UCSB)William Wang 教授有一篇合作論文被錄用。黃意堯撰寫了關於這篇論文的研究歷程,以供學習與參考。我們做了不改動原意的編輯與修改,將繁體字轉換爲簡體,並將一些臺灣常用表述轉換爲大陸的通用說法。

論文名稱:Deep Residual Learning for Weakly-Supervised Relation Extraction

論文地址:https://arxiv.org/abs/1707.08866

近年來,越來越多人關注在關係抽取 (Relation Extraction) 的題目上,大部分的研究集中在使用更復雜、更結構化的神經網絡,並測量在 SemEval 2010 的關係抽取數據庫上。

但在這個數據庫上,最大的問題是數據太少,總共只有 10,717 條數據,導致大部分的模型參數不能太多,要不然會有過度擬合 (over fitting) 的現象發生。

相較於另一個數據庫,NYT dataset,總共有 695,059 條數據,採用半監督式學習:distant supervision 來收集數據。這個數據庫有足夠大的數量來進行大型神經網絡的實驗。

出於這個動機,本文進行大型神經網絡在 NYT dataset 數據庫的實驗,並提出深度殘差網絡來解決 distant supervision 帶來的噪聲干擾。

 

問題探討

 

我們使用卷積神經網絡來進行關係抽取,取經於計算機視覺與深度卷積神經網絡的成功,我們透過增加層數,來增加神經網絡的參數,希望可以幫助關係抽取的學習。結果如圖一:

 

臺灣大學黃意堯:深度殘差網絡下的弱監督關係抽取 | EMNLP 2017

 

圖一、各式卷積網絡的結果

但我們卻發現,使用 9 層卷積神經網絡 (CNN-9) 的效果,並沒有單層 (CNN) 的好。這個結果跟過往的經驗違背。我們猜測原因是,在 distant supervision 的數據裡面,有太多錯誤標籤的數據,這些數據帶來太多的噪聲,而這些噪聲隨著越深層的神經網絡而被放大,導致 9 層卷積神經網絡 (CNN-9) 的結果比單層 (CNN) 更差。爲了解決這個問題,我們使用殘差網絡,來幫助網絡的特徵學習。

 

殘差網絡在半監督式學習的應用

 

基於上面的實驗,我們知道淺層網絡在 distant supervision 的數據庫中,能學習到比較好的特徵。於是,我們設法讓淺層網絡的特徵,可以跳躍傳遞至深層網絡。

 

 

臺灣大學黃意堯:深度殘差網絡下的弱監督關係抽取 | EMNLP 2017

 

圖二,殘差網絡在關係抽取的架構

如圖二所示,我們使用擁有兩層卷積網絡的殘差區塊,將淺層網絡的特徵傳到較深層的網絡。特過這樣的設計,我們可以依照數據庫的大小,來堆迭網絡架構,讓網絡可以選擇較不被噪聲影響的那層網絡特徵來進行關係分類。

 

結果

 

這篇文章,提出一種,解決 distant supervision 噪聲對大型網絡影響的方法。在表一,我們可以看到,9 層的殘差網絡,與 state-of-the-art(PCNN+ATT) 的模型,有差不多的結果,並在高順位候選的關係上,有更棒的效能。證明,利用殘差網絡,可以在 distant supervision 的數據庫中,抽取更有用的特徵。

 

臺灣大學黃意堯:深度殘差網絡下的弱監督關係抽取 | EMNLP 2017

 

表一,殘差網絡與其它網絡結構的結果比較

 

結論

 

本篇文章提供讀者、研究人員可以在 distant supervision 的數據庫使用大型深度神經網絡。但要注意,此種半監督式學習的噪聲,會影響到實驗結果。利用殘差網絡可以解決這樣的問題,這篇文章在關係抽取的研究上,證明其結果。

 

文章趣事

 

本篇文章是我在加州聖塔芭芭拉大學 (UCSB),做交換學生時完成的作品。其實聖塔芭芭拉是一個充滿陽光,很美的海灘,每天都可以衝浪、曬太陽、玩水,加上當時課選很少的情況下,覺得生活過得太安逸,決定加入當時新晉教授 William Wang 的實驗室,學習相關領域的知識。但沒想到,我是實驗室前 5 個進來的學生,導致所有知識都要靠自己來,自己吸收與學習。幸運的是,教授有許多時間,跟我討論題目,但另一方面,我也好像在過一個博士班學生單獨奮鬥的生活,每天死盯著論文,想理解關係抽取到底發生了什麼事。很幸運地,最後我把文章完成,並且順利的投上 EMNLP。很感謝 William Wang 教授願意給我機會,與我進行大量的討論。William Wang 教授在知識圖譜的相關研究很厲害,有興趣的同學,可以申請到他的實驗室進行研究。

原文:https://arxiv.org/abs/1707.08866

項目:https://github.com/darrenyaoyao/ResCNN_RelationExtraction

 

William Wang 教授主頁:https://www.cs.ucsb.edu/~william

 

 

轉貼自: 幫趣


留下你的回應

以訪客張貼回應

0
  • 找不到回應

熱門標籤雲

每月文章