BERTのMasked Language Modelを用いた二文間の接続関係の推定

趙 一; 曹 鋭; 白 静; 馬 ブン; 新納 浩幸

お知らせ

2022.01.28 「抄録データの自由利用開始に伴う著作権許諾のお願いとお知らせ」を掲載しました。
2022.01.25 「国立国語研究所論集」第22号を公開しました。
2022.01.11 「言語資源活用ワークショップ発表論文集」2021を公開しました。
2021.11.15 「BCCWJ 新聞記事ジャンル別語彙表」を公開しました。
2021.11.15 「BCCWJ 書籍ジャンル別語彙表」を公開しました。

WEKO


	トップ


	ランキング

Language

インデックスツリー

インデックス

言語資源活用ワークショップ発表論文集

言語資源活用ワークショップ2020発表論文集

Permalink : http://doi.org/10.15084/00003158

BERTのMasked Language Modelを用いた二文間の接続関係の推定利用統計を見る

File / Name	License
LRW2020_19_P-3-2.pdf
LRW2020_19_P-3-2.pdf (665.71KB) [ 198 downloads ]

JaLC DOI	info:doi/10.15084/00003158
タイトル(英)	Estimation of Connection between Two Sentences by Using the Masked Language Model of BERT
アイテムタイプ	会議発表論文 / Conference Paper
言語	日本語
キーワード	毎日新聞記事
キーワード(英)	Mainichi Shimbun articles between 1993 and 1998
著者	趙一曹鋭白静馬ブン新納浩幸 / シンノウヒロユキ ( 科研費研究者番号: 10250987 , researchmap: read0065655 )
著者(英)	Yi Zhao Rui Cao Jing Bai Wen Ma Hiroyuki Shinnou ( 科研費研究者番号: 10250987 , researchmap: read0065655 )
著者所属	茨城大学茨城大学茨城大学茨城大学茨城大学
著者所属(英)	Ibaraki University Ibaraki University Ibaraki University Ibaraki University Ibaraki University
会議概要（会議名, 開催地, 会期, 主催者等）	会議名: 言語資源活用ワークショップ2020, 開催地: オンライン, 会期: 2020年9月8日−9日, 主催: 国立国語研究所コーパス開発センター
抄録	BERTのMasked Language Modelを利用すると，文中のマスクされた単語を推定することができる．またBERTは２つの文s1とs2を入力できる．そこでs2の直前にマスク単語を置き，”[CLS]s1[SEP] [MASK]s2[SEP]”の形の文をBERTに入力し，BERTから推定される[MASK]の単語から文s1と文s2の接続関係を推定することを試みる．具体的にいくつかの接続詞を準備し，[MASK]がそれら接続詞となる確率を求めることで二文間の接続関係を推定する．実験では[MASK]の部分が実際に対象の接続詞であった文とその前文を利用して，マスクされた接続詞を推定できるかどうかの実験を行った．また教師あり学習で本タスクを解いた場合との比較も行った．
雑誌名	言語資源活用ワークショップ発表論文集
雑誌名(英)	Proceedings of Language Resources Workshop
巻	5
ページ	181 - 188
発行年	2020
関連サイト	言語資源活用ワークショップ2020
フォーマット	application/pdf
著者版フラグ	publisher
出版者	国立国語研究所

コンテンツのご利用について

本リポジトリに登録されているコンテンツの著作権は，執筆者，出版社（学協会）などが有します。本リポジトリに登録されているコンテンツの利用については，著作権法に規定されている例外（私的使用や引用など）の範囲内で行ってください。著作権の例外を超える利用を行う場合には，著作権者の許諾を得てください。

LINK

検索

国立国語研究所

外部リンク

お問い合わせはこちらへ

COUNTER