BERTのMasked Language Modelを利用すると,文中のマスクされた単語を推定することができる.またBERTは2つの文s1とs2を入力できる.そこでs2の直前にマスク単語を置き,”[CLS]s1[SEP] [MASK]s2[SEP]”の形の文をBERTに入力し,BERTから推定される[MASK]の単語から文s1と文s2の接続関係を推定することを試みる.具体的にいくつかの接続詞を準備し,[MASK]がそれら接続詞となる確率を求めることで二文間の接続関係を推定する.実験では[MASK]の部分が実際に対象の接続詞であった文とその前文を利用して,マスクされた接続詞を推定できるかどうかの実験を行った.また教師あり学習で本タスクを解いた場合との比較も行った.