@inproceedings{oai:repository.ninjal.ac.jp:00002582,
 author = {欧, 陽恵子 and 田中, 裕隆 and 曹, 鋭 and 白, 静 and 馬, ブン and 新納, 浩幸 and Shinnou, Hiroyuki and Ou, Yanghuizi and Tanaka, Hirotaka and Cao, Rui and Bai, Jing and Ma, Wen},
 book = {言語資源活用ワークショップ発表論文集, Proceedings of Language Resources Workshop},
 month = {},
 note = {会議名: 言語資源活用ワークショップ2019, 開催地: 国立国語研究所, 会期: 2019年9月2日−4日, 主催: 国立国語研究所 コーパス開発センター, BERTはTransformerで利用されるMulti-head attentionを12層（あるいは24層）積み重ねたモデルである。各層のMulti-head attentionは、基本的に、入力単語列に対応する単語埋め込み表現列を出力している。BERTの各層では低層から徐々に何からの情報を取り出しながら、その文脈に応じた単語の埋め込み表現を構築していると考えられる。本論文では領域適応で問題となる領域情報に注目し、BERTの出力の各層が持つ領域情報がどのように推移するのかを考察する。, application/pdf, 茨城大学, 茨城大学, 茨城大学, 茨城大学, 茨城大学, 茨城大学, Ibaraki University, Ibaraki University, Ibaraki University, Ibaraki University, Ibaraki University, Ibaraki University},
 pages = {169--173},
 publisher = {国立国語研究所},
 title = {文書領域情報を有するBERTの階層位置に関する考察},
 volume = {4},
 year = {2019},
 yomi = {タナカ, ヒロタカ and シンノウ, ヒロユキ}
}