WEKO3
アイテム
文書領域情報を有するBERTの階層位置に関する考察
https://doi.org/10.15084/00002566
https://doi.org/10.15084/000025663ad076ec-a78a-4d78-a1bb-9ab7fa76d670
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
LRW2019_18_P-2-8.pdf (757.5 kB)
|
|
| Item type | 会議発表論文 / Conference Paper(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2020-02-06 | |||||||||||
| タイトル | ||||||||||||
| タイトル | 文書領域情報を有するBERTの階層位置に関する考察 | |||||||||||
| タイトル | ||||||||||||
| タイトル | A study of the layer in BERT with domain information of documents | |||||||||||
| 言語 | en | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | 現代日本語書き言葉均衡コーパス(BCCWJ) | |||||||||||
| キーワード | ||||||||||||
| 言語 | en | |||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | Balanced Corpus of Contemporary Written Japanese (BCCWJ) | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||||
| 資源タイプ | conference paper | |||||||||||
| ID登録 | ||||||||||||
| ID登録 | 10.15084/00002566 | |||||||||||
| ID登録タイプ | JaLC | |||||||||||
| 著者 |
欧, 陽恵子
× 欧, 陽恵子× 田中, 裕隆× 曹, 鋭× 白, 静× 馬, ブン× 新納, 浩幸
WEKO
5266
× Ou, Yanghuizi× Tanaka, Hirotaka× Cao, Rui× Bai, Jing× Ma, Wen |
|||||||||||
| 著者所属 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 茨城大学 | |||||||||||
| 著者所属 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 茨城大学 | |||||||||||
| 著者所属 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 茨城大学 | |||||||||||
| 著者所属 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 茨城大学 | |||||||||||
| 著者所属 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 茨城大学 | |||||||||||
| 著者所属 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 茨城大学 | |||||||||||
| 著者所属(英) | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | Ibaraki University | |||||||||||
| 著者所属(英) | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | Ibaraki University | |||||||||||
| 著者所属(英) | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | Ibaraki University | |||||||||||
| 著者所属(英) | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | Ibaraki University | |||||||||||
| 著者所属(英) | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | Ibaraki University | |||||||||||
| 著者所属(英) | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | Ibaraki University | |||||||||||
| 会議概要（会議名, 開催地, 会期, 主催者等） | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 会議名: 言語資源活用ワークショップ2019, 開催地: 国立国語研究所, 会期: 2019年9月2日−4日, 主催: 国立国語研究所 コーパス開発センター | |||||||||||
| 抄録 | ||||||||||||
| 内容記述タイプ | Abstract | |||||||||||
| 内容記述 | BERTはTransformerで利用されるMulti-head attentionを12層（あるいは24層）積み重ねたモデルである。各層のMulti-head attentionは、基本的に、入力単語列に対応する単語埋め込み表現列を出力している。BERTの各層では低層から徐々に何からの情報を取り出しながら、その文脈に応じた単語の埋め込み表現を構築していると考えられる。本論文では領域適応で問題となる領域情報に注目し、BERTの出力の各層が持つ領域情報がどのように推移するのかを考察する。 | |||||||||||
| 書誌情報 |
言語資源活用ワークショップ発表論文集 en : Proceedings of Language Resources Workshop 巻 4, p. 169-173, 発行日 2019 |
|||||||||||
| 関連サイト | ||||||||||||
| 識別子タイプ | URI | |||||||||||
| 関連識別子 | https://pj.ninjal.ac.jp/corpus_center/lrw2019.html | |||||||||||
| 関連名称 | 言語資源活用ワークショップ2019 | |||||||||||
| フォーマット | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | application/pdf | |||||||||||
| 著者版フラグ | ||||||||||||
| 出版タイプ | VoR | |||||||||||
| 出版タイプResource | http://purl.org/coar/version/c_970fb48d4fbd8a85 | |||||||||||
| 出版者 | ||||||||||||
| 出版者 | 国立国語研究所 | |||||||||||
