WEKO3
アイテム
Attention-Focused Adversarial Training for Robust Temporal Reasoning
https://repository.ninjal.ac.jp/records/3618
https://repository.ninjal.ac.jp/records/36182700d550-4265-4ec1-a6d0-993f053c1261
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
lrec2022_7352.pdf (329.0 kB)
|
.png)
|
| Item type | 会議発表論文 / Conference Paper(1) | |||||
|---|---|---|---|---|---|---|
| 公開日 | 2022-08-17 | |||||
| タイトル | ||||||
| タイトル | Attention-Focused Adversarial Training for Robust Temporal Reasoning | |||||
| 言語 | en | |||||
| 言語 | ||||||
| 言語 | eng | |||||
| キーワード | ||||||
| 言語 | en | |||||
| 主題Scheme | Other | |||||
| 主題 | adversarial training | |||||
| キーワード | ||||||
| 言語 | en | |||||
| 主題Scheme | Other | |||||
| 主題 | robustness | |||||
| キーワード | ||||||
| 言語 | en | |||||
| 主題Scheme | Other | |||||
| 主題 | temporal reasoning | |||||
| 資源タイプ | ||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||
| 資源タイプ | conference paper | |||||
| 著者 |
Kanashiro Pereira, Lis
× Kanashiro Pereira, Lis× Duh, Kevin× Cheng, Fei× Asahara, Masayuki× Kobayashi, Ichiro |
|||||
| 著者所属(英) | ||||||
| 内容記述タイプ | Other | |||||
| 内容記述 | Ochanomizu University | |||||
| 著者所属(英) | ||||||
| 内容記述タイプ | Other | |||||
| 内容記述 | John Hopkins University | |||||
| 著者所属(英) | ||||||
| 内容記述タイプ | Other | |||||
| 内容記述 | Kyoto University | |||||
| 著者所属(英) | ||||||
| 内容記述タイプ | Other | |||||
| 内容記述 | National Institute for Japanese Language and Linguistics / Tokyo University of Foreign Studies | |||||
| 著者所属(英) | ||||||
| 内容記述タイプ | Other | |||||
| 内容記述 | Ochanomizu University | |||||
| 抄録(英) | ||||||
| 内容記述タイプ | Other | |||||
| 内容記述 | We propose an enhanced adversarial training algorithm for fine-tuning transformer-based language models (i.e., RoBERTa) and apply it to the temporal reasoning task. Current adversarial training approaches for NLP add the adversarial perturbation only to the embedding layer, ignoring the other layers of the model, which might limit the generalization power of adversarial training. Instead, our algorithm searches for the best combination of layers to add the adversarial perturbation. We add the adversarial perturbation to multiple hidden states or attention representations of the model layers. Adding the perturbation to the attention representations performed best in our experiments. Our model can improve performance on several temporal reasoning benchmarks, and establishes new state-of-the-art results. | |||||
| 書誌情報 |
en : Proceedings of the 13th Conference on Language Resources and Evaluation(LREC 2022) p. 7352-7359, 発行日 2022 |
|||||
| フォーマット | ||||||
| 内容記述タイプ | Other | |||||
| 内容記述 | application/pdf | |||||
| 著者版フラグ | ||||||
| 出版タイプ | VoR | |||||
| 出版タイプResource | http://purl.org/coar/version/c_970fb48d4fbd8a85 | |||||
| 出版者 | ||||||
| 出版者 | European Language Resources Association | |||||
