2026-03-16T00:16:04Z https://repository.ninjal.ac.jp/oai

oai:repository.ninjal.ac.jp:02000356 2024-11-14T05:50:54Z 245:1731477595303

カタカナ語の意味分類に対する大規模言語モデルの有効性検証 Validation of a Large-Scale Linguistic Model forSemantic Classification of Katakana Words 小滝, 主紀 Kodaki, Kazuki 佐々木, 稔 Sasaki, Minoru 会議名: 言語資源ワークショップ2024, 開催地: オンライン, 会期: 2024年8月28日-29日, 主催: 国立国語研究所 言語資源開発センター, 共催: 言語資源協会, 後援: 国立情報学研究所 本稿では、LLM を用いてカタカナ語の文脈中の意味分類を行った手法と結果について報告する。ChatGPT などの生成 AI の学習に用いられる資源の多くは英語で占められており、日本語の資源はあまり使用されていない。そのため日本語に含まれるカタカナ語は対応する英単語の意味と異なる場合があり、文脈中の意味分類が正しく行われない可能性が高い。そこで『現代日本語書き言葉均衡コーパス』(BCCWJ) に含まれる文章からカタカナ語を含む文章を抽出し、その中から数個の単語を対象として、gpt-3.5-turbo, gpt-4o, gpt-4o-mini, Gemini-Pro,Swallow の 5 つの LLM を用いて Few-shot Learning を行った。実験 1 と実験 2 では生成 AIが作成した意味区分を利用した際の意味分類とプロンプト中で役割を与えることによる影響を、実験 3 では人間の定義した Wiktionary の意味区分を利用した場合の意味分類を上記のLLM で検証した。結果として生成 AI、Wiktionary どちらの意味区分を扱った意味分類でも gpt-4o が最も平均正解率が高く、gpt-4o と Gemini-Pro は役割を与えることでほとんどのプロンプトで回答精度が向上したことが確認できた。また gpt-4o-mini と Gemini-Pro ではWiktionary の意味区分を利用したほうが平均正解率が 20% 以上高くなった。さらに単語による各 LLM 間での正解率の差異もみられ、gpt-4o,gpt-4o,mini,Gemini-Pro 間で顕著であった。 application/pdf 茨城大学大学院 茨城大学 Ibaraki University Ibaraki University 国立国語研究所 2024 jpn conference paper VoR https://doi.org/10.15084/0002000356 https://repository.ninjal.ac.jp/records/2000356 10.15084/0002000356 https://clrd.ninjal.ac.jp/lrw2024.html 言語資源ワークショップ2024 言語資源ワークショップ発表論文集 Proceedings of Language Resources Workshop 1 18 59 76 https://repository.ninjal.ac.jp/record/2000356/files/LRW2024_05-o04s.pdf application/pdf 510.4 KB 2024-11-13