2026-03-16T00:29:22Z https://repository.ninjal.ac.jp/oai

oai:repository.ninjal.ac.jp:00001660 2023-05-16T10:26:59Z 245:268

形態素解析器『Sudachi』のための大規模辞書開発 Large Scale Dictionary Development for Sudachi 坂本, 美保 サカモト, ミホ 川原, 典子 カワハラ, ノリコ 久本, 空海 ヒサモト, ソラミ 髙岡, 一馬 タカオカ, カズマ 内田, 佳孝 ウチダ, ヨシタカ SAKAMOTO, Miho KAWAHARA, Noriko HISAMOTO, Sorami TAKAOKA, Kazuma UCHIDA, Yoshitaka UniDic 現代日本語書き言葉均衡コーパス(BCCWJ) 形態素解析 UniDic Balanced Corpus of Contemporary Written Japanese (BCCWJ) Morphological Analysis 会議名: 言語資源活用ワークショップ2018, 開催地: 国立国語研究所, 会期: 2018年9月4日-5日, 主催: 国立国語研究所 コーパス開発センター 我々は，汎用的な日本語形態素解析器『Sudachi』とその辞書を開発した。本稿では，Sudachiの辞書開発内容について述べる。我々は，まず，UniDicをベースとして，見出し表記，品詞，各種パラメータ等，形態素解析をするための辞書情報を整えた。次に，実用上UniDicに不足している語句を見出しとして追加した。これには，NEologdから取り込んだ膨大な固有名称も含まれる。さらに，登録見出しについて，アプリケーションが利用しやすい形態素単位の整備，表記のゆれを同一視するための正規化表記の整備等を行い，辞書内容を充実させた。また，形態素解析精度の向上のため，UniDic由来の見出しについても，弊害となる見出しの抑制や間違いの修正，形態素単位の調整を行った。我々のこれまでの成果は，最新版の辞書ソースに反映しOSSとして公開している。 application/pdf 株式会社ワークスアプリケーションズ ワークス徳島人工知能NLP研究所 株式会社ワークスアプリケーションズ ワークス徳島人工知能NLP研究所 株式会社ワークスアプリケーションズ ワークス徳島人工知能NLP研究所 株式会社ワークスアプリケーションズ ワークス徳島人工知能NLP研究所 株式会社ワークスアプリケーションズ ワークス徳島人工知能NLP研究所 WAP Tokushima Laboratory of AI and NLP WAP Tokushima Laboratory of AI and NLP WAP Tokushima Laboratory of AI and NLP WAP Tokushima Laboratory of AI and NLP WAP Tokushima Laboratory of AI and NLP 国立国語研究所 2018 jpn conference paper VoR https://doi.org/10.15084/00001644 https://repository.ninjal.ac.jp/records/1660 10.15084/00001644 https://pj.ninjal.ac.jp/corpus_center/lrw2018.html 言語資源活用ワークショップ2018 言語資源活用ワークショップ発表論文集 Proceedings of Language Resources Workshop 3 118 129 https://repository.ninjal.ac.jp/record/1660/files/LRW-2018-13-P-1-08.pdf application/pdf 403.1 kB 2019-02-14