WEKO3
アイテム
英語テキストに含まれる単語の出現頻度に付随する不定性の評価
https://doi.org/10.15084/0002000598
https://doi.org/10.15084/0002000598c7a4e59c-a14c-453b-b6a0-fe158eec59f2
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
papers3006.pdf (1.1 MB)
|
.png)
|
| Item type | 紀要論文 / Departmental Bulletin Paper(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2026-01-23 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | 英語テキストに含まれる単語の出現頻度に付随する不定性の評価 | |||||||||||||
| 言語 | ja | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | Evaluating Uncertainty on Word Frequencies in English Texts | |||||||||||||
| 言語 | en | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | Brown Corpus | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | 統計的不定性 | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | Zipf則 | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | χ²検定 | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | KS検定 | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | en | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | Brown Corpus | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | en | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | Zipf's law | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | en | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | statistical uncertainty | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | en | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | χ² test | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | en | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | KS test | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||||||||||
| 資源タイプ | departmental bulletin paper | |||||||||||||
| ID登録 | ||||||||||||||
| ID登録 | 10.15084/0002000598 | |||||||||||||
| ID登録タイプ | JaLC | |||||||||||||
| 著者 |
田窪, 洋介
× 田窪, 洋介
× 窪田, 葵
|
|||||||||||||
| 抄録 | ||||||||||||||
| 内容記述タイプ | Abstract | |||||||||||||
| 内容記述 | 自然言語の普遍的な性質の代表的なものとしてZipf則がある。自然言語のデータを任意の関数でフィットし，Zipf則の妥当性を定量的に評価する場合，その事前準備として正確な誤差を見積もっておく必要がある。本稿ではBrown Corpusの英語データを用いて，英単語の出現数分布を作成し，その標準偏差から単語の出現数に付随する誤差（修正誤差）を評価した。その結果，修正誤差はポアソン誤差よりも有意に大きい値を持つことが分かった。また，英単語の出現順位と出現数のプロットのデータ点に修正誤差とポアソン誤差を付与し，Zipf則の関数でフィットを行った。そして，データとフィットの一致度合いをχ²検定とKS（Kolmogorov-Smirnov）検定を用いて定量的に比較した。その結果，ポアソン誤差は英単語の出現数の不定性を過少評価していることが明らかになった。一方，フィット関数の形状はどちらの誤差を使用しても概ね同様であることが分かった。 | |||||||||||||
| 言語 | ja | |||||||||||||
| 抄録(英) | ||||||||||||||
| 内容記述タイプ | Abstract | |||||||||||||
| 内容記述 | Zipf's law is one of the well-known universal characteristics of natural language. To evaluate the validity of Zipf's law quantitatively, it is necessary to evaluate the statistical errors of the word frequencies in a text (referred to as "true error"). In this study, true errors in English texts were examined using standard deviations of the word frequency distributions obtained from the Brown Corpus. It was found that the true error is significantly larger than the Poisson error. We performed fits of word frequencies as a function of the frequency rank using Zipf's law, assigning either the true or Poisson errors to the data points. We then applied the χ² and Kolmogorov-Smirnov tests to compare consistency between the data and Zipf's law. The results show that the error's size was underestimated when using Poisson errors. In addition, the overall shape of the fitted function was similar, regardless of the type of error used. | |||||||||||||
| 言語 | en | |||||||||||||
| 出版者 | ||||||||||||||
| 出版者 | 国立国語研究所 | |||||||||||||
| 言語 | ja | |||||||||||||
| bibliographic_information |
ja : 国立国語研究所論集 en : NINJAL Research Papers 巻 30, p. 109-120, 発行日 2026-01 |
|||||||||||||
| ISSN | ||||||||||||||
| 収録物識別子タイプ | EISSN | |||||||||||||
| 収録物識別子 | 2186-1358 | |||||||||||||
| フォーマット | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | application/pdf | |||||||||||||
| 言語 | ja | |||||||||||||
| 出版タイプ | ||||||||||||||
| 出版タイプ | VoR | |||||||||||||
| 出版タイプResource | http://purl.org/coar/version/c_970fb48d4fbd8a85 | |||||||||||||
