WEKO3
アイテム
日本語学習者の作文に対する安定した印象評価データの収集方法
https://doi.org/10.15084/0002000458
https://doi.org/10.15084/0002000458b401d310-c702-45b5-8591-0579f4b384f6
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
papers2808.pdf (1.3 MB)
|
.png)
|
| Item type | 紀要論文 / Departmental Bulletin Paper(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-01-24 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | 日本語学習者の作文に対する安定した印象評価データの収集方法 | |||||||||||||
| 言語 | ja | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | Methods for Collecting Stable Data on Impression Evaluations of Japanese Learners' Writings | |||||||||||||
| 言語 | en | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | 『W-CoLeJa』 | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | ライティング | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | 日本語母語話者 | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | クラウドソーシングサービス | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | ja | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | 一般化可能性理論 | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | en | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | W-CoLeJa | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | en | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | writing | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | en | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | Japanese native speakers | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | en | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | crowdsourcing | |||||||||||||
| キーワード | ||||||||||||||
| 言語 | en | |||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | generalizability theory | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||||||||||
| 資源タイプ | departmental bulletin paper | |||||||||||||
| ID登録 | ||||||||||||||
| ID登録 | 10.15084/0002000458 | |||||||||||||
| ID登録タイプ | JaLC | |||||||||||||
| 著者 |
本多, 由美子
× 本多, 由美子
× 井伊, 菜穂子
|
|||||||||||||
| 著者所属 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | 国立国語研究所 研究系 | |||||||||||||
| 言語 | ja | |||||||||||||
| 著者所属 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | 琉球大学 | |||||||||||||
| 言語 | ja | |||||||||||||
| 著者所属(英) | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | Research Department, NINJAL | |||||||||||||
| 言語 | en | |||||||||||||
| 著者所属(英) | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | Ryukyu University | |||||||||||||
| 言語 | en | |||||||||||||
| 抄録 | ||||||||||||||
| 内容記述タイプ | Abstract | |||||||||||||
| 内容記述 | 本稿では，日本語学習者縦断作文コーパス『W-CoLeJa』に付与する予定の印象評価データについて，安定したデータの収集方法を検討した。日本語母語話者12名が1人当たり42作文を評価したパイロット調査の結果を，相関分析および一般化可能性理論によって分析したところ，3点の結果が得られた。（1）中程度の作文を評価の目安とすることで評価者間の評価尺度のずれを小さくし，ある程度安定したデータを収集することができる。（2）収集方法の改善点として，総合評価を50点満点の細かい評価から10段階などの粗い評価にする，一度に評価する作文数を減らす，説明の中の「結束性」のような専門的な語を平易な語に置き換えることが必要である。（3）評価者数について，一般化可能性理論のD研究の結果から，評価項目数が現行の11項目の場合，現行の調査より評価者数を減らしてもある程度の信頼性を確保することが可能である。 | |||||||||||||
| 言語 | ja | |||||||||||||
| 抄録(英) | ||||||||||||||
| 内容記述タイプ | Abstract | |||||||||||||
| 内容記述 | This study explores stable data collection methods for including impression evaluation data in the longitudinal corpus of Japanese learners' writings, "W-CoLeJa". In the pilot survey, 12 native Japanese speakers evaluated 42 writings, and the results were analyzed using correlation analysis and generalizability theory (G theory), yielding three findings. First, by using a medium level of writing as a benchmark, the deviation in the evaluation scale among raters could be reduced, enabling the collection of relatively stable data. Second, improvements to the collection method include changing the overall rating from a fine-grained 50-point scale to a coarser one, such as a 10-point scale, reducing the number of writings evaluated all at one time, and replacing technical terms such as "cohesion" in the explanations with simpler words. Third, regarding the number of raters, the results of a decision study (D study) based on G theory suggest that even if the number of raters is reduced in future surveys, maintaining a certain level of reliability with the current 11 evaluation items is possible. | |||||||||||||
| 言語 | en | |||||||||||||
| 出版者 | ||||||||||||||
| 出版者 | 国立国語研究所 | |||||||||||||
| 言語 | ja | |||||||||||||
| 書誌情報 |
ja : 国立国語研究所論集 en : NINJAL Research Papers 巻 28, p. 151-166, 発行日 2025-01 |
|||||||||||||
| ISSN | ||||||||||||||
| 収録物識別子タイプ | EISSN | |||||||||||||
| 収録物識別子 | 2186-1358 | |||||||||||||
| フォーマット | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | application/pdf | |||||||||||||
| 言語 | ja | |||||||||||||
| 著者版フラグ | ||||||||||||||
| 出版タイプ | VoR | |||||||||||||
| 出版タイプResource | http://purl.org/coar/version/c_970fb48d4fbd8a85 | |||||||||||||
