アンケート分析で研修教材評価の可視化と改善提案

【お客様の課題】

ある研修機関では、受講者に複数の教材を用いた教育プログラムを実施していました。しかし、教材によって「理解が深まる一方で学習負担が大きい」ケースがあり、教材ごとの効果を定量的に把握できていませんでした。これまでの評価は担当講師の経験則や受講後の感想ベースに留まっており、教材改善やプログラム再設計に活かせる定量データが不足していました。

特に、「受講者にとって本当に効果的な教材はどれか」「負担が大きすぎて学習効率を下げていないかを明らかにすることが急務でした。さらに、受講者のバックグラウンド（過去の学習経験や職務経験）によって教材評価に違いがあるのかを検証することも重要な課題となっていました。

【Biデータサイエンスによるデータ分析の実施】

ご提供いただいたデータには、数百名規模の受講者アンケートが含まれており、各教材について「理解度」「負担感」を5段階評価で取得していました。また、年齢層や受講経験の有無などの基本情報も含まれており、多変量解析に適した構造となっていました。

私たちは単純な平均比較に留まらず、教材の特性や受講者属性の影響を多角的に分析しました。その結果、教材改善の優先度や今後のプログラム設計に資する示唆を導き出しました。

分析プロセスの詳細

• 事前検討
  まず回答者の属性（例：受講経験の有無）に偏りがないかをχ二乗検定で確認しました。その結果、回答者分布に大きな偏りはなく、教材ごとの比較分析を行う前提条件が満たされていると判断しました。
• 正規性検定
  「理解度」「負担感」の得点分布に対してシャピロ–ウィルク検定を実施したところ、正規分布からの乖離が確認されました。そのため、以降の検定ではノンパラメトリック手法（クラスカル=ウォリス検定、スティール・ドゥワス検定など）を採用しました。
• 相関分析
  スピアマンの順位相関を用いた結果、「理解度」が高い教材ほど「負担感」も大きい傾向が統計的に有意に確認されました。このことから、教育効果と心理的負担がトレードオフの関係にあることが示唆されました。
• 分散分析と多重比較
  教材ごとの得点差を検証するため、まずクラスカル=ウォリス検定を実施しました。その上で有意差が認められた場合には、全教材間のペア比較をスティール・ドゥワス検定により実施し、具体的にどの教材間で差が存在するかを明らかにしました。
• 受講経験別の分析
  受講者を「経験あり」と「経験なし」に分けて同様の分析を行った結果、特に「負担感」において教材間の差が顕著になるケースが確認されました。一方で、「理解度」に関しては経験の有無にかかわらず類似した傾向が見られました。
• クラスター分析
  因子分析や基本統計量で得られた「理解度」と「負担感」のスコアを用い、教材を統計的な類似性に基づいてグループ化しました。その結果、教材は「高理解・高負担型」「低理解・低負担型」「中間型」など複数のパターンに分類され、それぞれの特徴が浮き彫りになりました。これにより、教材を単純な優劣ではなく「役割に応じた位置づけ」として捉えることが可能となりました。
• 決定木分析
  さらに、受講者の属性（例：年齢層や受講経験の有無）が教材評価に与える影響を明らかにするため、決定木分析を実施しました。これにより、「どのような受講者層がどの教材を高評価しやすいか」が条件分岐の形で視覚的に示され、教材改善の具体的方針を立てやすくなりました。

【統計学的に配慮した点・工夫】

• 欠測値処理
  アンケートには無回答や極端に偏った回答が含まれていました。単純除去は情報損失を招くため、回答内容や変数の特性に応じて「平均代入」「多重代入法」を検討し、分析に歪みが生じないよう配慮しました。
• 多重比較の制御
  教材間の全組み合わせを比較すると誤検出（第一種の過誤）のリスクが高まります。そのため、スティール・ドゥワス検定など多重比較に強い手法を採用しました。
• 効果量の確認
  有意差の有無だけでなく、効果量（η²や順位相関の強さ）も併せて評価することで、統計的に有意でも実務的には影響が小さいケースを切り分けました。
• 再現性と安定性
  クラスター分析や決定木分析では、初期値やデータ分割に依存して結果が変動しやすいため、ブートストラップ法などによる再現性検証を行い、安定した結論を導きました。
• 実務的解釈
  統計的な有意差があっても教育現場で意味を持たないケースがあります。そのため、数値結果に加え、講師や運営担当者が理解しやすい形で解釈を提示しました。

【分析結果から得られた示唆】

分析の結果、教材によって「理解度が高いが負担感も大きい」ものと、「理解度は低いが負担も軽い」ものが存在することが明らかになりました。この知見により、教育現場では「学習目的に応じて教材を選定」する戦略が可能となりました。

例えば、基礎研修では「負担が軽い教材」を優先し、専門研修や試験対策では「負担は大きいが理解度が高い教材」を導入する、といった使い分けが有効です。さらに、クラスター分析から教材のタイプ分けが明確になったことで、今後の教材設計における優先改善ポイントが把握できました。加えて、決定木分析の結果により、特定の受講者層に適した教材の組み合わせを提示できるようになり、学習効果を最大化する仕組み作りに繋がりました。

【補足】

※本事例は実際の分析プロジェクトをベースにしていますが、守秘義務の観点から題材や内容を改変し、顧客およびプロジェクトが特定されないように配慮して掲載しています。