２.３ 調査結果の分析

信頼性と妥当性
- SATとACTの有効性は？

信頼性と妥当性

信頼性と妥当性は、どのような種類のデータ収集でも考慮しなければならない2つの重要なポイントです。信頼性reliabilityとは、与えられた結果が一貫して得られることです。心理学の研究においては、データを収集するために使用される機器やツールが、一貫した再現性のある方法でデータを収集することを意味します。信頼性にはいくつかの種類があります。

例えば、評価者間信頼性inter-rater reliability（2人以上の異なる観察者が、観察された内容に同意する度合い）、内的整合性internal consistency（同じ内容を測定する異なる調査項目が、互いに相関する度合い）、検査・再検査信頼性test-retest reliability（特定の測定結果が、複数回の実施で一貫している度合い）などがあります。

残念ながら、測定値に一貫性があるからといって、正しく測定できているとは限りません。例えば、朝食べたシリアルの重さを測るためのキッチンスケールを考えてみましょう。スケールの調整が適切に行われていないと、シリアルの量を常に過小に測ってしまったり、過大に測ったりしてしまいます。

スケールは一貫した結果を出すという点で非常に信頼性が高いといえますが（例えば、同じ量のシリアルをスケールに注ぐと、毎回同じ値が得られる）、その結果が正しくないわけです。ここで問題になるのが「妥当性」です。妥当性Validityとは、ある機器やツールが、その機器やツールが測定しようとしているものをどの程度正確に測定しているかということであり、妥当性の表現方法はいくつかあります。

生態学的妥当性Ecological validity（研究結果を実世界にあてはめて一般化する度合い）、構成概念妥当性construct validity（ある変数が実際に意図されたものを捉え、測定する度合い）、表面的妥当性face validity（ある変数が表面上は妥当に見える度合い）などは、研究者が考慮するいくつかのタイプに過ぎません。妥当な尺度は必然的に信頼できるものですが、その逆は必ずしも真ではありません。研究者は、高い信頼性と有効性の両方を備えた機器を使用するように努めています。

SATとACTの有効性は？

SATやACTのような標準化されたテストは、個人の大学教育への適性を測るものとされていますが、このようなテストの信頼性や妥当性はどの程度なのでしょうか？College Boardの調査によると、SATのスコアは、大学1年生のGPAに対して高い予測妥当性があるとされています（Kobrin, Patterson, Shaw, Mattern, & Barbuti, 2008）。

ここでいう予測妥当性とは、テストが大学1年生のGPAを効果的に予測する能力のことです。多くの高等教育機関が入学時にSATやACTを要求していることを考えると、この高い予測妥当性は安心できるかもしれません。

しかし、大学入試においてSATやACTのスコアが重視されることは、いくつかの面で議論を呼んでいます。まず、一部の研究者は、これらのテストには偏りがあり、少数派の学生を不利な立場に置き、大学に入学できる可能性を不当に低下させると主張しています(Santelices & Wilson, 2010)。

さらに、これらのテストが大学1年生のGPAを予測する上での有効性は非常に誇張されているという研究結果もあります。実際、SATの予測有効性は150％も過大評価されている可能性があると指摘されているのです(Rothstein, 2004)。多くの高等教育機関では、入学審査の際にSATのスコアを重視しないことを検討し始めています(Rimer, 2008)。

最近、国内外で目立った不正行為のスキャンダルがあったことで、この種のテストにかけられる監視の目はますます厳しくなっており、2019年3月現在、1000以上の高等教育機関が、入学試験におけるSATやACTのテストの要件を緩和または廃止しています（Strauss, 2019, March 19）。