本論文は、いわゆる大学ランキングが大学の教育の質を正確に反映しておらず、別の角度から教育の質を測る必要性を主張するものである。ランキング作りはビッグビジネスになる一方で、受験生の学校選択に使われている。しかし、ランキングは外から見える数値と評判で決められていて、実際の学生が経験したことは反映されず、時に大学側がランキング向上のために不正確にデータを提供するなど問題がある。
それに代わるものとして、NSSEが学生の教育への関与を測る指標の開発を行っている。大学間のベンチマークを行う項目に(1)学問的課題のレベル、(2)主体的・共同的学習、(3)教員と学生間の関わりの深さ、(4)教育経験の豊富さ、(5)学習環境サポート、の5項目がある。ここでは、NSSEとU.S. Newsの大学ランキングの比較を行う。
基本的な分析手法は分散分析(ANOVA)であるが、使用しているデータセットがどういうものになるのかが本文の説明では明確にわからないため、どのような計算を行っているのかはよくわからない部分がある(further reading として、Kuh, et al. (2001), "NSSE Technical and Norms Report," Indiana University Center for Postsecondary Research and Plannning, Bloomington.)。
結論としては、学生の教育の質がNSSEベンチマークの平均値とU.S. Newsのランキングは有意に異なるとしている。本論文では、教育の質をどのように測るかという問題意識で書かれているが、実際の分析は既存データの分散分析であるという点を見ると、やや狙いがずれているようにも感じる。しかし、本論文を通じて紹介されているNSSEの質問項目や調査概要が、今後の教育評価の成果指標開発において有益な示唆をもたらすと考えられる。