Bannister, P., Santamaría Urbieta, A., & Brufau Alvira, N. (2025). Appraising higher education assessment validity: Development of the PANDORA GenAI Susceptibility Rubric. Journal of Applied Learning & Teaching, 8(1), 1-15.
- PANDORA GenAI Susceptibility Rubric
- 教員の自身の作成した課題が、学生による生成AIの不正利用に対してどれほど脆弱(vulnerable)であるかを自己評価する基準
- 基準3段階
- レベル1:GenAI感受性低:満足のいく結果を得るためのAI利用が困難または非常に困難
- レベル2:GenAI感受性中:満足のいく結果を得るためのAI利用が可能
- レベル3:GenAI感受性高:満足のいく結果を得るためのAI利用が容易
- 観点9項目
- 入力・出力形式と知的タスクの複雑さ
- 無料のGenAIツールに耐性のある入出力形式(複雑なマルチメディア、特殊なファイル形式など)、有料AIサービスや大幅な人的処理を必要とする形式。タスクが主観的な意見、正当化、またはAIの能力を超える複雑なメタ認知・感情プロセスを要求する。
- 部分的にGenAIに耐性のある入出力形式。非テキスト要素の人的処理が必要で、AIの出力を要求された形式に変換する必要がある。タスクはAIツールで部分的に達成可能だが、ある程度の人的な入力が必要。
- GenAIに対して脆弱性が高い入出力形式。簡単に貼り付け可能な指示で、提出形式が無料のAIツールで直接生成可能。タスクはAIツールで完全に達成可能(例:記述、説明、議論、作成、比較など)。
- 共同での執筆
- 真に相互依存的な共同作業が必要。共同作業が明確に評価される。
- 部分的な共同作業、または真の共同作業が明確に評価されない。
- 個人タスク、または真の共同作業を伴わない、容易に分割可能なグループワーク。
- トピックの選択
- 正当な理由のあるトピック選択。
- 正当な理由のないトピック選択。
- 正当な理由なくトピックが課されるか、選択肢が限定される。
- 創造性の範囲
- 創造性のための十分な余地がある。
- 創造性のための一定の余地がある。
- 創造性のための余地が非常に限られている。
- 指示の具体性
- 一般的なガイドラインのみ。学生は具体的なパラメータを決定し、選択を正当化する必要があり、GenAIプロンプトには大幅な人的入力が必要。
- 一般的および具体的な指示が混在。一部のパラメータ選択は許可されるが正当化は不要。GenAIプロンプトに必要な学生の入力は最小限。
- 非常に詳細な指示(例:テンプレート、チェックリスト)があり、GenAIプロンプトとして直接使用可能。
- プロセス重視の評価とトピック情報のアクセス性
- 評価は成果物と開発プロセスの両方を対象とし、すべてのステップを実証する必要がある。<br><br>トピックに関する情報がオンラインで容易に入手できず、GenAIツールにはアクセス不可能。
- 主な焦点は成果物だが、開発プロセスの一部のステップの実証が必要。ピックに関する情報はオンラインで入手可能だが、見つけるのが困難。GenAIは部分的にアクセス可能。
- 焦点は成果物のみで、開発プロセスの実証は不要。トピックに関する情報がオンラインで容易にアクセスでき、GenAIが完全にアクセス可能。
- 執筆者であることの証拠
- 強固な執筆者証拠が必要(例:共有オンライン文書、説明動画への出演)。
- 執筆者証拠は必要だが、容易に操作可能(例:編集可能な画像)。
- 執筆者証拠は不要。
