說明蘇格拉底對話前後測 Quiz 的設計原理,包含 AI 自動出題機制、前後測配對邏輯、學習增益(Learning Gain)計算方法,以及研究應用建議。
蘇格拉底對話前後測系統在每次蘇格拉底對話(mode=3)的前後,讓學生完成一份簡短的 Quiz(預設 5 題單選),用於量化蘇格拉底對話的教學成效。
系統支援兩種出題方式:
每次新對話都有獨立的前後測配對,透過 chat_id 關聯。學生可對同一主題進行多次對話,每次都會產生新的前後測資料。
學生的操作流程如下:
前測完成後只顯示答對題數,不揭露正確答案與解析。這是為了避免學生記住答案,影響後測的測量效度。後測完成後才會顯示完整的逐題對比與解析。
教師在課程管理頁面的蘇格拉底對話主題卡片中,可以管理前後測:
此測驗不計入學生成績,僅供教學研究使用。學生在作答前會看到此說明。
系統使用 GPT-4o-mini 模型(可設定),根據對話主題的四個欄位自動產生選擇題:
| 欄位 | 用途 |
|---|---|
title | 主題標題,作為出題的核心概念 |
prompt | 背景資訊,提供知識脈絡 |
rule | 對話規則,幫助 AI 理解教學目標 |
guide | 引導問題,提示核心知識點 |
| 欄位 | 型別 | 說明 |
|---|---|---|
question_text | String | 題目文字 |
options | JSON | {"A": "...", "B": "...", "C": "...", "D": "..."} |
correct_answer | String | 正確答案(A/B/C/D) |
explanation | String | 答案解析 |
source | Enum | ai 或 manual |
前測與後測使用相同的題目,計分方式為答對題數。後測完成後,系統計算以下指標:
| 指標 | 公式 | 說明 |
|---|---|---|
| 學習增益(Learning Gain) | 後測分數 - 前測分數 | 原始分數差異 |
| 正規化增益(Normalized Gain) | (後測 - 前測) / (滿分 - 前測) | 考慮天花板效應的標準化指標,範圍 0-1 |
由 Hake (1998) 提出,廣泛用於物理教育研究。<g> < 0.3 為低增益,0.3 ≤ <g> < 0.7 為中增益,<g> ≥ 0.7 為高增益。當前測已滿分時,增益定義為 1.0(若後測也滿分)或 0.0。
| 欄位 | 型別 | 說明 |
|---|---|---|
topic_id | INT | 關聯的蘇格拉底對話主題 ID |
question_order | TINYINT | 題目順序 |
question_text | TEXT | 題目文字 |
options | JSON | 四個選項 |
correct_answer | VARCHAR(1) | 正確答案 |
explanation | TEXT | 答案解析 |
source | ENUM | ai / manual |
| 欄位 | 型別 | 說明 |
|---|---|---|
topic_id | INT | 對話主題 ID |
chat_id | INT | 關聯的對話 session ID |
user_id | INT | 學生 ID |
phase | ENUM | pre / post |
answers | JSON | 各題答案,如 {"1":"A","2":"C"} |
score | TINYINT | 答對題數 |
time_spent | INT | 作答秒數 |
前後測資料可透過 Uedu Lab 匯出,用於以下研究分析:
前後測資料屬於學習歷程資料,使用前請確認已通過 IRB 審查,並取得學生的知情同意。系統在前後測頁面已標示「此測驗不計入成績,僅供教學研究使用」。