Home
學生控制台
註冊會員/登入
研究知情同意書
UeduGPTs
Uedu Jupyter
我的學習畫像
學習特質探索
Uedu Mind
Uedu Fit
Garmin 儀錶板
運動紀錄
Wellness Toolkit
PALM
Uedu Brain Dev
Learning Portfolio
山巒地圖
我的證書
教師控制台
課程設定
EMI Toolkit
Assessment Toolkit
Interaction Toolkit
Forum Toolkit
AI 知識庫
功能介紹
教學實踐研究
學術交流
教學工作坊
活動主辦
課程搜尋
FAQ常見問答
使用教學
更新紀錄
學生研究團隊招募
建立AI助教說明
教師研究社群
教學研究支援
Uedu Labs
隱私權政策
資料安全
研究倫理
支援與訊息
支持 Uedu
Uptime 數據

UeduGPTs

--

Jupyters

6

AI 回覆桌面通知

AI 助教回覆完成時顯示桌面通知

聊天訊息通知

同學在討論區發送訊息時通知

聲音通知

每當有新通知時播放提示音

METHODOLOGY

Socratic Quiz
蘇格拉底對話前後測

說明蘇格拉底對話前後測 Quiz 的設計原理,包含 AI 自動出題機制、前後測配對邏輯、學習增益(Learning Gain)計算方法,以及研究應用建議。

1. 概述

蘇格拉底對話前後測系統在每次蘇格拉底對話(mode=3)的前後,讓學生完成一份簡短的 Quiz(預設 5 題單選),用於量化蘇格拉底對話的教學成效。

系統支援兩種出題方式:

  • AI 自動出題:根據教師設定的對話主題(標題、題目、規則、引導問題),由 LLM 自動產生選擇題
  • 教師手動出題:教師可自行新增、編輯或刪除題目
設計原則

每次新對話都有獨立的前後測配對,透過 chat_id 關聯。學生可對同一主題進行多次對話,每次都會產生新的前後測資料。

2. 學生端流程

學生的操作流程如下:

  1. 選擇蘇格拉底對話主題,點擊「開始對話」
  2. 系統彈出前測 Quiz Modal(可取消,取消則不開始對話)
  3. 完成前測後,顯示答對題數(不顯示正確答案,避免記憶效應)
  4. 進入蘇格拉底對話
  5. 對話過程中,頁面頂部顯示「完成後測」提示列
  6. 點擊「完成後測」,彈出後測 Quiz Modal(可跳過)
  7. 後測完成後,顯示學習增益報告:前後測分數對比、逐題結果與解析
前測不顯示答案

前測完成後只顯示答對題數,不揭露正確答案與解析。這是為了避免學生記住答案,影響後測的測量效度。後測完成後才會顯示完整的逐題對比與解析。

3. 教師端設定

教師在課程管理頁面的蘇格拉底對話主題卡片中,可以管理前後測:

  • 啟用/停用開關:首次啟用時,系統自動呼叫 AI 產生題目
  • 預覽/編輯題目:查看所有題目,可逐題編輯或刪除
  • 手動新增題目:教師自行設計題目
  • 重新產生:清除 AI 產生的題目並重新生成(保留手動題目)

此測驗不計入學生成績,僅供教學研究使用。學生在作答前會看到此說明。

4. AI 出題機制

系統使用 GPT-4o-mini 模型(可設定),根據對話主題的四個欄位自動產生選擇題:

欄位用途
title主題標題,作為出題的核心概念
prompt背景資訊,提供知識脈絡
rule對話規則,幫助 AI 理解教學目標
guide引導問題,提示核心知識點

出題要求

  • 難度分布:簡單 40%、中等 40%、較難 20%
  • 每題 4 個選項(A/B/C/D),干擾選項需具合理性
  • 每題附 1-2 句解析
  • 聚焦概念理解,避免死記硬背型題目
  • 使用繁體中文

題目格式

欄位型別說明
question_textString題目文字
optionsJSON{"A": "...", "B": "...", "C": "...", "D": "..."}
correct_answerString正確答案(A/B/C/D)
explanationString答案解析
sourceEnumaimanual

5. 計分與學習增益

前測與後測使用相同的題目,計分方式為答對題數。後測完成後,系統計算以下指標:

指標公式說明
學習增益(Learning Gain)後測分數 - 前測分數原始分數差異
正規化增益(Normalized Gain)(後測 - 前測) / (滿分 - 前測)考慮天花板效應的標準化指標,範圍 0-1
正規化增益的意義

由 Hake (1998) 提出,廣泛用於物理教育研究。<g> < 0.3 為低增益,0.3 ≤ <g> < 0.7 為中增益,<g> ≥ 0.7 為高增益。當前測已滿分時,增益定義為 1.0(若後測也滿分)或 0.0。

6. 資料結構

題目表(socratic_quiz_questions)

欄位型別說明
topic_idINT關聯的蘇格拉底對話主題 ID
question_orderTINYINT題目順序
question_textTEXT題目文字
optionsJSON四個選項
correct_answerVARCHAR(1)正確答案
explanationTEXT答案解析
sourceENUMai / manual

作答紀錄表(socratic_quiz_responses)

欄位型別說明
topic_idINT對話主題 ID
chat_idINT關聯的對話 session ID
user_idINT學生 ID
phaseENUMpre / post
answersJSON各題答案,如 {"1":"A","2":"C"}
scoreTINYINT答對題數
time_spentINT作答秒數

7. 研究應用

前後測資料可透過 Uedu Lab 匯出,用於以下研究分析:

  • 學習增益分析:比較不同主題、不同學生群體的 Normalized Gain
  • 題目層級分析:計算每題的前後測正確率差異與鑑別度
  • 對話行為與學習成效:交叉分析對話輪次、訊息長度與學習增益的關聯
  • Bloom's 認知層次:結合 Bloom's 分析,觀察認知層次變化與前後測分數的關係
研究倫理提醒

前後測資料屬於學習歷程資料,使用前請確認已通過 IRB 審查,並取得學生的知情同意。系統在前後測頁面已標示「此測驗不計入成績,僅供教學研究使用」。