對話即學習：學生與 AI 對話中的學科相關認知投入型態

研究理念：對話即學習（Chat as Learning）

生成式 AI 教學助理已快速進入高等教育，但學界持續爭論：學生與 AI 的對話究竟是真實的認知歷程投入，還是只是資訊檢索？ 本研究提出「對話即學習（Chat as Learning）」測量典範——把學生對 AI 的每一次提問， 視為進行中學習認知的可觀察外顯軌跡，作為成果導向評量之外的過程層次訊號， 並可在母體、課程與學生三個尺度上聚合分析。 須強調的是：「學習」一詞指的是此典範的理論定位；本研究測量的是學生提問所反映的認知需求（cognitive demand） （以 Bloom 認知層次分類），而非學習成效本身。 本論文由張家凱助理教授與李奎皓老師發表於《Computers and Education: Artificial Intelligence》（Elsevier）—— 教育類別全球排名第二的國際期刊 （2025 年 Journal Citation Reports：影響係數（Impact Factor）23.4、教育類別 2/760；CiteScore 43.3，開放取用（Open Access））， 專門收錄人工智慧在教育應用上的研究。

研究問題

先前研究已確立：在本平台上，約 62% 的學生—AI 訊息在聚合層次反映高階認知需求。 本研究進一步追問：這樣的認知投入是跨情境穩定的個人特質，還是會隨學科的認知要求而變動—— 即使是同一位學生？為回答此問題，本研究採用within-person（受試者內）跨學科設計： 追蹤同一批學生在不同學科課程中的提問型態，把「個人風格」與「學科情境」兩種解釋拆開檢驗。

研究方法

資料來自跨四所大學部署的 AI 教學助理平台（Uedu ClassroomGPT），涵蓋兩個學期、116 門課程、逾 60,000 則學生訊息， 以自動化 Bloom 認知層次分類管線標註每則提問的認知層次。 分類器與兩位受訓人工評分者在 300 則分層抽樣訊息上進行驗證：高階／低階二元判定的 LLM—人類 Cohen's κ 為 .426–.606（個別評分者），最佳配對共識（best-pair consensus）下達 κ = .753。 統計檢驗採受試者內成對比較，並以交叉隨機效應混合效應邏輯迴歸（crossed random-effects GLMM） 同時估計課程層與學生層的變異。 本研究經國立臺灣大學研究倫理委員會核准（NTU-REC，案號 202507EM058），以去識別化既有資料進行二次分析。

主要發現

• 學科各有認知投入側寫：STEM 課程的提問以 Apply（應用）最突出（20.8%）、語言課程以 Understand（理解）為主（31.7%）、社會科學課程則以 Create（創造）最突出（33.8%）；人文課程因課程數少（兩學期僅 3 門）僅作描述性呈現。
• 同一位學生，換了學科就換了型態：受試者內成對比較顯示，同一批學生在社會科學課程的高階提問比例顯著高於其在 STEM 課程的表現（合併 n = 16，p < .001），且此方向在兩個獨立學期樣本中一致重現。
• 課程層變異遠大於學生層變異：交叉隨機效應模型證實上述對比，並顯示高階認知投入的變異主要來自「課程」而非「學生」——認知投入型態是學科情境相關的，不是固定的個人互動風格。
• 對 AI 助教設計的意涵：AI 教學助理的設計與評估應納入學科脈絡，而非假設一體適用的互動模式。

對教育現場的啟示

• 要調整的槓桿在課程端，不在學生端：高階認知投入的變異主要來自「課程」而非「學生」。這代表教師的引導方式、AI 助教的 system prompt 設定、作業與評量型態，比學生個人特質更能左右提問的認知層次；也代表不宜把學生標籤為「高階思考者／低階思考者」——同一位學生換一門課，型態就變了。
• AI 助教不宜一體適用：STEM 課程的提問以應用為主，社會科學課程以創造為主。STEM 情境適合強化程序鷹架與範例漸進，社科情境適合強化論證鷹架與多觀點提問。同一套助教設定套用到所有學科，等於忽略了學科本身的認知要求。
• 評估要有學科參照，不能只看平台平均：同樣是「應用層次為主」的互動型態，在 STEM 課程可能代表健康的學習投入，在社會科學課程則可能代表深度不足。Uedu 已把學科常模落地為教師端功能——課程可對照同學科的週別高階比例軌跡檢視自己的位置，而非與全平台平均比較。
• 這是過程訊號，不是評分依據：Bloom 層次呈現的是提問所反映的認知需求，用途是讓教師看見思考歷程、據以調整教學，不作為學生成績的計算基礎。

對教育研究者的啟示

• within-person 跨學科設計是可移植的分析模板：單一課程的研究無法分辨「這位學生本來就問得深」與「這門課讓他問得深」。讓同一位學生跨學科成為自己的對照，才能把個人層次與情境層次的變異拆開——這個設計可套用到其他學習分析資料集，不限於 AI 對話。
• 並列報告課程層與學生層變異：交叉隨機效應模型同時估計 σ_course 與 σ_student，讓「介入應該對準課程還是對準學生」有數字可依循，而不是停留在論述層次。
• 提問可作為過程層次的測量工具：如同眼動追蹤外顯視覺注意、放聲思考外顯解題歷程，提問外顯的是進行中的認知操作。其特殊之處在於同一套測量可在母體、課程、個人三個尺度聚合而不需重新佈設工具，這是成果導向評量不易提供的性質。
• 效度應按分析粒度誠實呈現：本研究的實質分析只用高階／低階二元判定，因為該粒度的一致性才落在可接受範圍；六層次結果雖一併揭露，但需以二次加權 κ 與相鄰層次正確率解讀。短對話語句的六類人工編碼本身即困難，報告時不宜只挑最好看的數字。
• 可複製性已備妥：分類器完整規格與逐字 prompt 隨論文公開，其他平台可自行部署同一套測量而不需取得本平台資料。
• 尚未解答的問題：高階提問是學習投入的必要而非充分條件；此型態是否轉化為學習成效，需要實驗設計檢驗。學科認識論本身與課程層因子（教師教法、助教設定、評量結構）的相對貢獻亦尚未分離。

解讀界線

與 Uedu 一貫的研究紀律相同，本研究對其宣稱設有明確界線：

• 測的是提問層次的認知需求，不是學習成效：Bloom 層次描述學生提問所反映的認知投入型態，不應逕讀為成績或學習成果的提升。
• 「相關」不是「因果」：學科相關（discipline-associated）指型態隨學科情境共變；課程設計、任務型態與評量方式都可能是機制的一部分。
• 分類器效度有其範圍：個別評分者層次的一致性屬中等（κ = .426–.606），最佳配對共識較高（κ = .753）；完整 6×6 混淆矩陣已於論文揭露。
• 人文學科樣本有限：僅 3 門課，相關型態僅供描述性參考。