【AI 審題】別再為審題抓狂,AI 助你一臂之力!

每次要審題時,都會讓我感到壓力很大,尤其是對於題目內容、難易度、或是題型設計等有不同意見時,溝通協調的過程往往讓我感到棘手又疲憊。審得嚴一點,擔心會得罪同事;鬆一點,對於考卷的品質又過不去自己心裡那一關。那一條線真的很難拿捏,所以每次審題都會讓我產生巨大的挫折感。

『如果是讓 AI 來協助審題呢?』在某一次研習的場合,腦袋突然蹦出這個念頭。因此,花了一點時間跟 AI 聊聊天,並在 AI 的協助以及不斷試用與修改下,生成了一連串可以讓 AI 協助審題的指令。

審題流程:

審題前準備:分析教材:上傳考試範圍內的教材讓 AI 分析有哪些知識點可以考。指令如下:

你是一位優秀的英語科教材分析專家,請依據以下步驟分析我所提供的教材: 1. 細讀全文,理解教材脈絡。2. 列出教材的所有重要知識點與核心概念。3. 解釋每個知識點與概念的內涵。4. 分析知識點與概念間的內在邏輯關聯。請用繁體中文清晰呈現分析結果,條理分明,專業詳實。

目前我常用可以支援上傳檔案的免費版 AI 是 ClaudeGemini 1.5。Claude 有單一檔案不得超過 10mb 的限制, Gemini 沒有,且支援的檔案類型比較多。不過,兩者生成的結果都頗具參考價值。

接下來就正式進入審題階段:

1. 分析試卷的考點:上傳試卷讓 AI 分析考點是否符合教材內容,有沒有超出範圍。指令如下:

你是一位優秀的英語科試題分析專家,請分析我上傳的英語科試題的知識點,然後比對先前的教材分析結果,針對知識點覆蓋範圍回答以下問題: 1. 列出試題涉及的所有知識點,並按其在教材中的重要程度排序。2. 評估試題知識點的覆蓋面是否均衡全面,若有偏頗,請給出調整建議。3. 列出教材中出現但試題未涉及的知識點。4. 列出試題中超出教材範圍的知識點。請以繁體中文條理清晰地回覆,表達專業。

2. 審視題目的敘述是否正確合理。指令如下: 

請仔細審視所提供的英語科試卷,針對每道題目的敘述,詳細分析以下要點:1. 仔細檢查題號編排是否準確連續。2. 題目使用的語言是否符合標準規範,沒有錯別字或語法錯誤。3. 題意是否清晰無歧義,用語是否規範無誤。4. 用詞是否精準合乎學生認知,標點符號是否得當。5. 敘述邏輯是否嚴密無漏洞,與選項是否匹配。6. 題目訊息是否完備足以解題,圖表數據代碼等內容是否準確清晰。7. 情境設置是否真實貼切,符合評量目標,避免潛在偏見。8. 開放程度或限制條件是否恰當,是否符合題型或學科常規表述。請具體指出敘述缺陷,並提供改進建議。以繁體中文專業回覆。

我自己做過幾次測試,發現 AI 很難在第一時間就抓到題號編排的錯誤,例如題號重複或是跳號,往往都要追問請 AI 針對題號再檢查一次才有可能揪到錯誤。這一點還是人工檢查比較安心。

3. 檢查選擇題的選項內容是否正確,有沒有很佛心的皮卡丘出現。指令如下:

請閱讀所提供的英語科試卷,並針對試卷的選項設計,逐題審視以下要點: 1. 選項代號是否完整一致,列出選項代號重複或是缺漏的題號。2. 檢查選項內容是否無重複現象,列出選項內容重複的題號。3. 選項格式是否規範統一,利於辨讀。4. 選項內容是否邏輯嚴謹,無矛盾或包含。5. 選項是否獨立自足,不依賴題幹外訊息。6. 選項長度、語法結構是否保持平行一致。7. 正確選項的吸引力和辨識度是否合宜。8. 干擾選項是否具診斷性,針對常見誤區。9. 選項是否避免絕對化表述。請指出選項設計中的缺陷,並提供具體的優化建議。以繁體中文專業回覆。

這個跟題號一樣,AI 很難在第一時間就抓到選項編排的錯誤,例如選項代號或是內容重複。可以用人工檢查,或是追問請 AI 再檢查一次,指令如下:請再一次詳細檢查每一題的選項都是(A)(B)(C)(D)四個代號,選項代號沒有重複或是缺漏,每一個選項的內容各自獨立沒有重複。

4. 以 Bloom 的認知層次分析每一個題目的層次並提出建議。指令如下:

依據 Bloom's Taxonomy (記憶、理解、應用、分析、評鑑、創造)分析本試題:1. 分析每道試題所達認知層次,並以 markdown 表格呈現分析結果: 第一欄為認知層次,第二欄為對應的題號,第三欄為對應的知識點。2. 根據分析結果,請評估試卷的整體認知要求分佈是否合理,並提供優化建議。3. 對於"理解"、"應用"、"評鑑"層次的試題,若可能,也請給出符合教學內容與知識點的修正完善建議。結果以 markdown 分層呈現以利比對修改前後的題目。以繁體中文專業回覆。

5. 檢視學生在解題時需要運用的能力,指令如下:

請綜合分析這份試卷的知識邏輯,並針對每道題: 1. 分析試題考查知識點與核心素養的匹配度,是否合理延伸。2. 評估試題情境設置與知識應用、遷移的關聯度。3. 檢視解題過程需要的邏輯推理是否合理嚴謹。4. 判斷題目是否有助於考查學科思維方式和探究能力。5. 分析論證類題目的論證要素是否完備,論證是否有效充分。6. 請指出知識邏輯方面的不足,並給出改進建議。請指出每一題在知識邏輯方面的特點、不足與優化建議。以繁體中文專業地回覆。

如果對於 AI 的建議感興趣,可以將該對文字複製貼上進行追問,讓 AI 生成更具體的結果。指令如下:

根據你的建議『複製貼上』請提供具體的修正意見,並具體呈現修改後的題目。修改後的題目必須維持在本次考試的教材知識點內,不可以超出範圍。結果以 markdown 分層方式呈現,以利比對修改前後的題目。

6. 檢視題目是否客觀公正,不會涉及歧視或是偏見。指令如下:

請分析並評估所提供試卷的客觀公正性,逐一分析以下各點:1. 試題與選項設置是否存在傾向性、誘導性或潛在偏見。2. 用語措辭是否中性、無貶低、歧視或不當影射成分。3. 題材選擇是否多元、均衡,避免狹隘或局限性。4. 題目情境是否真實、包容,避免刻板印象或群體偏見。請逐一分析每個面向,指出可能存在的問題,並提供具體、可行的改進建議。以繁體中文專業地回覆。

7. 將段考題與教育會考的分項能力與評量目標進行比對,看看是否有考試領導考試。指令如下:

請根據我提供的資料,分析這份英語科試卷主要測驗了資料中列出的哪些分項能力。結果以 markdown 表格的方式呈現:第一欄為分項能力,依資料中的順序列出;第二欄為對應題號;第三欄為對應的評量目標。最後請總結分析結果,並對試卷的分項能力覆蓋面提出評價。

8. 審視正確答案是否有誤。指令如下:

請閱讀我所提供的試卷及其參考答案,仔細分析以下各點:1. 核對總分及各題分數設置的合理性。2. 評估各題答案的正確性、完整性及與試題要求的符合度。3. 分析答案整體的難度與區分度是否恰當。4. 為主觀題提供細化的評分維度、權重分配及明確評分標準建議。5. 評價答案敘述的準確性與簡潔性,並提出優化建議。請以繁體中文條理清晰地提供專業分析報告。

9. 檢視題目卷是否跟符合學校的命題規範。指令如下:

你是一位試題分析專家,請針對試題形式進行以下分析:1. 試題規範:比對我所上傳的文件內容,檢查試題的格式是否符合附件的規範?時間分配與題量平衡: 分析試題數量與考試時長為 45 分鐘的匹配度是否合理?3. 整體結構與布局: 分析試卷的題型順序、難度等,評估整體結構的合理性和科學性。4. 格式與排版: 評估版面設計的合理性和美觀性。請針對以上每一項提供具體的分析結果和改進建議。


10. 最後請 AI 進行綜合分析。指令如下:

你是一位專業的英語科試題分析專家,請綜合前面的分析,對本試題進行整體評估:1. 綜合考慮知識點覆蓋、思考深度、解題所需技能等因素,判斷試題的難易程度,並給出一個量化的難度等級(如初級、中級、高級)。若需調整難度,請給出具體調整建議。2. 歸納總結試題的優點和缺點,並對每一點的重要性或影響程度做一個權重排序。3. 提供具體、可行的改進建議,並對每條建議的可行性和預期效果進行評估,給出一個優先級排序。4. 根據上述分析,對試題的總體品質做一個綜合評價,並概述優化試題的角度。請以繁體中文回覆,條理清晰,提供一份專業、全面、有具體建議的試題評估報告。

AI 審題時所顧及的面相真的比我在人工審題時更加全面,而且過程中所提出的建議,不乏經過人工微調後就可以採用的具體建議。希望有了 AI 的幫忙,下次審題時就不會再跟人吵架了;同事審我命的題目時,也不會氣噗噗。結論:我就是愛吵架的人!

以下是 AI 幫我審題的結果。當時自以為出題出得不錯,沒想到還有許多地方可以處理得更好。


























留言