บทเรียน 2.2 — ออกแบบการประเมิน

เป้าหมาย

เมื่อจบบทเรียนนี้ คุณจะ

1. แยกสื่อฝึกสาธารณะออกจากงานให้คะแนน
2. เขียน rubric แบบจุดเดียวที่ผูกกับเป้าหมายทุกข้อ
3. ออกแบบงานให้คะแนนที่ยังวัดความสามารถจริงได้ในยุคที่เฉลยเปิดและมีเครื่องมือ AI

ก่อนเริ่ม

จากบทที่แล้ว เทคนิคสองอย่างที่ได้คะแนนประโยชน์สูงในการทบทวนของ Dunlosky และคณะคืออะไร — ในรายวิชาของคุณตอนนี้ เฉลยของแบบฝึกเปิดให้ผู้เรียนดูได้ไหม และคุณรู้สึกอย่างไรกับเรื่องนั้น

ดูของจริงก่อน

เปิดไฟล์ quiz.yaml ของบทเรียนโปรแกรมแรก ทุกข้อมีช่อง objective ที่ชี้กลับไปยังเป้าหมายของบทเรียน และเปิดไฟล์เฉลยของแบบฝึกซึ่งเปิดให้ทุกคนดู

คลังนี้ตั้งใจเปิดแบบฝึกและเฉลย เพราะมันเป็น สื่อการเรียน ไม่ใช่ ข้อสอบ

แนวคิด (1) — สามกลุ่มของสื่อประเมิน

ข้อสำคัญ อย่าใช้เช็กความเข้าใจในคลังเป็นข้อสอบให้คะแนน เพราะคำตอบเปิดอยู่แล้ว ใช้เป็นแบบฝึกและเกณฑ์ผ่านรายบท (80%) ก็พอ

แนวคิด (2) — ทุกการประเมินผูกกับเป้าหมาย

ตามหลัก constructive alignment ในบทตารางเทียบ ทุกเป้าหมายต้องมีการวัดคู่กัน และการวัดต้องวัดสิ่งที่เป้าหมายพูดถึงจริง ถ้าเป้าหมายใช้กริยา "สั่งหลอดให้กะพริบ" การวัดต้องดูหลอดกะพริบ ไม่ใช่ถามนิยามของ GPIO

แนวคิด (3) — Rubric แบบจุดเดียว

Rubric แบบจุดเดียวเขียนเฉพาะเกณฑ์ผ่านของแต่ละเป้าหมาย แล้วให้ผู้ประเมินเขียนหลักฐานว่าต่ำกว่าหรือเกินตรงไหน เขียนง่าย อ่านง่าย และใช้กับแล็บที่แต่ละกลุ่มทำไม่เหมือนกันได้ แม่แบบอยู่ที่ resources/lab-rubric-template.md

แนวคิด (4) — เมื่อเฉลยเปิดและมีเครื่องมือ AI

แบบฝึกเติมช่องว่างที่มีเฉลยสาธารณะ ใครก็คัดลอกได้ และเครื่องมือ AI เขียนโค้ดสั้น ๆ ได้ในไม่กี่วินาที การประเมินที่ยังวัดความสามารถจริงได้มักมีลักษณะเหล่านี้

• ทำบนบอร์ดต่อหน้าผู้ประเมิน และพารามิเตอร์ต่างกันรายกลุ่ม เช่น จำนวนรอบ จังหวะ หรือเกณฑ์ที่สุ่มให้
• ให้อธิบายและแก้ต่อหน้า ขอให้เปลี่ยนเงื่อนไขหนึ่งข้อแล้วแก้ทันที คนที่เข้าใจจะแก้ได้ คนที่คัดลอกมาจะติด
• ประเมินกระบวนการ คำทำนายก่อนรัน log การดีบัก และบันทึกว่าลองอะไรแล้วไม่ได้ผล
• หาจุดเสีย ให้โค้ดที่มีบั๊กที่ตั้งใจใส่ไว้ แล้วให้หาและอธิบาย

นโยบายเรื่องเครื่องมือ AI เป็นของแต่ละสถาบัน บอกผู้เรียนให้ชัดตั้งแต่ต้นว่าใช้ได้แค่ไหน และให้ระบุเมื่อใช้

ตัวอย่างสมบูรณ์

งานให้คะแนนสำหรับบท "อ่านเซนเซอร์แล้วดูค่าเปลี่ยน" ที่ทนต่อเฉลยสาธารณะ

• ท่าที่ 1 แต่ละกลุ่มจับสลากเกณฑ์ LIMIT และเงื่อนไขเพิ่ม เช่น "ไฟต้องกะพริบเมื่อเอียง ไม่ใช่ติดค้าง"
• ท่าที่ 2 ทำบนบอร์ดในห้อง 30 นาที ส่งไฟล์และคลิปสั้น
• ท่าที่ 3 ผู้ประเมินขอให้เปลี่ยนเกณฑ์ต่อหน้า แล้วให้อธิบายว่าทำไมต้องดัก OSError
• ท่าที่ 4 ให้คะแนนด้วย rubric แบบจุดเดียวที่มีแถวครบทุกเป้าหมายของบทเรียน

ฝึกเติม

1. คัดลอก resources/lab-rubric-template.md แล้วเขียน rubric ของแล็บหนึ่งแล็บในรายวิชาของคุณ
2. ออกแบบงานให้คะแนนหนึ่งชิ้นที่ใช้อย่างน้อยสองลักษณะจากแนวคิดข้อ 4

เช็กความเข้าใจ

ตอบคำถามใน quiz.yaml ถูกตั้งแต่ 80% ขึ้นไปถือว่าผ่าน

ไปต่อ / สะท้อนคิด

ถ้าต้องการงานให้คะแนนชุดที่ TESA เตรียมไว้สำหรับหลักสูตรใด ให้ติดต่อ TESA พร้อมระบุชื่อสถาบัน รายวิชา และหลักสูตรที่ใช้ TESA จะไม่ส่งเนื้อหาของการสอบ TQP ให้ใคร และผู้สอนไม่เป็นผู้สอบผู้เรียนของตนในการสอบ TQP ตามกติกาความเป็นกลาง

สะท้อนคิด งานให้คะแนนชิ้นไหนในรายวิชาของคุณตอนนี้ที่เครื่องมือ AI ทำแทนผู้เรียนได้ทั้งหมด จะเปลี่ยนมันอย่างไรโดยไม่เพิ่มภาระตรวจจนเกินไป