Skip to content
TESA Open Knowledge

Designing assessment

Objectives

Section titled “Objectives”
  1. Separate public practice material from graded work
  2. Write a single-point rubric tied to every objective
  3. Design graded work that still measures real ability in an age of open solutions and AI tools

Before you start

Section titled “Before you start”
  • From the previous lesson, what are the two techniques with high utility scores in Dunlosky and colleagues’ review?
  • In your course right now, can learners see the solutions to practice exercises? How do you feel about that?

See it work first

Section titled “See it work first”

Open the file quiz.yaml for the First program lesson; every item has an objective field pointing back to a lesson objective. Then open solution/blink_count.py, which is open for everyone to see. This repository deliberately keeps its practice exercises and solutions open, because they are learning material, not an exam.

Concepts

Section titled “Concepts”

1. Three groups of assessment material

Section titled “1. Three groups of assessment material”
Group Example Who can access it
Public practice material Checks for understanding (quiz.yaml), practice files and solutions, labs, sample rubrics Everyone, in this repository, used for learning, not for a graded decision
Course graded work Multiple lab variants for random assignment, detailed grading criteria, capstone brief with criteria TESA provides these to instructors on request; not published publicly. Contact contact@tesa.or.th or https://www.tesa.or.th/contact
TQP exam item bank Real exam questions, per-candidate parameters, secret test vectors Nobody outside the certifying body, including instructors. See tqp/certification.md

Important: do not use the checks for understanding in this repository as graded exams, because the answers are already open. Use them as practice and as the per-lesson pass bar (80%); that is enough.

2. Every assessment ties to an objective

Section titled “2. Every assessment ties to an objective”

Following constructive alignment from the crosswalk lesson, every objective must have a matching measurement, and the measurement must measure what the objective actually says. If an objective uses the verb “blink the LED”, the measurement must watch the LED blink, not ask for the definition of GPIO.

3. Single-point rubrics

Section titled “3. Single-point rubrics”

A single-point rubric writes only the pass criterion for each objective, and lets the assessor write evidence of where the work falls short or exceeds it. It is easy to write, easy to read, and works even when groups do the lab differently. The template is at resources/lab-rubric-template.md.

4. When solutions are open and AI tools exist

Section titled “4. When solutions are open and AI tools exist”

Fill-in-the-blank practice with a public solution can be copied by anyone, and AI tools can write short code like this in a few seconds. Assessment that still measures real ability tends to have these traits.

  • Done on a board in front of the assessor, with parameters that differ per group, such as a randomly assigned number of cycles, rhythm, or threshold
  • Explained and fixed on the spot, asking the learner to change one condition and fix it immediately; someone who understands can do it, someone who copied gets stuck
  • Assessing the process, the prediction before running, a debugging log, and a record of what was tried and did not work
  • Finding a fault, giving code with a deliberately planted bug for the learner to find and explain

Policy on AI tools belongs to each institution. Tell learners clearly from the start how much they may use, and require them to disclose when they do.

Worked example

Section titled “Worked example”

Graded work for the lesson “Read a sensor and watch the value change” that holds up against a public solution.

  • Move 1 Each group draws a threshold LIMIT and an extra condition by lot, for example “the light must blink when tilted, not stay on”
  • Move 2 Done on a board in the classroom within 30 minutes; submit the file and a short clip
  • Move 3 The assessor asks the learner to change the threshold on the spot, and to explain why the code catches OSError
  • Move 4 Grade with a single-point rubric that has a row for every lesson objective

Practice

Section titled “Practice”
  1. Copy resources/lab-rubric-template.md and write a rubric for one lab in your own course
  2. Design one graded task that uses at least two of the traits from Concept 4

Check your understanding

Section titled “Check your understanding”

Answer the questions in quiz.yaml. A score of 80% or more passes.

Going further

Section titled “Going further”

If you need the graded-work set TESA prepares for a course, contact TESA and state your institution, course, and the TESA course you are using. TESA will not send TQP exam content to anyone, and per fairness rules, an instructor never examines their own learners in the TQP exam.

Reflect

Section titled “Reflect”

Which piece of graded work in your course right now could an AI tool complete entirely for a learner? How would you change it without adding too much marking burden?

Review questions

Answer on your own first, then open the answer.

  1. How should the quiz.yaml checks in TESA Open Knowledge be used? (Objective 1)

    1. เป็นข้อสอบปลายภาคให้คะแนนตัดสิน
    2. เป็นแบบฝึกและเกณฑ์ผ่านรายบทเรียน เพราะคำตอบเปิดสาธารณะ
    3. ห้ามให้ผู้เรียนเห็น
    4. ใช้แทนการสอบ TQP
    Show answer

    Answer: B. เป็นแบบฝึกและเกณฑ์ผ่านรายบทเรียน เพราะคำตอบเปิดสาธารณะ

    คำตอบเปิดอยู่แล้ว จึงเหมาะกับการฝึกและการตรวจตัวเอง ไม่เหมาะเป็นข้อสอบให้คะแนนตัดสิน

  2. A lecturer wants several lab variants for random assignment with detailed marking criteria. What should they do? (Objective 1)

    1. หาในคลังสาธารณะ
    2. ขอจาก TESA ซึ่งจัดให้ผู้สอนเมื่อขอ
    3. ขอคลังข้อสอบ TQP
    4. ใช้เฉลยในคลังเป็นโจทย์
    Show answer

    Answer: B. ขอจาก TESA ซึ่งจัดให้ผู้สอนเมื่อขอ

    งานให้คะแนนในรายวิชาไม่เผยแพร่สาธารณะ TESA จัดให้ผู้สอนเมื่อขอ ส่วนคลังข้อสอบ TQP ปิดสำหรับทุกคน

  3. Which belong to the closed part of the TQP exam, accessible to no one outside the certification body? (choose all that apply) (Objective 1)

    1. คลังข้อสอบ
    2. พารามิเตอร์โจทย์รายคน
    3. test vector ลับ
    4. แผนที่ทักษะใน skills/
    Show answer

    Answer: A. คลังข้อสอบ · B. พารามิเตอร์โจทย์รายคน · C. test vector ลับ

    แผนที่ทักษะเปิดสาธารณะ ส่วนคลังข้อสอบ พารามิเตอร์รายคน และ test vector ลับ ปิดเพื่อรักษาความน่าเชื่อถือของการสอบ

  4. Which pass criterion suits a single-point rubric for the blink lab? (Objective 2)

    1. ผู้เรียนเข้าใจ GPIO ดี
    2. หลอดกะพริบครบตามจำนวนที่กำหนด ตัวเลขบนจอตรง และโปรแกรมจบที่สถานะดับ
    3. โค้ดสวย
    4. ตั้งใจทำงาน
    Show answer

    Answer: B. หลอดกะพริบครบตามจำนวนที่กำหนด ตัวเลขบนจอตรง และโปรแกรมจบที่สถานะดับ

    เกณฑ์ที่ดีสังเกตหรือตรวจได้ และผูกกับเป้าหมายของบทเรียนโดยตรง

  5. Which features keep a graded task meaningful despite public solutions and AI tools? (choose all that apply) (Objective 3)

    1. พารามิเตอร์ต่างกันรายกลุ่มและทำบนบอร์ดต่อหน้าผู้ประเมิน
    2. ขอให้เปลี่ยนเงื่อนไขแล้วแก้ต่อหน้า
    3. ใช้ไฟล์ฝึกในคลังเป็นข้อสอบตามเดิม
    4. ให้หาและอธิบายบั๊กที่ตั้งใจใส่ไว้
    Show answer

    Answer: A. พารามิเตอร์ต่างกันรายกลุ่มและทำบนบอร์ดต่อหน้าผู้ประเมิน · B. ขอให้เปลี่ยนเงื่อนไขแล้วแก้ต่อหน้า · D. ให้หาและอธิบายบั๊กที่ตั้งใจใส่ไว้

    ไฟล์ฝึกในคลังมีเฉลยเปิดอยู่แล้ว ใช้เป็นข้อสอบตามเดิมจึงวัดได้แค่การคัดลอก

Cite this lesson

If you teach from this lesson or reuse it in slides or documents, credit it with the text below. If you changed it, add (adapted) after the title.

"Designing assessment" from TESA Open Knowledge by the Thai Embedded Systems Association (TESA), https://github.com/tesaiot/tesa-qualification-program, licensed under CC BY-NC 4.0

Thai attribution: "ออกแบบการประเมิน" จาก TESA Open Knowledge โดยสมาคมสมองกลฝังตัวไทย (Thai Embedded Systems Association: TESA) https://github.com/tesaiot/tesa-qualification-program สัญญาอนุญาต CC BY-NC 4.0

Lesson link: https://tesaiot.github.io/tesa-qualification-program/en/courses/educator-kit/m02-teach-and-assess/l02-assessment/

Full guide: how to cite TESA

TESA Open Knowledge · © 2026 สมาคมสมองกลฝังตัวไทย (TESA) · CC BY-NC 4.0

Content is licensed CC BY-NC 4.0. Reuse it non-commercially and credit the Thai Embedded Systems Association (TESA) every time. · How to cite TESA