Độ phân biệt câu hỏi giúp em hiểu bài thi như thế nào
Tác giả: Empire Team
Hai câu hỏi có cùng tỷ lệ làm đúng vẫn có thể cho thấy những kết quả rất khác nhau. Độ phân biệt phản ánh mức độ kết quả ở một câu hỏi có quan hệ với năng lực hoặc kết quả chung mà bài thi đang đo. Hiểu khái niệm này giúp em đọc báo cáo thi thử có căn cứ hơn, nhất là khi gặp một câu ít người làm đúng nhưng có dấu hiệu bất thường.
Cùng mười hai người làm đúng nhưng phân bố khác nhau
Giả sử 40 học sinh cùng làm một bài kiểm tra. Câu X và câu Y đều có 12 người trả lời đúng, tương ứng tỷ lệ đúng 30%. Ta mới biết hai câu có cùng tỷ lệ đúng trong mẫu này; chưa thể nói chúng có cùng tham số độ khó trong IRT.
Để xem kỹ hơn, chia 40 học sinh thành hai nhóm, mỗi nhóm 20 người, dựa trên tổng điểm các câu còn lại. Việc bỏ câu đang xét ra khỏi tổng điểm giúp hạn chế việc dùng chính kết quả của câu đó để xếp nhóm.
Kết quả | Câu X | Câu Y |
|---|---|---|
Nhóm điểm phần còn lại cao hơn | 10/20 đúng | 4/20 đúng |
Nhóm điểm phần còn lại thấp hơn | 2/20 đúng | 8/20 đúng |
Tỷ lệ đúng toàn mẫu | 30% | 30% |
Chênh tỷ lệ giữa hai nhóm | +40 điểm phần trăm | −20 điểm phần trăm |
Nguồn: Empire Team – số liệu mô phỏng. Chênh lệch được tính bằng tỷ lệ đúng nhóm điểm cao trừ tỷ lệ đúng nhóm điểm thấp.
Ở câu X, nhóm điểm cao có 10/20 người đúng, tức 50%; nhóm điểm thấp có 2/20 người đúng, tức 10%. Chênh lệch là +40 điểm phần trăm. Ở câu Y, hai tỷ lệ lần lượt là 20% và 40%, nên chênh lệch là −20 điểm phần trăm. “Điểm phần trăm” diễn tả hiệu trực tiếp giữa hai tỷ lệ phần trăm.
Trong IRT, tham số a cũng mô tả độ phân biệt của câu hỏi theo mô hình. Chênh lệch hai nhóm ở ví dụ là một chỉ số mô tả dễ đọc, không phải chính tham số a. Vì vậy, em cần xem báo cáo đang dùng cách tính nào trước khi so sánh các con số.
Kết quả âm là tín hiệu cần tìm lời giải thích
Câu Y có độ phân biệt âm theo phép so sánh hai nhóm này: nhóm có tổng điểm phần còn lại cao hơn lại làm đúng ít hơn. Đây là tín hiệu cần rà soát, chưa phải bằng chứng đủ để khẳng định câu hỏi sai. Một số khả năng cần kiểm tra là:
Khóa đáp án bị nhầm, câu dẫn thiếu điều kiện hoặc có nhiều cách hiểu hợp lý.
Nhóm học sinh diễn giải yêu cầu theo những cách khác nhau; một số lựa chọn đúng cũng có thể đến từ đoán. Cần xem lời giải và phương án các em đã chọn để phân biệt những khả năng ấy.
Câu hỏi đo một kỹ năng khác với phần lớn câu còn lại, hoặc kết quả dao động do mẫu nhỏ.
Giáo viên cần giải lại câu hỏi, kiểm tra khóa đáp án và đọc lập luận của học sinh. Với em, việc hữu ích là giữ lại cách giải, chỉ rõ dữ kiện đã dùng và bước em cho rằng phương án đúng phải thỏa mãn.
Thống kê hỗ trợ việc đọc nội dung câu hỏi
Không thể lấy đáp án nhóm điểm cao chọn nhiều nhất làm đáp án đúng mặc định. Tổng điểm phần còn lại chỉ là tiêu chí xếp nhóm trong ví dụ. Muốn kết luận về chất lượng câu hỏi, cần đối chiếu nội dung, mục tiêu đánh giá và kết quả từ nhiều bài làm [1, 2].
Dùng kết quả để quyết định việc cần kiểm tra tiếp
Nếu phát hiện lỗi nội dung, người xây dựng đề cần sửa và thử nghiệm lại. Em nên cập nhật lời giải đã được xác nhận, đồng thời ghi nhớ điều kiện từng gây hiểu nhầm.
Nếu nội dung chưa có lỗi rõ ràng nhưng số liệu chưa ổn định, cần thêm dữ liệu trước khi kết luận. Với mẫu 40 học sinh, đổi kết quả của một vài em đã có thể làm chênh lệch hai nhóm thay đổi đáng kể.
Khi xem báo cáo thi thử, em có thể hỏi: câu này có tỷ lệ đúng bao nhiêu, cách tính độ phân biệt là gì và đã được rà soát nội dung chưa? Những câu hỏi ấy giúp em hiểu chất lượng thông tin trong báo cáo, đồng thời giữ việc chữa bài tập trung vào căn cứ của lời giải.