7. Bảy lỗi phương pháp phổ biến
| # | Lỗi | Hậu quả | Cách chữa |
|---|---|---|---|
| 1 | Báo cáo recall không kèm | Con số vô nghĩa | Luôn ghi recall@k |
| 2 | Chọn khác thật của production | Tối ưu sai thứ | trong metric = số chunk thực sự nhét vào prompt |
| 3 | Trung bình precision@k qua các truy vấn có khác nhau | Trần phụ thuộc golden set (§1.3) | R-Precision, hoặc báo cáo kèm trần |
| 4 | Dùng MRR làm metric chính với golden set graded | Mù với việc doc rel=2 bị xếp dưới rel=1 | nDCG làm chính, MRR làm phụ |
| 5 | Coi doc chưa gán nhãn là rel=0 | Pooling bias — phạt oan hệ mới tìm ra doc tốt | Pooling incremental: gán nhãn top-10 của mỗi hệ mới; hoặc bpref/RBP-residual |
| 6 | Kết luận từ chênh lệch nhỏ trên nhỏ | Đuổi theo noise, “tối ưu mãi mà sản phẩm không tốt lên” | Paired bootstrap + CI; mở rộng golden set |
| 7 | Tune trên chính golden set rồi báo cáo trên đó | Overfit test collection | Tách dev/test; test set chỉ chạy một lần cuối |
Lỗi #5 và #7 là hai lỗi âm thầm nhất — chúng không gây ra con số kỳ lạ nào, chỉ làm mọi kết luận sai một cách nhất quán.