6. Ý nghĩa thống kê — phần dễ bị bỏ qua nhất

6.1 Phương sai giữa truy vấn lớn hơn phương sai giữa hệ

Đây là sự thật thực nghiệm nền tảng của IR (Banks, Over & Zhang 1999): truy vấn khó/dễ chênh nhau nhiều hơn hệ tốt/tệ chênh nhau. Trong golden set này, class A (exact error code) dễ hơn class D nhiều — chênh lệch đó lớn hơn chênh lệch giữa BM25 và dense retrieval.

Hai hệ quả:

Phải dùng test ghép cặp (paired). Hai hệ chạy trên cùng tập truy vấn, nên phương sai giữa các truy vấn bị triệt tiêu. Test không ghép cặp sẽ bị nhiễu này nhấn chìm và bạn không bao giờ thấy significance.
Cần nhiều truy vấn. Voorhees & Buckley (2002) đo trực tiếp: với ~25 topic, tỷ lệ “kết luận ngược” (hệ thực sự tệ hơn lại thắng) là đáng kể; TREC dùng 50 topic như mức tối thiểu, và ngay cả 50 chỉ tin cậy được khi chênh lệch tương đối $\ge$ ~5%.

6.2 Với 24 truy vấn, khác biệt nhỏ là noise

Đây là điều cần nhớ nhất cho toàn bộ curriculum này. Với $n = 24$ , sai số chuẩn của nDCG trung bình thường vào khoảng 0.05–0.08. Nghĩa là:

Quan sát	Kết luận đúng
nDCG 0.72 → 0.75	Không kết luận được gì. Nằm trong noise.
nDCG 0.72 → 0.78	Nghi ngờ có cải thiện. Cần test.
nDCG 0.72 → 0.85	Đáng tin.
Per-class (n=6) 0.60 → 0.70	Vô nghĩa về mặt thống kê. Chỉ dùng để đi tìm nguyên nhân.

6.3 Ba loại test phù hợp

Test	Khi nào	Ghi chú
Paired bootstrap	Mặc định tốt nhất cho $n$ nhỏ	Không cần giả định phân phối
Randomization / permutation test	Tương đương, hơi bảo thủ hơn	Được Smucker et al. (2007) khuyến nghị
Paired t-test	Phổ biến, đủ dùng	Giả định chuẩn — vi phạm với $n=24$ nhưng thực nghiệm cho thấy khá bền

Tuyệt đối tránh Wilcoxon signed-rank và sign test cho IR: chúng bỏ độ lớn của chênh lệch, và Smucker et al. cho thấy chúng kém hơn hai test đầu.

Multiple comparisons: nếu bạn thử 10 cấu hình BM25 rồi báo cáo cái tốt nhất, xác suất tìm được “cải thiện có ý nghĩa” hoàn toàn do may mắn là rất cao. Cần hiệu chỉnh (Bonferroni là bảo thủ nhất, hoặc chỉ đơn giản là: giữ một test set riêng chưa hề chạm tới để xác nhận cấu hình cuối).

6.4 Kích thước hiệu ứng, không chỉ p-value

Báo cáo cả ba:

Chênh lệch tuyệt đối ( $\Delta$ nDCG = +0.06)
Chênh lệch tương đối (+8.3%)
Khoảng tin cậy (bootstrap 95% CI: $[+0.01, +0.11]$ )

p-value một mình không cho biết cải thiện có đáng để deploy hay không.

Phần 2 — Metrics