Phần 2 — Metrics

Không đo được thì không tối ưu được. Phần này giải thích vì sao mỗi metric tồn tại, nó giả định gì về người dùng, và nó mù với điều gì.

Tài liệu tham chiếu cho Module 0. Mục tiêu: hiểu vì sao mỗi metric tồn tại, nó giả định gì về người dùng, và nó mù với điều gì — chứ không phải học thuộc công thức.

Ký hiệu dùng xuyên suốt:

Ký hiệu	Nghĩa
$q$	một truy vấn (topic)
$D$	corpus
$\pi = (d_1, d_2, \dots)$	danh sách ranking hệ trả về
$\mathrm{rel}(d) \in \{0,1,2,\dots\}$	mức độ liên quan (graded relevance) của doc $d$ với $q$
$\mathcal{R} = \{d : \mathrm{rel}(d) > 0\}$	tập doc liên quan (ground truth)
$R = \lvert\mathcal{R}\rvert$	số doc liên quan
$k$	độ sâu cắt (cutoff)

#	Mục	Nội dung
1	0. Nền tảng: metric đo cái gì, và dựa trên giả định nào	Cranfield paradigm, graded vs binary, khung 3 trục
2	1. Nhóm SET-BASED — bỏ qua thứ tự	Success@k, Recall@k, Precision@k và bẫy mẫu số, F-measure
3	2. Nhóm RANK-BASED, relevance NHỊ PHÂN	MRR, MAP, đường precision–recall
4	3. Nhóm RANK-BASED, relevance CÓ MỨC	DCG/nDCG, ERR, RBP, nhãn không hoàn chỉnh
5	4. Metrics cho pipeline RAG end-to-end	Faithfulness, answer relevance, context precision/recall
6	5. Tổng hợp qua nhiều truy vấn	Macro vs micro, phân tích theo lớp truy vấn
7	6. Ý nghĩa thống kê — phần dễ bị bỏ qua nhất	Phương sai giữa truy vấn, test nào phù hợp, effect size
8	7. Bảy lỗi phương pháp phổ biến	Bảy lỗi làm mọi con số vô nghĩa
9	8. Bảng quyết định — chọn metric nào	Bảng tra: mục tiêu nào → metric nào
10	9. Checklist cho bản `metrics.py` khi dựng lại	Checklist khi tự viết module metrics
11	10. Nguồn tham khảo	Sách, paper nền tảng, benchmark, công cụ
12	Phụ lục — bảng công thức một trang	Bảng công thức một trang