Bỏ qua để đến nội dung
Search & RAG

2. Nhóm RANK-BASED, relevance NHỊ PHÂN

2.1 MRR (Mean Reciprocal Rank)

Phần tiêu đề “2.1 MRR (Mean Reciprocal Rank)”
RR(q)=1rank của doc lieˆn quan đaˆˋu tieˆn,MRR=1∣Q∣∑q∈QRR(q)\text{RR}(q) = \frac{1}{\mathrm{rank}\ \text{của doc liên quan đầu tiên}}, \qquad \text{MRR} = \frac{1}{\lvert Q\rvert}\sum_{q \in Q} \text{RR}(q)

Không có doc liên quan nào trong danh sách → RR = 0.

Bảng giá trị — chú ý độ sụt rất dốc ở đầu:

Vị trí hit đầu1234510
RR1.000.500.330.250.200.10

Mô hình người dùng ngầm: người dùng đọc từ trên xuống, dừng ngay khi gặp doc liên quan đầu tiên, và không quan tâm gì tới phần còn lại. Đúng cho Q&A một câu trả lời, navigational search (“trang đăng nhập ở đâu”).

Hai điểm yếu cần biết rõ:

  1. Mù với graded relevance. Nếu hệ trả doc rel=1 ở vị trí 1 và doc rel=2 ở vị trí 3, MRR = 1.0 — điểm hoàn hảo, trong khi tài liệu thật sự trả lời câu hỏi nằm ở vị trí 3. MRR không thể phát hiện lỗi này.
  2. Mù với các doc liên quan còn lại. Truy vấn cần tổng hợp từ 3 tài liệu: MRR chỉ nhìn tài liệu đầu tiên.

→ Với golden set graded + RAG cần nhiều đoạn, MRR chỉ nên là metric phụ dùng để debug (“hệ có bao giờ đặt rác lên đầu không”), không phải metric quyết định.

MRR cũng bị phê phán về mặt phương pháp: nó không phải thang đo interval (khoảng cách 1.00→0.50 và 0.50→0.33 không “bằng nhau” theo bất kỳ nghĩa hữu ích nào), nên việc lấy trung bình số học có vấn đề về lý thuyết đo lường (Fuhr 2017; phản biện: Sakai 2020). Trong thực tế mọi người vẫn lấy trung bình — nhưng biết chỗ yếu này thì sẽ không dựa vào chênh lệch MRR nhỏ.

2.2 MAP (Mean Average Precision)

Phần tiêu đề “2.2 MAP (Mean Average Precision)”
AP@k=1R∑i=1k1[di∈R]⋅Precision@i\text{AP@}k = \frac{1}{R}\sum_{i=1}^{k} \mathbb{1}[d_i \in \mathcal{R}] \cdot \text{Precision@}i MAP=1∣Q∣∑q∈QAP(q)\text{MAP} = \frac{1}{\lvert Q\rvert}\sum_{q\in Q}\text{AP}(q)

Đọc công thức bằng lời: tính precision tại mỗi vị trí có hit, rồi lấy trung bình qua số doc liên quan. Mẫu số là RR (không phải số hit tìm được) — nên doc liên quan không tìm được vẫn bị phạt, tức AP có sẵn thành phần recall bên trong.

Vì sao AP khác cả recall và precision: nó thưởng cho việc dồn tất cả doc liên quan lên trên. Recall chỉ hỏi “có trong top-k không”. Precision@k chỉ đếm tổng. AP quan tâm từng doc liên quan nằm ở vị trí nào.

Hình học: AP xấp xỉ diện tích dưới đường precision–recall. Đó là cách diễn giải chính xác nhất và giải thích tại sao nó “tổng hợp” cả hai.

MAP là metric chuẩn của TREC trong khoảng hai thập kỷ, và vẫn là lựa chọn tốt nhất khi relevance nhị phân + nhiều doc liên quan mỗi truy vấn.

Nhược: vẫn nhị phân. Với golden set graded, AP không phân biệt được rel=2 và rel=1.

2.3 Đường precision–recall và các biến thể

Phần tiêu đề “2.3 Đường precision–recall và các biến thể”

Với mỗi kk ta có một cặp (Recall@k,Precision@k)(\text{Recall@}k, \text{Precision@}k). Nối lại thành đường PR. Đường này có hình răng cưa (precision tăng khi gặp hit, giảm khi gặp miss), nên thường được interpolate:

Pinterp(r)=max⁡r′≥rP(r′)P_{\text{interp}}(r) = \max_{r' \ge r} P(r')

TREC cổ điển báo cáo 11-point interpolated average precision — precision tại recall = 0.0, 0.1, …, 1.0. Ngày nay ít dùng, chủ yếu gặp trong paper cũ.

2.4 Ví dụ số — cả nhóm trên cùng một truy vấn

Phần tiêu đề “2.4 Ví dụ số — cả nhóm trên cùng một truy vấn”

Truy vấn A2 của golden set: "webhook trả về E4010 thì xử lý thế nào", với rel = {d025: 2, d031: 1} → R=2R = 2, k=5k = 5.

Ba kịch bản ranking (doc liên quan in đậm):

#Top-5recall@5prec@5MRRAPnDCG@5
Ad031, d012, d025, d040, d0071.0000.4001.0000.8330.689
Bd025, d031, d012, d040, d0071.0000.4001.0001.0001.000
Cd012, d040, d025, d031, d0071.0000.4000.3330.4170.532

Bảng này là bài học trung tâm của Module 0:

  • recall@5 và precision@5 không phân biệt được A, B, C. Cả ba “lấy đủ tài liệu”. Set-based metrics mù với ranking — đúng như định nghĩa, nhưng phải thấy bằng số mới tin.
  • MRR không phân biệt được A và B (cả hai = 1.000). Vì MRR chỉ thấy “vị trí 1 có doc liên quan”, nó không biết rằng ở A, doc trả lời trực tiếp (d025, rel=2) bị đẩy xuống dưới một doc chỉ liên quan (d031, rel=1).
  • AP phân biệt được A và B (0.833 vs 1.000) vì nó nhìn cả hai vị trí hit. Nhưng AP làm được điều đó nhờ thứ tự, không nhờ mức độ — nó không biết d025 quan trọng hơn d031, nó chỉ biết có một doc liên quan ở vị trí 3 thay vì vị trí 2.
  • Chỉ nDCG dùng được thông tin rel=2 vs rel=1 và cho ra thứ tự đúng về mặt sản phẩm: B (1.000) > A (0.689) > C (0.532).

Kiểm tra DCG kịch bản A bằng tay (dùng gain hàm mũ, xem §3.1):

gains theo rel: [1, 0, 2, 0, 0]

DCG@5=21−1log⁡22+22−1log⁡24=11+32=2.5\text{DCG@}5 = \frac{2^1-1}{\log_2 2} + \frac{2^2-1}{\log_2 4} = \frac{1}{1} + \frac{3}{2} = 2.5

Thứ tự lý tưởng: rel sắp giảm dần = [2, 1]

IDCG@5=22−1log⁡22+21−1log⁡23=3+0.6309=3.6309\text{IDCG@}5 = \frac{2^2-1}{\log_2 2} + \frac{2^1-1}{\log_2 3} = 3 + 0.6309 = 3.6309 nDCG@5=2.53.6309=0.6885\text{nDCG@}5 = \frac{2.5}{3.6309} = 0.6885
Phần 2 — Metrics