Phụ lục — Lộ trình & baseline

Nguyên tắc xuyên suốt

Không đo thì không tối ưu. Mọi thay đổi report trên cùng một golden set.
Mỗi kỹ thuật phải trả giá. Ghi nhận đồng thời: chất lượng, latency, chi phí.
Điểm mù đối xứng. Mỗi phương pháp đều có lớp truy vấn nó thua. Học là học nhận ra lớp đó, không phải học “cái nào tốt nhất”.
Thứ tự ưu tiên đã được đo: dữ liệu & tokenization ≫ kiến trúc ≫ siêu tham số.

13 module

#	Module	Câu hỏi cốt lõi	Trạng thái
0	Metrics & golden set	Tệ ở khâu nào — retrieval hay generation?	✅ đo xong
1	Lexical retrieval	BM25 thật sự làm gì? k1/b nghĩa là gì?	✅ đo xong
2	Dense retrieval & embeddings	Vì sao model “biết” hai câu gần nghĩa?	✅ đo xong
3	Hybrid & fusion	RRF vs weighted fusion. SPLADE.	☐
4	Reranking	Cross-encoder / ColBERT / LLM rerank — ROI thật?	☐
5	Chunking & indexing	Chunk size ảnh hưởng recall thế nào?	☐
6	ANN & hạ tầng vector	HNSW bên trong. Bẫy recall khi filter.	☐
7	Query understanding	Rewrite / decompose / HyDE — cái nào đáng tiền?	☐
8	Ma trận dữ liệu ↔ thuật toán	Loại dữ liệu nào dùng gì?	☐
9	Context assembly & chống hallucination	Grounding, abstention, faithfulness.	☐
10	Agentic retrieval	Vì sao “agent” đổi thiết kế retrieval?	☐
11	Production	Latency, cache, cost, freshness, observability.	☐
12	Áp vào sản phẩm AI Agent	Audit → đo → xếp ưu tiên theo ROI.	☐

Baseline đã thiết lập

Hệ thống	nDCG@5	A (exact)	B (paraphrase)	C (multi-hop)	D (phủ định)
BM25, tokenizer code-aware	0.787	0.971	0.456	0.834	0.888
BM25 tinh chỉnh (k1=2.0)	0.806	—	—	—	—
Dense tự train (128d)	0.753	0.971	0.354	0.835	0.850
Dense + trừ tâm	0.799	—	—	—	—

Latency BM25: 0.03 ms/query. Đây là mốc để so sánh chi phí mọi thứ thêm vào.