Phần 4 — Lý thuyết
Mười một tầng, xếp theo thứ tự phụ thuộc: tầng sau giả định bạn đã hiểu tầng trước. Tầng 0 và 1 là 80% giá trị.
Phần này nói về cách làm cho retrieval thông minh. Nếu cơ chế bên dưới còn mờ — postings là gì, fuzzy search hoạt động ra sao, vì sao
klớn thì đắt — quay lại Phần 3 — Nền tảng kỹ thuật, phần đứng ngay trước phần này trong lộ trình.
| # | Mục | Nội dung |
|---|---|---|
| 1 | Tầng 0 — Bài toán nền: vocabulary mismatch | Lexical/BM25, tokenizer, đặc thù tiếng Việt |
| 2 | Tầng 1 — Embeddings: cơ chế thật | Contrastive learning, temperature, anisotropy, Matryoshka, hard negatives |
| 3 | Tầng 2 — Hybrid & Fusion | RRF, normalized fusion — và khi nào hybrid không giúp |
| 4 | Tầng 3 — Reranking: món có ROI cao nhất | Cross-encoder, toán kinh tế two-stage, trần recall@k, MMR. Bản đầy đủ: Phần 5 |
| 5 | Tầng 4 — Chunking & Indexing | Fixed/recursive/semantic/parent-child, late & contextual chunking |
| 6 | Tầng 5 — ANN & hạ tầng vector | HNSW, IVF, quantization (scalar/PQ/binary/TurboQuant), bẫy filter+vector, toán bộ nhớ |
| 7 | Tầng 6 — Query understanding | Rewriting, decomposition, multi-query, HyDE, routing |
| 8 | Tầng 6b — Keyword extraction cho BM25 | RAKE/YAKE/TextRank/KeyBERT/LLM, query vs index, tiếng Anh vs tiếng Việt |
| 9 | Tầng 7 — Ma trận dữ liệu ↔ thuật toán | Loại dữ liệu nào dùng thuật toán nào — bảng tra |
| 10 | Tầng 8 — Context assembly & chống hallucination | Lost-in-the-middle, citation, abstention, chống hallucination |
| 11 | Tầng 9 — Agentic retrieval | Search-as-a-tool, multi-hop, memory ≠ retrieval |
| 12 | Tầng 10 — Production | Latency budget, ba tầng cache, freshness, observability |