1.10 Bảy ngộ nhận của người mới
| Ngộ nhận | Thực tế |
|---|---|
| “RAG là fine-tune model trên dữ liệu của tôi” | Không liên quan. RAG đưa tài liệu cho model đọc lúc hỏi; fine-tune thay đổi trọng số model. Muốn model biết dữ liệu mới → RAG, không phải fine-tune |
| “Embedding hiểu nghĩa” | Nửa đúng. Nó học được rằng các đoạn văn hay xuất hiện cùng ngữ cảnh thì gần nhau. Nó không suy luận, không phủ định, không tính toán |
| “Cosine 0.8 là rất giống nhau” | Chưa chắc. Do hiện tượng anisotropy, hai đoạn văn bất kỳ đã có cosine nền dương khá cao. Đo được ở lab: +0.212. Phải so với mức nền, không so với 0 (Tầng 1.5) |
| “Cứ nhồi hết tài liệu vào context là xong” | Đắt, chậm, và chất lượng giảm — model bỏ sót thông tin ở giữa context (lost in the middle, Tầng 8) |
| “Vector search thay được database” | Không. Câu hỏi cần đếm/tính/so sánh/sắp xếp là bài toán SQL, không phải bài toán tìm kiếm (Tầng 7) |
| “Thêm reranker là hết sai” | Reranker không xếp lại được thứ chưa lấy về. Nếu recall@100 = 0.7 thì kết quả bị chặn trên ở 0.7 dù reranker hoàn hảo (Tầng 3) |
| “Chỉnh prompt là hết bịa” | Chỉ đúng nếu lỗi nằm ở generation. Nếu tài liệu đúng không có trong context thì đó là lỗi retrieval, và prompt không cứu được (Tầng 8) |