Lộ trình học

THÁNG 1 · Python đủ dùng cho AI

1/20

Tuần 1 — Python hiện đại + môi trường

Học Python qua chính code AI, không học tách rời. Type hints và Pydantic là bắt buộc, không optional.

1/4 task

Khởi tạo repo llm-toolkit với pyproject.toml
Config bằng pydantic-settings, không dùng os.getenv rải rác
CI GitHub Actions chạy ruff + mypy, build xanh
Viết 1 Pydantic model lồng nhau có validator

Tài nguyên

docs.pydantic.dev — phần Concepts: Validators, Fields
docs.astral.sh/uv — quickstart
ArjanCodes (YouTube) — playlist Code Quality

Ghi chú

Tuần 2 — Gọi LLM bằng raw HTTP, không SDK

Ràng buộc bắt buộc: không dùng SDK openai/anthropic tuần này. Bạn phải thấy được lớp HTTP bên dưới.

0/4 task

CLI ask.py gọi API bằng httpx thuần
Parse streaming SSE ra terminal, xử lý chunk dở dang
Log model / tokens / cost / latency vào SQLite
Tính được chi phí thật của 100 request

Tài nguyên

docs.claude.com — Messages API + Streaming
python-httpx.org — async client

Ghi chú

Tuần 3 — Async, error handling, resilience

Gọi LLM là I/O-bound — async cho throughput gấp 10–20 lần. Đây là câu hỏi phỏng vấn rất phổ biến.

0/4 task

batch_ask() xử lý 100 prompt song song có Semaphore
Retry backoff + jitter bằng tenacity
Phân biệt xử lý 429 / 5xx / 4xx khác nhau
Benchmark sync vs async — GHI LẠI CON SỐ

Tài nguyên

docs.python.org — asyncio Coroutines & Tasks
tenacity.readthedocs.io

Ghi chú

Tuần 4 — Structured output + Testing + SQL

Đọc source instructor để hiểu cơ chế, rồi tự viết bản mini. Đừng import rồi thôi.

0/4 task

extract(text, schema) có retry tự sửa lỗi validation
Test suite ≥15 case trên input bẩn thật (OCR lỗi, tiếng Việt)
Mock API call bằng respx trong pytest
Ôn SQL: JOIN, index, EXPLAIN ANALYZE

Tài nguyên

github.com/567-labs/instructor — đọc source
use-the-index-luke.com — phần Basics

Ghi chú

Checkpoint

Giải thích được cơ chế streaming SSE, không chỉ dùng được
Chứng minh async nhanh hơn bằng benchmark tự đo
Nêu 3 cách ép model trả JSON đúng + trade-off từng cách
Repo có CI xanh, có test, có type hints

THÁNG 2–3 · RAG chuyên sâu + Evaluation

0/39

Tuần 5 — Golden dataset TRƯỚC, hệ thống SAU

Không có baseline thì không biết đang cải thiện hay đang phá hoại. Làm eval trước khi tối ưu bất cứ thứ gì.

0/4 task

Golden dataset 100–150 câu tiếng Việt từ data thật
≥15% câu "không trả lời được" để test khả năng nói không biết
Phân loại: factual / multi-hop / summarization
Đo baseline hệ thống hiện tại → điền vào panel Số liệu

Tài nguyên

docs.ragas.io — Metrics, đọc cách tính
jxnl.co — RAG evaluation

Ghi chú

Tuần 6 — Vector store & embedding tiếng Việt

Model embedding tiếng Anh thuần kém trên tiếng Việt vì tokenization và dấu. Phải benchmark, không đoán.

0/4 task

Postgres + pgvector chạy Docker trên NAS
Benchmark ≥3 embedding model (BGE-M3, multilingual-e5, VN-specific)
Bảng recall@10 + latency + kích thước index
Tune HNSW: m, ef_construction, ef_search

Tài nguyên

github.com/pgvector/pgvector — README
MTEB leaderboard — tab multilingual

Ghi chú

Tuần 7 — Ingestion pipeline & Chunking

Khai thác kinh nghiệm OCR sẵn có của bạn cho tài liệu không có text layer.

0/5 task

Pipeline parse → chunk → embed → upsert chạy incremental
Content hash dedupe, xoá chunk mồ côi
So sánh ≥3 chiến lược chunking → bảng số liệu
Metadata design: source, page, phòng ban (phục vụ phân quyền)
Trigger bằng n8n cron

Tài nguyên

docling — parsing tài liệu có bảng
LlamaIndex docs — khái niệm Node Parser

Ghi chú

Tuần 8 — Retrieval quality — tuần quan trọng nhất

Reranking thường là cải thiện lớn nhất với chi phí thấp nhất. Bảng ablation này sẽ nằm đầu README.

0/5 task

Hybrid search BM25 + vector bằng RRF
Word segmentation tiếng Việt cho BM25 (pyvi/underthesea)
Thêm reranker cross-encoder
Query rewriting cho câu multi-hop
Hoàn thành bảng ablation 4 dòng có số liệu

Tài nguyên

BAAI/bge-reranker-v2-m3 — chạy local được
jxnl.co — RAG improvement

Ghi chú

Tuần 9 — Generation, citation, chống hallucination

Bắt buộc trích dẫn nguồn làm giảm hallucination đáng kể. "Không tìm thấy" phải là output hợp lệ.

0/4 task

Endpoint /ask trả answer + citations[] + confidence
Đo faithfulness trước/sau khi bắt buộc citation
Xử lý lost-in-the-middle với context dài
Bật prompt caching để giảm cost

Tài nguyên

Anthropic Prompt Engineering — Long context tips
Paper "Lost in the Middle" — đọc abstract + kết luận

Ghi chú

Tuần 10 — Eval pipeline tự động hoá

Mọi thay đổi prompt/config phải chạy eval trước khi merge. Không có regression test thì mọi cải tiến là mê tín.

0/4 task

make eval chạy 1 lệnh, in bảng metric, so với run trước
Tích hợp GitHub Actions, fail build nếu metric tụt
LLM-as-judge có rubric, calibrate với đánh giá người
Dashboard Streamlit hiển thị lịch sử metric

Tài nguyên

docs.ragas.io — Custom metrics
promptfoo.dev — CI integration

Ghi chú

Tuần 11 — FastAPI production

Đọc Advanced User Guide, không dừng ở tutorial.

0/4 task

Async endpoint + StreamingResponse (SSE)
Lifespan khởi tạo model/pool đúng cách
Structured logging + request ID + healthcheck
Docker multi-stage build < 500MB, graceful shutdown

Tài nguyên

fastapi.tiangolo.com — Advanced User Guide
structlog.org

Ghi chú

Tuần 12 — Đóng gói Project 1 + Blog #1

README phải dẫn bằng bảng số liệu, không dẫn bằng mô tả tính năng.

0/5 task

README tiếng Anh: architecture + metrics before/after
Mục Trade-offs & Decisions + Limitations
Demo video 90 giây
Blog: Benchmarking Embedding Models for Vietnamese RAG
Public golden dataset đã ẩn danh

Tài nguyên

Đăng LinkedIn + dev.to
GitHub profile README, pin repo

Ghi chú

Checkpoint

Có bảng ablation study với số liệu thật
Trả lời "vì sao chọn chunk size này" bằng dữ liệu, không cảm tính
Debug được retrieval sai theo quy trình từng tầng
Project 1 đã public, README chuẩn 5 mục

THÁNG 4 · Production Engineering + Bắt đầu apply

0/24

Tuần 13 — Observability

Không đo được latency từng tầng thì không biết tối ưu chỗ nào.

0/4 task

Langfuse self-host bằng Docker Compose trên NAS
Mọi request có trace đầy đủ
Tách latency: embed / retrieve / rerank / generate
Dashboard cost theo ngày + attribution theo feature

Tài nguyên

langfuse.com/docs — self-hosting
OpenTelemetry — khái niệm span/trace

Ghi chú

Tuần 14 — Cost & Latency optimization

Project 2 khởi động ở đây. Đây là project khác biệt nhất với đám đông ứng viên.

0/4 task

Model routing: rẻ cho classify, mạnh cho reasoning
Exact-match cache + semantic cache (chú ý false hit)
Fallback khi provider lỗi
Đo: giảm bao nhiêu % cost, cache hit bao nhiêu %

Tài nguyên

docs.litellm.ai — tham chiếu thiết kế
docs.vllm.ai — PagedAttention

Ghi chú

Tuần 15 — Security & Guardrails

Indirect injection giấu trong tài liệu được RAG lấy về là rủi ro nguy hiểm nhất với hệ thống của bạn.

0/4 task

Injection test suite ~25 case, gồm indirect nhúng trong PDF
PII redaction tiếng Việt: CCCD, số điện thoại, địa chỉ
Row-level security theo role trong Postgres
Phân quyền ở tầng retrieval, KHÔNG ở tầng prompt

Tài nguyên

OWASP Top 10 for LLM Applications
presidio — PII detection

Ghi chú

Tuần 16 — Hoàn thiện Gateway + Docker stack

Tiêu chí nghiệm thu: người lạ clone về chạy được bằng một lệnh.

0/4 task

docker compose up chạy full stack một lệnh
Healthcheck + restart policy + volume backup
README Project 2 với số liệu cost/cache
Load test cơ bản, ghi p50/p95/p99

Tài nguyên

Docker Compose healthcheck docs

Ghi chú

Tuần 17 — 🚀 Bắt đầu apply — đừng đợi hoàn hảo

Phỏng vấn là công cụ chẩn đoán lỗ hổng chính xác nhất. Đợi hoàn hảo là mất 6 tháng feedback.

0/4 task

CV 1 trang dẫn bằng SỐ LIỆU, không dẫn bằng "có kinh nghiệm RAG"
LinkedIn headline + about kể 3 project
Apply 10 công ty/tuần: VN product + outsourcing + remote
Sau mỗi phỏng vấn ghi lại câu không trả lời được

Tài nguyên

Mẫu CV: mỗi bullet = hành động + số liệu + tác động

Ghi chú

Checkpoint

Trace được toàn bộ request, chỉ ra bottleneck bằng số
Có con số cost trước/sau tối ưu
Chặn được indirect prompt injection
Đã apply ≥20 công ty

THÁNG 5 · Agents có kỷ luật

0/19

Tuần 18 — Agent loop tự viết tay

Viết tay trước, framework sau. Nếu không, bạn sẽ không debug được và sẽ rớt vòng deep dive.

0/4 task

Agent loop ~200 dòng tự viết, vòng ReAct
3 tool: search_docs, read_file, create_ticket
Xử lý tool failure + giới hạn iteration + cost guard
Trace từng step vào Langfuse

Tài nguyên

Anthropic — "Building effective agents", đọc kỹ 2 lần

Ghi chú

Tuần 19 — LangGraph & orchestration

Bỏ CrewAI. Ít dùng production hơn, và interviewer thường coi demo multi-agent CrewAI là dấu hiệu chạy theo hype.

0/4 task

Workflow có conditional edge
Bước human-in-the-loop approval
Checkpointer: resume được sau khi crash
Parallel branch cho tác vụ độc lập

Tài nguyên

langchain-ai.github.io/langgraph — Concepts + How-tos

Ghi chú

Tuần 20 — MCP — Model Context Protocol

Đang thành chuẩn kết nối. Vẫn còn ít người làm nên là điểm cộng rõ rệt trong phỏng vấn.

0/4 task

MCP server cho hệ thống tài liệu của bạn
Phân biệt và dùng đúng tools / resources / prompts
Kết nối được từ Claude Desktop hoặc Claude Code
Viết README hướng dẫn cài đặt

Tài nguyên

modelcontextprotocol.io — spec + quickstart

Ghi chú

Tuần 21 — Project 3: Document Processing Agent

Khai thác trực tiếp kinh nghiệm OCR. Nghiệp vụ hoá đơn/hợp đồng VN có giá trị kinh doanh rõ, dễ kể chuyện.

0/4 task

Luồng OCR → extract → validate → route → human review
Eval accuracy THEO TỪNG FIELD, không phải accuracy tổng
Confusion matrix + tỷ lệ cần human review
Ngưỡng confidence để tự động vs chuyển người

Tài nguyên

Business rule validation — Pydantic validator

Ghi chú

Checkpoint

Nêu rõ khi nào dùng workflow cố định, khi nào dùng agent tự do
Có cơ chế cụ thể ngăn agent thực hiện hành động phá hoại
Cả 3 project đã public và chạy được

THÁNG 6 · Interview prep chuyên biệt

0/24

Tuần 22 — Fine-tuning — chỉ 1 tuần, đủ dùng

Kết luận có thể là "fine-tune không đáng". Đó vẫn là kết quả tốt và rất ăn điểm khi kể lại.

0/4 task

Hiểu cơ chế LoRA/QLoRA: vì sao tiết kiệm VRAM
Fine-tune Qwen 2.5 3B cho task classify tiếng Việt
So sánh với prompting + few-shot bằng số liệu
Chốt câu trả lời: khi nào KHÔNG nên fine-tune

Tài nguyên

Hugging Face PEFT docs
Unsloth notebooks — chạy Colab free

Ghi chú

Tuần 23 — LLM System Design

Khung: Requirements → Metrics → Kiến trúc → Data flow → Scaling → Cost → Failure mode → Trade-offs.

0/4 task

Bài 1–2: Q&A nội bộ 10k user có phân quyền; support bot có escalation
Bài 3–4: pipeline 100k hoá đơn/tháng; code review assistant
Bài 5–6: giảm cost $5k→$2.5k; multi-tenant cách ly dữ liệu
Bài 7–8: realtime meeting summarization; migration vendor không downtime

Tài nguyên

Mỗi bài viết ra kiến trúc + trade-off trong 45 phút

Ghi chú

Tuần 24 — 15 câu hỏi cốt lõi

Luyện NÓI THÀNH TIẾNG, mỗi câu 2–3 phút, luôn kèm ví dụ từ project của bạn.

0/4 task

RAG (5 câu): chunking, debug trả lời sai, đo chất lượng, khi nào không dùng RAG, đặc thù tiếng Việt
System design (3 câu): 500k tài liệu <3s, ingestion liên tục, giảm 50% cost
Agents & judgment (4 câu): agent vs workflow, ngăn tool phá dữ liệu, fine-tune vs RAG, có nên đổi model mới
Production (3 câu): prompt injection, fallback provider, test cái không deterministic

Tài nguyên

Ghi âm từng câu, nghe lại, cắt phần lan man

Ghi chú

Tuần 25 — Project deep dive script

Vòng này quyết định đậu/rớt. Interviewer giỏi luôn tìm xem bạn có trung thực về thất bại không.

0/5 task

Pitch 60 giây cho mỗi project: vấn đề → giải pháp → kết quả có số
Vẽ được kiến trúc trên whiteboard trong 3 phút
3 quyết định kỹ thuật khó + phương án đã loại và vì sao
1 thất bại thật + cách khắc phục
Nếu làm lại sẽ làm khác gì

Tài nguyên

Ghi âm, nghe lại, tự chấm

Ghi chú

Tuần 26 — Mock interview & đóng gói

Kiểm tra cuối: mỗi repo có chạy được bằng docker compose up không?

0/4 task

3 buổi mock interview với người trong ngành
Blog post #2 và #3
GitHub profile README, pin đúng 3 repo
Rà soát toàn bộ repo: clone → chạy được

Tài nguyên

Cộng đồng AI VN, Pramp, bạn bè trong ngành

Ghi chú

Checkpoint

Trả lời trôi chảy ≥13/15 câu cốt lõi
Vẽ được kiến trúc cả 3 project không cần nhìn note
Có ≥2 offer hoặc ≥5 vòng technical đã qua