🎓 Overfitting là gì?
Học thuộc lòng dữ liệu cũ, gặp cái mới là hỏng.
1
Hiểu nó là gì
Overfitting là khi model khớp quá sát dữ liệu huấn luyện, thuộc cả phần nhiễu, nên làm rất tốt trên đề cũ mà kém hẳn với dữ liệu thật.
Nói theo đời thường:
Học tủ đúng đề năm ngoái: kiểm tra lại đề đó thì điểm cao, đổi đề một chút là trượt.
Học tủ đúng đề năm ngoái: kiểm tra lại đề đó thì điểm cao, đổi đề một chút là trượt.
⚠ Chỗ ẩn dụ này hỏng
“Học tủ đúng đề năm ngoái” — ẩn dụ này rất sát, nhưng khác một chỗ quan trọng: học sinh biết mình đang học tủ, model thì không.
Model overfit báo cáo độ chính xác 99% và hoàn toàn “tin” vào con số đó. Chỉ khi gặp dữ liệu thật nó mới lộ. Đó là lý do phải giữ riêng một phần dữ liệu mà model chưa từng thấy — không có nó thì bạn không có cách nào biết mình đang bị lừa.
2
Code trông thế nào
Dấu hiệu kinh điển: độ chính xác trên tập train: 99% ← thuộc lòng độ chính xác trên tập test: 61% ← gặp cái mới là hỏng Chênh lệch càng lớn, overfit càng nặng
Chỉ nhìn con số đầu tiên là cách tự lừa mình phổ biến nhất trong ML.
3
Khi nào bạn dùng nó
✓ Dùng khi
- — Không ai muốn có. Việc của bạn là phát hiện sớm.
✗ Đừng dùng khi
- Đánh giá model bằng chính dữ liệu đã dùng để huấn luyện
- Huấn luyện thêm mãi vì thấy con số vẫn đang đẹp lên
Chưa cần biết: chính quy hoá, dừng sớm, dropout, kiểm định chéo.
Để dành tới Mốc 3 — Tự ghép được: Bạn nối được AI vào tài liệu của mình và biết cách kiểm tra nó trả lời đúng hay đang bịa.
Dấu hiệu bạn đã cần học nó: Khi model của bạn đạt điểm rất cao lúc chấm nhưng người dùng thật phàn nàn liên tục.
4
Đi đâu tiếp
- DatasetCách chia dữ liệu để phát hiện overfitting.
- TrainingQuá trình sinh ra vấn đề này.
- ModelThứ đang học thuộc thay vì học hiểu.