📏 Context window là gì?
Lượng chữ tối đa AI nhìn được trong một lượt.
1
Hiểu nó là gì
Context window là giới hạn số token model xem được cùng lúc, tính cả câu bạn hỏi lẫn phần nó trả lời.
Nói theo đời thường:
Như mặt bàn có hạn: bày thêm giấy tờ mới thì phải đẩy bớt tờ cũ ra, thứ rơi khỏi bàn coi như không còn thấy nữa.
Như mặt bàn có hạn: bày thêm giấy tờ mới thì phải đẩy bớt tờ cũ ra, thứ rơi khỏi bàn coi như không còn thấy nữa.
⚠ Chỗ ẩn dụ này hỏng
Mặt bàn có hạn — nhưng không phải mọi chỗ trên bàn đều được chú ý như nhau.
Model chú ý tới đầu và cuối ngữ cảnh nhiều hơn phần giữa. Nhét một tài liệu 200 trang vào không có nghĩa nó đọc kỹ cả 200 trang; thông tin nằm giữa rất dễ bị bỏ qua. Cửa sổ lớn giải quyết vấn đề “chứa được”, không giải quyết vấn đề “để ý tới”.
2
Code trông thế nào
Cửa sổ 128.000 token — nghe rất nhiều [ prompt hệ thống ][ tài liệu bạn dán vào ][ lịch sử chat ][ câu hỏi ] được chú ý ← dễ bị lướt qua → được chú ý Mẹo: đặt câu hỏi quan trọng ở CUỐI, sau tài liệu
Đây là mẹo đơn giản nhất mà hiệu quả nhất khi làm việc với tài liệu dài.
3
Khi nào bạn dùng nó
✓ Dùng khi
- Cần đưa nhiều tài liệu cho model đọc
- Chat dài và cần model nhớ đoạn trước
✗ Đừng dùng khi
- Nhét mọi thứ vào cho chắc — vừa tốn tiền vừa loãng
- Kỳ vọng model nhớ chính xác chi tiết ở giữa tài liệu dài
Chưa cần biết: nén ngữ cảnh, quản lý bộ nhớ hội thoại, chọn lọc tài liệu.
Để dành tới Mốc 3 — Tự ghép được: Bạn nối được AI vào tài liệu của mình và biết cách kiểm tra nó trả lời đúng hay đang bịa.
Dấu hiệu bạn đã cần học nó: Khi chat dài dần và model bắt đầu quên mất yêu cầu bạn nêu từ đầu.
4
Đi đâu tiếp
- TokenĐơn vị đo cửa sổ ngữ cảnh.
- RAGCách chỉ đưa vào đúng phần tài liệu cần thiết.
- PromptThứ chiếm chỗ trong cửa sổ.