🎮 GPU là gì?
Chip chuyên tính song song, xương sống của AI.
1
Hiểu nó là gì
GPU xử lý cùng lúc rất nhiều phép tính nhỏ, nên hợp với việc huấn luyện và chạy các model lớn.
Nói theo đời thường:
CPU là một thợ giỏi làm tuần tự từng việc; GPU là cả trăm thợ phụ cùng làm một loại việc đơn giản, nên xong nhanh hơn hẳn.
CPU là một thợ giỏi làm tuần tự từng việc; GPU là cả trăm thợ phụ cùng làm một loại việc đơn giản, nên xong nhanh hơn hẳn.
⚠ Chỗ ẩn dụ này hỏng
“Trăm thợ phụ cùng làm” — đúng, nhưng nút thắt thật thường không phải tốc độ tính, mà là bộ nhớ.
Model 70 tỉ tham số cần khoảng 140GB bộ nhớ chỉ để nạp vào. GPU chơi game mạnh nhất cũng chỉ có 24GB. Đó là lý do người ta không chạy được model lớn ở nhà dù card rất khoẻ — và vì sao câu hỏi đầu tiên luôn là “card bao nhiêu VRAM”, không phải “card nhanh bao nhiêu”.
2
Code trông thế nào
Ước lượng nhanh bộ nhớ cần có: Model 7 tỉ tham số → ~14 GB (chạy được trên card cao cấp) Model 70 tỉ tham số → ~140 GB (cần nhiều card ghép lại) Lượng tử hoá giảm được khoảng một nửa, đổi lấy chút chất lượng
Quy tắc thô: số tỉ tham số nhân đôi ra số GB cần.
3
Khi nào bạn dùng nó
✓ Dùng khi
- Huấn luyện hoặc chạy model lớn
- Xử lý ảnh và video hàng loạt
✗ Đừng dùng khi
- Chỉ gọi API của nhà cung cấp (họ lo phần cứng)
- Model nhỏ chạy CPU vẫn đủ
Chưa cần biết: VRAM và băng thông, ghép nhiều card, thuê GPU trên cloud.
Để dành tới Mốc 3 — Tự ghép được: Bạn nối được AI vào tài liệu của mình và biết cách kiểm tra nó trả lời đúng hay đang bịa.
Dấu hiệu bạn đã cần học nó: Khi bạn muốn chạy model riêng vì lý do bảo mật dữ liệu và phải tự lo phần cứng.
4
Đi đâu tiếp
- InferenceViệc GPU làm khi model đã huấn luyện xong.
- TrainingViệc tốn GPU nhất.
- CloudCách thuê GPU theo giờ thay vì mua.