Card tăng tốc AI là mô-đun phần cứng chuyên chạy mạng nơ-ron, gắn thêm vào máy tính công nghiệp qua khe mini PCIe, M.2, MXM hoặc PCIe để suy luận (inference) tại biên mà không chiếm tài nguyên CPU. Ba công nghệ phổ biến là VPU (Vision Processing Unit, bộ xử lý thị giác) như Intel Movidius Myriad X trong dòng mô-đun VEGA của Advantech, GPU (bộ xử lý đồ họa) rời của NVIDIA và NPU (Neural Processing Unit, bộ xử lý nơ-ron) tích hợp hoặc dạng mô-đun. Bài viết so sánh ba loại theo hiệu năng, công suất và dải nhiệt, liệt kê chuẩn khe cắm và đưa cách chọn theo số luồng camera cho từng ứng dụng.
1. Card tăng tốc AI dùng để làm gì
Một máy tính công nghiệp chạy mô hình phát hiện đối tượng trên CPU thường chỉ đạt vài khung hình mỗi giây cho một camera, đồng thời CPU không còn dư để chạy HMI, PLC mềm hay ghi dữ liệu. Card tăng tốc AI nhận phần tính toán ma trận của mạng nơ-ron, trả CPU về cho các tác vụ điều khiển. Kết quả là cùng một máy có thể xử lý nhiều camera hơn, ổn định hơn và tiêu thụ ít điện hơn so với nâng cấp CPU.
Card tăng tốc AI chỉ dùng cho suy luận, tức là chạy mô hình đã huấn luyện. Việc huấn luyện vẫn diễn ra trên máy chủ GPU tại trung tâm dữ liệu; bài máy chủ AI là gì mô tả lớp thiết bị đó. Tại biên, mô hình được chuyển sang định dạng tối ưu (ví dụ OpenVINO IR cho VPU, TensorRT cho GPU NVIDIA) rồi nạp lên card.
Các ứng dụng công nghiệp hay dùng card tăng tốc AI: kiểm tra ngoại quan sản phẩm (AOI) bằng học sâu, đếm và phân loại trên băng tải, nhận diện biển số ở cổng nhà máy, phát hiện người vào vùng nguy hiểm quanh robot, đọc ký tự trên bao bì, và phân tích hình ảnh y tế. Nguyên lý chung của các bài toán này được trình bày trong bài thị giác máy tính là gì.
2. Yêu cầu kỹ thuật khi gắn card tăng tốc AI vào máy tính công nghiệp
Card tăng tốc AI chịu cùng điều kiện với máy chủ nó gắn vào: trong tủ điện, cạnh băng tải, trên xe tự hành hay ngoài trời. Bảng dưới liệt kê tiêu chí cần đối chiếu trước khi chọn.
| Tiêu chí | Yêu cầu thường gặp | Lưu ý khi chọn |
|---|---|---|
| Chuẩn khe cắm | mini PCIe, M.2 2230/2280 (khóa B, M, E), MXM, PCIe x4 tới x16 | Kiểm tra máy còn khe trống, chiều dài card, khóa M.2 đúng loại |
| Công suất | VPU 2–30 W; NPU mô-đun 5–15 W; GPU MXM 30–110 W; GPU PCIe 75–250 W | Nguồn máy phải dư công suất; GPU trên 75 W cần đầu cấp nguồn phụ |
| Tản nhiệt | VPU và NPU thường thụ động; GPU cần quạt hoặc khung dẫn nhiệt | Máy không quạt chỉ nên gắn card công suất thấp |
| Dải nhiệt hoạt động | Mô-đun công nghiệp -20 °C tới 60 °C; card GPU thương mại 0 °C tới 50 °C | Trong tủ điện kín, nhiệt trong máy cao hơn phòng 10–15 °C |
| Rung, sốc | Card nhỏ gắn vít cố định; card PCIe dài cần thanh giữ | Ứng dụng trên xe cần MIL-STD-810 hoặc E-Mark cho cả máy |
| Phần mềm | OpenVINO cho VPU Intel; CUDA/TensorRT cho GPU NVIDIA; SDK riêng cho NPU | Chọn theo framework đội phát triển đã dùng, tránh chuyển đổi mô hình nhiều lần |
| Số luồng camera | 1–4 luồng: một VPU; 4–16 luồng: card nhiều VPU hoặc GPU nhỏ; trên 16 luồng: GPU rời | Phụ thuộc độ phân giải, mô hình và số khung hình mỗi giây yêu cầu |
| Vận hành 24/7 | Linh kiện công nghiệp, vòng đời cung ứng 5 năm trở lên | Card thương mại thay đổi đời nhanh, khó mua bổ sung cùng mã |
Với VPU Intel, bộ công cụ OpenVINO cho phép cùng một mô hình chạy trên CPU, GPU tích hợp hay VPU chỉ bằng thay đổi thiết bị đích, nên có thể thử nghiệm trên CPU trước rồi mới gắn card.
3. So sánh VPU, GPU và NPU
| Tiêu chí | VPU (Intel Movidius Myriad X) | GPU rời (NVIDIA) | NPU (tích hợp SoC hoặc mô-đun) |
|---|---|---|---|
| Dạng gắn | mPCIe, M.2, PCIe nhiều chip (dòng VEGA) | MXM trong máy GPU nhúng; PCIe trong máy hộp lớn | Tích hợp trong SoC (NVIDIA Jetson, Intel Core Ultra); M.2 |
| Công suất | Khoảng 2 W mỗi chip; card 8 chip dưới 30 W | 30–250 W | 5–15 W cho mô-đun; SoC tính chung 10–30 W |
| Hiệu năng suy luận | Vài luồng 1080p mỗi chip với mô hình đã tối ưu | Cao nhất, nhiều luồng 4K, mô hình lớn | Trung bình, tốt cho mô hình lượng tử hóa INT8 |
| Huấn luyện tại chỗ | Không | Có, ở quy mô nhỏ | Không hoặc rất hạn chế |
| Tản nhiệt | Thụ động với mô-đun mPCIe/M.2; card PCIe nhiều chip như VEGA-340 có quạt 12 V riêng | Cần quạt hoặc khung dẫn nhiệt riêng | Thụ động ở công suất thấp |
| Phần mềm | OpenVINO, Advantech Edge AI Suite | CUDA, TensorRT, DeepStream | SDK theo hãng (JetPack, OpenVINO NPU plugin) |
| Phù hợp | Máy tính nhúng nhỏ, 1–8 camera, tủ điện kín | AOI độ phân giải cao, nhiều camera, xe tự hành, máy chủ biên | Thiết bị nhỏ, pin, robot di động |
Cách chọn theo bốn bước: (1) đếm số luồng camera, độ phân giải và số khung hình mỗi giây cần xử lý; (2) xác định máy hiện có còn khe nào và công suất nguồn dư bao nhiêu; (3) chọn framework theo mô hình đã có, tránh chuyển đổi nhiều lần; (4) đối chiếu dải nhiệt và tản nhiệt với vị trí lắp. Nếu bước 1 cho kết quả trên 16 luồng hoặc cần huấn luyện lại, chuyển sang máy tính GPU nhúng hoặc GPU server thay vì cố gắn card vào máy nhỏ.
4. Ba ví dụ triển khai
Kiểm tra ngoại quan trên dây chuyền đóng gói
Bài toán: hai camera 1080p kiểm tra tem nhãn và nắp chai ở tốc độ băng tải trung bình; máy đặt trong tủ điện không quạt cạnh dây chuyền. Thiết bị: máy tính nhúng có sẵn VPU như Advantech AIR-101 (Atom E3940, hai VPU Myriad X, gắn ray DIN, nguồn 12–28 V DC), mô hình phát hiện lỗi chuyển sang OpenVINO. Kết quả kỳ vọng: xử lý hai luồng tại chỗ, CPU còn dư để giao tiếp PLC loại sản phẩm lỗi, không cần quạt trong tủ.
Nâng cấp máy tính nhúng đang có bằng mô-đun VPU
Bài toán: nhà máy đã có máy tính nhúng Advantech chạy phần mềm giám sát, muốn thêm nhận diện biển số ở cổng mà không thay máy. Thiết bị: mô-đun VEGA-230 gắn vào khe mini PCIe còn trống, tương thích các nền tảng EI, EIS, AIR của hãng; phần mềm dùng Edge AI Suite để nạp mô hình. Kết quả kỳ vọng: thêm chức năng AI với chi phí mô-đun, giữ nguyên máy và hệ điều hành đã cấu hình.
AOI độ phân giải cao nhiều camera
Bài toán: tám camera 5 megapixel kiểm tra bề mặt tấm kim loại, mô hình phân đoạn lớn, cần cập nhật mô hình định kỳ tại nhà máy. Thiết bị: máy tính GPU nhúng Cincoze GP-3000 với CPU Xeon/Core thế hệ 9 và tối đa hai card GPU 250 W, đạt MIL-STD-810G về rung sốc; hoặc AAEON BOXER-8120AI dùng NVIDIA Jetson TX2 nếu số camera ít hơn và ưu tiên công suất thấp. Kết quả kỳ vọng: đủ hiệu năng cho mô hình lớn, có thể tinh chỉnh mô hình tại chỗ, máy chịu được môi trường xưởng.
Chọn thiết bị cho card tăng tốc AI
Nếu máy tính nhúng hiện có còn khe mini PCIe, mô-đun AI Advantech VEGA-230 là cách bổ sung suy luận biên nhanh nhất, tương thích các nền tảng EI, EIS và AIR của hãng. Nếu mua mới cho bài toán 1–4 camera, Advantech AIR-101-S62A1 đã tích hợp sẵn hai VPU Myriad X, hỗ trợ OpenVINO và Edge AI Suite, gắn ray DIN, nguồn 12–28 V DC, có thêm khe M.2 2230 cho mô-đun VEGA-320 tùy chọn. Với bài toán nhiều camera hoặc mô hình lớn, máy tính GPU nhúng Cincoze GP-3000 hỗ trợ tối đa hai card GPU 250 W, bộ nhớ DDR4 ECC và bốn khay ổ 2,5 inch thay nóng.
Danh mục máy tính nhúng và máy chủ công nghiệp có thêm các dòng AIR, EIS và máy chủ biên khác. Trước khi chốt, gửi cho kỹ thuật IPC247 số camera, độ phân giải, framework đang dùng và vị trí lắp để đối chiếu khe cắm, nguồn và dải nhiệt; hoặc lọc sơ bộ bằng công cụ chọn máy theo điều kiện lắp đặt.
Câu hỏi thường gặp về card tăng tốc AI
Card tăng tốc AI khác card đồ họa thông thường ở điểm nào?
Card đồ họa được thiết kế để kết xuất hình ảnh, phần tăng tốc AI chỉ là một khả năng đi kèm và công suất thường cao. Card tăng tốc AI chuyên dụng như VPU hay NPU chỉ làm phép tính ma trận cho mạng nơ-ron, tiêu thụ vài watt, không có đầu ra màn hình và chịu được dải nhiệt công nghiệp. Với suy luận tại biên số luồng thấp, card chuyên dụng cho hiệu năng trên mỗi watt tốt hơn.
Máy tính công nghiệp có sẵn khe nào để gắn card tăng tốc AI?
Phổ biến nhất là khe mini PCIe và M.2 (khóa B, M hoặc E) trên máy tính nhúng nhỏ gọn, dùng cho mô-đun VPU hoặc NPU. Máy dạng hộp lớn hơn có khe PCIe x4 tới x16 cho card VPU nhiều chip hoặc card GPU rời. Cần kiểm tra khe còn trống, chiều dài card, nguồn phụ và không gian tản nhiệt trước khi mua.
Nên chọn VPU hay GPU cho hệ thống camera kiểm tra sản phẩm?
Với 1–8 camera chạy mô hình phát hiện đối tượng đã tối ưu, VPU qua OpenVINO đủ và tiết kiệm điện, mô-đun nhỏ không cần quạt. Với mô hình lớn, độ phân giải cao, nhiều camera hoặc cần huấn luyện lại tại chỗ, GPU rời trong máy tính GPU nhúng là lựa chọn hợp lý dù công suất và chi phí cao hơn.
Mô-đun VEGA của Advantech có còn phù hợp không?
Dòng VEGA gồm mô-đun VPU Intel Movidius Myriad X theo chuẩn mPCIe, M.2 và PCIe, dùng với bộ công cụ OpenVINO và Advantech Edge AI Suite. Các mô-đun này vẫn phù hợp cho suy luận thị giác công suất thấp trên máy tính nhúng đã có sẵn khe; khi chọn cần kiểm tra mã hàng còn cung ứng và phiên bản OpenVINO còn hỗ trợ.