Khách gọi cho IPC247 nói "cần một máy tính chạy AI nhận diện ngoài xưởng", rồi hỏi giá như hỏi một chiếc PC văn phòng. Nhưng ở hiện trường, cùng một mô hình nhận diện có thể chạy trên một hộp nhôm 2 kg không quạt, cũng có thể phải chạy trên máy 5,7 kg cắm card đồ hoạ tiêu thụ 120 W. Khác biệt không nằm ở phần mềm mà ở cách gắn bộ tăng tốc vào máy: module NVIDIA Jetson, card GPU chuẩn MXM lắp trong, hay card PCIe rời như trong PC. Bài này so sánh ba hướng bằng thông số công bố của Advantech MIC-730AI, MIC-713-OX, SKY-MXM-A2000 và ARK-3534B.
Ba cách đưa AI xuống hiện trường
Suy luận AI (inference) là bước chạy mô hình đã huấn luyện trên dữ liệu thật: một khung hình camera vào, một kết quả phân loại ra. Bước này cần nhiều phép nhân ma trận song song, việc mà GPU làm nhanh hơn CPU nhiều lần. Với máy tính công nghiệp, có ba cách gắn phần tăng tốc đó vào máy.
- Module NVIDIA Jetson: một bo mạch nhỏ tích hợp sẵn CPU ARM, GPU và bộ nhớ trên cùng một đế, cắm vào bo mẹ của máy. Cả máy chỉ là một hệ ARM chạy Linux với bộ công cụ JetPack của NVIDIA.
- Card GPU chuẩn MXM: một card đồ hoạ dạng module dẹt (chuẩn MXM 3.1), bắt vít trực tiếp vào bo mẹ x86 và dùng chung khối tản nhiệt của vỏ máy. Không có quạt riêng, không có khung nhựa như card PC.
- Card PCIe rời: đúng loại card đồ hoạ dùng cho máy bàn, cắm vào khe PCIe x16 của một máy công nghiệp có khe mở rộng.
Hướng 1: module NVIDIA Jetson
Jetson là dòng module nhúng của NVIDIA, mỗi module là một hệ hoàn chỉnh trên một đế. Hãng công bố hiệu năng AI theo TOPS (nghìn tỷ phép tính mỗi giây, đo ở độ chính xác thấp INT8): Orin Nano tới 67 TOPS với dải điện 7 ~ 25 W, Orin NX tới 157 TOPS, AGX Orin tới 275 TOPS, Xavier NX tới 21 TOPS. TOPS chỉ là trần lý thuyết, nhưng đủ để phân bậc.
Hai máy Advantech dùng Jetson minh hoạ hai bậc khác nhau:
| Thông số (theo datasheet hãng) | MIC-730AI | MIC-713-OX |
|---|---|---|
| Module | Jetson AGX Xavier, tối đa 32 TOPS | Jetson Orin NX, tối đa 157 TOPS |
| CPU / GPU | 8 nhân NVIDIA Carmel ARM v8.2 / 512 nhân Volta, 64 Tensor Core | 8 nhân Arm Cortex-A78AE (bản 16 GB) / 1024 nhân Ampere, 32 Tensor Core |
| Bộ nhớ | 32 GB LPDDR4 256-bit, eMMC 32 GB | 16 GB hoặc 8 GB LPDDR5 |
| Cổng chính | 2 GbE, 2 USB 3.0 + 2 USB 2.0, 2 COM RS-232/422/485, 8 DI + 8 DO | 2 GbE, 6 USB 3.2 Gen 2, 4 DI + 4 DO, 1 CAN FD |
| Mở rộng | mPCIe, M.2 2280 NVMe, iModule cho khe PCIe x8 hoặc x16 + x4 | mPCIe, M.2 3052, M.2 2280 PCIe Gen4 x1, 2 khe nano SIM |
| Nguồn vào | 9 ~ 36 VDC | 9 ~ 36 VDC |
| Nhiệt hoạt động | -10 ~ 55 °C, gió 0,7 m/s | -10 ~ 60 °C, gió 0,7 m/s (còn -10 ~ 50 °C ở chế độ MAXN_SUPER) |
| Rung / sốc | 0,5 Grms 5 ~ 500 Hz (có HDD) / 10 G, 11 ms | 3 Grms 5 ~ 500 Hz / 10 G, 11 ms |
| Kích thước, khối lượng | 192 x 230 x 87 mm, 4,5 kg | 194,8 x 174,3 x 65,85 mm, 2,05 kg |
Điểm cần nhớ: máy Jetson là hệ ARM, không phải x86; phần mềm Windows và phần mềm SCADA biên dịch cho x86 sẽ không chạy. Đổi lại, cả máy chỉ ăn vài chục watt, không quạt, nhận 9 ~ 36 VDC nên cắm thẳng vào nguồn 24 V của tủ điện hoặc ắc-quy xe được. Bản Orin NX nặng 2,05 kg và chịu rung 3 Grms — con số này mới là lý do đặt máy lên xe nâng hay tủ cạnh máy dập, chứ không phải TOPS.
Hướng 2: card GPU chuẩn MXM
Khi phần mềm bắt buộc là x86, lựa chọn tiếp theo là máy x86 gắn card MXM. MXM là chuẩn module đồ hoạ vốn dùng cho laptop: card không có quạt và khung riêng, chỉ là bo mạch bắt vít vào bo mẹ, dùng khối tản nhiệt của vỏ máy.
SKY-MXM-A2000 là ví dụ rõ ràng. Datasheet ghi: GPU Quadro A2000 kiến trúc Ampere, 2560 nhân CUDA, 20 nhân RT và 80 nhân Tensor, 8,25 TFLOPS FP32, bộ nhớ GDDR6 8 GB 128-bit băng thông 224 GB/s có ECC, giao tiếp PCI Express Gen3 x8, tối đa 4 cổng DisplayPort 1.4a, tiêu thụ tối đa 60 W, bo mạch 82 x 70 mm. Nhiệt hoạt động 0 ~ 55 °C và hãng ghi rõ mức này phụ thuộc CPU cùng giải pháp tản nhiệt — card đặt trong vỏ nào thì lấy giới hạn của vỏ đó.
Hai giá trị đáng chú ý với người mua công nghiệp: bộ nhớ có ECC (tự sửa lỗi bit, quan trọng khi máy chạy liên tục nhiều năm) và cam kết cung cấp 5 năm. Card đồ hoạ tiêu dùng không có cam kết đó; một dây chuyền lắp 30 máy giống nhau mà năm sau không mua được card thay thế là rủi ro thật.
Hướng 3: card PCIe rời trong máy có khe mở rộng
Hướng thứ ba là dùng box PC công nghiệp có khe PCIe x16 rồi cắm card đồ hoạ rời. Advantech ARK-3534B là máy điển hình: CPU Intel Core thế hệ 12/13/14 socket LGA1700 tới 65 W, DDR5 tối đa 64 GB, 1 khe PCIe x4 và 1 khe PCIe x16 nhận card dày hai tầng.
Datasheet ARK-3534B ghi hai ràng buộc mà khách hay bỏ qua. Thứ nhất, khe PCIe x16 hỗ trợ card tối đa 120 W, nhưng card trên 30 W phải mua kèm bộ kit AMO-3508 cho phần nguồn và tản nhiệt. Thứ hai, kích thước card tối đa là 110 mm cao x 180 mm dài — nhiều card đồ hoạ phổ thông dài hơn 250 mm nên không lắp được. Nhiệt hoạt động là -20 ~ 60 °C với gió 0,7 m/s khi dùng CPU 65 W và linh kiện dải nhiệt rộng, còn lắp ổ cứng cơ thì co xuống 0 ~ 40 °C. Riêng CPU và RAM đã tiêu thụ 56,1 W điển hình, 92,4 W tối đa; cộng thêm card 120 W thì bộ nguồn 24 V trong tủ phải tính lại từ đầu.
Bảng chọn nhanh theo bài toán
| Tiêu chí | Module Jetson | Card MXM | Card PCIe rời |
|---|---|---|---|
| Kiến trúc phần mềm | ARM + Linux, JetPack | x86 | x86 |
| Điện năng phần tăng tốc | Nằm trong hệ, vài chục W | Tới 60 W (A2000) | Tới 120 W ở khe x16 của ARK-3534B |
| Tản nhiệt | Không quạt, vỏ nhôm | Dùng khối tản nhiệt của vỏ máy | Cần kit riêng khi card trên 30 W |
| Khối lượng máy | 2 ~ 4,5 kg | Theo vỏ máy chứa card | 5,7 kg trở lên |
| Thay thế, vòng đời | Theo lộ trình module NVIDIA | Cam kết cung cấp 5 năm | Theo dòng card thương mại |
| Hợp với | Camera trên xe, trạm ngoài trời, tủ chật, nguồn 24 V | Máy trong tủ, rung nhiều, cần x86 và ECC | Phòng máy, tủ rộng, cần đổi card theo mô hình |
Ba câu hỏi cần trả lời trước khi báo cấu hình
1. Phần mềm chạy trên ARM hay x86?
Đây là câu hỏi cắt đôi bài toán. Mô hình huấn luyện bằng PyTorch hoặc TensorFlow rồi chuyển sang TensorRT chạy tốt trên Jetson. Nhưng phần mềm quản lý sản xuất và thư viện thị giác máy đóng gói cho Windows thì buộc phải x86.
2. Máy đặt ở đâu, nóng bao nhiêu, rung bao nhiêu?
Khách hay so TOPS mà quên vị trí lắp. Một máy 157 TOPS đặt trong tủ kín 50 °C không có gió sẽ giảm xung, còn máy 32 TOPS đặt đúng chỗ thoáng chạy ổn định nhiều năm. Nguyên lý tản nhiệt của loại vỏ kín này đã bàn trong bài máy tính công nghiệp không quạt là gì. Rung cũng vậy: 0,5 Grms và 3 Grms là hai lớp máy khác nhau.
3. Nguồn điện tại chỗ là gì?
Cả ba máy nêu trên đều nhận 9 ~ 36 VDC. Nhưng công suất khác hẳn: hệ Jetson vài chục watt, còn ARK-3534B cộng card 120 W có thể vượt 200 W. Bộ nguồn, tiết diện dây và cầu chì phải tính theo công suất đỉnh, không theo con số TOPS.
Nếu cần lọc nhanh máy theo dải nhiệt, khe mở rộng và nguồn vào trước khi hỏi báo giá, có thể dùng công cụ chọn máy rồi đối chiếu lại datasheet của model được gợi ý. Khái niệm GPU và khác biệt với CPU được giải thích trong bài GPU là gì, phân biệt GPU và CPU.
IPC247 làm được gì
IPC247 có sẵn Advantech MIC-730AI, card SKY-MXM-A2000 và ARK-3534B. Kỹ thuật viên hỏi trước mô hình AI, số camera, độ phân giải và khung hình mỗi giây rồi mới đề xuất bậc phần cứng, kiểm tra phần mềm chạy được trên ARM hay bắt buộc x86, đo nhiệt tại vị trí lắp và tính lại bộ nguồn theo công suất đỉnh. Có máy sẵn để chạy thử mô hình của khách trước khi chốt cấu hình.
Câu hỏi thường gặp về máy tính Edge AI
TOPS cao hơn có nghĩa là nhận diện nhanh hơn không?
Không hẳn. TOPS là trần lý thuyết ở độ chính xác INT8; tốc độ thật phụ thuộc mô hình, độ phân giải ảnh, cách tối ưu bằng TensorRT và cả băng thông bộ nhớ. Cách chắc chắn là chạy thử chính mô hình của mình trên máy mẫu và đếm khung hình mỗi giây.
Có cắm card đồ hoạ chơi game vào máy công nghiệp được không?
Về điện thì có thể nếu khe PCIe đủ công suất, nhưng thường vướng ba điểm: card dài hơn giới hạn cơ khí của vỏ (ARK-3534B chỉ nhận card 110 x 180 mm), card có quạt riêng dễ hút bụi và hỏng, và dòng card tiêu dùng không có cam kết cung cấp lâu dài để thay thế đồng loạt.