Raspberry Pi AI HAT+ 2- Triển khai LLMs VLM cục bộ trên Pi 5

Raspberry Pi vừa chính thức giới thiệu phiên bản nâng cấp mới nhất của AI HAT+ mang tên AI HAT+ 2 — một bo mạch mở rộng mạnh mẽ được thiết kế để kích hoạt khả năng chạy các mô hình Trí tuệ nhân tạo sinh tạo (GenAI) ngay trên Raspberry Pi 5, mà không cần kết nối đám mây.

Giới thiệu tổng quát về Raspberry Pi AI HAT + 2

AI HAT+ 2 là bo mạch mở rộng HAT+ được thiết kế để hoạt động cùng Raspberry Pi 5 thông qua giao tiếp PCIe Gen3 x1, với mục tiêu xử lý các tác vụ AI ngay trên thiết bị mà không cần kết nối Internet hay cloud.

Không giống như AI HAT+ thế hệ đầu, vốn tập trung xử lý AI hình ảnh (vision AI), AI HAT+ 2 được trang bị phần cứng đủ mạnh để chạy cả Large Language Models (LLMs), các mô hình kết hợp ảnh-ngôn ngữ (VLMs) và các tác vụ AI sinh trắc khác.

Đặc điểm của AI HAT + 2

Chip tăng tốc Hailo-10H với hiệu năng 40 TOPS

Được trang bị bộ gia tốc mạng nơ-ron Hailo-10H thế hệ mới, Raspberry Pi AI HAT+ 2 cung cấp hiệu năng suy luận lên tới 40 TOPS (INT4), đảm bảo các tác vụ AI tạo sinh (Generative AI) vận hành mượt mà trên Raspberry Pi 5. Toàn bộ quá trình xử lý AI được thực hiện trực tiếp trên thiết bị, không cần kết nối mạng, giúp AI HAT+ 2 hoạt động ổn định với độ trễ thấp, đồng thời duy trì các lợi thế về quyền riêng tư, bảo mật và tối ưu chi phí của mô hình AI không phụ thuộc đám mây — những giá trị đã được Raspberry Pi giới thiệu từ phiên bản AI HAT+ đầu tiên.

Nâng cấp RAM

Khác với phiên bản tiền nhiệm, AI HAT+ 2 được trang bị 8GB RAM chuyên dụng tích hợp trên bo mạch, cho phép bộ gia tốc xử lý hiệu quả các mô hình có kích thước lớn hơn đáng kể so với trước đây. Kết hợp với kiến trúc phần cứng được nâng cấp, điều này giúp chip Hailo-10H có khả năng tăng tốc các mô hình ngôn ngữ lớn (LLM), mô hình thị giác–ngôn ngữ (VLM) cũng như nhiều ứng dụng AI tạo sinh khác.

Hỗ trợ nhiều mô hình AI phổ biến

Tại thời điểm ra mắt, một số mô hình AI có thể được cài đặt và chạy ngay trên AI HAT+ 2 bao gồm:

Mô hình	Thông số
DeepSeek-R1-Distill	1.5 B
Llama3.2	1 B
Qwen2.5-Coder	1.5 B
Qwen2.5-Instruct	1.5 B
Qwen2	1.5 B

Raspberry Pi sẽ tiếp tục cậm nhật các mô hình khác trong tương lai

Hoạt động độc lập, không lo bị rò rỉ giữ liệu ra ngoài

Một trong những lợi thế lớn nhất của AI HAT+ 2 là mọi xử lý AI đều diễn ra trực tiếp trên thiết bị, hạn chế tối đa việc truyền dữ liệu ra ngoài — đảm bảo bảo mật và riêng tư cho người dùng.

Tính Năng

Bộ tăng tốc AI Hailo-10H cung cấp hiệu năng suy luận 40 TOPS (INT4).
Hiệu năng của các mô hình thị giác máy tính tương đương với Raspberry Pi AI HAT+ (26 TOPS).
Chạy các mô hình AI tạo sinh một cách hiệu quả bằng cách sử dụng 8GB RAM tích hợp.
Được tích hợp hoàn toàn vào bộ phần mềm camera của Raspberry Pi.
Tuân thủ tiêu chuẩn Raspberry Pi HAT+.
Bao gồm tản nhiệt, đầu nối xếp chồng 16mm, miếng đệm và ốc vít để lắp đặt trên Raspberry Pi 5 khi đã có sẵn Raspberry Pi Active Cooler.

Ưu điểm AI HAT + 2 so với phiên bản cũ

Hỗ trợ Generative AI thay vì chỉ xử lý thị giác máy tính.
RAM onboard lớn hơn, xử lý mô hình lớn hiệu quả hơn.
Tích hợp liền mạch với phần mềm và thư viện hiện có trên Raspberry Pi OS, như libcamera và Picamera2.

Ứng dụng của Raspberry Pi AI HAT + 2

Assistant giọng nói và chat tự động chạy hoàn toàn offline
Ứng dụng dịch thuật đa ngôn ngữ tại biên
Giải thích cảnh và mô tả hình ảnh theo ngôn ngữ tự nhiên
Mạng nội bộ cho robot và thiết bị IoT sử dụng AI