Raspberry Pi brengt een nieuwe AI-module uit om grote taalmodellen lokaal te draaien. De Raspberry Pi AI HAT+ 2 geeft minicomputer Raspberry Pi 5 een rekenvermogen van 40Tops. De eerste generatie HAT, die vorig jaar uitkwam, haalde maximaal 26Tops.
Het nieuwe add-onboard, de HAT+ 2, haalt 40Tops (met INT4-precisie) en heeft 8GB geheugen. Het hogere prestatieniveau is te danken aan dat geheugen en aan de nieuwe AI-versneller Hailo-10H. De HAT+ 2 is nu te koop voor 130 dollar; europrijzen zijn nog niet bekend.
De eerste HAT+ heeft een Hailo-8 of Hailo-8L voor respectievelijk 26 en 13Tops en heeft geen eigen geheugen. Volgens Raspberry Pi schiet hij daarmee tekort voor de steeds populairdere modellen voor generatieve AI. Deze eerste uitvoering van het add-onboard voor Raspberry Pi-computers biedt versnelling van neurale netwerken voor het uitvoeren van visuele AI-taken als objectdetectie en inschatting van menselijke houdingen.
De Raspberry Pi 5 met een HAT+ 2 draait AI-modellen lokaal en indien gewenst ook offline. Daardoor blijft de gebruikte data in handen van gebruikers. Volgens Raspberry Pi geeft dit dataprivacy en -beveiliging, terwijl het de noodzaak wegneemt voor betaalde abonnementen op cloudgebaseerde AI-diensten.
De HAT+ 2 draait onder meer het AI-model Qwen2, dat hierop eenvoudige vragen kan beantwoorden:
Source: Tweakers.net