Lenovo ThinkStation PGX review: lokale AI in een verrassend klein kastje

De ThinkStation PGX is Nvidia’s DGX Spark-variant van Lenovo. Deze AI-mini-pc is krachtiger dan zijn formaat doet vermoeden en doet uitstekend dienst als je de taalmodellen lokaal in je netwerk wilt houden.

De DGX Spark is een AI-platform dat Nvidia heeft ontwikkeld voor AI-toepassingen. Nvidia heeft daar met de Founders Edition ook zelf een versie van ontwikkeld. De ThinkStation PGX is de Lenovo-variant van dat platform. We hebben eerder de Asus Ascent GX10 getest, die in feite eenzelfde DGX-versie is, maar dan van Asus.

De ThinkStation PGX ziet er ook uit als een normale mini-pc. Het 15 bij 15 centimeter vierkante apparaat is 5 centimeter hoog en heeft een 10 Gbit/s LAN-poort, Wi-Fi 7, een Nvidia Blackwell GB10 CPU/GPU-superchip met daarin een ARM-processor met 10 Cortex-X925-kernen en eveneens 10 Cortex-A725-kernen en een CUDA-GPU met 5e generatie tensor-cores en 4e generatie TR-cores. Daarbij is er 128 GB aan LPDDR5X 256-bit geheugen. Ook is er een ConnectX-7 Smart NIC-poort voor een 400 Gbit/s snelle verbinding om de CPU te ontlasten met netwerktaken.

Lenovo’s interpretatie van Nvidia’s DGX Spark wijkt dan ook amper af van het origineel en van andere versies, waaronder de genoemde GX10 van Asus. De behuizing van de Lenovo is wat moeilijker open te krijgen, maar heeft aan de binnenkant verder eenzelfde opbouw.

Wat opvalt, is dat de PGX geen leds heeft. Je kunt aan de buitenkant dus niet zien of hij aan of uit staat. De aan-uitschakelaar zit ook aan de achterkant, zodat er aan de voorkant niets te beleven valt.

Let trouwens wel even op dat de GX10 alleen maar USB-C-poorten heeft. Dat kan gevolgen hebben voor eventuele toetsenborden en muizen. Gelukkig levert Lenovo twee USB-A-naar-USB-C-adapterkabeltjes mee.

Een wifiverbinding met de ingebouwde MediaTek MT7925E (802.11be) haalt snelheden die (ver) boven de gigabitsnelheid uitkomen, maar in de praktijk zul je deze AI-server met een vaste (snellere) verbinding willen gebruiken.

Op de ThinkStation PGX draait de stable release van Ubuntu 24.04.4 LTS met kernel 6.17. Die fungeert voornamelijk als basis voor Nvidia’s DGX Spark, een AI-supercomputeromgeving voor lokaal gebruik. Met lokaal gebruik bedoelen we in dit geval niet alleen dat je hem in een eigen netwerk kunt gebruiken, maar ook dat hij werkt met lokale taalmodellen.

Om de ThinkStation PGX vanaf een andere computer in het netwerk te kunnen gebruiken, moet je de Nvidia Sync-software daarop installeren. Dat programma detecteert de Spark-computer in het netwerk en maakt er verbinding mee.

Daarmee krijg je toegang tot het DGX Dashboard, dat in een browser geopend wordt. Daar zie je de belasting van de AI-server – of beter gezegd van het geheugen en van de GPU. Bij het Dashboard kun je ook JupyterLab starten, een interactieve ontwikkelomgeving die werkt met projecten in de vorm van notebooks.

Met Nvidia Sync kun je via SSH ook een terminal openen op de ThinkStation PGX. Je kunt met Nvidia Sync een aantal apps ook automatisch verbinding laten maken met de Spark. Dat kan met VSCode, de gratis IDE van Microsoft, met Cursor, een AI-powered IDE die gebaseerd is op VSCode, en met AI Workbench. Die ontwikkelomgevingen moet je eerst nog wel apart installeren. Daarna kun je ze vanuit de Sync-app starten met de DGX Spark als basis.

Daarnaast kun je een Custom-poort instellen voor andere applicaties – waarover zo dadelijk meer.

Door de LLM’s alleen lokaal te beheren en te gebruiken, blijven je data en bestanden privé. Maar dat betekent ook dat je er van buiten dat netwerk niet bij kunt. Om dat te omzeilen kun je op het tabblad Tailscale van de Settings de Lenovo ThinkStation PGX toevoegen aan je Tailscale-netwerk, waardoor de AI-server toch van buitenaf via je afgeschermde Tailscale-netwerk bereikbaar is.

Eén manier om taalmodellen op de DGX Spark te installeren is met behulp van Ollama. Met curl -fsSL https://ollama.com/install.sh | sh installeer je dat en met ollama kun je het starten.

Een overzichtelijkere manier is het werken met Open WebUI. Dat is een zelfgehost AI-platform dat speciaal bedoeld is voor offline werk. Open WebUI ondersteunt Ollama en met OpenAI compatibele API’s.

Op de website van Nvidia Spark staat een handleiding voor het installeren daarvan. Dat komt in principe neer op het downloaden en met Docker starten van een Open WebUI-container. Bij Nvidia Sync maak je bij de Settings op het tabblad Custom vervolgens een aparte poort aan met behulp van een script dat je kunt kopiëren en plakken en dat Ollama aan Open WebUI koppelt.

Daarna kun je via die poort naar de webinterface van Open WebUI op de ThinkStation PGX en daar taalmodellen mee installeren en je chats starten.

Daarmee zijn er genoeg mogelijkheden om de DGX Spark-versie van Lenovo als lokale AI-server binnen je netwerk te gebruiken. Maar ook als cloud-AI-server, waarbij alle taalmodellen voor het hele netwerk dan centraal via deze server ontsloten kunnen worden.

In de geteste PGX zit een 2242 M.2-SSD van 1 TB – niet al te groot, maar de prijzen van opslag rijzen momenteel de pan uit.

Je kunt op de PGX bijvoorbeeld ook LM Studio-GUI installeren en daarmee verbinden zoals op een gewone computer. Met LM Studio’s API-server kun je van de Lenovo-Spark dan een eigen LLM-server maken en via het netwerk beschikbaar maken.

Klik bij LM Studio links op Developer en verander vervolgens bij Local Server de Status van Stopped naar Running. Activeer bij Server Settings dan nog de optie Serve on Local Network.

De Blackwell GB10 in de ThinkStation PGX moet het volgens Nvidia mogelijk maken 1000 TOPS te halen en 1 petaFLOP met FP4-precisie. Met de 6144 CUDA-cores worden daarbij AI-modellen tot 200 miljard parameters ondersteund.

Het doen van AI-benchmarks op een ARM64-server met Ubuntu is echter lastig – om op dit moment niet te zeggen nog redelijk onmogelijk. Er zijn al wel wat benchmarks beschikbaar, maar de resultaten daarvan zijn moeilijk (onderling) te interpreteren. Van Geekbench 6.7 is er wel een previewversie, die komt tot een 2.928 single-corescore en 17.749 voor multi-core. Die waarden zijn geheel vergelijkbaar met die van de Asus Ascent GX10.

De voeding levert 48 V/5 A, oftewel 240 watt. In de praktijk schommelt het idleverbruik rond de 35 watt en stijgt dat bij gebruik van stevige taalmodellen naar boven de 160 watt.

Dat houdt ook in dat de temperatuur van de behuizing, en dan met name die van de warme lucht die er aan de achterkant uitgeblazen wordt, regelmatig richting de 50 graden gaat, maar normaal gesproken niet boven de 35 uitkomt. De twee ventilatoren houden zich mede door de heatpipes meestal dan ook vrij rustig – rustig genoeg om deze AI-server op een bureau te kunnen zetten.

Nvidia’s originele versie van de DGX Spark, de zogeheten Founders Edition, is geheel vergelijkbaar met deze ThinkStation PGX en zit in hetzelfde prijssegment als de Lenovo ThinkStation PGX. De Asus Ascent GX10 presteert eveneens hetzelfde, maar is een (heel) stuk goedkoper.

De prijzen schommelen op dit moment echter nogal en variëren ook stevig tussen verschillende aanbieders – even goed rondshoppen is dan ook aan te raden. We kwamen de Lenovo ThinkStation PGX tegen voor prijzen van 4300 euro tot 6400 euro (bij Lenovo zelf) – voor dezelfde configuratie.

De Lenovo ThinkStation PGX is een AI-server voor als je AI-taalmodellen wilt gebruiken zonder een cloud nodig te hebben en de rekenkracht via het netwerk beschikbaar wilt stellen. Dat heeft wel zijn prijs.