Asus Ascent GX10 review: Nvidia DGX Spark voor op je bureau

De Ascent GX10 is Asus’ versie van Nvidia’s DGX Spark. Deze AI-mini-pc is veel krachtiger dan zijn formaat doet vermoeden. Hij is uitstekend bruikbaar als je taalmodellen lokaal op je eigen netwerk wilt houden.

De Ascent GX10 ziet eruit als een normale mini-pc. Het 15 bij 15 centimeter grote, vierkante apparaat is 5 centimeter hoog en heeft een 10Gbit/s-LAN-poort, Wi-Fi 7 en een Nvidia Blackwell GB10 CPU/GPU-superchip met daarin een ARM-processor met 10 Cortex-X925-kernen en eveneens 10 Cortex-A725-kernen, plus een CUDA-GPU met tensor-cores van de vijfde generatie en RT-cores van de vierde generatie. Daarnaast beschikt het over 128 GB LPDDR5X-geheugen met een 256-bit-interface. Dat geeft al aan dat het hier om (veel) meer dan een mini-pc gaat, namelijk Asus’ interpretatie van Nvidia’s DGX Spark.

Dat wordt versterkt door de aanwezigheid van een ConnectX-7 SmartNIC-poort voor een 400Gbit/s-verbinding, waarmee netwerktaken van de CPU worden overgenomen.

Mocht je dan nog niet overtuigd zijn dat het hier om een wolf in schaapskleren gaat, kijk dan maar eens naar de prijs…

Op de Asus GX10 draait de stabiele Ubuntu-release 24.04.4 LTS met kernel 6.8. Die fungeert voornamelijk als basis voor Nvidia’s DGX Spark, een AI-supercomputeromgeving voor lokaal gebruik. Met lokaal gebruik bedoelen we in dit geval niet alleen dat je hem in een eigen netwerk kunt gebruiken, maar ook dat hij met lokale taalmodellen werkt.

Om de GX10 vanaf een andere computer in het netwerk te kunnen gebruiken, moet je daarop de Nvidia Sync-software installeren. Dat programma detecteert de Spark-computer in het netwerk en maakt er verbinding mee.

Daarmee krijg je toegang tot het DGX Dashboard, dat in een browser wordt geopend. Daar zie je de belasting van de AI-server – of beter gezegd van het geheugen en de GPU. Daarmee kun je ook JupyterLab starten, een interactieve ontwikkelomgeving die werkt met projecten in de vorm van notebooks.

Met Nvidia Sync kun je via SSH ook een terminal openen op de GX10. Je kunt met Nvidia Sync ook een aantal apps automatisch verbinding laten maken met de Spark. Dat kan met VS Code, de gratis IDE van Microsoft, met Cursor, een AI-powered IDE die is gebaseerd op VS Code, en met AI Workbench. Die ontwikkelomgevingen moet je eerst nog wel apart installeren. Daarna kun je ze vanuit de Sync-app starten, waarbij de DGX Spark als basis dient.

Daarnaast kun je een Custom-poort instellen voor andere applicaties, waarover zo dadelijk meer.

Door de LLM’s alleen lokaal te beheren en te gebruiken, blijven je data en bestanden privé. Maar dat betekent ook dat je er van buiten het netwerk niet bij kunt. Om dat te omzeilen kun je op het tabblad Tailscale in Settings de Asus GX10 toevoegen aan je Tailscale-netwerk, waardoor de AI-server toch van buitenaf via je afgeschermde Tailscale-netwerk bereikbaar is.

Eén manier om taalmodellen op de DGX Spark te installeren is met behulp van Ollama. Met curl -fsSL https://ollama.com/install.sh | sh installeer je het en met ollama kun je het starten.

Een overzichtelijkere manier is werken met Open WebUI. Dat is een zelfgehost AI-platform dat speciaal bedoeld is voor offline gebruik. Open WebUI ondersteunt Ollama en met OpenAI compatibele API’s.

Op de website van Nvidia Spark staat een handleiding voor de installatie daarvan. Dat komt in principe neer op het downloaden en met Docker starten van een Open WebUI-container. Bij Nvidia Sync maak je vervolgens in Settings, op het tabblad Custom, een aparte poort aan met behulp van een script dat je kunt kopiëren en plakken en dat Ollama aan Open WebUI koppelt.

Daarna kun je via die poort naar de webinterface van Open WebUI op de Asus GX10 gaan en daar taalmodellen installeren en je chats starten.

Daarmee zijn er genoeg mogelijkheden om de DGX Spark-versie van Asus als lokale AI-server binnen je netwerk te gebruiken. Maar ook als cloud-AI-server, waarbij alle taalmodellen voor het hele netwerk centraal via deze server ontsloten kunnen worden.

In de geteste GX10 zit een 2242 M.2-SSD van 1 TB. Een versie met 2 TB is meteen al 850 euro duurder; voor 4 TB betaal je nog eens bijna 700 euro meer – die prijzen stijgen momenteel de pan uit. Houd er rekening mee dat je aan die 1 TB op een gegeven moment wellicht niet meer genoeg hebt als je er veel LLM’s op installeert.

Je kunt op de GX10 bijvoorbeeld ook LM Studio GUI installeren en daarmee chatten zoals op een gewone computer. Met de API-server van LM Studio kun je van de Spark een eigen LLM-server maken en die via het netwerk beschikbaar stellen. Klik in LM Studio links op Developer en verander vervolgens bij Local Server de Status van Stopped naar Running. Activeer bij Server Settings daarna nog de optie Serve on Local Network.

Het doen van AI-benchmarks op een ARM64-server met Ubuntu is lastig – om op dit moment niet te zeggen: nog redelijk onmogelijk. Er zijn al wel wat benchmarks beschikbaar, maar de resultaten daarvan zijn moeilijk (onderling) te interpreteren. Van Geekbench 6.7 is er wel een previewversie, die uitkomt op een single-core-score van 2934 en een multi-core-score van 18.574.

De Blackwell GB10 in de GX10 moet het volgens Nvidia mogelijk maken 1000 TOPS te halen en 1 PFLOP (petaFLOP) met FP4-precisie. Met de 6144 CUDA-cores worden daarbij AI-modellen tot 200 miljard parameters ondersteund.

Het moge in ieder geval duidelijk zijn dat bijvoorbeeld het genereren van een AI-image met behulp van deze AI-netwerkhulp vele malen sneller gaat dan op een gewone pc.

De voeding levert 48 V/5 A, oftewel 240 watt. Daarvan is 140 watt beschikbaar voor de GB10-kaart en 100 watt voor de andere componenten. In de praktijk schommelt het idleverbruik rond de 40 watt en stijgt dat bij gebruik van stevige taalmodellen tot boven de 160 watt.

Dat houdt ook in dat de temperatuur van de behuizing, en dan met name die van de warme lucht die er aan de achterkant wordt uitgeblazen, regelmatig richting de 50 graden gaat, maar normaal gesproken niet boven de 35 graden uitkomt. De twee ventilatoren houden zich mede dankzij de heatpipes meestal dan ook vrij rustig – rustig genoeg om deze AI-server op een bureau te kunnen zetten.

Let trouwens wel even op dat de GX10 alleen USB-C-poorten heeft; dat kan gevolgen hebben voor eventuele toetsenborden en muizen.

Nvidia’s originele versie van de DGX Spark, de zogeheten Founders Edition, is vrijwel gelijk aan deze GX10 van Asus, maar wel meer dan 1000 euro duurder.

De Asus Ascent GX10 is een AI-server voor wie taalmodellen binnenshuis wil houden, zonder een cloud nodig te hebben, en de rekenkracht via het netwerk wil gebruiken. Dat heeft op dit moment nog wel zijn prijs.