Privatliv mod bekvemmelighed. Det har været dilemmaet for mange, som gerne vil eksperimentere med kunstig intelligens, men ikke vil overlade deres mest sensitive data til OpenAI, Google, Microsoft eller Anthropic. Nu bliver det stadig mere praktisk at køre kraftfulde sprog-modeller direkte på egen computer – og det skaber både nye muligheder og nye problemer.
Tanken om at have en lille digital medhjælper, som udelukkende svarer til mig selv og ikke til cloud-leverandører fra Silicon Valley, appellerer til journalisten bag forsøget. “Der er ikke noget magisk ved disse systemer, og det gør ikke arbejdet mindre krævende,” siger han. “Men privatliv gør det væsentligt mere tiltalende.”
Han besluttede sig for at teste Hermes Agent – en gratis, open source-applikation til lokale AI-modeller på macOS, Windows og Linux. Med en M5 Ultra Mac Studio, der besidder 256GB unified memory, kan han køre næsten hvilken som helst model. Men dét er også præcis, hvor det bliver uoverskueligt.
Milliarder af parametre og et uendeligt valg
Der findes bogstaveligt talt flere AI-modeller end man kan tælle. Nogle er specialiserede til særlige opgaver, andre er generelle. Tommelfingerreglen er simpel: modeller med mange milliarder parametre klarer mere end mindre modeller. Da der ikke er gebyr pr. token ved lokale kørsler, valgte han at starte stort – Qwen 3.8 Flash Next, en model med 125 milliarder parametre og omkring 105GB på harddisken.
Men så kom hans sædvanlige problem med AI: hvad skal man egentlig bruge det til? Han startede småt. En daglig morgen-briefing, som scanner hans e-mail og kalender, fortæller ham hvad der kræver øjeblikkelig opmærksomhed, og giver en kort vejrrapport. Det var ikke særlig brugbart – og kræver ikke en $12.000 computer. Men det fungerer nu som øremærket.
Det blev mere interessant, da han kastede sig over at reorganisere sit Steam-bibliotek. Over 400 spil, som skulle kategoriseres manuelt. Han gav Hermes tilladelse til at få adgang gennem Steams API, og systemet fik hurtigt sorteret alle spilene efter genre – samt nogle selvvalgte kategorier som “co-op titler” og “spil til at spille med min kone”. Opgaven tog få minutter, og API-nøglen blev straks ophævet efter brug.
Følsomme data skal blive hjemme
Andre opgaver viste sig også værdifulde præcis fordi de handlede om data, han aldrig ville uploade til cloud. Han lod Hermes analysere økonomiske udgifter og lave sammenligningsregneark til en ny laptop – oplysninger under embargo, som han absolutt ikke kan dele med Googles servere. “At kunne arbejde med det hele lokalt var forskel på, om jeg brugte værktøjet eller ikke,” siger han.
Pt. arbejder han på at automatisere laptop-benchmarks – tester, som normalt skal køres manuelt tre gange hver for at få gennemsnittet. Det viser sig at være mere komplekst end forventet, selvom Hermes nu kan generere Python-scripts, der vejleder det hele. Det er stadig et igangværende projekt.
Men realiteten er også klar: selv disse kraftfulde lokale modeller er ikke magiske assistenter. Tingene fungerer ikke altid som tilsigtet. Hans daglige briefing er allerede holdt op med at virke flere gange. Og der skal gøres lidt arbejde for at få systemet til at forstå instruktionerne.
Ikke en ven, bare et værktøj
Han ser ikke Hermes som en digital vän. Der er ingen “tak” eller “venligst”, ingen beklagelser når han ændrer mening. Det er lige så kølig og ligegyldig en tilgang som at klikke rundt med musen i operativsystemet. “Jeg ønsker ikke en digital ven. Det er bare et computerprogram, som jeg køres på min computer,” understreger han.
Det betyder heller ikke, at han bruger lokale modeller til at skrive, redigere eller generere designmateriale. Lokale AI-agenter er ikke universel løsning – de er værktøjer til helt bestemte opgaver, hvor privatliv gør den ekstra investering værd.
Apple og andre hardwaretilbydere gøler lige nu kraftigt i “lokal AI” som salesargument. Mac-skriveborde og nye Windows-maskiner med op til 128GB RAM bliver markedsført som lokale AI-maskiner. Og det kan godt give mening for særlige brugere – men det kræver mere end bare hardware. Det kræver også at finde opgaver, som faktisk kan løses, og viljen til at acceptere at selv avancerede modeller fejler fra tid til anden.