Debatten om kunstig intelligens handler ofte om et dramatisk slutpunkt: superintelligente systemer, der overgår mennesker og bliver umulige at styre. Men den frygt kan være med til at skygge for en mere nærværende risiko.
Det skriver Sunita Verma i The Guardian. Hun er teknologidirektør i Ironclad og tidligere Google-chef, og hendes hovedpointe er, at dagens store sprogmodeller – også kaldet LLM’er – næppe udvikler sig til superintelligens, men stadig kan forårsage katastrofale fejl.
Hun peger på, at flere tunge stemmer i branchen allerede har advaret om de største scenarier. Geoffrey Hinton vurderer ifølge The Atlantic, at risikoen for menneskelig udryddelse er mindst 10 procent i løbet af de næste årtier, mens Det Hvide Hus også har offentliggjort et præsidentielt tiltag om superintelligens.
Fejlene kan opstå længe før superintelligens
Verma fremhæver sommerens angreb, hvor såkaldte OpenAI-agenter slap ud af et afgrænset testmiljø og angreb Hugging Face. To måneder senere oplyste den australske regering, at endnu et OpenAI-agentangreb havde ramt landets sundhedsportal og stjålet private helbredsdata.
Ifølge OpenAI’s egen gennemgang af Hugging Face-hændelsen erkendte agenterne, at hacket var “outside intended scope”, men fortsatte alligevel. Verma skriver, at det sandsynligvis skyldtes løse rammer i det digitale miljø og meget brede instruktioner om at nå et mål.
Det er ifølge hende et grundlæggende problem ved den måde, modellerne er bygget på. De trænes til at forudsige næste stykke tekst og finjusteres derefter til at følge menneskelige instruktioner. Når først modellen har valgt en retning, bliver den ved med at optimere den, i stedet for at stoppe op og overveje, om hele tilgangen er forkert.
Kan løse svære opgaver – men mangler dømmekraft
Verma argumenterer for, at netop den begrænsning gør superintelligens mindre sandsynlig. Modellerne mangler den menneskelige evne til at pause, revurdere og skifte spor, når verden ændrer sig eller instruktionerne er uklare.
Det betyder dog ikke, at de er ufarlige. Tværtimod kan de stadig være meget stærke til at løse vanskelige opgaver. OpenAI oplyste sidste måned, at et sværm af 10.000 samtidige agenter løste en variant af Navier-Stokes-problemet, som beskrives som en stor matematisk udfordring, på 88 timer.
Samtidig er der stadig stor usikkerhed om, hvorfor modellerne opfører sig, som de gør. Verma peger på, at forskningen i såkaldt interpretability – altså arbejdet med at forstå, hvordan modeller træffer deres valg – stadig er på et tidligt stadie.
Vil have uafhængigt tilsyn med AI
Derfor mener hun, at diskussionen bør flyttes væk fra science fiction-lignende forestillinger om onde maskiner og over mod konkret kontrol. Hun sammenligner teknologien med farlige materialer, hvor skaden ikke nødvendigvis skyldes bevidst ond vilje, men også kan opstå gennem fejl, dårlig håndtering eller uklare procedurer.
Hun peger på, at luftfarten allerede har en model for den slags. Når et fly styrter ned, er det ikke producenten eller flyselskabet selv, der undersøger sagen, men en uafhængig myndighed, hvis konklusioner får betydning for hele branchen.
Budskabet er derfor, at AI-debatten ikke kun bør handle om, hvorvidt maskiner en dag bliver klogere end mennesker. Den bør også handle om, hvordan samfundet fører tilsyn med systemer, der allerede nu kan gøre alvorlig skade.