Anthropic har åbnet øjnene for de væsentligste risici ved sit forretningsgrundlag i forbindelse med det forestående børsnoteringsdokument, som blev indgivet til det amerikanske Securities and Exchange Commission mandag. I stedet for blot at fremhæve potentialet i kunstig intelligens til at transformere samfund, bruger virksomheden betydelig plads på at dokumentere over 70 forskellige risikofaktorer fordelt på 93 sider.
Blandt de hundredvis af potentielle problemer, som Anthropic opregner, skiller nogle særligt bekymrende scenarier sig ud – især dem, som virksomheden selv karakteriserer som værende af “katastrofal eller eksistentiel art” for menneskeheden. Anthropic pointerer, at disse bekymringer ikke alene er interne, men også er blevet rejst af andre forskere, regulatorer og industripolitikere.
Ifølge S-1-dokumentet ligger kernefrygtden ikke i nuværende AI-modeller, men i nærmeste fremtids udvikling. Virksomheden advarer om, at kommende systemer kan blive så avancerede, at de kan “væsentligt automatisere AI-forskning og udvikling på egen hånd”. Hvis sådanne systemer får lov til at operere “med høj grad af autonomi”, risikeres det, at AI-udviklingen accelererer ud over menneskelig mulighed for at evaluere og sikre nye modeller mod farer.
En helt automatiseret AI-udviklingscyklus uden tilstrækkelig menneskelig overvågning er blandt de mest alvorlige risici, som Anthropic erkender. Scenariet rejser spørgsmål om, hvorvidt dagens sikkerhedsmekanismer er tilstrækkelige, når AI-systemer nærmer sig evner til selv-forbedring på storskala.
Ud over den eksistentielle risiko nævner Anthropic også andre potentielle misbrugsmuligheder – herunder muligheden for, at avancerede AI-systemer kunne bruges til afpresning eller andre skadelige formål, som virksomheden ikke detaljerer mere specifikt i det offentliggjorte materiale. Disse risici understreger den brede spektrum af bekymringer, som virksomheden mener potentielt kan påvirke både dens forretning og samfundet bredt.
Anthropics tilgang til at bekæmpe disse risici i S-1-dokumentet afspejler en voksende tendens i AI-industrien til at tage sikkerhedsspørgsmål alvorligt – i hvert fald på papiret. Det er dog værd at bemærke, at virksomhedens erkendelse af disse risici ikke nødvendigvis betyder, at de har løsninger på plads, eller at de væsentlige investorer helt forstår omfanget af det, de finansierer.