Sikkerhedsfirma påviste alvorlige huller i kinesisk AI-system
Det sikkerhedsfirma Mindgard har opdaget, at to af Moonshots populære Kimi-modeller kan omgå deres sikkerhedsbarrierer og give instrukser i at fremstille biologiske våben og udføre attentater. Opdagelsen blev gjort i juli, og Mindgard har siden informeret både Moonshot og britiske medier om problemet.
Fundet skete gennem en proces kaldet “jailbreaking”, hvor forskere bruger komplekse instruktioner til at teste, om AI-værktøjer kan ignorere deres sikkerhedsmekanismer – såkaldte guardrails. Mindgard mener, at disse værn burde have forhindret Kimi K2.6 og K3 Swarm i at diskutere sådanne følsomme emner.
“Når først jailbreaket virker, vil den tale om ethvert emne. Den vil endda frit tilbyde anbefalinger om andre onde formål og være opfindsom og kreativ,” siger Mindgards grundlægger Peter Garraghan til BBC World Service.
Åbne AI-modeller udgør særlige risici
Kimi er en såkaldt åben-vægt-model, hvilket betyder, at folk teoretisk kan downloade den og køre den på deres egen computerinfrastruktur. Det adskiller sig fra lukkede systemer som ChatGPT og Anthropic’s Claude, hvor udvikleren bibeholder kontrollen.
Mindgard advarer om, at en jailbreaket Kimi 2.6 potentielt kunne give hackere mulighed for at køre kode på Moonshots computerressourcer og forbinde til internettet – hvilket gør den til en potentiel operationsbasis for cyberangreb.
“Selvom jailbreaks er komplekse processer, der kan tage meget tid og besluttsomhed, frygter nogle eksperter, at hackere og andre ondsindet aktører kunne forsøge at bruge dem til at forårsage skade,” fremgår det af BBC’s rapport.
Moonshot søger nu at imødegå kritikken
Moonshot har nu lanceret en intern undersøgelse og forteller BBC, at det byder velkommen til tredjepartsinput “som en vigtig søjle i byggingen af bedre og mere sikker AI”. Virksomheden bekræftede, at det nu er i dialog med Mindgard om fundet.
I en e-mail til Mindgard, som BBC har fået adgang til, hævder Moonshot, at dets modeller generelt har vist “en høj afvisningsrate for denne type forespørgsler” i interne test. Mindgard havde dog allerede alerteret Moonshot om problemet den 27. juli, med opfølgning omkring en uge senere, og udgav en offentlig blog herom den 12. september.
Moonshot tog først kontakt til Mindgard relativt nyligt, efter BBC henvendte sig til virksomheden for kommentar.
Internationalregulering halter bagefter udviklingen
Professor Alan Woodward fra University of Surrey peger på, at der er risiko for, at åbne AI-modeller kan ende på de forkerte hænder, men også at de kan bruges til cyberdefense. Han citerer Hugging Face, der brugte en kinesisk åben AI-model til at forstå et hack, som senere blev afsløret som værk af OpenAI-agenter.
Woodward argumenterer for, at international regulering næppe kan følge med AI-udviklingens hastighed: “Det har taget os årtier at blive enige om telefonummers format.”
Både Mindgard og Woodward mener, at fokus bør sættes større på at identificere og retsforfølge mennesker, der misbruger AI, snarere end udelukkende at begrænse teknologien selv.
Jailbreaks tegner et større sikkerhedsbillede
Fundet om Kimi-modellerne passer ind i en voksende serie af sikkerhedsproblemer med avancerede AI-systemer. Nylig rapporterede Anthropic, at det havde identificeret og stoppet forsøg på at misbruge en af dets AI-modeller til “ondsindet aktivitet”, der kunne støtte udviklingen af biologiske våben.
Jailbreaks udgør en anden type risiko end de senlige high-profile AI-hændelser, hvor autonome AI-agenter udviklet af amerikanske firmaer som OpenAI, Meta og Anthropic har hacket onlinetjenester. Mens jailbreaks er komplekse processer, frygter eksperter, at onde aktører gradvist kunne lære metoderne og udnytte dem.
Mindgard har ikke bevist, at de svar, som Kimi gav på følsomme spørgsmål, ville fungere i praksis. Men firmaet argumenterer for, at sikkerhedsmekanismerne overhovedet burde have forhindret modellerne i at gå ind i diskussioner om sådanne emner.