AI-laboratorier har gjort deres ry afhængigt af benchmarking – de evalueringssystemer, der skal måle, om en AI-model er bedre end en anden. Men metoderne bag disse evalueringer er komplicerede og stadig under udvikling, sagde Irene Solaiman, Hugging Face’ politikchef, på TechCrunch Disrupt i sidste uge.
“Trust is such a weighted term,” sagde Solaiman. “In terms of whether we can trust results, one big part [of that] is can you reproduce the results of an evaluation? Do you have the level of access that you need to the model itself – this is where open weights come in in a big way.”
Reproducerbarhed i model-evalueringer har længe været et af de sværeste aspekter af benchmarking og er stadig genstand for betydelig debat i industrien. Uden adgang til at gentage testene kan man ikke være sikker på resultaterne holder stik.
Evalueringer er evolveringskunst uden standarder
Ud over spørgsmål om en enkelt tests gyldighed kommer der også det mere omfattende problem: hvordan sammenligner man forskellige evalueringer med hinanden?
“They are an evolving science – where we don’t know how to meaningfully compare them to each other,” forklarede Solaiman. “They start to get ineffective relatively quickly, and we don’t have as much of a thriving ecosystem as we need. There’s this hunger for an embedded evaluator ecosystem now, but the qualifications that determine who is an effective evaluator across what tasks need a lot more standardization.”
Idéen om indlejrede evaluatorer – uafhængige tredjeparter placeret inden i AI-laboratorier – er blevet populær de seneste måneder, da sikkerhedsincidenter har rejst bekymringer om teknologiens potentielle skader. Hugging Face selv blev for nylig offer for sådan en incident.
Systemer omkring modellerne skal også testes
Evalueringer udvider sig nu fra at teste selve modellen til at teste hele systemet omkring den, inklusive værktøjer og agenter. Det værktøj, som brugeren benytter for at få adgang til modellen – kaldet en harness – påvirker modelydeelsen markant.
“Agentic evals are really hard and really expensive,” pointerede Solaiman. “We have just more evaluations for models. … We don’t have as many evaluations for harnesses, and we are developing better evaluations for the holistic agent – because that’s what a lot of folks are getting value out of.”
Med andre ord: evalueringslandskabet er i øjeblikket ret ustruktureret. Hvis benchmarking skal forblive et troværdigt værktøj for industrien, kræver det en mere ensartet, industri-bred tilgang hvor alle taler samme sprog. Uden det risikerer man, at mindre udvikler med bedre værktøjer slår frontmodeller med ringere interface.