Block, der ejer betalingsplatformen Square, har præsenteret en ny stemmemodel fra virksomhedens laboratorium, som signifikant adskiller sig fra eksisterende taleløsninger. Modellen, Dessa, er trænet udelukkende på menneskelig tale og kan køre på en enkelt NVIDIA GPU – eller endda på en MacBook M4 Max eller bedre.
Det centrale kendetegn ved Dessa er dens full-duplex-kapacitet, hvilket betyder, at modellen kan tale og lytte samtidigt. Dette ligner OpenAIs GPT-Live, som blev udgivet tidligere i år. I modsætning til mange moderne stemmemodeller, der anvender stemme-tags til at styre emotionel udtryksform, hævder Block, at følelserne er indbygget direkte i modellens arkitektur.
Ifølge Blocks udtalelse opererer eksisterende stemmemodeller gennem en tekstpipeline, der danner grundlag for talgenerering. “Interacting with current voice AI can just plain suck. It turns your voice into text and throws away an incredible amount of information text alone can’t carry,” skrev virksomheden i et blogindlæg. Denne proces fjerner ifølge Block væsentlig information og kommunikativ nuance, som mennesker naturligt formidler gennem stemme, tonegang og timing.
Dessa demonstreres i eksempler, hvor assistenten varierer mellem forskellige stemmetoner, talehastighed og følelsesudtryk. I en samtale rapporterede agenten at være træt fra arbejdet, og stemmen reflekterede denne træthed. I et andet eksempel lød assistenten næsten følelsesmæssigt overveldet, mens den talte om at blive gjort komfortabel af mennesket på den anden ende.
Modellen er ikke tilgængelig for offentligheden endnu. Block har i stedet udsendt en opfordring til sikkerhedsforsker om at teste Dessa – et tiltag der sandsynligt retter sig mod at identificere scenarioer, hvor en stemmeagent kunne potentielt manipulere eller bedrage brugere på den anden ende af linjen.
Blocks fokus på stemme-AI skyldes virksomhedens kerneforretning inden for betalingsløsninger og fintech-tjenester til små virksomheder. Square bruger allerede stemme-AI til ordrebehandling, men en proprietær model, der kan køre lokalt på brugerens enhed, åbner muligheder for at reducere latency og omkostninger betydeligt – samtidigt med at virksomheden bevarer kontrol over dataene.
Den tekniske arkitektur betyder, at Dessa kan fungere uden cloud-afhængighed, hvilket potentielt gør løsningen mindre dyr end eksisterende alternativer fra virksomheder som ElevenLabs eller Fish Audio. Samtidigt rejser full-duplex-talemodeller spørgsmål om sikkerhed og verifivering af brugeridentitet, som Block tilsyneladende ønsker at afklare gennem samarbejde med sikkerhedsforsker, inden der åbnes offentlig adgang.