){kind=link}
Forskare Apple har utvecklat ett artificiell intelligenssystem som heter ReALM (Reference Resolution as Language Modeling), som syftar till att radikalt förbättra hur röstassistenter förstår och svarar på kommandon.
I en forskningsartikel Apple beskriver ett nytt ramverk för hur stora språkmodeller adresserar problemet med referensupplösning, vilket inkluderar att dechiffrera tvetydiga referenser till objekt på skärmen, samt förstå konversations- och bakgrundskontext. Som ett resultat kan ReALM leda till en mer intuitiv och naturlig interaktion med enheter.
Referensigenkänning är en viktig del av att förstå naturligt språk, vilket gör att användare kan använda pronomen och andra indirekta referenser i konversation utan förvirring. För digitala assistenter har denna förmåga historiskt sett varit en betydande utmaning, begränsad av behovet av att tolka ett brett utbud av verbala signaler och visuell information. ReALM-systemet från Apple syftar till att lösa detta problem genom att förvandla den komplexa processen med referensigenkänning till en ren språkmodelleringsuppgift. På så sätt kan hon förstå referenserna till de visuella elementen som visas på skärmen och integrera denna förståelse i samtalsflödet.
ReALM rekonstruerar skärmens visuella struktur med hjälp av textrepresentationer. Detta inkluderar att analysera skärmobjekt och ordna dem för att skapa ett textformat som återspeglar skärmens innehåll och struktur. Forskare Apple fann att denna strategi, i kombination med speciell justering av språkmodeller för benchmark-upplösningsproblem, avsevärt överträffar traditionella metoder, inklusive OpenAI:s GPT-4-kapacitet.
ReALM kan göra det möjligt för användare att interagera mycket mer effektivt med digitala assistenter baserat på vad som för närvarande visas på skärmen, utan behov av exakta, detaljerade instruktioner. Detta kan göra röstassistenter mycket mer användbara i olika situationer, som att hjälpa förare att navigera i infotainmentsystem medan de kör eller hjälpa användare med funktionshinder genom att tillhandahålla enklare och mer exakta sätt för indirekt interaktion.
Apple har redan publicerat flera forskningsartiklar inom området AI. Förra månaden presenterade företaget en ny metod för att lära sig stora språkmodeller som sömlöst integrerar både textuell och visuell information. Det förväntas Apple kommer att introducera ett antal AI-funktioner på WWDC-konferensen i juni.
Läs också: