När vi hör artificiell intelligens och maskininlärning föreställer vi oss en dator som kan tänka och lära sig själv. Det vill säga praktiskt taget som människa.
Vi uppfattar världen genom en kombination av flera sinnen, såsom syn, hörsel och taligenkänning. Men maskiner tolkar världen med hjälp av data som bearbetas av algoritmer. Det vill säga när maskinen ser ett foto översätter den det till en uppsättning metadata som den använder för att utföra uppgiften. Och om du komplicerar uppgiften, det vill säga där det kommer att finnas ljud utöver bilden, börjar AI:n gå vilse.
"Huvudproblemet här är hur kan en maskin förena dessa olika modaliteter? Det är lätt för oss människor. Vi ser en bil, och sedan hör vi ljudet av en bil som kör förbi, och vi vet att det är samma sak. Men för maskininlärning är allt inte så enkelt", — sa Oleksandr Liu, en doktorand vid Computer Science and Artificial Intelligence Laboratory (CSAIL) och den första författaren till en artikel som ägnas åt detta problem.
Liu och hans kollegor utvecklade en artificiell intelligensmetod som lär sig att representera data på ett sätt som fångar begrepp som är gemensamma för visuella och ljudmodaliteter. Till exempel kan deras metod lära sig att handlingen av ett barn som gråter i en video är relaterad till ordet "gråter" i ett ljudklipp. Med hjälp av denna kunskap kan deras maskininlärningsmodell avgöra var en viss åtgärd inträffar i en video och upptäcka den.
Den här metoden kan en dag användas för att hjälpa robotar att lära sig om begrepp i världen genom perception, mer som hur människor gör. Modellen har fortfarande vissa begränsningar som forskarna hoppas kunna ta itu med i framtida arbete. Hittills har deras forskning fokuserat på data från två modaliteter samtidigt, men i den verkliga världen ställs människor samtidigt inför många dataströmmar som de bearbetar utan att tänka. Maskiner har ännu inte lärt sig detta.
Du kan hjälpa Ukraina att slåss mot de ryska inkräktarna. Det bästa sättet att göra detta är att donera medel till Ukrainas väpnade styrkor genom Rädda liv eller via den officiella sidan NBU.
Läs också: