På fredagen meddelade Koko medgrundare Rob Morris kl Twitter, att hans företag genomförde ett experiment för att ge AI-skriven mental hälsa rådgivning till 4 XNUMX personer utan föregående meddelande, rapporterar The Verge. Kritiker kallade experimentet djupt oetiskt eftersom Koko inte fick informerat samtycke från personerna som sökte råd. Koko är en ideell plattform för mental hälsa som kopplar samman tonåringar och vuxna i behov av mentalvård med volontärer genom meddelandeappar som t.ex. Telegram och Discord.
På Discord loggar användare in på Koko Cares-servern och skickar direktmeddelanden till Koko-boten, som ställer en rad flervalsfrågor (t.ex. "Vad är den mörkaste tanken du har om det här?"). Den delar sedan anonymt personens oro, inspelad som några textmeningar, med någon annan på servern, som kan svara anonymt med ett eget kort meddelande.
https://twitter.com/RobertRMorris/status/1611450197707464706?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1611450197707464706%7Ctwgr%5Ea36b67a72ef02f3601dfae160441f1250a68dc2a%7Ctwcon%5Es1_c10&ref_url=https%3A%2F%2Farstechnica.com%2Finformation-technology%2F2023%2F01%2Fcontoversy-erupts-over-non-consensual-ai-mental-health-experiment%2F
I ett experiment med artificiell intelligens (AI) som involverade cirka 30 3 meddelanden, sa Morris, hade frivilliga som hjälpte andra möjlighet att använda ett svar som automatiskt genererades av OpenAI:s GPT-3 stora språkmodell istället för att skriva det självständigt (GPT-XNUMX är tekniken bakom den nyligen populära ChatGPT-chatboten). I sin tweet noterar Morris att människor berömde AI-genererade svar tills de fick reda på att de var skrivna av AI, vilket tyder på en viktig brist på informerat samtycke i åtminstone en fas av experimentet:
"Meddelanden som komponerats av AI (och kontrolleras av människor) rankades betydligt högre än de som skrivits av människorna själva. Svarstiden minskas med 50 % till mindre än en minut. Och ändå... vi tog bort den här funktionen från vår plattform ganska snabbt. Varför? När folk fick reda på att meddelandena var maskingenererade slutade det fungera. Simulerad sympati verkar konstigt, tomt."
I introduktionen till servern skriver administratörerna: ”Koko förbinder dig med riktiga människor som verkligen förstår dig. Inte terapeuter, inte rådgivare, bara människor som du." Strax efter att Morris postat meddelandet fick han många svar som kritiserade experimentet som oetiskt, med hänvisning till oro över bristen på informerat samtycke och ifrågasatte om experimentet hade godkänts av Institutional Review Board (IRB). I USA är det olagligt att bedriva forskning på mänskliga försökspersoner utan juridiskt effektivt informerat samtycke, såvida inte IRB beslutar att samtycke kan frångås.
I en tweet som svar sa Morris att experimentet var "undantaget" från krav på informerat samtycke eftersom han inte hade några planer på att publicera resultaten, vilket utlöste en parad av upprördhet.
Idén med att använda AI som terapeut är långt ifrån ny, men det som skiljer Kokos experiment från typiska AI-terapimetoder är att patienter tenderar att veta att de inte pratar med en levande person. I fallet Koko innebar plattformen en hybrid metod där en mänsklig mellanhand kunde granska ett meddelande innan det skickades, istället för ett rakt chattformat. Men utan informerat samtycke säger kritiker att Koko bröt mot etiska regler utformade för att skydda utsatta människor från skadliga eller grym forskningsmetoder.
Som en före detta IRB-medlem och ordförande har du utfört forskning om mänskliga ämne på en utsatt befolkning utan IRB-godkännande eller undantag (DU får inte bestämma). Kanske MGH IRB process är så långsam eftersom den hanterar sånt här. Oönskade råd: advokat upp
— Daniel Shoskes (@dshoskes) Januari 7, 2023
På måndagen postade Morris ett inlägg som svarade på kontroversen och förklarade Kokos resa till GPT-3 och AI i allmänhet: "Jag tar emot kritik, oro och frågor om detta arbete med empati och öppenhet. Vi är fast beslutna att se till att all användning av AI är känslig, med en djup oro för integritet, transparens och riskreducering. Vår Clinical Advisory Board träffas för att diskutera riktlinjer för framtida arbete, inklusive IRB-godkännande."
Du kan hjälpa Ukraina att slåss mot de ryska inkräktarna. Det bästa sättet att göra detta är att donera medel till Ukrainas väpnade styrkor genom Rädda liv eller via den officiella sidan NBU.
Läs också: