AI-chatbotar används redan i stor utsträckning av företag för att hälsa kunderna välkomna och svara på deras frågor – antingen via telefon eller på webbplatser. Vissa företag har upptäckt att de i viss mån kan ersätta människor med maskiner i callcenterroller.
De tillgängliga bevisen tyder dock på att det finns sektorer – som sjukvård och mänskliga resurser – där extrem försiktighet måste iakttas när det gäller användningen av dessa frontlinjeverktyg, och etisk tillsyn kan vara nödvändig.
Ett nyligen och mycket publicerat exempel är ett chatbot som heter Tessa, som användes av National Eating Disorder Association (NEDA) i USA. Organisationen hade till en början haft en hjälplinje som drevs av en kombination av tjänstemän och volontärer. Detta hade det uttryckliga målet att hjälpa utsatta människor som lider av ätstörningar.
Men i år, organisationen avvecklade sin hjälplinjepersonal, meddelar att det skulle ersätta dem med Tessa chatbot. Orsakerna till detta är omtvistade. Tidigare arbetare hävdar att skiftet följde på ett beslut från hjälplinjens personal att fackligt organisera sig. De citerad vicepresident för NEDA ett ökat antal samtal och väntetider, samt juridiska skyldigheter kring att använda frivillig personal.
Hur som helst, efter en mycket kort period av operation, blev Tessa offline på grund av rapporter om att chatboten hade utfärdat problematiska råd som kunde ha förvärrat symptomen på människor som sökte hjälp för ätstörningar.
Det rapporterades också Dr Ellen Fitzsimmons-Craft och Dr C Barr Taylor, två högt kvalificerade forskare som hjälpte till med skapandet av Tessa, hade stipulerat att chatboten aldrig var tänkt som en ersättning för en befintlig hjälplinje eller för att ge omedelbar hjälp till dem som upplever intensiva ätstörningssymptom.
Betydande uppgradering
Så vad var Tessa designad för? Forskarna hade tillsammans med kollegor genererat en observationsstudie lyfta fram de utmaningar de ställdes inför när de utformade en regelbaserad chatbot för att interagera med användare som är oroliga över ätstörningar. Det är ganska fascinerande läsning som illustrerar designval, operationer, fallgropar och ändringar.
Den ursprungliga versionen av Tessa var en traditionell, regelbaserad chatbot, om än en mycket förfinad sådan, som är en som följer en fördefinierad struktur baserad på logik. Det kunde inte avvika från de standardiserade förprogrammerade svaren som kalibrerats av dess skapare.
Deras slutsats inkluderade följande punkt: "Regelbaserade chatbots har potential att nå stora populationer till låg kostnad när det gäller att tillhandahålla information och enkla interaktioner men är begränsade i att förstå och reagera på lämpligt sätt på oförutsedda användarsvar".
Detta kan tyckas begränsa de användningsområden som Tessa var lämplig för. Så hur kom det att ersätta hjälplinjen som tidigare användes av NEDA? Den exakta händelsekedjan diskuteras bland olika konton, men enligt NPR ändrade värdföretaget för chatboten Tessa från en regelbaserad chatbot med förprogrammerade svar till en med en "förbättrad funktion för frågor och svar".
Den senare versionen av Tessa var en som använde generativ AI, ungefär som ChatGPT och liknande produkter. Dessa avancerade AI-chatbotar är designade för att simulera mänskliga samtalsmönster med avsikten att ge mer realistiska och användbara svar. Att generera dessa skräddarsydda svar är beroende av stora databaser med information, som AI-modellerna är tränade att "förstå" genom en mängd olika tekniska processer: maskininlärning, djupt lärande och naturlig språkbehandling.
Lära lektioner
I slutändan genererade chatboten vad som har beskrivits som potentiellt skadliga svar på vissa användares frågor. Efterföljande diskussioner har flyttat skulden från en institution till en annan. Men poängen kvarstår att de efterföljande omständigheterna potentiellt kunde ha undvikits om det hade funnits ett organ som tillhandahållit etisk tillsyn, en "människa i slingan" och en anslutning till det tydliga syftet med Tessas ursprungliga design.
Det är viktigt att dra lärdom av fall som detta mot bakgrund av en rush mot integration av AI i en mängd olika system. Och även om dessa händelser ägde rum i USA, innehåller de lektioner för dem som vill göra detsamma i andra länder.
Förenade kungariket verkar ha en något splittrad inställning till denna fråga. Den rådgivande nämnden till Center for Data Ethics and Innovation (CDEI) upplöstes nyligen och dess plats vid bordet togs upp av den nybildade Frontier AI Taskforce. Det finns också rapporter om att AI-system redan testas i London som verktyg för att hjälpa arbetare – dock inte som en ersättning för en hjälplinje.
Båda dessa exempel belyser en potentiell spänning mellan etiska överväganden och affärsintressen. Vi måste hoppas att de två så småningom kommer att anpassas och balansera individers välbefinnande med effektiviteten och fördelarna som AI kan ge.
Men i vissa områden där organisationer interagerar med allmänheten, AI-genererade svar och simulerad empati kanske aldrig räcker för att ersätta äkta mänsklighet och medkänsla – särskilt inom områdena medicin och mental hälsa.
Mark Tsagas, Lektor, straffrätt, University of East London
Denna artikel publiceras från Avlyssningen under en Creative Commons licens. Läs ursprungliga artikeln.
