Twijfel over AI-bots die Jodenhaat moeten weerleggen

Uit onderzoek van de Amerikaanse Anti-Defamation League (ADL) blijkt dat de meest gebruikte AI-chatbots er niet in slagen om antisemitisme teksten in het Perzisch net zo effectief te herkennen als in het Engels. Dit roept ernstige vragen op over de betrouwbaarheid van AI-veiligheidssystemen, juist nu miljoenen niet-Joden wereldwijd dergelijke platforms gebruiken om meer te willen weten over Joden, aldus de ADL. Het kan juist online Jodenhaat bevorderen in plaats van tegengaan.

Het gaat om chatbots die worden ingezet wanneer er sprake is van online antisemitisme. De bots zoeken en vinden bijvoorbeeld anti-Joodse teksten, thropes en complottheorieën, en komen met weerleggingen. Op die manier kunnen onwetenden beter worden geïnformeerd dat wat ze lezen antisemitisch is en over het werkelijk zit. De bots worden als nuttig gezien en kunnen bijdragen in de bestrijding van online Jodenhaat.

Grote spelers

De onderzoekers van ADL testten vier grote AI-systemen: ChatGPT, Gemini, Claude en Grok, met acht verschillende vragen en in totaal achthonderd reacties. De data zijn verzameld tussen 9 en 30 maart, tijdens de oorlog tegen Iran. Het onderzoek toont systematische verschillen aan over hoe de modellen antisemitische inhoud en vragen over het conflict verwerkten, afhankelijk van taal en vraag.

Verontrustend

De Engelstalige weerleggingen van antisemitische complottheorieën en stereotypen bleken voortdurend beter dan de Perzische. Dit zijn is zeer verontrustend, zegt ADL-directeur Jonathan Greenblatt. “Op het moment dat miljoenen mensen zich tot AI wendden om een ​​actieve oorlog te begrijpen, slaagden deze AI-modellen er niet in accurate informatie te leveren en voedden ze in plaats daarvan complottheorieën over Joden.”

Gevaarlijk

Greenblatt: “AI-platforms fungeren als primaire informatiebron en hebben de verantwoordelijkheid om in elke taal met dezelfde strengheid en waarborgen te implementeren om zo de verspreiding van antisemitisme en haat voorkomen. Op dit moment schieten ze in het Perzisch, en mogelijk ook in andere talen, dus gevaarlijk tekort.” Bekijk het onderzoeksrapport hier.

Onjuiste antwoorden

Mensen die vragen stellen aan AI-systemen, zoals Chat GPT, over Joden, krijgen niet de juiste antwoorden van de bots. De Perzische antwoorden waren vaak vaag, vermeden directe antwoorden of bevestigden deels antisemitische uitgangspunten, aldus de onderzoekers. Op de vraag of Iran antisemitisme verspreidt, kwam bijvoorbeeld een afzwakkend antwoord. Ook werd Iran ervan vrijgepleit.

Andere vraag

Verschillende modellen in het Perzisch slaagden er niet in het antisemitische karakter van gestelde vragen te herkennen. Toen bijvoorbeeld werd gevraagd of het Amerikaanse gedrag ten opzichte van Iran ‘Joods’ was, een bekende Perzische term die daar bij het dagelijks taalgebruik hoort, behandelden de Perzische antwoorden de vraag als een wetenschappelijke vraag uit de politicologie. Antisemitisme werd zelden genoemd.

Grok

De Engelstalige antwoorden waren volgens de onderzoekers veel langer, gedetailleerder en beter onderbouwd met bronnen. De Perzische antwoorden verwezen ook vaak niet naar actuele gebeurtenissen. Bij bijvoorbeeld ChatGPT bevatten de antwoorden in het Perzisch weinig tot geen bronnen. En Grok citeerde bijvoorbeeld X-gebruikers, onder wie een Star Trek-fan en een account dat zich voordeed als ‘de ayatollah’.

Investeren

“De tekortkomingen die we hebben gevonden zijn geen kleine foutjes, maar systemische tekortkomingen,” zegt senior director Daniel Kelley van het ADL Center for Technology and Society. “AI-bedrijven moeten investeren in onderzoek en middelen om ervoor te zorgen dat hun beveiligingsmechanismen voor iedereen, in elke taal, werken. Dat betekent dat ze daar nu mee moeten beginnen.”

Oproep

ADL roept AI-platformen op om uitgebreid onderzoek uit te voeren op hun resultaten waar het gaat om meertalige veiligheid. Ook vraagt de organisatie hen om middelen te besteden aan het identificeren en dichten van verschillen tussen talen, en transparant te zijn over hoe hun modellen omgaan met antisemitische inhoud in alle talen die die ondersteunen.

Over de ADL

De Anti-Defamation League (ADL) is een Amerikaanse organisatie, opgericht in 1913, die antisemitisme, discriminatie, haat en extremisme bestrijdt. De ADL doet onderzoek, ontwikkelt onderwijsprogramma’s en zet zich in voor burgerrechten. In de VS is het een invloedrijke speler in het maatschappelijke debat over haat en discriminatie, maar ook daarbuiten wordt de ADL erkend en gewaardeerd om haar expertise en inzet.