Rechter verbiedt uitkleedfunctie in chatbot Grok

De chatbot Grok mag zijn 'uitkleedfunctie' niet meer aanbieden in Nederland. De rechtbank in Amsterdam heeft de tool donderdag verboden, nadat het Fonds Slachtofferhulp en het expertisecentrum Offlimits dat hadden geëist in een kort geding.

Grok is gemaakt door xAI, het Amerikaanse bedrijf van zakenman Elon Musk. Gebruikers konden de chatbot opdracht geven om met kunstmatige intelligentie naaktbeelden te maken. Dat kunnen afbeeldingen van volwassenen zijn, maar ook van kinderen. De afgebeelde personen kunnen virtueel zijn en alleen online bestaan, maar het kan ook om nepbeelden van echte mensen gaan.

Om hun eis kracht bij te zetten, hadden Fonds Slachtofferhulp en Offlimits foto's gedeeld die ze met Grok hadden gemaakt. Daarop waren schaars geklede virtuele kinderen met volwassen mannen te zien.

Nudificaton tool mag wel

Volgens de rechter is het aannemelijk dat de makers van Grok "onrechtmatig en toerekenbaar bijdragen aan een klimaat van online grensoverschrijdend gedrag". xAI heeft controle over Grok en moet misbruik dus voorkomen, ook als de makers van het platform niet zelf de beelden creëren.

Het verbod geldt voor beelden van mensen die in Nederland wonen en voor het maken en verspreiden van de beelden in Nederland. De beide organisaties hadden een wereldwijd verbod op de 'nudification tool' geëist, maar daarin ging de rechter niet mee.

De advocaten van Grok zeiden bij de behandeling van het kort geding dat het bedrijf kindermisbruik wil voorkomen, maar dat het niet haalbaar is om elke vorm van misbruik te elimineren. "Er zullen altijd gebruikers zijn die beveiligingsmaatregelen omzeilen", stelden de advocaten.