AMSTERDAM – De voorzieningenrechter in Amsterdam heeft AI-chatbot Grok en platform X verboden om uitkleedbeelden en kinderpornografisch materiaal te genereren en te verspreiden. Het verbod geldt voor beelden van personen die in Nederland wonen en voor het vervaardigen en verspreiden van dergelijke beelden in Nederland.
Het expertisecentrum online misbruik Offlimits stapte naar de rechter omdat via Grok en X zonder toestemming zogenoemde uitkleedbeelden en kinderpornografisch materiaal zouden kunnen worden gemaakt en gedeeld. Grok en X voerden aan dat zij deze praktijken juist willen tegengaan. Volgens hen zijn in de gebruikersvoorwaarden verboden opgenomen en zijn maatregelen getroffen om het genereren en verspreiden van dergelijke content te voorkomen.
De voorzieningenrechter oordeelt echter dat Offlimits voldoende aannemelijk heeft gemaakt dat er gerede twijfel bestaat over de effectiviteit van die maatregelen. Kort voor de zitting slaagde Offlimits er volgens de rechter nog in om met Grok een uitkleedvideo te genereren.
De rechter heeft daarom een verbod opgelegd op het genereren en verspreiden van uitkleedbeelden en kinderpornografisch materiaal. Aan overtreding daarvan is een dwangsom verbonden van 100.000 euro per dag, met een maximum van 10 miljoen euro.
Daarnaast is X verboden om Grok als onderdeel van het platform aan te bieden zolang de chatbot niet voldoet aan de opgelegde verboden.
