X mengatakan sedang membatasi fitur pembuatan dan pengeditan gambar yang terkait dengan Grok, membatasi akses bagi pengguna berbayar setelah chatbot digunakan untuk membuat gambar seksual tanpa persetujuan dari orang nyata, termasuk anak di bawah umur. Dalam pembaruan yang diposting oleh akun Keamanan X pada hari Rabu, perusahaan menambahkan pembatasan teknis untuk membatasi bagaimana pengguna dapat mengedit gambar orang nyata melalui Grok. Langkah ini diikuti oleh laporan bahwa AI menghasilkan gambar seksual sebagai respons terhadap prompt sederhana, termasuk permintaan untuk menempatkan orang dalam bikini. Dalam banyak kasus, pengguna menandai Grok langsung di bawah foto yang diposting di X, menyebabkan AI menghasilkan gambar yang telah diedit dan muncul secara publik di thread yang sama.
“Kami telah menerapkan langkah-langkah teknologi untuk mencegah akun Grok dari memungkinkan pengeditan gambar orang nyata yang mengenakan pakaian terbuka seperti bikini,” kata perusahaan, merujuk pada tren viral meminta Grok untuk menempatkan orang dalam bikini. Perusahaan juga mengatakan bahwa pembuatan gambar dan pengeditan gambar melalui akun Grok di X sekarang hanya tersedia untuk pelanggan berbayar, sebuah perubahan yang dikatakan bertujuan meningkatkan akuntabilitas dan mencegah penyalahgunaan alat gambar Grok yang melanggar hukum atau kebijakan X. Perusahaan juga memberlakukan pembatasan berbasis lokasi. “Kami sekarang memblokir secara geografis kemampuan semua pengguna untuk menghasilkan gambar orang nyata dalam bikini, pakaian dalam, dan pakaian serupa melalui akun Grok dan di Grok di X di yurisdiksi di mana hal itu ilegal.” Namun, meskipun ada perubahan, Grok tetap memungkinkan pengguna untuk menghapus atau mengubah pakaian dari foto yang diunggah langsung ke AI, menurut pengujian Decrypt dan laporan pengguna setelah pengumuman.
Dalam beberapa kasus, Grok mengakui “kelalaian dalam perlindungan” setelah menghasilkan gambar gadis berusia 12 hingga 16 tahun dengan pakaian minimal, perilaku yang dilarang berdasarkan kebijakan perusahaan sendiri. Ketersediaan berkelanjutan dari kemampuan tersebut telah menarik perhatian dari kelompok advokasi. “Jika laporan bahwa Grok menciptakan gambar seksual—terutama anak-anak—benar, hukum Texas mungkin telah dilanggar,” kata Adrian Shelley, direktur Texas dari Public Citizen, dalam sebuah pernyataan. “Otoritas Texas tidak perlu mencari jauh untuk menyelidiki tuduhan ini. X berkantor pusat di daerah Austin, dan negara bagian memiliki tanggung jawab yang jelas untuk menentukan apakah hukum mereka dilanggar dan, jika ya, hukuman apa yang pantas.” Public Citizen sebelumnya menyerukan agar pemerintah AS menarik Grok dari daftar model AI yang diterima karena kekhawatiran tentang rasisme yang ditunjukkan oleh chatbot. Respon global Pembuat kebijakan global juga meningkatkan pengawasan terhadap Grok, yang menyebabkan beberapa penyelidikan terbuka. Komisi Eropa mengatakan bahwa X dan xAI dapat menghadapi penegakan hukum di bawah Digital Services Act jika perlindungan pada Grok tetap tidak memadai. Pada saat yang sama, Komisioner eSafety Australia mengatakan bahwa keluhan yang melibatkan Grok dan gambar seksual yang dihasilkan AI tanpa persetujuan telah berlipat ganda sejak akhir 2025. Regulator mengatakan bahwa alat gambar AI yang mampu menghasilkan editan realistis menyulitkan penegakan hukum dan perlindungan korban. Di Inggris, regulator dengan Ofcom membuka penyelidikan terhadap X berdasarkan Online Safety Act yang berasal dari penggunaan Grok untuk menghasilkan gambar deepfake seksual ilegal, termasuk yang melibatkan anak di bawah umur. Pejabat mengatakan bahwa Ofcom pada akhirnya dapat mencari langkah-langkah yang didukung pengadilan yang secara efektif memblokir layanan di Inggris jika X ditemukan tidak mematuhi dan gagal mengambil tindakan korektif. Negara lain, termasuk Malaysia, Indonesia, dan Korea Selatan, juga telah membuka penyelidikan terhadap Grok dalam upaya melindungi anak di bawah umur. Sementara negara bagian di seluruh Amerika memantau situasi, California adalah yang pertama membuka penyelidikan terhadap Grok. Pada hari Rabu, Jaksa Agung California Rob Bonta mengumumkan penyelidikan terhadap xAI dan Grok terkait pembuatan dan penyebaran gambar eksplisit seksual tanpa persetujuan dari wanita dan anak-anak.
“Banjir laporan yang merinci materi seksual eksplisit tanpa persetujuan yang diproduksi dan diposting online oleh xAI dalam beberapa minggu terakhir sangat mengejutkan. Materi ini, yang menggambarkan wanita dan anak-anak dalam situasi telanjang dan seksual eksplisit, telah digunakan untuk mengganggu orang di seluruh internet,” kata Bonta dalam sebuah pernyataan. Penyelidikan ini akan memeriksa apakah penggunaan Grok oleh xAI melanggar hukum negara bagian yang mengatur gambar intim tanpa persetujuan dan eksploitasi seksual anak. “Saya mendesak xAI untuk segera mengambil tindakan agar hal ini tidak berlanjut,” kata Bonta. “Kami memiliki nol toleransi terhadap penciptaan dan penyebaran gambar intim tanpa persetujuan berbasis AI atau materi pelecehan seksual anak.” Meskipun penyelidikan sedang berlangsung, X mengatakan mereka mengambil sikap “nol toleransi” terhadap eksploitasi seksual anak, ketelanjangan tanpa persetujuan, dan konten seksual yang tidak diinginkan. “Kami mengambil tindakan untuk menghapus konten pelanggaran prioritas tinggi, termasuk Materi Pelecehan Seksual Anak (CSAM) dan ketelanjangan tanpa persetujuan, serta mengambil tindakan yang sesuai terhadap akun yang melanggar Aturan X kami,” tulis perusahaan. “Kami juga melaporkan akun yang mencari Materi Eksploitasi Seksual Anak kepada otoritas penegak hukum jika diperlukan.”