Anak laki-laki menggunakan AI untuk memalsukan foto telanjang – gugatan hukum dapat menghentikannya

Namun, alat kecerdasan buatan yang digunakan untuk membuat deepfake berbahaya tersebut masih dapat diakses dengan mudah di internet, yang menjanjikan dapat “menyingkirkan foto apa pun” yang diunggah ke situs web tersebut dalam hitungan detik.

Kini upaya baru untuk menutup aplikasi tersebut dan aplikasi serupa tengah dilakukan di California, di mana San Francisco minggu ini mengajukan gugatan hukum pertama yang menurut para ahli dapat menjadi preseden tetapi juga akan menghadapi banyak rintangan.

“Penyebaran gambar-gambar ini telah mengeksploitasi sejumlah besar perempuan dan anak perempuan di seluruh dunia,” kata David Chiu, jaksa kota terpilih San Francisco yang mengajukan kasus terhadap sekelompok situs web yang banyak dikunjungi yang berbasis di Estonia, Serbia, Inggris Raya, dan tempat lain.

“Gambar-gambar ini digunakan untuk menindas, mempermalukan, dan mengancam wanita dan anak perempuan,” katanya dalam sebuah wawancara dengan The Associated Press. “Dan dampaknya terhadap para korban sangat menghancurkan reputasi, kesehatan mental, hilangnya otonomi, dan dalam beberapa kasus, menyebabkan beberapa orang ingin bunuh diri.”

Gugatan yang diajukan atas nama warga California tersebut menuduh bahwa layanan tersebut melanggar sejumlah undang-undang negara bagian yang melarang praktik bisnis yang curang, pornografi tanpa persetujuan, dan pelecehan seksual terhadap anak-anak. Namun, sulit untuk menentukan siapa yang menjalankan aplikasi tersebut, yang tidak tersedia di toko aplikasi ponsel tetapi masih mudah ditemukan di internet.

Dihubungi akhir tahun lalu oleh AP, salah satu layanan mengklaim melalui email bahwa “CEO-nya berkantor pusat dan berpindah-pindah di seluruh AS” tetapi menolak memberikan bukti atau menjawab pertanyaan lainnya. AP tidak menyebutkan nama aplikasi tertentu yang dituntut agar tidak mempromosikannya.

“Ada sejumlah lokasi yang saat ini belum kami ketahui siapa operatornya dan dari mana mereka beroperasi, tetapi kami memiliki perangkat investigasi dan kewenangan panggilan pengadilan untuk menyelidikinya,” kata Chiu. “Dan kami tentu akan menggunakan kewenangan kami dalam proses litigasi ini.”

Banyak alat yang digunakan untuk membuat foto palsu realistis yang “menelanjangi” foto wanita dewasa berpakaian, termasuk selebritas, tanpa persetujuan mereka. Namun, foto-foto palsu ini juga muncul di sekolah-sekolah di seluruh dunia, dari Australia hingga Beverly Hills di California, biasanya dengan anak laki-laki yang membuat foto teman sekelas perempuan yang kemudian beredar luas melalui media sosial.

Dalam salah satu kasus pertama yang dipublikasikan secara luas September lalu di Almendralejo, Spanyol, seorang dokter yang putrinya termasuk di antara sekelompok gadis yang menjadi korban tahun lalu dan membantu membawanya ke perhatian publik, mengatakan dia puas dengan beratnya hukuman yang dihadapi teman-teman sekelasnya setelah keputusan pengadilan awal musim panas ini.

Namun, “ini bukan hanya tanggung jawab masyarakat, dunia pendidikan, orang tua, dan sekolah, tetapi juga tanggung jawab para raksasa digital yang mendapatkan keuntungan dari semua sampah ini,” kata Dr. Miriam al Adib Mendiri dalam sebuah wawancara pada hari Jumat.

Ia memuji tindakan San Francisco tetapi mengatakan diperlukan lebih banyak upaya, termasuk dari perusahaan yang lebih besar seperti Meta Platforms yang berbasis di California dan anak perusahaannya WhatsApp, yang digunakan untuk menyebarkan gambar tersebut di Spanyol.

Sementara sekolah dan lembaga penegak hukum berupaya menghukum mereka yang membuat dan menyebarkan deepfake, pihak berwenang kesulitan menentukan apa yang harus dilakukan terhadap alat itu sendiri.

Pada bulan Januari, cabang eksekutif Uni Eropa menjelaskan dalam sebuah surat kepada anggota Parlemen Eropa asal Spanyol bahwa aplikasi yang digunakan di Almendralejo “tampaknya tidak” termasuk dalam aturan baru blok tersebut untuk meningkatkan keamanan daring karena platform tersebut tidak cukup besar.

Organisasi yang telah melacak pertumbuhan materi pelecehan seksual anak yang dihasilkan AI akan mengikuti dengan cermat kasus San Francisco.

Gugatan hukum tersebut “berpotensi menjadi preseden hukum di bidang ini,” kata Emily Slifer, direktur kebijakan di Thorn, sebuah organisasi yang berupaya memerangi eksploitasi seksual terhadap anak-anak.

Seorang peneliti di Universitas Stanford mengatakan bahwa karena banyak sekali terdakwa yang berdomisili di luar AS, akan lebih sulit untuk membawa mereka ke pengadilan.

Chiu “memiliki perjuangan berat dalam kasus ini, tetapi mungkin dapat membuat beberapa situs ditutup jika para terdakwa yang menjalankannya mengabaikan gugatan tersebut,” kata Riana Pfefferkorn dari Stanford.

Dia mengatakan hal itu bisa terjadi jika kota menang secara otomatis tanpa kehadiran mereka dan memperoleh perintah yang memengaruhi pendaftar nama domain, host web, dan pemroses pembayaran “yang secara efektif akan menutup situs-situs tersebut bahkan jika pemiliknya tidak pernah muncul dalam litigasi.”

Buletin yang Direkomendasikan: Buletin Fortune Next to Lead wajib dibaca oleh para pemimpin C-suite generasi berikutnya. Setiap hari Senin, buletin ini menyediakan strategi, sumber daya, dan wawasan ahli yang dibutuhkan untuk meraih posisi paling didambakan dalam bisnis. Berlangganan sekarang.