Moderasi (baik otomatis atau manusia) berpotensi bekerja untuk apa yang kami sebut bahaya “akut”: yang disebabkan langsung oleh masing-masing bagian konten. Tetapi kita membutuhkan pendekatan baru ini karena ada juga sejumlah masalah “struktural”—masalah seperti diskriminasi, penurunan kesehatan mental, dan penurunan kepercayaan masyarakat—yang bermanifestasi dalam cara yang luas di seluruh produk daripada melalui konten individual. Contoh terkenal dari masalah struktural semacam ini adalah eksperimen “penularan emosional” Facebook 2012, yang menunjukkan bahwa pengaruh pengguna (suasana hati mereka yang diukur dengan perilaku mereka di platform) berubah secara terukur tergantung pada versi produk mana yang mereka gunakan.
Dalam serangan balik yang terjadi setelah hasilnya dipublikasikan, Facebook (sekarang Meta) mengakhiri eksperimen yang disengaja semacam ini. Tetapi hanya karena mereka berhenti mengukur efek seperti itu tidak berarti keputusan produk tidak terus memilikinya.
Masalah struktural adalah hasil langsung dari pilihan produk. Manajer produk di perusahaan teknologi seperti Facebook, YouTube, dan TikTok diberi insentif untuk sangat fokus memaksimalkan waktu dan keterlibatan di platform. Dan eksperimen masih sangat hidup di sana: hampir setiap perubahan produk diterapkan ke audiens uji kecil melalui uji coba terkontrol secara acak. Untuk menilai kemajuan, perusahaan menerapkan proses manajemen yang ketat untuk mendorong misi utama mereka (dikenal sebagai Tujuan dan Hasil Utama, atau OKR), bahkan menggunakan hasil ini untuk menentukan bonus dan promosi. Tanggung jawab untuk mengatasi konsekuensi dari keputusan produk sering ditempatkan pada tim lain yang biasanya berada di hilir dan memiliki wewenang yang lebih kecil untuk mengatasi akar permasalahan. Tim-tim tersebut umumnya mampu merespons bahaya akut—tetapi seringkali tidak dapat mengatasi masalah yang disebabkan oleh produk itu sendiri.
Dengan perhatian dan fokus, struktur pengembangan produk yang sama ini dapat berubah menjadi pertanyaan tentang bahaya sosial. Pertimbangkan kesaksian Kongres Frances Haugen tahun lalu, bersama dengan pengungkapan media tentang dugaan dampak Facebook pada kesehatan mental remaja. Facebook menanggapi kritik dengan menjelaskan bahwa mereka telah mempelajari apakah remaja dirasakan bahwa produk tersebut memiliki efek negatif pada kesehatan mental mereka dan apakah persepsi itu menyebabkan mereka mengurangi penggunaan produk, dan bukan apakah produk tersebut sebenarnya memiliki efek yang merugikan. Meskipun tanggapan tersebut mungkin telah membahas kontroversi tertentu, hal itu menggambarkan bahwa penelitian yang ditujukan langsung pada pertanyaan tentang kesehatan mental—daripada dampaknya terhadap keterlibatan pengguna—tidak akan menjadi masalah besar.
Memasukkan evaluasi kerusakan sistemik tidak akan mudah. Kami harus memilah apa yang sebenarnya dapat kami ukur secara ketat dan sistematis, apa yang kami perlukan dari perusahaan, dan masalah apa yang harus diprioritaskan dalam penilaian semacam itu.
Perusahaan dapat menerapkan protokol sendiri, tetapi kepentingan keuangan mereka terlalu sering bertentangan dengan batasan yang berarti pada pengembangan dan pertumbuhan produk. Realitas itu merupakan kasus standar bagi regulasi yang beroperasi atas nama publik. Baik melalui mandat hukum baru dari Komisi Perdagangan Federal atau pedoman mitigasi bahaya dari lembaga pemerintah baru, tugas regulator adalah bekerja dengan tim pengembangan produk perusahaan teknologi untuk merancang protokol terukur yang dapat diterapkan. selama kursus pengembangan produk untuk menilai sinyal bahaya yang berarti.
Pendekatan itu mungkin terdengar rumit, tetapi menambahkan jenis protokol ini harus langsung dilakukan untuk perusahaan terbesar (satu-satunya yang peraturannya harus diterapkan), karena mereka telah membangun uji coba terkontrol secara acak ke dalam proses pengembangan mereka untuk mengukur kemanjurannya. Bagian yang lebih memakan waktu dan kompleks akan mendefinisikan standar; pelaksanaan pengujian yang sebenarnya tidak memerlukan partisipasi regulator sama sekali. Ini hanya membutuhkan mengajukan pertanyaan diagnostik di samping pertanyaan terkait pertumbuhan normal dan kemudian membuat data tersebut dapat diakses oleh peninjau eksternal. Makalah kami yang akan datang pada Konferensi ACM 2022 tentang Ekuitas dan Akses dalam Algoritma, Mekanisme, dan Pengoptimalan akan menjelaskan prosedur ini secara lebih rinci dan menguraikan bagaimana prosedur ini dapat ditetapkan secara efektif.
Ketika produk yang mencapai puluhan juta diuji kemampuannya untuk meningkatkan keterlibatan, perusahaan perlu memastikan bahwa produk tersebut—setidaknya secara agregat—juga mematuhi prinsip “jangan memperburuk masalah”. Seiring waktu, standar yang lebih agresif dapat ditetapkan untuk mengembalikan efek yang ada dari produk yang sudah disetujui.
