
Siapa yang memberi AI nilai-nilainya?
AiDaftar isi
Ketika saya bertanya kepada AI cara mengonfigurasi firewall, saya bisa memeriksa jawabannya. Saya bisa membaca dokumentasi, menguji pengaturannya, dan melihat apakah hasilnya benar.
Pertanyaan lain tidak memiliki tolok ukur sejelas itu. Haruskah saya memberi karyawan kesempatan kedua? Apakah suatu bentuk pengawasan dapat dibenarkan? Berapa banyak kebebasan pribadi yang boleh dikorbankan demi keamanan?
AI dapat menjawab dengan tenang, jelas, dan meyakinkan. Justru karena itulah saya ingin tahu standar yang digunakannya. Kepentingan siapa yang dipertimbangkan? Di mana batasnya? Dan siapa yang memutuskan bahwa batas itu benar?
Karena itu, pada Anthropic dan OpenAI saya tertarik bukan hanya pada kemampuan modelnya, tetapi juga keyakinan dan struktur di baliknya. Kedua perusahaan mengembangkan sistem yang diharapkan mendapat kepercayaan untuk mengambil keputusan. Pemahaman mereka tentang tanggung jawab layak diperiksa dengan saksama.
Altruisme efektif menawarkan pintu masuk yang menarik. Gagasannya menarik bagi saya. Namun, beberapa kesimpulannya membuat saya berhati-hati.
Berbuat baik sebanyak mungkin terdengar meyakinkan
Altruisme efektif mempertanyakan bagaimana uang, waktu, dan kemampuan yang terbatas dapat digunakan untuk memberi manfaat terbesar bagi orang lain. Penelitian dan argumen yang masuk akal diharapkan membantu memilih di antara berbagai pilihan. Gerakan ini mencakup kesehatan global, kesejahteraan hewan, hingga risiko AI canggih.
Menurut saya, masuk akal menilai bantuan berdasarkan dampaknya. Niat baik saja tidak banyak menjelaskan apakah seseorang benar-benar terbantu. Orang yang menyumbangkan uang atau menginvestasikan kerja bertahun-tahun seharusnya boleh bertanya apakah penggunaan lain akan menghasilkan lebih banyak manfaat.
Hal itu menjadi lebih sulit ketika kita membandingkan dampak yang sangat berbeda sifatnya.
Longtermisme memberikan bobot moral khusus pada masa depan jangka panjang. Orang yang mungkin hidup di masa depan yang jauh perlu diperhitungkan dalam keputusan hari ini. Salah satu argumennya adalah bahwa risiko yang dapat menghancurkan masa depan itu secara permanen harus ditanggapi serius.
Pada awalnya saya juga tidak banyak keberatan. Kita pun menuntut agar generasi mendatang dipertimbangkan dalam persoalan pencemaran atau limbah nuklir.
Keraguan saya dimulai dari kepastian prediksi kita. Seberapa andal kita bisa menilai keputusan mana hari ini yang akan memperbaiki kehidupan berabad-abad mendatang? Bagaimana membandingkan manfaat yang bisa dibuktikan hari ini dengan kemungkinan mencegah bencana di masa depan yang jauh?
Perhitungan bisa benar secara matematis tetapi bertumpu pada asumsi yang sangat tidak pasti. Jika perkiraan manfaat masa depan cukup besar, ia dapat mengungguli hampir semua prioritas hari ini. Justru di situlah saya ingin melihat asumsi, ketidakpastian, dan batas tentang apa yang boleh dibenarkan oleh manfaat yang diharapkan.
Bagaimana gagasan menjadi pengaruh
Hubungan dengan pengembangan AI setidaknya terlihat dalam keputusan pendanaan yang konkret. Open Philanthropy, kini Coefficient Giving, mencatat hibah sebesar 30 juta dolar AS kepada OpenAI pada 2017. Pemikiran filosofis tentang masa depan jelas tidak terbatas pada buku dan diskusi. Pemikiran itu memengaruhi penelitian mana yang mendapat dukungan.
Namun, itu tidak membuktikan adanya satu ideologi bersama pada semua perusahaan yang terlibat. Hibah tidak menjelaskan setiap keputusan bisnis berikutnya ataupun keyakinan semua karyawan.
Karena itu saya membedakan altruisme efektif, longtermisme, dan penelitian keselamatan AI. Seseorang bisa memperingatkan kemampuan AI yang berbahaya tanpa menganut filsafat masa depan tertentu. Kita juga bisa mendukung bantuan efektif sambil mengkritik prioritas organisasi tertentu.
Dalam menilai Anthropic dan OpenAI, yang terutama saya perhatikan adalah keputusan mereka hari ini, kekuasaan yang dijalankan melalui keputusan tersebut, dan bagaimana kekuasaan itu dibatasi.
Anthropic: Nilai yang dinyatakan terbuka
Anthropic menjelaskan maksudnya untuk Claude secara luar biasa terperinci. Constitution yang dipublikasikan menggambarkan nilai dan perilaku yang diinginkan serta, menurut perusahaan, digunakan dalam pelatihan. Isinya mencakup kejujuran, pencegahan bahaya, dan pengawasan manusia. Anthropic juga mengakui bahwa perilaku nyata Claude bisa berbeda dari tujuan tersebut.
Saya menghargai hal itu. Dokumen publik menyediakan dasar untuk kritik. Saya bisa menilai jawaban berdasarkan dokumen itu dan bertanya apakah Claude memenuhi pedomannya sendiri. Saya juga bisa menolak pedoman itu.
Namun, saya tetap berhati-hati dengan istilah “konstitusi”. Kata itu mengesankan kesepakatan sosial dan aturan yang mendapat legitimasi bersama. Di sini sebuah perusahaan menjelaskan maksudnya untuk produk. Itu keterbukaan yang penting, tetapi belum memberi publik hak yang mengikat untuk ikut mengambil keputusan.
Alasan Anthropic tentang perannya sendiri juga patut diperhatikan. Perusahaan menggambarkan pengembangan AI kuat sebagai taruhan yang disengaja: jika sistem semacam itu akan muncul juga, laboratorium yang berfokus pada keselamatan sebaiknya bekerja di garis depan.
Saya memahami argumen itu. Namun, di dalamnya ada konflik kepentingan yang menurut saya tidak terselesaikan hanya dengan niat baik. Pihak yang yakin lebih bertanggung jawab daripada pesaing dapat menyimpulkan bahwa ia harus tumbuh lebih cepat dan memperoleh pengaruh lebih besar.
Karena itu saya ingin tahu kondisi terverifikasi yang membatasi taruhan tersebut. Kapan Anthropic harus menunda pengembangan? Temuan seperti apa yang akan membuatnya mempertanyakan strateginya sendiri?
Untuk pengawasan perusahaan, Anthropic membentuk Long-Term Benefit Trust. Anggotanya dimaksudkan terlindung dari kepentingan finansial dalam perusahaan dan memiliki hak khusus untuk memengaruhi susunan dewan. Ketika memperkenalkannya, perusahaan sendiri menyebut struktur ini sebagai eksperimen.
Saya menanggapi upaya itu dengan serius. Namun, keberadaannya saja tidak membuktikan efektivitas pengawasan ketika kepentingan berbenturan. Dokumen penawaran saham yang dipublikasikan menjelaskan hak Trust, batasan, serta prosedur perubahan hak tersebut. Perincian ini lebih layak diperhatikan daripada kata “independen” yang menenangkan.
Penilaian sementara saya: Anthropic membuat nilai-nilainya konkret dan terbuka untuk dipersoalkan. Itu kekuatan. Untuk percaya, saya juga memerlukan bukti bahwa pengawasan yang direncanakan tetap bekerja ketika keputusan keselamatan mengorbankan pertumbuhan atau pendapatan.
OpenAI: Misi sosial dan kepentingan ekonomi
Untuk OpenAI pun, hanya melihat kepentingan komersial terlalu menyederhanakan. Menurut struktur yang dipublikasikan, OpenAI Foundation yang nirlaba mengendalikan OpenAI Group, yang berbentuk Public Benefit Corporation. Foundation dapat mengangkat dan mengganti anggota dewan Group. Foundation juga memiliki saham di Group.
Itu struktur pengendalian yang berarti. Narasi menyeluruh bahwa misi nirlaba telah lenyap sepenuhnya tidak menggambarkannya dengan adil.
Namun, saya juga melihat ketegangan: jika sumber daya finansial Foundation diuntungkan oleh keberhasilan komersial Group, misi perlindungan dan kepentingan pertumbuhan dapat terjalin erat. Itu tidak harus menghasilkan keputusan buruk. Tetapi penting untuk bertanya seberapa independen keputusan untuk mengorbankan pertumbuhan dapat dinilai.
OpenAI juga memublikasikan aturan perilaku modelnya. Model Spec menjelaskan kendali manusia, kejujuran, dan pencegahan bahaya, antara lain. Dokumen itu juga menyebut perlindungan perusahaan dari kerugian hukum dan reputasi sebagai tujuan. OpenAI mengakui model yang digunakan belum sepenuhnya memenuhi spesifikasi tersebut.
Menurut saya, berguna bahwa kepentingan yang berbeda ini dinyatakan secara jelas. Perusahaan perlu tetap layak secara ekonomi dan hukum. Sebagai pengguna, saya tetap ingin memahami bagaimana keputusan dibuat ketika kebutuhan saya, kepentingan publik, dan kepentingan penyedia berbeda.
Tolok ukur saya sama seperti untuk Anthropic: aturan yang dipublikasikan bernilai. Penerapannya dan kemampuan untuk menggugat keputusan secara efektif perlu dinilai secara terpisah.
Karena itu dokumen saja tidak memungkinkan peringkat yang dapat dipercaya tentang perusahaan mana yang “lebih altruistis”. Dokumen menunjukkan maksud dan struktur. Untuk menilai dampak, saya juga memerlukan keputusan konkret dan hasil yang dapat diverifikasi.
Bagaimana saya akan menilai keduanya
Saya paling tertarik pada situasi ketika tanggung jawab terasa tidak nyaman.
Menunda peluncuran model ketika pesaing mengejar. Mendokumentasikan kesalahan agar orang luar memahami besarnya dampak. Memberi pihak terdampak jalur pengaduan yang efektif. Memberi penilai independen akses yang cukup untuk menarik kesimpulan sendiri.
Saya akan mengajukan pertanyaan yang sama kepada keduanya:
- Dampak sosial apa yang benar-benar telah dibuktikan?
- Batas mana yang mengikat, dan siapa yang boleh mengubahnya?
- Siapa yang bisa menghentikan keputusan berisiko?
- Bagaimana kesalahan, argumen tandingan, dan konflik kepentingan diungkapkan?
- Pilihan apa yang tersedia bagi orang yang terdampak sistem tetapi bukan pelanggannya?
Pertanyaan terakhir sangat mengusik saya. Perusahaan dapat memperlakukan pelanggan dengan baik sambil membuat keputusan yang akibatnya ditanggung orang lain. Kontrak pembelian hanya mewakili sebagian kepentingan tersebut.
Persoalan nilai menjadi praktis
Jika asisten hanya menyarankan teks, saya bisa menolaknya. Begitu sistem dengan izin yang sesuai mengirim surel, menyaring lamaran, atau mengakses data perusahaan, pedomannya memiliki konsekuensi langsung.
Diskusi filosofis pun menjadi persoalan kewenangan dan tanggung jawab. Bolehkah asisten menolak instruksi eksplisit? Kapan harus meminta penjelasan? Informasi apa yang boleh dibagikan? Dan siapa bertanggung jawab jika tugas yang diizinkan dipahami secara keliru?
Untuk sistem tersebut saya akan menuntut batas teknis: izin yang jelas, tindakan yang dapat dilacak, serta cara menghentikan atau membatalkan proses. Kumpulan nilai yang dirumuskan baik dapat melengkapi kendali ini. Ia tidak bisa membuktikan efektivitasnya.
Saya melihat tingkat masyarakat dengan cara serupa. Pengembang membutuhkan ruang untuk merancang produk. Pengguna membutuhkan pilihan. Ketika hak mendasar atau bahaya serius bagi pihak ketiga dipertaruhkan, diperlukan pula aturan mengikat dan pengawasan independen. Perancangannya harus terbuka untuk perdebatan publik.
Apa yang akan memperkuat kepercayaan saya
Saya ingin mengakui bahwa orang-orang di Anthropic dan OpenAI bekerja serius untuk AI yang berguna dan aman. Prinsip yang dipublikasikan layak dipertimbangkan dengan saksama. Menurut saya tidak adil menganggap setiap pertimbangan keselamatan sebagai pemasaran atau menyimpulkan kemunafikan moral dari setiap keputusan bisnis.
Saya juga tidak ingin memberi perusahaan kepercayaan di muka hanya karena ia menjelaskan tujuannya dengan sangat meyakinkan.
Yang saya sukai dari altruisme efektif adalah tuntutan menanyakan dampak nyata. Standar itu akan saya terapkan kepada perusahaan AI sendiri. Manfaat apa yang dihasilkan sistem mereka? Bahaya apa yang muncul? Asumsi mereka sendiri mana yang sudah dikoreksi? Dan kekuasaan apa yang bersedia mereka tempatkan di bawah pengawasan efektif?
Sikap saya tetap terbuka, tetapi menuntut. Saya tidak membutuhkan kepastian bahwa orang di balik model selalu benar secara moral. Saya ingin memahami bagaimana keputusan mereka terbentuk, bisa mempertanyakannya, dan tahu bahwa kesalahan membawa konsekuensi bagi pihak yang bertanggung jawab.
Semakin banyak keputusan kita serahkan kepada AI, semakin penting kemungkinan-kemungkinan itu.
Sampai jumpa,
Joe


