Selepas Mythos: mengapa bug bounty kini memerlukan bukti yang lebih kukuh

Beberapa minggu lalu saya menulis tentang Anthropic Mythos dan Project Glasswing. Ketika itu fokusnya ialah gambaran besar: jika model benar-benar menjadi lebih baik dalam mencari kerentanan lama, menggabungkan laluan exploit, dan memahami keseluruhan codebase, maka vulnerability research akan berubah.

Artikel baharu Sophos tentang bug bounty dalam era Mythos kini menunjukkan sisi operasinya.

Isunya bukan lagi sekadar sama ada AI menemui kerentanan yang lebih baik. Isunya ialah sama ada program bug bounty, pasukan security, dan organisasi engineering mampu membezakan dengan cukup cepat antara sampah, dakwaan yang nampak munasabah, dan masalah keselamatan yang sebenar.

Masalah sebenar bukan hanya slop AI

Apabila bercakap tentang AI dan bug bounty, orang cepat terfikir tentang slop: laporan yang dijana secara automatik, mesej ralat yang hanya separuh difahami, rantaian exploit yang direka-reka, dakwaan yang tidak boleh diulang semula, dan banyak teks dengan sedikit isi.

Itu nyata. Dan ia sangat menyakitkan untuk maintainer, pasukan product security, dan orang yang melakukan triage.

Tetapi itu hanya satu sisi.

Sisi lain lebih berbahaya: penyelidik yang baik boleh menggunakan model yang sama untuk mencari kerentanan sebenar dengan lebih cepat, menguji hipotesis merentasi codebase yang lebih besar, dan menyemak variasi sesuatu corak secara sistematik. Kerja manual yang dahulu mengambil hari atau minggu boleh masuk ke barisan dalam beberapa jam.

Jadi masalahnya berubah. Dahulu soalan lazimnya: adakah kita menerima cukup finding luaran yang baik? Kini soalannya lebih kepada: bolehkah kita mengenal pasti, mengesahkan, mengutamakan, dan menukar finding sebenar menjadi fix dengan cukup cepat, sementara bunyi bising juga meningkat?

Mengapa Sophos sumber yang menarik

Artikel Sophos bukan ulasan umum tentang AI. Sophos melihat kembali program bug bounty sendiri dan memberikan angka yang konkrit.

Menurut Sophos, program awam mereka berjalan di Bugcrowd sejak Disember 2017. Sophos menulis bahawa sehingga masa artikel itu, 1,343 kerentanan telah diberi ganjaran, daripada 7,091 submission keseluruhan, dengan jumlah bayaran sebanyak 599,695 dolar AS.

Untuk 2025, Sophos menyebut antaranya:

• 59,400 dolar AS bayaran untuk lebih daripada 52 laporan
• kira-kira 420 penyelidik terlibat
• sehingga 80,000 dolar AS untuk Intercept X Endpoint dalam keadaan tertentu
• sehingga 50,000 dolar AS untuk Sophos Central
• sehingga 50,000 dolar AS untuk Sophos Firewall
• 13 bug Sophos Firewall yang sah pada 2025 dengan jumlah bayaran 21,500 dolar AS
• 13 bug Sophos Central yang sah pada 2025 dengan jumlah bayaran 11,650 dolar AS

Angka-angka ini bukan astronomi, dan sebab itulah ia menarik. Ia menunjukkan berapa banyak kerja tapisan di sebalik program yang agak matang. Ribuan submission tidak bermakna ribuan masalah keselamatan yang relevan. Dan AI mungkin tidak akan menjadikan nisbah ini lebih mudah.

AI akan menjadikannya lebih sukar.

Kebolehulangan menjadi tiket masuk

Kesan paling penting pada pandangan saya nampak mudah, tetapi tidak selesa: security report tanpa kebolehulangan yang bersih akan menjadi kurang bernilai.

Bukan kerana pasukan triage malas. Tetapi kerana masa mereka semakin terhad.

Jika laporan mendakwa menunjukkan remote code execution, auth bypass, atau pendedahan data kritikal, ia perlu membuktikan dengan jelas:

• versi mana yang terkesan
• konfigurasi apa yang diperlukan
• hak akses apa yang diperlukan oleh penyerang
• langkah apa yang membawa kepada hasil itu secara boleh ulang
• log, request, trace, atau screenshot apa yang menyokong dakwaan itu
• impak apa yang benar-benar dibuktikan
• di mana garis antara andaian dan bukti

Kedengarannya ketat. Memang ketat. Tetapi itu akan diperlukan supaya pasukan security tidak tenggelam dalam teks yang kedengaran munasabah.

Laporan yang dijana AI boleh kelihatan sangat meyakinkan dari segi bahasa. Ia boleh memetik kod, menulis seperti CVE, dan meniru struktur yang kemas. Itu tidak menjadikannya benar. Sebaliknya, laporan pendek dan kering dengan proof of concept yang baik boleh menjadi sangat bernilai.

Mata wang baharu bukan gaya penulisan. Mata wang baharu ialah bukti.

AI menjadikan bug authorization sangat menyusahkan

Satu perkara dalam artikel Sophos terasa sangat praktikal bagi saya: AI boleh membantu menskalakan authorization bypass yang ditemui ke permukaan scope yang lebih luas.

Ini sepadan dengan apa yang sering dilihat dalam persekitaran SaaS sebenar. Authorization jarang sekali satu suis tunggal. Ia hidup dalam role, tenant, object ID, subdomain, versi API, permukaan admin, endpoint mudah alih, route lama, dan feature yang separuh migrasi.

Apabila penyelidik menemui satu corak, AI boleh membantu menyemak variasinya secara sistematik:

• Adakah bypass itu hanya untuk satu endpoint atau seluruh keluarga endpoint?
• Adakah ia berfungsi hanya dalam satu tenant atau merentas tenant?
• Adakah logik yang sama wujud dalam API lama dan baharu?
• Adakah role admin dan user benar-benar dipisahkan dengan bersih di semua tempat?
• Bolehkah objek dimuatkan melalui ID terus walaupun UI tidak akan memaparkannya?

Di sinilah AI menjadi berbahaya tetapi berguna. Bukan sebagai hacker ajaib, tetapi sebagai pemecut untuk ujian yang membosankan, luas, dan sistematik.

Dan itu buruk untuk organisasi yang keselamatannya banyak bergantung pada hakikat bahawa tiada siapa mempunyai masa yang cukup untuk menguji semua variasi yang membosankan.

Bug bounty bukan peti masuk PR

Banyak syarikat masih melayan bug bounty hampir seperti isu imej: kami ada program, jadi kami terbuka, moden, dan security-minded.

Itu tidak lagi cukup.

Program bug bounty ialah sistem produksi. Ia memerlukan peraturan jelas, triage yang baik, reproduksi teknikal, kedekatan dengan produk, tanggungjawab engineering, dan hubungan dengan incident response. Jika tidak, ia hanya menjadi peti masuk awam tempat penyelidik luar, slop AI, dan penyerang sebenar berkongsi pintu yang sama.

Sophos menggabungkan dua perkara yang tidak selesa:

Pertama: penyelidik yang baik membantu. Pandangan luar, cara fikir berbeza, dan tekanan berterusan adalah bernilai.

Kedua: sistem yang melibatkan wang dan kepercayaan juga boleh disalahgunakan. Sophos merujuk pengalaman sekitar Pacific Rim, Asnarök, dan Personal Panda, di mana jarak masa yang dekat antara eksploitasi aktif dan laporan bug bounty kemudian sekurang-kurangnya menimbulkan persoalan. Sophos tidak mengatakan secara jelas bahawa semua laporan seperti itu berniat jahat. Tetapi poin operasinya kekal: program bug bounty tidak boleh dibina secara naif.

Secara konkrit:

• Laporan perlu dikaitkan dengan telemetri.
• Finding baharu juga patut boleh mencetuskan threat hunt secara retroaktif.
• Triage perlu tahu sama ada percubaan exploit serupa sudah kelihatan.
• Reputasi penyelidik membantu, tetapi tidak menggantikan pemeriksaan teknikal.
• Safe harbor penting, tetapi bukan pengganti pengesanan penyalahgunaan.

Itulah realiti yang tenang: bug bounty ialah sebahagian daripada Secure by Design, bukan penggantinya.

Bukti lebih kukuh juga bermaksud tanggungjawab lebih berat

Ada ketegangan di sini yang tidak patut ditutup.

Secara sejarah, penyelidik sering diberitahu: berhenti cukup awal. Tunjukkan bug, tetapi jangan pergi terlalu dalam. Jangan sentuh data pelanggan. Tiada lateral movement. Tiada tindakan destruktif.

Itu betul.

Pada masa yang sama, beban pembuktian akan meningkat. Jika AI menghasilkan banyak laporan yang munasabah tetapi palsu, program akan menuntut lebih banyak evidens. Maka muncul soalan sukar: bagaimana penyelidik boleh membuktikan impak dengan lebih kuat tanpa tergelincir ke tingkah laku berbahaya?

Jawapannya tidak boleh jadi: “buat saja lebih banyak.” Jawapannya perlu lebih terkawal:

• rules of engagement yang lebih jelas
• persekitaran ujian khusus
• laluan reproduksi yang selamat
• sempadan impak yang dipersetujui
• sistem sandbox dan lab yang lebih baik
• replay automatik untuk proof of concept

Untuk vendor besar, ini hampir wajib. Jika membayar bounty tinggi, mereka juga patut mempunyai infrastruktur untuk mengesahkan laporan dengan bersih dan cepat.

Untuk projek kecil, ini lebih pahit. Mereka menerima gelombang slop yang sama, tetapi bukan sumber yang sama. Sebab itu sesetengah projek akan mengurangkan bug bounty berbayar atau menutupnya sepenuhnya. Bukan kerana mereka tidak serius tentang keselamatan, tetapi kerana mengendalikan program itu sendiri menjadi beban.

Apa yang admin dan MSP boleh pelajari

Orang boleh berkata: ini hanya menyentuh vendor dan program Bugcrowd.

Saya tidak percaya begitu.

Mekanisme yang sama juga mengenai MSP, pasukan IT dalaman, dan pemilik security. Di mana-mana finding luaran atau dalaman perlu dinilai, tekanannya meningkat:

• Scanner menghasilkan lebih banyak finding.
• Pembantu AI menerangkan finding dengan lebih meyakinkan.
• Developer membawa nota security yang dijana AI.
• Pelanggan bertanya tentang CVE sebelum memahami konteks.
• Pengurusan mahu tahu sama ada risiko itu sebenar atau sekadar bising.

Jawapan praktikal bukan mengabaikan semuanya. Jawapannya ialah proses validasi yang lebih keras.

Bagi saya, sekurang-kurangnya soalan ini perlu ditanya:

1. Adakah masalah itu boleh diulang semula?
2. Adakah scope yang terkesan jelas?
3. Adakah laluan penyerang yang realistik?
4. Adakah impak dibuktikan secara teknikal atau hanya didakwa?
5. Adakah log atau telemetri yang boleh menunjukkan eksploitasi?
6. Adakah fix itu patch, konfigurasi, workaround, atau sekadar tampalan?
7. Perlukah dicari secara retroaktif sama ada ia sudah dieksploitasi?

Kedengarannya seperti lebih banyak kerja. Memang. Tetapi itu kerja yang lebih baik daripada bereaksi panik terhadap setiap laporan yang ditulis dengan baik.

Mengapa ini sesuai dengan Mythos

Poin utama Mythos bagi saya bukan sekadar: “wow, sebuah model menemui bug.”

Poinnya ialah: jika keupayaan seperti itu menjadi lebih nyata, masa antara mencari, memahami, mengulang semula, dan mengeksploitasi akan mengecil. Di situlah program bug bounty terkena kesannya. Ia berada di persimpangan antara penyelidikan, potensi serangan, engineering, dan tanggungjawab.

Sophos merumuskannya dengan cara yang serupa: persoalannya bukan bagaimana menghentikan submission AI. Persoalannya ialah bagaimana mengekalkan kepercayaan dan signal apabila penyelidikan baik dan bunyi bising sama-sama boleh dihasilkan pada kelajuan mesin.

Bagi saya, itu ringkasan paling bersih tentang masalah ini.

Tidak setiap organisasi memerlukan program bug bounty besar sendiri. Tetapi setiap organisasi memerlukan mekanisme yang lebih baik untuk memeriksa dakwaan teknikal. Kerana banjir maklumat security tidak akan berkurang. Ia akan menjadi lebih cepat, lebih kuat, dan lebih kemas ditulis.

Pandangan saya

Saya melihat artikel Sophos sebagai follow-up yang berguna kepada Mythos, kerana ia membawa debat dari bilik model ke bilik operasi.

Mythos ialah signal yang spektakular. Triage bug bounty ialah meja kerja tempat kita melihat sama ada proses security mampu mengejar.

Tesis saya mudah:

• Siapa yang hanya mengumpul lebih banyak laporan akan kalah.
• Siapa yang menuntut evidens boleh ulang akan membuat prioriti dengan lebih baik.
• Siapa yang menghubungkan bug bounty, telemetri, engineering, dan incident response akan bertindak balas lebih cepat.
• Siapa yang melihat AI hanya sebagai penjana teks meremehkan nilainya untuk kerja security yang sistematik.
• Siapa yang tidak menapis slop AI membakar masa orang yang sepatutnya menyelesaikan masalah sebenar.

Itu kedengaran kurang glamor daripada model frontier yang menemui zero-day. Tetapi di situlah ditentukan sama ada keuntungan security sampai kepada defender atau semua orang tenggelam dalam lebih banyak bunyi.

Jumpa lagi,
Joe