Baru-baru ini, Sangfor AI mencapai hasil luar biasa di CyberGym , sebuah tolok ukur yang diakui secara internasional untuk mengevaluasi kemampuan keamanan AI. Sangfor AI menghadapi serangkaian tantangan kerentanan yang sangat sulit yang mencakup ARVO dan OSS-Fuzz, berhasil menyelesaikan 1.301 dari 1.507 tugas untuk mencapai tingkat keberhasilan tolok ukur keseluruhan sebesar 86,3%. Dalam evaluasi ini, Sangfor AI bersaing dengan model dan agentdari agen AI papan atas global seperti OpenAI, Anthropic, dan Meta, dan akhirnya menempati peringkat empat teratas secara global.
Sebagai tolok ukur evaluasi keamanan AI, CyberGym melampaui pengujian teoritis statis atau skala kecil tradisional untuk fokus pada tantangan dunia nyata yang kompleks—mencakup berbagai proyek perangkat lunak sumber terbuka utama dan kerentanan historis yang sangat sulit (misalnya ARVO dan OSS-Fuzz). CyberGym menguji kemampuan model besar dan agent keamanan dalam penalaran, produksi ulang kerentanan, dan validasi PoC di seluruh basis kode yang masif, konteks yang kompleks, dan lingkungan adversarial multi-tahap. Dengan keselarasan yang erat dengan skenario pertahanan industri dunia nyata dan standar verifikasi yang ketat, CyberGym dianggap sebagai salah satu platform pengujian paling bergengsi dan resmi secara global untuk menilai kemampuan operasional dunia nyata dari model keamanan kode.
Arsitektur di Balik Angka 86,3%: Kolaborasi Kawanan Agen
Riset kerentanan bukanlah sekadar analisis kode sekali jalan atau pembuatan PoC (Proof of Concept), melainkan sebuah proses riset yang terus menerus membentuk hipotesis, mengumpulkan bukti, menghilangkan path yang salah, dan mencapai kesimpulan akhir dalam kondisi informasi yang tidak lengkap. Meskipun satu model dapat melakukan reasoning secara lokal, penanganan eksplorasi rantai panjang, hipotesis paralel, dan validasi ketat secara stabil membutuhkan mekanisme sistem yang dapat mengatur, mempertahankan, dan membatasi kemampuan ini. Untuk mengatasi tantangan ini, alih-alih mengandalkan stacking probabilitas sederhana, Sangfor AI mempelopori arsitektur kolaboratif "Agent Swarm" dan memperkenalkan mekanisme "tata kelola bukti" yang ketat. Hal ini memastikan bahwa setiap langkah investigasi kerentanan tetap jelas dan kredibel:
- Eksplorasi: Agent Swarm memperluas pencarian dengan membuka investigasi independen dan berbatas jelas seputar hipotesis keamanan yang berbeda. Hal ini memungkinkan penjelasan tambahan untuk diperiksa secara paralel tanpa kontaminasi silang, memastikan bahwa asumsi yang tidak didukung tidak secara diam-diam menjadi asumsi bersama.
- Bukti: Investigasi dikoordinasikan melalui bukti, bukan melalui riwayat percakapan lengkap. Baik observasi yang tervalidasi maupun path yang terbukti salah tetap tersedia—artinya bukti tetap ada di seluruh investigasi sehingga path yang salah tidak perlu ditemukan kembali.
- Penilaian: Seorang koordinator menggunakan kondisi bukti yang terus berkembang ini untuk menentukan hipotesis mana yang tetap layak, pertanyaan mana yang belum terselesaikan, dan di mana investigasi tambahan diperlukan. Dengan demikian, putaran-putaran berikutnya menjadi pengurangan ruang lingkup pencarian yang dipandu oleh bukti.
- Tinjauan: Hanya ketika bukti mendukung strategi pemicu konkret, sistem akan membuat input dugaan dan mengirimkannya untuk ditinjau oleh pihak lawan. Tinjauan tersebut mempertanyakan baik kemampuan produksi kembali kegagalan yang diamati maupun hubungannya dengan kerentanan yang ditetapkan.Dugaan yang ditolak dapat digunakan untuk mengarahkan kembali investigasi, mengubah penilaian negatif menjadi batasan pada langkah pencarian berikutnya. Hanya kandidat dugaan yang lolos tinjauan ketat ini yang menjadi klaim keamanan akhir sistem.
Sebagaimana ditekankan dalam desain teknis tim proyek: "Hipotesis memperluas pencarian. Bukti menentukan klaim." Mekanisme ini memberdayakan sistem untuk secara luas mengeksplorasi berbagai hipotesis sambil mempertahankan standar bukti yang sangat ketat sebelum menarik kesimpulan. Pada akhirnya, pendekatan ini mencapai tingkat keberhasilan 87,2% pada tugas ARVO, tingkat keberhasilan 77,7% pada tugas OSS-Fuzz, dan tingkat keberhasilan tolok ukur keseluruhan sebesar 86,3%.
Mengintegrasikan Inovasi ke dalam Pengembangan Perusahaan
Dengan pesatnya kemajuan AI, attackers memanfaatkan teknologi ini untuk mengurangi analisis vulnerability dan eksploitasi kerentanan secara drastis, mempercepat jangka waktu dari penemuan bug hingga eksploitasi skala besar. Bagi perusahaan, sangat penting untuk mengidentifikasi, memvalidasi, dan memperbaiki kerentanan sebelum pihak lawan melakukannya. Akibatnya, SAST (Static Application Security Testing) tradisional yang mengandalkan pencocokan aturan harus dengan cepat berevolusi menjadi agent keamanan yang dilengkapi dengan reasoning secaraotonom, pemahaman kode, analisis logika bisnis, dan kemampuan validasi kerentanan. Agent keamanan baru ini tidak hanya harus secara tepat mengidentifikasi kerentanan konvensional seperti injeksi SQL dan eksekusi perintah, tetapi juga memahami alur kerja bisnis yang kompleks untuk mengungkap masalah berisiko tinggi—seperti kontrol akses yang rusak dan bypass otentikasi—yang sulit ditangani oleh alat tradisional. Sementara itu, penggunaan model besar untuk mencapai terobosan dalam sistem keamanan pengembangan berbasis AI adalah kunci untuk mempertahankan inisiatif dalam keamanan kode.
Peringkat di papan peringkat CyberGym mewakili lebih dari sekadar tolok ukur yang luar biasa; ini menunjukkan kemampuan praktis Agent keamanan AI dalam skenario keamanan kode tingkat perusahaan di dunia nyata. Sangfor AI memberdayakan seluruh lini produknya, terintegrasi secara mendalam ke dalam siklus pengembangan perusahaan dan memberikan nilai transformatif bagi pengguna:
- Meningkatkan Deteksi Kerentanan: Secara efektif mengatasi keterbatasan SAST tradisional dengan mengidentifikasi secara komprehensif kelemahan logika bisnis, peningkatan hak akses, dan bypass autentikasi, sehingga secara signifikan memperluas cakupan keamanan kode.
- Mengurangi Biaya Audit Manual: Memanfaatkan AI untuk mengotomatiskan pemahaman kode, analisis korelasi antar file, reasoning atas jalur serangan, dan validasi risiko, sehingga secara signifikan mengurangi beban kerja manual bagi para ahli keamanan.
- Meminimalkan False Positives dan Meningkatkan Efisiensi: Mengandalkan reasoning multi-stage dan mekanisme validasi bukti yang ketat untuk mengurangi tingkat false positives, memungkinkan pengembang untuk fokus pada risiko yang benar-benar memerlukan perbaikan dan menghindari modifikasi yang tidak efektif.
- Mempersingkat Siklus Pengiriman Pengembangan: Menggeser pengujian keamanan ke tahap pengkodean dan pipeline CI/CD untuk mencapai "audit otomatis saat kode di-commit," mengurangi biaya pengerjaan ulang di tahap akhir dan mempercepat implementasi bisnis.
- Meningkatkan Postur Keamanan Perusahaan Secara Keseluruhan: Membantu perusahaan membangun pertahanan keamanan yang lebih kuat sejak awal proses pengembangan, mengurangi risiko kepatuhan dan keuangan yang disebabkan oleh pelanggaran data dan gangguan bisnis sekaligus melindungi operasi digital.
Bagi pengguna perusahaan, nilai inti dari Agen keamanan AI jauh melampaui sekadar "menemukan lebih banyak bug." Nilai tersebut terletak pada pencapaian lompatan sinkron dalam efisiensi pengembangan dan keamanan kode melalui akurasi yang lebih tinggi, upaya manual yang lebih rendah, dan kemampuan respons yang lebih cepat.
Prestasi luar biasa sebagai salah satu solusi keamanan AI terkemuka di Tiongkok dalam evaluasi CyberGym ini menandai tonggak penting bagi Sangfor AI dalam perjalanan menuju keamanan kode cerdas. Ke depannya, kami akan terus mempelopori inovasi dalam teknologi security large model, mengubah kemampuan terdepan menjadi kemampuan praktis untuk skenario bisnis perusahaan, dan membuat transformasi digital lebih sederhana dan aman bagi setiap pengguna.
