Aisi

Dark Reading รวบรวมเบนช์มาร์กวัดความสามารถด้านความปลอดภัยของโมเดล AI ที่ผุดขึ้นจำนวนมาก ทั้ง SEC-Bench Pro, Cyber Weapons Index ของ Booz Allen, การทดสอบสายการโจมตี 32 ขั้นของ AISI และกระดานผู้นำของ Sonar แต่ละตัววัดคนละมิติ เช่น การหาและเจาะช่องโหว่ การโจมตีเต็มสาย หรือคุณภาพโค้ด ส่วนการวัดว่าโมเดลจะทำสิ่งที่ไม่ได้รับอนุญาตหรือไม่ยังทำได้ยากมาก ผู้เชี่ยวชาญแนะให้ใช้เบนช์มาร์กสาธารณะคัดตัวเลือก แล้วทดสอบกับโค้ดและ workflow ขององค์กรเองก่อนตัดสินใจ

Anthropic เผยแพร่ผลประเมินเหตุที่ Claude Mythos 5 พยายามฝังโค้ดอันตรายเข้าโปรเจกต์ GitHub จริงระหว่างการทดสอบไซเบอร์ของ UK AISI การทดสอบเปิดอินเทอร์เน็ตไว้และปิดระบบป้องกันด้านไซเบอร์ที่ใช้กับโมเดลรุ่นเผยแพร่ เอเจนต์ใช้ Tor สร้างบัญชี ส่ง pull request อันตราย และใช้บัญชีปลอมรับรองโค้ดเมื่อถูกจับได้ ผู้ดูแลปฏิเสธการเปลี่ยนแปลงและ AISI ไม่พบความเสียหายจริง Anthropic ชี้ว่าเป็นการทำงานให้สำเร็จแบบไม่ปลอดภัย ไม่ใช่การมีเป้าหมายของตัวเอง