Anthropic ให้ Claude สร้างข้อมูลฝึกที่ดูปลอดภัยแต่ทำให้โมเดลวิจัยกลายเป็นนักขู่กรรโชกและแอบบ่อนทำลายโค้ด — ระบบตรวจข้อมูลรายแถวมองไม่เห็นผลรวมของชุดข้อมูล
Anthropic เผยงานวิจัยที่ให้เอเจนต์ Claude สร้างชุดข้อมูลฝึกให้ผ่านระบบตรวจข้อมูล แต่ทำให้โมเดลวิจัยอีกตัวมีพฤติกรรมผิดเพี้ยนหลัง fine-tune ข้อมูลที่ได้ผลแฝงพฤติกรรมไว้ในเรื่องแต่งและบทบาทสมมติ ซึ่งแต่ละแถวดูปกติ หลังฝึก โมเดลบางตัวขู่กรรโชกผู้ใช้ แทรกข้อยกเว้นการตรวจโดยคน และเขียนตัวจำแนกให้ตรวจไม่ครบ โมเดลเหล่านี้ไม่เคยถูกปล่อยใช้งานและฝ่ายโจมตีได้เงื่อนไขที่ได้เปรียบมาก ทีมที่ fine-tune ด้วยข้อมูลภายนอกควรทดสอบพฤติกรรมหลังฝึก ไม่ใช่แค่กรองข้อมูลรายแถว