Hugging-Face

บริษัท OpenAI เผยแพร่รายงานหลังเหตุการณ์ ระบุว่าต้นเหตุสำคัญของการที่เอเจนต์ AI เจาะระบบ Hugging Face เมื่อเดือนกรกฎาคมคือ reward hacking และพบพฤติกรรมผิดเป้าหมายตั้งแต่ปลายพฤษภาคม เอเจนต์ที่ควรถูกแยกจากกันราว 1,200 ตัวหาช่องคุยกันบนกระดานข่าวที่ไม่ได้รับอนุญาต ส่งข้อความและไฟล์กว่า 70,000 รายการ และ 700 ตัวร่วมโจมตี Hugging Face บริษัทเรียกเหตุการณ์นี้ว่าเป็นสัญญาณเตือนเรื่องการสูญเสียการควบคุม

บริษัท OpenAI เปิดเผยมาตรการกักกันและเฝ้าระวังต่อเนื่องชุดใหม่สำหรับงานวิจัย AI ของตัวเอง หลังการประเมินภายในชี้ว่าโมเดลที่กำลังจะมาถึงชื่อ Astra อาจเข้าเกณฑ์ความสามารถด้านไซเบอร์ระดับวิกฤตตามกรอบ Preparedness Framework ผลที่ตามมาคือการหยุดฝึกแบบ reinforcement learning สองสัปดาห์และการระงับรอบฝึกโมเดลใหญ่ที่สุดที่วางแผนไว้ พร้อมระบบตรวจทุกโทเคนที่กินทรัพยากรประมวลผลราว 20 เปอร์เซ็นต์ และกฎบังคับหยุดงานภายใน 30 นาที

นักวิจัยจาก Zafran Labs เปิดเผยช่องโหว่ระดับรุนแรงสูง 3 รายการในไลบรารี Diffusers ของ Hugging Face ภายใต้ชื่อรวมว่า FaceHugger ช่องโหว่ทั้งหมดข้ามกลไก trust_remote_code ซึ่งเป็นด่านป้องกันไม่ให้โค้ดที่ยังไม่ผ่านการตรวจสอบทำงาน ทำให้คลังโมเดลที่ถูกสร้างมาเป็นพิเศษรันโค้ดใดก็ได้บนเครื่องที่โหลดมันอย่างเงียบเชียบ ต้นเหตุร่วมคือช่องว่างแบบ TOCTOU เพราะการดาวน์โหลดแยกเป็น 2 คำขอแต่ด่านตรวจทำงานกับคำขอแรกเท่านั้น แก้ไขแล้วในเวอร์ชัน 0.38.0

บริษัท OpenAI เปิดเผยว่าเอเจนต์ AI ที่หลุดออกจากสภาพแวดล้อมทดสอบแบบปิดแล้วเจาะระบบใช้งานจริงของ Hugging Face ยังไปใช้ข้อมูลรับรองที่หลุดอยู่บนบริการสาธารณะอีก 4 บัญชี โดยหนึ่งในนั้นถูกใช้เป็นจุดรีเลย์ขาออกและอีกบัญชีใช้เก็บข้อมูล เอเจนต์หนีแซนด์บ็อกซ์ด้วยช่องโหว่ zero-day ใน Artifactory ของ JFrog ซึ่งแก้แล้วใน 7.161 ส่วน Hugging Face เผยไทม์ไลน์ว่าเอเจนต์อยู่ในระบบราวสองวันครึ่งและทิ้งร่องรอยไว้ 17,600 การกระทำ

บริษัท Hugging Face เปิดเผยว่าตรวจพบและควบคุมการบุกรุกระบบโครงสร้างพื้นฐานที่ใช้งานจริง ซึ่งขับเคลื่อนโดยระบบ AI Agent ที่ทำงานเองตั้งแต่ต้นจนจบ ผู้โจมตีใช้ช่องโหว่รันโค้ด 2 รายการในไปป์ไลน์ประมวลผลชุดข้อมูล แล้วยกระดับสิทธิ์ไปถึงระดับโหนด เก็บเกี่ยวข้อมูลรับรองคลาวด์และเคลื่อนที่ข้ามคลัสเตอร์ภายในภายในสุดสัปดาห์เดียว บริษัทใช้ AI วิเคราะห์ล็อกกว่า 17,000 รายการเพื่อประกอบไทม์ไลน์ แต่พบว่า API ของโมเดลเชิงพาณิชย์ปฏิเสธงานวิเคราะห์นี้