นักวิจัย AI เปิดเผยช่องโหว่ที่สำคัญภายใน LLM หลัก ๆ

นักวิจัย AI เปิดเผยช่องโหว่ที่สำคัญภายใน LLM หลัก ๆ

โหนดต้นทาง: 2936742
15 ต.ค. 2023 (ข่าวนาโนเวิร์ค) โมเดลภาษาขนาดใหญ่ (LLM) เช่น ChatGPT และ Bard สร้างความฮือฮาให้กับโลกในปีนี้ โดยบริษัทต่างๆ ลงทุนนับล้านเพื่อพัฒนาเครื่องมือ AI เหล่านี้ และแชทบอท AI ชั้นนำบางรายการมีมูลค่านับพันล้าน LLM เหล่านี้ซึ่งมีการใช้งานมากขึ้นในแชทบอท AI จะดึงข้อมูลอินเทอร์เน็ตทั้งหมดเพื่อเรียนรู้และแจ้งคำตอบที่พวกเขาให้กับคำขอที่ผู้ใช้ระบุหรือที่เรียกว่า 'พร้อมท์' อย่างไรก็ตาม นักวิทยาศาสตร์คอมพิวเตอร์จากบริษัทสตาร์ทอัพด้านความปลอดภัย AI Mindgard และ Lancaster University ในสหราชอาณาจักรได้แสดงให้เห็นว่าชิ้นส่วนของ LLM เหล่านี้สามารถคัดลอกได้ในเวลาน้อยกว่าหนึ่งสัปดาห์ด้วยเงินเพียง 50 ดอลลาร์ และข้อมูลที่ได้รับสามารถนำไปใช้ในการโจมตีแบบกำหนดเป้าหมายได้ . นักวิจัยเตือนว่าผู้โจมตีที่ใช้ประโยชน์จากช่องโหว่เหล่านี้อาจเปิดเผยข้อมูลที่เป็นความลับส่วนตัว หลีกเลี่ยงรั้ว ให้คำตอบที่ไม่ถูกต้อง หรือโจมตีแบบกำหนดเป้าหมายเพิ่มเติม รายละเอียดในเอกสารใหม่ (“การดูดแบบจำลอง: การโจมตีแบบสกัดที่กำหนดเป้าหมาย LLM”) ที่จะนำเสนอที่ CAMLIS 2023 (การประชุมเรื่อง Applied Machine Learning for Information Security) นักวิจัยแสดงให้เห็นว่ามีความเป็นไปได้ที่จะคัดลอกประเด็นสำคัญของ LLM ที่มีอยู่ได้ในราคาถูก และแสดงให้เห็นถึงหลักฐานของการถ่ายโอนช่องโหว่ระหว่างโมเดลต่างๆ การโจมตีนี้เรียกว่า 'การดูดแบบจำลอง' ทำงานโดยการพูดคุยกับ LLM ในลักษณะดังกล่าว โดยขอชุดการแจ้งเตือนแบบกำหนดเป้าหมาย เพื่อให้ LLM ดึงข้อมูลที่ลึกซึ้งออกมาโดยบอกวิธีการทำงานของแบบจำลอง ทีมวิจัยซึ่งมุ่งเน้นการศึกษาเกี่ยวกับ ChatGPT-3.5-Turbo จากนั้นใช้ความรู้นี้เพื่อสร้างแบบจำลองสำเนาของตนเอง ซึ่งมีขนาดเล็กกว่า 100 เท่า แต่จำลองลักษณะสำคัญของ LLM จากนั้นนักวิจัยก็สามารถใช้สำเนาแบบจำลองนี้เป็นพื้นที่ทดสอบเพื่อหาวิธีใช้ประโยชน์จากช่องโหว่ใน ChatGPT โดยไม่ต้องตรวจพบ จากนั้นพวกเขาจึงใช้ความรู้ที่รวบรวมมาจากแบบจำลองเพื่อโจมตีช่องโหว่ใน ChatGPT โดยมีอัตราความสำเร็จเพิ่มขึ้น 11% ดร.ปีเตอร์ การ์ราแกน จากมหาวิทยาลัยแลงคาสเตอร์ ซีอีโอของ Mindgard และผู้วิจัยหลักด้านการวิจัย กล่าวว่า "สิ่งที่เราค้นพบนั้นน่าสนใจทางวิทยาศาสตร์ แต่ก็น่ากังวลอย่างยิ่ง นี่เป็นหนึ่งในผลงานชิ้นแรกๆ ที่แสดงให้เห็นเชิงประจักษ์ว่าช่องโหว่ด้านความปลอดภัยสามารถถ่ายโอนระหว่างโมเดล Machine Learning แบบโอเพ่นซอร์สและโอเพ่นซอร์สได้สำเร็จ ซึ่งน่ากังวลอย่างยิ่งเมื่อพิจารณาว่าอุตสาหกรรมต้องอาศัยโมเดล Machine Learning ที่เปิดเผยต่อสาธารณะมากน้อยเพียงใด ซึ่งโฮสต์อยู่ในสถานที่ต่างๆ เช่น HuggingFace” นักวิจัยกล่าวว่างานของพวกเขาเน้นย้ำว่าแม้ว่าเทคโนโลยี AI ดิจิทัลอันทรงพลังเหล่านี้จะมีประโยชน์ที่ชัดเจน แต่ก็มีจุดอ่อนที่ซ่อนอยู่ และอาจมีช่องโหว่ทั่วไปในโมเดลต่างๆ ด้วย ธุรกิจทั่วทั้งอุตสาหกรรมกำลังเตรียมที่จะลงทุนหลายพันล้านเพื่อสร้าง LLM ของตนเองเพื่อดำเนินงานที่หลากหลาย เช่น ผู้ช่วยอัจฉริยะ บริการทางการเงินและองค์กรขนาดใหญ่กำลังนำเทคโนโลยีเหล่านี้มาใช้ แต่นักวิจัยกล่าวว่าช่องโหว่เหล่านี้ควรเป็นปัญหาสำคัญสำหรับทุกธุรกิจที่วางแผนจะสร้างหรือใช้ LLM ของบุคคลที่สาม ดร. Garraghan กล่าวว่า “แม้ว่าเทคโนโลยี LLM อาจมีการเปลี่ยนแปลง แต่ธุรกิจและนักวิทยาศาสตร์ก็จะต้องคิดอย่างรอบคอบในการทำความเข้าใจและวัดความเสี่ยงทางไซเบอร์ที่เกี่ยวข้องกับการนำ LLM มาใช้”

ประทับเวลา:

เพิ่มเติมจาก นาโนเวิร์ค

ปลดปล่อยยุคใหม่ของอุปกรณ์นาโนที่ปรับแต่งสีได้ – แหล่งกำเนิดแสงที่เล็กที่สุดเท่าที่เคยมีมาพร้อมรูปแบบสีที่สลับได้

โหนดต้นทาง: 2801585
ประทับเวลา: สิงหาคม 3, 2023