ที่ Google เรารักษาก โปรแกรมรางวัลช่องโหว่ เพื่อเป็นเกียรติแก่การมีส่วนร่วมภายนอกที่ล้ำสมัยในการแก้ไขปัญหาในผลิตภัณฑ์และบริการบนอินเทอร์เน็ตของบริษัทในเครือของ Alphabet เพื่อให้ทันกับความก้าวหน้าอย่างรวดเร็วของเทคโนโลยี AI และให้แน่ใจว่าเราพร้อมที่จะรับมือกับความท้าทายด้านความปลอดภัยใน รับผิดชอบ ทางเราเพิ่งขยายที่มีอยู่ของเรา โปรแกรม Bug Hunters เพื่อส่งเสริมการค้นพบและการรายงานปัญหาและช่องโหว่เฉพาะของระบบ AI ของเราโดยบุคคลที่สาม การขยายตัวนี้เป็นส่วนหนึ่งของความพยายามของเราในการดำเนินการ ข้อผูกพันด้าน AI โดยสมัครใจ ที่เราทำที่ทำเนียบขาวในเดือนกรกฎาคม
เพื่อช่วยให้ชุมชนความปลอดภัยเข้าใจการพัฒนาเหล่านี้ได้ดีขึ้น เราได้รวมข้อมูลเพิ่มเติมเกี่ยวกับองค์ประกอบของโปรแกรมรางวัลไว้
สิ่งที่อยู่ในขอบเขตของรางวัล
ในล่าสุดของเรา รายงานทีม AI สีแดงซึ่งขึ้นอยู่กับ ทีม AI Red ของ Google แบบฝึกหัด เราได้ระบุกลยุทธ์ เทคนิค และขั้นตอนปฏิบัติทั่วไป (TTP) ที่เราพิจารณาว่ามีความเกี่ยวข้องและสมจริงที่สุด ศัตรูในโลกแห่งความเป็นจริงเพื่อใช้กับระบบ AI. ตารางต่อไปนี้รวมสิ่งที่เราเรียนรู้เพื่อช่วยให้ชุมชนการวิจัยเข้าใจเกณฑ์ของเราสำหรับรายงานข้อบกพร่องของ AI และสิ่งที่อยู่ในขอบเขตสำหรับโปรแกรมรางวัลของเรา สิ่งสำคัญคือต้องทราบว่าจำนวนรางวัลจะขึ้นอยู่กับความรุนแรงของสถานการณ์การโจมตีและประเภทของเป้าหมายที่ได้รับผลกระทบ (เยี่ยมชม หน้ากฎของโปรแกรม สำหรับข้อมูลเพิ่มเติมเกี่ยวกับตารางรางวัลของเรา)
การโจมตีพร้อมท์: การสร้างการแจ้งเตือนของฝ่ายตรงข้ามที่อนุญาตให้ฝ่ายตรงข้ามมีอิทธิพลต่อพฤติกรรมของแบบจำลองและผลลัพธ์ในลักษณะที่แอปพลิเคชันไม่ได้ตั้งใจ |
การฉีดยาทันทีที่เหยื่อมองไม่เห็น และเปลี่ยนสถานะบัญชีของเหยื่อหรือทรัพย์สินใด ๆ ของพวกเขา |
|
แจ้งการฉีดเข้าไปในเครื่องมือใดๆ ที่ใช้การตอบสนองในการตัดสินใจที่ส่งผลโดยตรงต่อผู้ใช้ที่เป็นเหยื่อ |
||
การแยกพรอมต์หรือคำนำซึ่งผู้ใช้สามารถแยกพรอมต์เริ่มต้นที่ใช้เพื่อเตรียมโมเดลเฉพาะเมื่อมีข้อมูลที่ละเอียดอ่อนอยู่ในคำนำที่แยกออกมาเท่านั้น |
||
การใช้ผลิตภัณฑ์เพื่อสร้างเนื้อหาที่ละเมิด ทำให้เข้าใจผิด หรือไม่ถูกต้องตามข้อเท็จจริงในเซสชันของคุณเอง: เช่น "การเจลเบรก" ซึ่งรวมถึง "ภาพหลอน" และการตอบสนองที่ไม่ถูกต้องตามข้อเท็จจริง ผลิตภัณฑ์ AI เจนเนอเรชั่นของ Google มีช่องการรายงานเฉพาะสำหรับปัญหาเนื้อหาประเภทนี้อยู่แล้ว |
ออกจากขอบเขต |
|
การดึงข้อมูลการฝึกอบรม: การโจมตีที่สามารถสร้างตัวอย่างการฝึกอบรมแบบคำต่อคำที่มีข้อมูลที่ละเอียดอ่อนได้สำเร็จ เรียกอีกอย่างว่าการอนุมานความเป็นสมาชิก |
การดึงข้อมูลการฝึกอบรมที่สร้างรายการที่ใช้ในชุดข้อมูลการฝึกอบรมขึ้นมาใหม่ซึ่งมีข้อมูลที่ละเอียดอ่อนและไม่เปิดเผยต่อสาธารณะรั่วไหล |
|
การสกัดที่สร้างข้อมูลที่ไม่ละเอียดอ่อน/สาธารณะขึ้นมาใหม่ |
ออกจากขอบเขต |
|
การจัดการโมเดล: ผู้โจมตีสามารถเปลี่ยนพฤติกรรมของโมเดลอย่างซ่อนเร้น เพื่อให้สามารถกระตุ้นพฤติกรรมฝ่ายตรงข้ามที่กำหนดไว้ล่วงหน้าได้ |
ผลลัพธ์หรือพฤติกรรมของฝ่ายตรงข้ามที่ผู้โจมตีสามารถทริกเกอร์ได้อย่างน่าเชื่อถือผ่านอินพุตเฉพาะในรูปแบบที่ Google เป็นเจ้าของและดำเนินการ (“แบ็คดอร์”) เฉพาะในขอบเขตเมื่อมีการใช้เอาต์พุตของแบบจำลองเพื่อเปลี่ยนสถานะของบัญชีหรือข้อมูลของเหยื่อ |
|
การโจมตีที่ผู้โจมตีจัดการข้อมูลการฝึกของโมเดลเพื่อมีอิทธิพลต่อเอาท์พุตของโมเดลในเซสชันของเหยื่อตามความต้องการของผู้โจมตี เฉพาะในขอบเขตเมื่อมีการใช้เอาต์พุตของแบบจำลองเพื่อเปลี่ยนสถานะของบัญชีหรือข้อมูลของเหยื่อ |
||
การก่อกวนที่ขัดแย้งกัน: อินพุตที่ให้กับโมเดลซึ่งส่งผลให้เกิดเอาท์พุตที่กำหนดขึ้น แต่ไม่คาดคิดอย่างมากจากโมเดล |
บริบทที่ฝ่ายตรงข้ามสามารถกระตุ้นให้เกิดการจัดประเภทที่ไม่ถูกต้องในการควบคุมความปลอดภัยได้อย่างน่าเชื่อถือ ซึ่งสามารถนำไปใช้ในทางที่ผิดหรือแสวงหาผลประโยชน์จากฝ่ายตรงข้ามได้ |
|
บริบทที่เอาต์พุตหรือการจัดหมวดหมู่ไม่ถูกต้องของโมเดลไม่ก่อให้เกิดสถานการณ์การโจมตีที่น่าสนใจหรือเส้นทางที่เป็นไปได้ไปยัง Google หรืออันตรายต่อผู้ใช้ |
ออกจากขอบเขต |
|
โมเดลการโจรกรรม/การกรอง: โมเดล AI มักจะมีทรัพย์สินทางปัญญาที่ละเอียดอ่อน ดังนั้นเราจึงให้ความสำคัญกับการปกป้องทรัพย์สินเหล่านี้เป็นอันดับแรก การโจมตีแบบกรองข้อมูลทำให้ผู้โจมตีสามารถขโมยรายละเอียดเกี่ยวกับโมเดล เช่น สถาปัตยกรรมหรือน้ำหนักของโมเดลได้ |
การโจมตีที่มีการดึงสถาปัตยกรรมหรือน้ำหนักที่แน่นอนของแบบจำลองที่เป็นความลับ/กรรมสิทธิ์ออกมา |
|
การโจมตีที่สถาปัตยกรรมและน้ำหนักไม่ได้แยกออกมาอย่างแม่นยำ หรือเมื่อแยกออกจากโมเดลที่ไม่เป็นความลับ |
ออกจากขอบเขต |
|
หากคุณพบข้อบกพร่องในเครื่องมือที่ขับเคลื่อนด้วย AI นอกเหนือจากที่ระบุไว้ข้างต้น คุณยังคงสามารถส่งข้อบกพร่องได้ โดยมีเงื่อนไขว่าจะต้องเป็นไปตาม คุณสมบัติที่ระบุไว้ในหน้าโปรแกรมของเรา. |
จุดบกพร่องหรือพฤติกรรมที่ตรงตามคุณสมบัติของเราอย่างชัดเจนในเรื่องความปลอดภัยหรือการละเมิดที่ถูกต้อง |
|
การใช้ผลิตภัณฑ์ AI เพื่อทำสิ่งที่อาจเป็นอันตรายซึ่งเครื่องมืออื่นๆ สามารถทำได้อยู่แล้ว ตัวอย่างเช่น การค้นหาช่องโหว่ในซอฟต์แวร์โอเพ่นซอร์ส (เป็นไปได้แล้วโดยใช้แบบสาธารณะ เครื่องมือวิเคราะห์แบบคงที่) และสร้างคำตอบสำหรับคำถามที่เป็นอันตรายเมื่อมีคำตอบทางออนไลน์อยู่แล้ว |
ออกจากขอบเขต |
|
เนื่องจากสอดคล้องกับโปรแกรมของเรา ปัญหาที่เราทราบอยู่แล้วไม่มีสิทธิ์ได้รับรางวัล |
ออกจากขอบเขต |
|
ปัญหาลิขสิทธิ์ที่อาจเกิดขึ้น — การค้นพบว่าผลิตภัณฑ์ส่งคืนเนื้อหาที่ดูเหมือนว่าจะได้รับการคุ้มครองลิขสิทธิ์ ผลิตภัณฑ์ AI เจนเนอเรชั่นของ Google มีช่องการรายงานเฉพาะสำหรับปัญหาเนื้อหาประเภทนี้อยู่แล้ว |
ออกจากขอบเขต |
เราเชื่อว่าการขยายโปรแกรม Bug Bounty ไปยังระบบ AI ของเราจะสนับสนุน นวัตกรรม AI ที่มีความรับผิดชอบและหวังว่าจะทำงานร่วมกับชุมชนการวิจัยต่อไปเพื่อค้นหาและแก้ไขปัญหาด้านความปลอดภัยและการละเมิดในฟีเจอร์ที่ขับเคลื่อนด้วย AI ของเรา หากคุณพบปัญหาที่เข้าเกณฑ์ โปรดไปที่เว็บไซต์ Bug Hunters ของเราเพื่อส่งรายงานข้อบกพร่องของคุณมาให้เรา และหากพบว่าปัญหานั้นถูกต้อง จะได้รับรางวัลจากการช่วยให้เรารักษาความปลอดภัยให้กับผู้ใช้ของเรา
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
- เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
- เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
- เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
- ที่มา: https://www.darkreading.com/vulnerabilities-threats/establishing-reward-criteria-for-reporting-bugs-in-ai-products
- :เป็น
- :ไม่
- $ ขึ้น
- 26
- 32
- 33
- 35%
- 36
- 41
- 7
- 8
- 9
- a
- สามารถ
- เกี่ยวกับเรา
- ข้างบน
- การล่วงละเมิด
- ทำร้าย
- ตาม
- ลงชื่อเข้าใช้
- ที่อยู่
- ที่อยู่
- ความก้าวหน้า
- ขัดแย้ง
- มีผลต่อ
- ได้รับผล
- กับ
- AI
- โมเดล AI
- ระบบ AI
- ขับเคลื่อนด้วย AI
- อนุญาต
- แล้ว
- ด้วย
- จำนวน
- an
- การวิเคราะห์
- และ
- คำตอบ
- ใด
- การใช้งาน
- สถาปัตยกรรม
- เป็น
- AS
- สินทรัพย์
- At
- โจมตี
- การโจมตี
- ใช้ได้
- แบ็ค
- ตาม
- BE
- พฤติกรรม
- เชื่อ
- ดีกว่า
- ความกรุณา
- โปรแกรมเงินรางวัล
- Bug
- รางวัลโปรดปราน
- เป็นโรคจิต
- แต่
- by
- ที่เรียกว่า
- CAN
- ความท้าทาย
- เปลี่ยนแปลง
- ช่อง
- การจัดหมวดหมู่
- อย่างเห็นได้ชัด
- ร่วมกัน
- ชุมชน
- จับใจ
- พิจารณา
- คงเส้นคงวา
- บรรจุ
- เนื้อหา
- อย่างต่อเนื่อง
- ผลงาน
- ควบคุม
- ลิขสิทธิ์
- เกณฑ์
- ตัดขอบ
- ข้อมูล
- ชุดข้อมูล
- การตัดสินใจ
- ทุ่มเท
- ขึ้นอยู่กับ
- รายละเอียด
- การพัฒนา
- โดยตรง
- ค้นพบ
- การค้นพบ
- do
- ทำ
- e
- ความพยายาม
- องค์ประกอบ
- เหมาะสม
- ทำให้มั่นใจ
- การสร้าง
- อีเธอร์ (ETH)
- ตัวอย่าง
- ตัวอย่าง
- การกรอง
- ขยาย
- ที่ขยาย
- การขยายตัว
- ภายนอก
- สารสกัด
- การสกัด
- เป็นไปได้
- คุณสมบัติ
- หา
- หา
- ผลการวิจัย
- แก้ไขปัญหา
- ข้อบกพร่อง
- ดังต่อไปนี้
- สำหรับ
- ข้างหน้า
- อุปถัมภ์
- พบ
- ราคาเริ่มต้นที่
- FT
- ได้รับ
- สร้าง
- กำเนิด
- กำเนิด AI
- Go
- อันตราย
- เป็นอันตราย
- มี
- ช่วย
- การช่วยเหลือ
- ด้วยเหตุนี้
- จุดสูง
- อย่างสูง
- เกียรติ
- บ้าน
- HTML
- ที่ http
- HTTPS
- ระบุ
- if
- การดำเนินการ
- สำคัญ
- in
- ไม่เที่ยง
- ประกอบด้วย
- รวม
- รวมถึง
- รวม
- มีอิทธิพล
- ข้อมูล
- แรกเริ่ม
- อินพุต
- ปัจจัยการผลิต
- ทางปัญญา
- ทรัพย์สินทางปัญญา
- ตั้งใจว่า
- เข้าไป
- มองไม่เห็น
- ปัญหา
- ปัญหา
- IT
- รายการ
- ITS
- jpg
- กรกฎาคม
- เก็บ
- ทราบ
- รั่วไหล
- ได้เรียนรู้
- จดทะเบียน
- ดู
- ทำ
- เก็บรักษา
- ทำ
- มีคุณสมบัติตรงตาม
- การเป็นสมาชิก
- หลอกตา
- แบบ
- โมเดล
- ข้อมูลเพิ่มเติม
- มากที่สุด
- หมายเหตุ
- of
- มักจะ
- on
- ออนไลน์
- เพียง
- เปิด
- โอเพนซอร์ส
- การดำเนินการ
- or
- อื่นๆ
- ของเรา
- เอาท์พุต
- ของตนเอง
- เป็นเจ้าของ
- ส่วนหนึ่ง
- เส้นทาง
- รูปแบบไฟล์ PDF
- สถานที่
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- กรุณา
- เป็นไปได้
- ที่อาจเกิดขึ้น
- อย่างแม่นยำ
- เตรียม
- นำเสนอ
- สำคัญ
- ลำดับความสำคัญ
- ขั้นตอน
- การผลิต
- ผลิตภัณฑ์
- ผลิตภัณฑ์
- โครงการ
- แจ้ง
- คุณสมบัติ
- คุณสมบัติ
- การป้องกัน
- ปกป้อง
- ให้
- สาธารณชน
- คุณสมบัติ
- ที่พรรณา
- คำถาม
- รวดเร็ว
- RE
- โลกแห่งความจริง
- เหมือนจริง
- เมื่อเร็ว ๆ นี้
- สีแดง
- ตรงประเด็น
- รายงาน
- การรายงาน
- รายงาน
- การวิจัย
- ชุมชนวิจัย
- คำตอบ
- การตอบสนอง
- ผลสอบ
- กลับ
- รางวัล
- ได้รับรางวัล
- กฎระเบียบ
- s
- ปลอดภัย
- สถานการณ์
- ขอบเขต
- ความปลอดภัย
- ส่ง
- มีความละเอียดอ่อน
- เซสชั่น
- ชุด
- ความรุนแรง
- So
- ซอฟต์แวร์
- บางสิ่งบางอย่าง
- แหล่ง
- โดยเฉพาะ
- สถานะ
- ยังคง
- ส่ง
- ประสบความสำเร็จ
- อย่างเช่น
- สนับสนุน
- ระบบ
- ตาราง
- กลยุทธ์
- เป้า
- ทีม
- เทคนิค
- เทคโนโลยี
- กว่า
- ที่
- พื้นที่
- รัฐ
- ของพวกเขา
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- พวกเขา
- ของบุคคลที่สาม
- นี้
- ไปยัง
- เครื่องมือ
- เครื่องมือ
- การฝึกอบรม
- เรียก
- ชนิด
- ชนิด
- เข้าใจ
- ไม่คาดฝัน
- us
- ใช้
- มือสอง
- ผู้ใช้งาน
- ผู้ใช้
- การใช้
- ถูกต้อง
- Ve
- ผ่านทาง
- เหยื่อ
- ผู้ที่ตกเป็นเหยื่อ
- เยี่ยมชมร้านค้า
- สมัครใจ
- ช่องโหว่
- ความอ่อนแอ
- ทาง..
- วิธี
- we
- เว็บ
- Website
- คือ
- อะไร
- ความหมายของ
- เมื่อ
- ที่
- ขาว
- ทำเนียบขาว
- วิกิพีเดีย
- จะ
- กับ
- งาน
- เธอ
- ของคุณ
- ลมทะเล