ความสำคัญของความหลากหลายใน AI ไม่ใช่ความคิดเห็น แต่เป็นคณิตศาสตร์ – IBM Blog

เราทุกคนต้องการเห็นคุณค่าของมนุษย์ในอุดมคติที่สะท้อนให้เห็นในเทคโนโลยีของเรา เราคาดหวังว่าเทคโนโลยี เช่น ปัญญาประดิษฐ์ (AI) จะไม่โกหกเรา ไม่เลือกปฏิบัติ และปลอดภัยสำหรับเราและบุตรหลานของเราในการใช้งาน อย่างไรก็ตาม ผู้สร้าง AI จำนวนมากกำลังเผชิญกับการตอบโต้จากอคติ ความไม่ถูกต้อง และแนวทางปฏิบัติด้านข้อมูลที่เป็นปัญหาซึ่งถูกเปิดเผยในโมเดลของตน ปัญหาเหล่านี้ต้องการมากกว่าโซลูชันทางเทคนิค อัลกอริธึม หรือ AI ในความเป็นจริง จำเป็นต้องมีแนวทางทางสังคมและเทคนิคแบบองค์รวม

คณิตศาสตร์แสดงให้เห็นถึงความจริงอันทรงพลัง

โมเดลการคาดการณ์ทั้งหมด รวมถึง AI จะมีความแม่นยำมากขึ้นเมื่อรวมเอาความฉลาดและประสบการณ์ของมนุษย์ที่หลากหลาย นี่ไม่ใช่ความคิดเห็น มันมีความถูกต้องเชิงประจักษ์ พิจารณา ทฤษฎีบทการทำนายความหลากหลาย. พูดง่ายๆ ก็คือ เมื่อความหลากหลายในกลุ่มมีขนาดใหญ่ ข้อผิดพลาดของฝูงชนก็จะน้อย — สนับสนุนแนวคิดเรื่อง “ปัญญาของฝูงชน” ในการศึกษาที่มีอิทธิพล พบว่ากลุ่มนักแก้ปัญหาที่มีความสามารถต่ำหลายกลุ่มสามารถทำงานได้ดีกว่ากลุ่มนักแก้ปัญหาที่มีความสามารถสูง (หงส์และเพจ 2004).

ในภาษาคณิตศาสตร์: ยิ่งความแปรปรวนของคุณกว้างขึ้น ค่าเฉลี่ยของคุณก็จะยิ่งมีมาตรฐานมากขึ้น สมการมีลักษณะดังนี้:

A เรียนต่อ ให้การคำนวณเพิ่มเติมที่ขัดเกลาคำจำกัดความทางสถิติของกลุ่มผู้ชาญฉลาด รวมถึงการเพิกเฉยต่อการคาดการณ์ของสมาชิกคนอื่นๆ และรวมเอาคำทำนายเหล่านั้นด้วย แตกต่างกันมาก (ความสัมพันธ์เชิงลบ) การทำนายหรือการตัดสิน ดังนั้น ไม่ใช่แค่ปริมาณเท่านั้น แต่ความหลากหลายยังช่วยปรับปรุงการคาดการณ์อีกด้วย ข้อมูลเชิงลึกนี้อาจส่งผลต่อการประเมินโมเดล AI อย่างไร

โมเดล (ใน) ความแม่นยำ

อ้างคำพังเพยทั่วไปทุกรุ่นผิด สิ่งนี้ถือเป็นจริงในด้านสถิติ วิทยาศาสตร์ และ AI โมเดลที่สร้างขึ้นโดยขาดความเชี่ยวชาญด้านโดเมนสามารถนำไปสู่ ผิดพลาด เอาท์พุท

ทุกวันนี้ คนกลุ่มเล็กๆ ที่เป็นเนื้อเดียวกันตัดสินใจว่าจะใช้ข้อมูลใดในการฝึกโมเดล AI เชิงสร้างสรรค์ ซึ่งดึงมาจากแหล่งข้อมูลที่สื่อถึงภาษาอังกฤษมากเกินไป “สำหรับภาษาส่วนใหญ่มากกว่า 6,000 ภาษาในโลก ข้อมูลข้อความที่มีอยู่ไม่เพียงพอที่จะฝึกโมเดลพื้นฐานขนาดใหญ่” (จาก “ว่าด้วยโอกาสและความเสี่ยงของแบบจำลองพื้นฐาน” บอมมาซานี และคณะ 2022)

นอกจากนี้ ตัวแบบจำลองยังถูกสร้างขึ้นจากสถาปัตยกรรมที่จำกัด: “แบบจำลอง NLP ที่ล้ำสมัยเกือบทั้งหมดได้รับการดัดแปลงจากแบบจำลองพื้นฐานตัวใดตัวหนึ่ง เช่น BERT, RoBERTa, BART, T5 เป็นต้น ในขณะที่การทำให้เป็นเนื้อเดียวกันนี้ก่อให้เกิด เลเวอเรจที่สูงมาก (การปรับปรุงใด ๆ ในโมเดลพื้นฐานสามารถนำไปสู่ผลประโยชน์ทันทีใน NLP ทั้งหมด) ก็เป็นความรับผิดชอบเช่นกัน ระบบ AI ทั้งหมดอาจสืบทอดอคติที่เป็นปัญหาเดียวกันกับโมเดลพื้นฐานบางรุ่น (บอมมาซานี และคณะ) "

เพื่อให้ AI กำเนิดสามารถสะท้อนถึงชุมชนที่หลากหลายได้ดีขึ้น ข้อมูลของมนุษย์ที่หลากหลายยิ่งขึ้นจะต้องถูกนำเสนอในแบบจำลอง

การประเมินความแม่นยำของโมเดลไปพร้อมๆ กันกับการประเมินอคติ เราต้องถามว่าอะไรคือจุดประสงค์ของแบบจำลองและเหมาะสำหรับใคร? ตัวอย่างเช่น ลองพิจารณาว่าใครได้ประโยชน์มากที่สุดจากอัลกอริธึมการแนะนำเนื้อหาและอัลกอริธึมเครื่องมือค้นหา ผู้มีส่วนได้ส่วนเสียอาจมีความสนใจและเป้าหมายที่แตกต่างกันอย่างมาก อัลกอริทึมและแบบจำลองจำเป็นต้องมีเป้าหมายหรือพร็อกซีสำหรับข้อผิดพลาด Bayes ซึ่งเป็นข้อผิดพลาดขั้นต่ำที่แบบจำลองต้องปรับปรุง พร็อกซีนี้มักเป็นบุคคล เช่น ผู้เชี่ยวชาญเฉพาะด้านที่มีความเชี่ยวชาญด้านโดเมน

ความท้าทายของมนุษย์: การประเมินความเสี่ยงก่อนการจัดซื้อหรือการพัฒนาแบบจำลอง

กฎระเบียบและแผนปฏิบัติการ AI ที่เกิดขึ้นใหม่กำลังเน้นย้ำถึงความสำคัญของแบบฟอร์มการประเมินผลกระทบแบบอัลกอริทึมมากขึ้นเรื่อยๆ เป้าหมายของแบบฟอร์มเหล่านี้คือการรวบรวมข้อมูลที่สำคัญเกี่ยวกับโมเดล AI เพื่อให้ทีมกำกับดูแลสามารถประเมินและจัดการกับความเสี่ยงก่อนที่จะนำไปใช้งาน คำถามทั่วไปได้แก่:

• กรณีการใช้งานของโมเดลของคุณคืออะไร?
• ความเสี่ยงสำหรับผลกระทบที่แตกต่างกันคืออะไร?
• คุณประเมินความเป็นธรรมอย่างไร?
• คุณทำให้แบบจำลองของคุณอธิบายได้อย่างไร

แม้ว่าได้รับการออกแบบด้วยความตั้งใจที่ดี แต่ปัญหาก็คือเจ้าของโมเดล AI ส่วนใหญ่ไม่เข้าใจวิธีประเมินความเสี่ยงสำหรับกรณีการใช้งานของตน ประโยคทั่วไปอาจเป็น “แบบจำลองของฉันจะไม่ยุติธรรมได้อย่างไร หากไม่ได้รวบรวมข้อมูลส่วนบุคคล (PII)” ด้วยเหตุนี้ แบบฟอร์มจึงไม่ค่อยมีการกรอกด้วยความรอบคอบที่จำเป็นสำหรับระบบการกำกับดูแลในการระบุปัจจัยเสี่ยงอย่างแม่นยำ

ดังนั้นลักษณะทางสังคมและเทคนิคของการแก้ปัญหาจึงได้รับการเน้นย้ำ เจ้าของโมเดล—บุคคล—ไม่สามารถได้รับรายการช่องทำเครื่องหมายเพื่อประเมินว่ากรณีการใช้งานของพวกเขาจะก่อให้เกิดอันตรายหรือไม่ แต่สิ่งที่จำเป็นคือกลุ่มคนที่มีประสบการณ์โลกชีวิตที่แตกต่างกันอย่างกว้างขวางมารวมตัวกันในชุมชนที่ให้ความปลอดภัยทางจิตใจเพื่อสนทนาที่ยากลำบากเกี่ยวกับผลกระทบที่แตกต่างกัน

ยินดีต้อนรับมุมมองที่กว้างขึ้นสำหรับ AI ที่น่าเชื่อถือ

IBM® เชื่อมั่นในการใช้แนวทาง "client Zero" โดยนำคำแนะนำและระบบที่จะสร้างให้กับลูกค้าของตนเองผ่านการให้คำปรึกษาและโซลูชันที่นำโดยผลิตภัณฑ์ แนวทางนี้ขยายไปสู่หลักปฏิบัติด้านจริยธรรม ซึ่งเป็นสาเหตุที่ IBM สร้าง Trustworthy AI Center of Excellence (COE) ขึ้นมา

ตามที่อธิบายไว้ข้างต้น ความหลากหลายของประสบการณ์และชุดทักษะเป็นสิ่งสำคัญในการประเมินผลกระทบของ AI อย่างเหมาะสม แต่โอกาสในการเข้าร่วมในศูนย์ความเป็นเลิศอาจเป็นเรื่องน่ากังวลในบริษัทที่เต็มไปด้วยนักสร้างสรรค์นวัตกรรม AI ผู้เชี่ยวชาญ และวิศวกรที่มีชื่อเสียง ดังนั้นการปลูกฝังชุมชนด้านความปลอดภัยทางจิตจึงมีความจำเป็น IBM สื่อสารอย่างชัดเจนว่า “สนใจ AI ไหม? สนใจหลักจริยธรรมของ AI หรือไม่? คุณนั่งที่โต๊ะนี้”

COE เสนอการฝึกอบรมด้านจริยธรรมด้าน AI แก่ผู้ปฏิบัติงานทุกระดับ มีทั้งการเรียนรู้แบบซิงโครนัส (ครูและนักเรียนในชั้นเรียน) และโปรแกรมอะซิงโครนัส (แนะนำตนเอง)

แต่มันเป็นของ COE ประยุกต์ การฝึกอบรมที่ให้ผู้ปฏิบัติงานของเราได้รับข้อมูลเชิงลึกที่ลึกซึ้งที่สุด เมื่อพวกเขาทำงานร่วมกับทีมจากหลากหลายสาขาวิชาจากทั่วโลก ในโครงการจริงเพื่อทำความเข้าใจผลกระทบที่แตกต่างกันได้ดียิ่งขึ้น พวกเขายังใช้ประโยชน์จากกรอบความคิดการออกแบบที่ไอบีเอ็ม การออกแบบสำหรับเอไอ group ใช้ภายในและกับลูกค้าเพื่อประเมินผลกระทบที่ไม่ได้ตั้งใจของโมเดล AI โดยคำนึงถึงผู้ที่มักถูกละเลยเป็นอันดับแรก (ดูของซิลเวีย ดักเวิร์ธ) วงล้อแห่งอำนาจและสิทธิพิเศษ สำหรับตัวอย่างของลักษณะส่วนบุคคลที่ตัดกันกับสิทธิ์พิเศษหรือการทำให้คนชายขอบ) IBM ยังบริจาคเฟรมเวิร์กจำนวนมากให้กับชุมชนโอเพ่นซอร์ส ออกแบบอย่างมีจริยธรรม.

ด้านล่างนี้คือรายงานบางส่วนที่ IBM เผยแพร่ต่อสาธารณะเกี่ยวกับโปรเจ็กต์เหล่านี้:

เครื่องมือกำกับดูแลโมเดล AI อัตโนมัติจำเป็นต้องรวบรวมข้อมูลเชิงลึกที่สำคัญเกี่ยวกับประสิทธิภาพของโมเดล AI ของคุณ แต่โปรดทราบว่า การจับความเสี่ยงก่อนที่แบบจำลองของคุณจะได้รับการพัฒนาและใช้งานจริงถือเป็นวิธีที่ดีที่สุด ด้วยการสร้างชุมชนของผู้ปฏิบัติงานที่หลากหลายและหลากหลายสาขาซึ่งเสนอพื้นที่ปลอดภัยให้ผู้คนได้สนทนากันอย่างดุเดือดเกี่ยวกับผลกระทบที่แตกต่างกัน คุณสามารถเริ่มต้นการเดินทางไปสู่การนำหลักการของคุณไปใช้และพัฒนา AI อย่างมีความรับผิดชอบ

ในทางปฏิบัติ เมื่อคุณจ้างผู้ปฏิบัติงานด้าน AI ให้พิจารณาว่ากว่า 70% ของความพยายามในการสร้างแบบจำลองคือการดูแลจัดการข้อมูลที่ถูกต้อง คุณต้องการจ้างคนที่รู้วิธีรวบรวมข้อมูลที่เป็นตัวแทนและรวบรวมโดยได้รับความยินยอมด้วย คุณยังต้องการให้ผู้ที่รู้จักทำงานอย่างใกล้ชิดกับผู้เชี่ยวชาญโดเมนเพื่อให้แน่ใจว่าพวกเขามีแนวทางที่ถูกต้อง การรับรองว่าผู้ปฏิบัติงานเหล่านี้มีความฉลาดทางอารมณ์ในการรับมือกับความท้าทายในการดูแลจัดการ AI อย่างมีความรับผิดชอบด้วยความอ่อนน้อมถ่อมตนและมีวิจารณญาณเป็นสิ่งสำคัญ เราต้องมีความตั้งใจที่จะเรียนรู้วิธีการรับรู้ว่าระบบ AI สามารถทำให้ความไม่เท่าเทียมรุนแรงขึ้นได้มากเท่ากับที่สามารถเพิ่มสติปัญญาของมนุษย์ได้อย่างไรและเมื่อใด

พลิกโฉมวิธีการทำงานธุรกิจของคุณด้วย AI