Tầm quan trọng của sự đa dạng trong AI không phải là quan điểm mà là toán học – IBM Blog

Tất cả chúng ta đều muốn thấy những giá trị lý tưởng của con người được phản ánh trong công nghệ của mình. Chúng tôi kỳ vọng các công nghệ như trí tuệ nhân tạo (AI) sẽ không lừa dối chúng ta, không phân biệt đối xử và đảm bảo an toàn cho chúng ta và con cái chúng ta khi sử dụng. Tuy nhiên, nhiều người sáng tạo AI hiện đang phải đối mặt với phản ứng dữ dội vì những thành kiến, sự thiếu chính xác và cách thực hành dữ liệu có vấn đề bị phơi bày trong mô hình của họ. Những vấn đề này đòi hỏi nhiều hơn một giải pháp kỹ thuật, thuật toán hoặc dựa trên AI. Trên thực tế, cần có một cách tiếp cận toàn diện, mang tính kỹ thuật xã hội.

Toán học chứng minh một sự thật mạnh mẽ

Tất cả các mô hình dự đoán, bao gồm cả AI, đều chính xác hơn khi chúng kết hợp trí tuệ và kinh nghiệm đa dạng của con người. Đây không phải là một ý kiến; nó có giá trị thực nghiệm. Hãy xem xét định lý dự đoán đa dạng. Nói một cách đơn giản, khi sự đa dạng trong một nhóm lớn thì sai số của đám đông là nhỏ - ủng hộ khái niệm “sự khôn ngoan của đám đông”. Trong một nghiên cứu có ảnh hưởng, người ta đã chỉ ra rằng nhiều nhóm người giải quyết vấn đề có năng lực thấp có thể làm việc tốt hơn các nhóm người giải quyết vấn đề có năng lực cao (Hồng & Trang, 2004).

Trong ngôn ngữ toán học: phương sai của bạn càng rộng thì giá trị trung bình của bạn càng chuẩn. Phương trình trông như thế này:

A học cao hơn đã cung cấp thêm các phép tính nhằm tinh chỉnh các định nghĩa thống kê về đám đông khôn ngoan, bao gồm cả việc không biết đến dự đoán của các thành viên khác và bao gồm cả những người có khác biệt tối đa (tương quan tiêu cực) dự đoán hoặc phán đoán. Vì vậy, không chỉ khối lượng mà sự đa dạng cũng giúp cải thiện dự đoán. Cái nhìn sâu sắc này có thể ảnh hưởng đến việc đánh giá các mô hình AI như thế nào?

Độ chính xác (trong) của mô hình

Để trích dẫn một câu cách ngôn phổ biến, tất cả các mô hình đều sai. Điều này đúng trong các lĩnh vực thống kê, khoa học và AI. Các mô hình được tạo ra khi thiếu kiến ​​thức chuyên môn về miền có thể dẫn đến sai Đầu ra.

Ngày nay, một nhóm nhỏ những người đồng nhất xác định dữ liệu nào sẽ sử dụng để đào tạo các mô hình AI tổng quát, được lấy từ các nguồn đại diện nhiều cho tiếng Anh. “Đối với hầu hết trong số hơn 6,000 ngôn ngữ trên thế giới, dữ liệu văn bản có sẵn không đủ để đào tạo một mô hình nền tảng quy mô lớn” (từ “Về cơ hội và rủi ro của các mô hình nền tảng,” Bommasani và cộng sự, 2022).

Ngoài ra, bản thân các mô hình được tạo ra từ các kiến ​​​​trúc hạn chế: “Hầu hết tất cả các mô hình NLP hiện đại hiện đều được điều chỉnh từ một trong một số mô hình nền tảng, chẳng hạn như BERT, RoBERTa, BART, T5, v.v. đòn bẩy cực kỳ cao (bất kỳ cải tiến nào trong các mô hình nền tảng đều có thể dẫn đến lợi ích ngay lập tức trên toàn bộ NLP), đó cũng là một trách nhiệm pháp lý; tất cả các hệ thống AI có thể kế thừa những thành kiến ​​có vấn đề giống nhau của một số mô hình nền tảng (Bommasani và cộng sự.) "

Để AI tổng hợp phản ánh tốt hơn các cộng đồng đa dạng mà nó phục vụ, dữ liệu của con người phải được thể hiện trong các mô hình ở phạm vi rộng hơn rất nhiều.

Đánh giá độ chính xác của mô hình đi đôi với việc đánh giá sai lệch. Chúng ta phải hỏi, mục đích của mô hình là gì và nó được tối ưu hóa cho ai? Ví dụ: hãy xem xét ai được hưởng lợi nhiều nhất từ ​​các thuật toán đề xuất nội dung và thuật toán công cụ tìm kiếm. Các bên liên quan có thể có những lợi ích và mục tiêu rất khác nhau. Các thuật toán và mô hình yêu cầu mục tiêu hoặc proxy cho lỗi Bayes: lỗi tối thiểu mà mô hình phải cải thiện. Người được ủy quyền này thường là một người, chẳng hạn như một chuyên gia về chủ đề có kiến ​​thức chuyên môn về lĩnh vực.

Một thách thức rất con người: Đánh giá rủi ro trước khi mua sắm hoặc phát triển mô hình

Các quy định và kế hoạch hành động mới về AI đang ngày càng nhấn mạnh tầm quan trọng của các hình thức đánh giá tác động thuật toán. Mục tiêu của các biểu mẫu này là thu thập thông tin quan trọng về các mô hình AI để nhóm quản trị có thể đánh giá và giải quyết rủi ro trước khi triển khai chúng. Các câu hỏi điển hình bao gồm:

• Trường hợp sử dụng mô hình của bạn là gì?
• Những rủi ro cho tác động khác nhau là gì?
• Bạn đánh giá thế nào về sự công bằng?
• Bạn làm cho mô hình của mình có thể giải thích được bằng cách nào?

Mặc dù được thiết kế với mục đích tốt nhưng vấn đề là hầu hết chủ sở hữu mô hình AI không hiểu cách đánh giá rủi ro đối với trường hợp sử dụng của họ. Một điệp khúc phổ biến có thể là “Làm sao mô hình của tôi có thể không công bằng nếu nó không thu thập thông tin nhận dạng cá nhân (PII)?” Do đó, các biểu mẫu hiếm khi được hoàn thiện với sự chu đáo cần thiết để hệ thống quản trị có thể xác định chính xác các yếu tố rủi ro.

Vì vậy, bản chất kỹ thuật xã hội của giải pháp được nhấn mạnh. Chủ sở hữu mô hình—một cá nhân—không thể chỉ được cung cấp một danh sách các hộp kiểm để đánh giá xem trường hợp sử dụng của họ có gây hại hay không. Thay vào đó, điều cần thiết là những nhóm người có trải nghiệm sống trong thế giới sống rất khác nhau đến với nhau trong những cộng đồng mang lại sự an toàn về mặt tâm lý để có những cuộc trò chuyện khó khăn về những tác động khác nhau.

Chào đón những quan điểm rộng hơn cho AI đáng tin cậy

IBM® tin tưởng vào việc áp dụng phương pháp tiếp cận “không có khách hàng”, triển khai các đề xuất và hệ thống mà công ty sẽ đưa ra cho khách hàng của mình thông qua các giải pháp tư vấn và sản phẩm dẫn đầu. Cách tiếp cận này mở rộng sang các thực hành đạo đức, đó là lý do tại sao IBM đã tạo ra một Trung tâm Xuất sắc về AI đáng tin cậy (COE).

Như đã giải thích ở trên, sự đa dạng về kinh nghiệm và bộ kỹ năng là rất quan trọng để đánh giá chính xác tác động của AI. Nhưng viễn cảnh tham gia vào một Trung tâm Xuất sắc có thể đáng sợ trong một công ty đang bùng nổ với các nhà đổi mới AI, chuyên gia và kỹ sư xuất sắc, vì vậy cần phải xây dựng một cộng đồng an toàn về mặt tâm lý. IBM truyền đạt điều này một cách rõ ràng bằng cách nói: “Quan tâm đến AI? Quan tâm đến đạo đức AI? Bạn có một chỗ ngồi ở bàn này.

COE cung cấp đào tạo về đạo đức AI cho những người thực hành ở mọi cấp độ. Cả chương trình học tập đồng bộ (giáo viên và học sinh trong lớp học) và chương trình không đồng bộ (tự hướng dẫn) đều được cung cấp.

Nhưng đó là của COE áp dụng chương trình đào tạo mang lại cho các học viên của chúng tôi những hiểu biết sâu sắc nhất khi họ làm việc với các nhóm toàn cầu, đa dạng, đa ngành trong các dự án thực tế để hiểu rõ hơn về tác động khác nhau. Họ cũng tận dụng các khuôn khổ tư duy thiết kế mà IBM Thiết kế cho AI nhóm sử dụng trong nội bộ và với khách hàng để đánh giá những tác động ngoài ý muốn của các mô hình AI, luôn chú ý đến những người thường bị gạt ra ngoài lề xã hội. (Xem bài viết của Sylvia Duckworth Bánh xe quyền lực và đặc quyền để biết ví dụ về cách các đặc điểm cá nhân giao thoa với đặc quyền hoặc loại trừ mọi người.) IBM cũng tặng nhiều khung công tác cho cộng đồng nguồn mở Thiết kế có đạo đức.

Dưới đây là một số báo cáo IBM đã công bố công khai về các dự án này:

Cần có các công cụ quản trị mô hình AI tự động để thu thập những hiểu biết quan trọng về cách mô hình AI của bạn đang hoạt động. Nhưng lưu ý, nắm bắt tốt rủi ro trước khi mô hình của bạn được phát triển và đưa vào sản xuất là tối ưu. Bằng cách tạo ra cộng đồng gồm những người hành nghề đa dạng, đa ngành, cung cấp không gian an toàn để mọi người có những cuộc trò chuyện khó khăn về những tác động khác nhau, bạn có thể bắt đầu hành trình vận hành các nguyên tắc của mình và phát triển AI một cách có trách nhiệm.

Trong thực tế, khi bạn tuyển dụng những người thực hành AI, hãy cân nhắc rằng hơn 70% nỗ lực trong việc tạo mô hình là quản lý dữ liệu phù hợp. Bạn muốn thuê những người biết cách thu thập dữ liệu mang tính đại diện và được thu thập với sự đồng ý. Bạn cũng muốn những người biết làm việc chặt chẽ với các chuyên gia tên miền để đảm bảo rằng họ có cách tiếp cận đúng. Điều quan trọng là đảm bảo những người thực hành này có trí tuệ cảm xúc để tiếp cận thách thức quản lý AI một cách có trách nhiệm với sự khiêm tốn và sáng suốt. Chúng ta phải có chủ ý học cách nhận biết cách thức và thời điểm các hệ thống AI có thể làm trầm trọng thêm sự bất bình đẳng cũng như chúng có thể nâng cao trí thông minh của con người.

Đổi mới cách hoạt động kinh doanh của bạn với AI