AI에서 다양성의 중요성은 의견이 아니라 수학입니다 – IBM Blog

우리 모두는 이상적인 인간 가치가 기술에 반영되기를 원합니다. 우리는 인공지능(AI)과 같은 기술이 우리에게 거짓말을 하지 않고, 차별하지 않고, 우리와 우리 아이들이 안전하게 사용할 수 있기를 기대합니다. 그러나 많은 AI 제작자는 현재 모델에 노출된 편견, 부정확성 및 문제가 있는 데이터 관행으로 인해 반발에 직면하고 있습니다. 이러한 문제에는 기술, 알고리즘 또는 AI 기반 솔루션 이상이 필요합니다. 현실적으로는 총체적이고 사회기술적인 접근이 필요합니다.

수학은 강력한 진실을 보여줍니다

AI를 포함한 모든 예측 모델은 다양한 인간 지능과 경험을 통합할 때 더욱 정확해집니다. 이것은 의견이 아닙니다. 그것은 경험적 타당성을 가지고 있습니다. 고려하다 다양성 예측 정리. 간단히 말해서, 그룹 내 다양성이 클수록 군중의 오류는 작습니다. 이는 “군중의 지혜”라는 개념을 뒷받침합니다. 한 영향력 있는 연구에서는 능력이 낮은 문제 해결자들의 다양한 그룹이 능력이 뛰어난 문제 해결자들의 그룹보다 더 나은 성과를 낼 수 있다는 사실이 밝혀졌습니다.홍&페이지, 2004).

수학적 언어로: 분산이 넓을수록 평균의 표준이 높아집니다. 방정식은 다음과 같습니다.

A 추가 연구 다른 구성원의 예측에 대한 무지와 최대한 다름 (음의 상관관계가 있는) 예측 또는 판단. 따라서 예측을 향상시키는 것은 단지 양이 아니라 다양성입니다. 이 통찰력이 AI 모델 평가에 어떤 영향을 미칠 수 있습니까?

모델 (비)정확도

일반적인 격언을 인용하자면, 모든 모델은 틀렸습니다. 이는 통계, 과학, AI 분야에서도 마찬가지입니다. 도메인 전문 지식이 부족한 상태에서 만들어진 모델은 다음과 같은 결과를 초래할 수 있습니다. 잘못된 출력.

오늘날, 소수의 동질적인 사람들이 생성적 AI 모델을 훈련하는 데 사용할 데이터를 결정합니다. 이 데이터는 영어를 크게 대표하는 소스에서 가져온 것입니다. "전 세계 6,000개 이상의 언어 대부분에 대해 사용 가능한 텍스트 데이터는 대규모 기반 모델을 훈련하기에 충분하지 않습니다."("기초 모델의 기회와 위험,” Bommasani 외, 2022).

또한 모델 자체는 제한된 아키텍처에서 생성됩니다. “거의 모든 최첨단 NLP 모델은 이제 BERT, RoBERTa, BART, T5 등과 같은 몇 가지 기본 모델 중 하나에서 채택되었습니다. 극도로 높은 레버리지(기본 모델의 개선은 모든 NLP 전반에 걸쳐 즉각적인 이점으로 이어질 수 있음), 이는 또한 책임이기도 합니다. 모든 AI 시스템은 몇 가지 기본 모델의 문제가 있는 동일한 편향을 물려받을 수 있습니다(Bommasaniet al.) "

생성 AI가 서비스를 제공하는 다양한 커뮤니티를 더 잘 반영하려면 훨씬 더 다양한 인간 데이터가 모델에 표현되어야 합니다.

모델 정확도 평가는 편향 평가와 함께 진행됩니다. 우리는 모델의 의도가 무엇이며 누구를 위해 최적화되어 있는지 질문해야 합니다. 예를 들어 콘텐츠 추천 알고리즘과 검색 엔진 알고리즘을 통해 누가 가장 많은 혜택을 받는지 생각해 보세요. 이해관계자들은 매우 다양한 이해관계와 목표를 가질 수 있습니다. 알고리즘과 모델에는 베이즈 오류(모델이 개선해야 하는 최소 오류)에 대한 대상 또는 프록시가 필요합니다. 이 대리인은 도메인 전문 지식을 갖춘 해당 분야 전문가와 같은 사람인 경우가 많습니다.

매우 인간적인 과제: 모델 조달 또는 개발 전에 위험 평가

새로운 AI 규정 및 실행 계획은 알고리즘 영향 평가 양식의 중요성을 점점 더 강조하고 있습니다. 이러한 양식의 목표는 거버넌스 팀이 AI 모델을 배포하기 전에 위험을 평가하고 해결할 수 있도록 AI 모델에 대한 중요한 정보를 캡처하는 것입니다. 일반적인 질문은 다음과 같습니다.

• 모델의 사용 사례는 무엇입니까?
• 서로 다른 영향으로 인한 위험은 무엇입니까?
• 공정성을 어떻게 평가하고 있나요?
• 모델을 어떻게 설명 가능하게 만들고 있나요?

좋은 의도로 설계되었지만 문제는 대부분의 AI 모델 소유자가 사용 사례의 위험을 평가하는 방법을 이해하지 못한다는 것입니다. 흔히 “내 모델이 개인 식별 정보(PII)를 수집하지 않는다면 어떻게 불공평할 수 있겠습니까?”라고 자제할 수 있습니다. 결과적으로, 거버넌스 시스템이 위험 요인을 정확하게 표시하는 데 필요한 사려깊은 양식이 완성되는 경우는 거의 없습니다.

따라서 솔루션의 사회 기술적 특성이 강조됩니다. 모델 소유자(개인)에게 자신의 사용 사례가 해를 끼칠지 여부를 평가하기 위한 확인란 목록을 단순히 제공할 수는 없습니다. 대신에 필요한 것은 서로 다른 영향에 대해 어려운 대화를 나누기 위해 심리적 안전을 제공하는 커뮤니티에 함께 모이는 매우 다양한 생활 경험을 가진 사람들의 그룹입니다.

신뢰할 수 있는 AI에 대한 더 넓은 관점을 환영합니다.

IBM®은 "클라이언트 제로" 접근 방식을 취하고 컨설팅 및 제품 중심 솔루션 전반에 걸쳐 자체 고객을 위해 제공할 권장 사항 및 시스템을 구현한다고 믿습니다. 이러한 접근 방식은 윤리적 관행으로 확장되며, 이것이 IBM이 신뢰할 수 있는 AI COE(Center of Excellence)를 만든 이유입니다.

위에서 설명한 것처럼 AI의 영향을 적절하게 평가하려면 경험과 기술의 다양성이 중요합니다. 그러나 AI 혁신가, 전문가, 뛰어난 엔지니어가 넘쳐나는 회사에서는 Center of Excellence에 참여한다는 전망이 위협적일 수 있으므로 심리적 안전을 보장하는 커뮤니티를 육성하는 것이 필요합니다. IBM은 “AI에 관심이 있나요?”라고 말하며 이를 명확하게 전달합니다. AI 윤리에 관심이 있으십니까? 이 테이블에 앉으십시오.”

COE는 모든 수준의 실무자에게 AI 윤리 교육을 제공합니다. 동기식 학습(수업 환경의 교사와 학생) 및 비동기식(자기 주도형) 프로그램이 모두 제공됩니다.

하지만 그건 COE의 문제야 적용된 다양한 영향을 더 잘 이해하기 위해 실제 프로젝트에서 글로벌하고 다양한 다학제 팀과 협력하면서 실무자들에게 가장 깊은 통찰력을 제공하는 교육입니다. 또한 IBM이 제공하는 디자인 사고 프레임워크를 활용합니다. AI를 위한 디자인 그룹은 AI 모델의 의도하지 않은 효과를 평가하기 위해 내부적으로 그리고 고객과 함께 사용하여 종종 소외되는 사람들을 최우선으로 생각합니다. (실비아 덕워스(Sylvia Duckworth)의 글을 참고하세요. 권력과 특권의 바퀴 개인 특성이 어떻게 교차하여 사람들에게 특권을 부여하거나 소외시키는지 보여주는 예입니다.) IBM은 또한 오픈 소스 커뮤니티에 많은 프레임워크를 기증했습니다. 윤리적인 디자인.

다음은 IBM이 이러한 프로젝트에 대해 공개적으로 발표한 몇 가지 보고서입니다.

AI 모델의 성능에 대한 중요한 통찰력을 얻으려면 자동화된 AI 모델 거버넌스 도구가 필요합니다. 그러나 모델이 개발되어 생산되기 훨씬 전에 위험을 포착하는 것이 최적입니다. 사람들이 서로 다른 영향에 대해 힘든 대화를 나눌 수 있는 안전한 공간을 제공하는 다양하고 다학제적인 실무자들로 구성된 커뮤니티를 만들어 원칙을 운영하고 책임감 있게 AI를 개발하는 여정을 시작할 수 있습니다.

실제로 AI 실무자를 고용할 때 모델 생성 노력의 70% 이상이 올바른 데이터를 선별하는 데 있다는 점을 고려하세요. 대표성이면서 동시에 동의를 받아 수집되는 데이터를 수집하는 방법을 아는 사람을 고용하고 싶습니다. 또한 도메인 전문가와 긴밀히 협력하여 올바른 접근 방식을 취하고 있는지 확인하는 사람들을 원합니다. 이러한 실무자들이 겸손과 분별력을 가지고 책임감 있게 AI를 관리하는 과제에 접근할 수 있는 감성 지능을 갖도록 하는 것이 핵심입니다. 우리는 AI 시스템이 인간의 지능을 강화할 수 있는 만큼 불평등을 언제 어떻게 악화시킬 수 있는지 인식하는 방법을 의도적으로 학습해야 합니다.

AI를 통해 비즈니스가 작동하는 방식을 재창조하세요