تعصب در هوش مصنوعی: مراقب چه چیزی باشیم و چگونه از آن جلوگیری کنیم

همانطور که وام دهندگان به سمت استفاده گرایش پیدا می کنند هوش مصنوعی (AI)، آنها باید به حذف تعصب از مدل های خود اختصاص داشته باشند. خوشبختانه ابزارهایی وجود دارد که به آنها کمک می کند تا بازده را به حداکثر برسانند و خطرات را به حداقل برسانند.

FairPlay.ai بنیانگذار و مدیر عامل شرکت کریم صالح در بیشتر دوران کاری خود در تقاطع هوش مصنوعی و شمول مالی بوده است. در حالی که EVP در ZestFinance (اکنون Zest.aiصالح با وام دهندگان برای پذیره نویسی هوش مصنوعی کار کرد. در دوران دولت اوباما، او بر سرمایه گذاری سالانه 3 میلیارد دلاری در پروژه های توسعه پسند در بازارهای نوظهور نظارت داشت.

صالح مدت‌هاست که مشکل پذیرش وام‌گیرندگانی که به سختی امتیازدهی می‌شوند، از جمله در بازارهای نوظهور مانند آفریقای جنوب صحرا، آمریکای لاتین، و دریای کارائیب، در پروژه‌های انرژی پاک و با کارآفرینان زن مورد مطالعه قرار داده است. او از یافتن شیوه های ابتدایی پذیره نویسی، حتی در بالاترین سطوح مالی، شگفت زده شد.

صالح گفت: «نه تنها روش‌های پذیره‌نویسی بسیار ابتدایی بودند، قطعاً براساس استانداردهای سیلیکون ولی، (مدل‌ها با 20 تا 50 متغیر ساخته شده بودند، و عمدتاً در اکسل». «تمام سیستم‌های تصمیم‌گیری که من با آن‌ها مواجه شدم، تفاوت‌هایی را نسبت به رنگین پوستان، زنان، و دیگر گروه‌هایی که از لحاظ تاریخی محروم بودند، نشان می‌دادند. این به این دلیل نیست که افرادی که آن مدل ها را ساخته اند افراد بد نیت هستند. این تا حد زیادی به دلیل محدودیت در داده ها و ریاضیات است."

کاهش تعصب از طریق تست انصاف

همراه با هم بنیانگذارش جان مریلصالح، کهنه کار گوگل و مایکروسافت، معتقد بود که تست انصاف می تواند خودکار باشد و نحوه برخورد آنها با گروه های مختلف را در زمان واقعی به وام دهندگان نشان دهد. او از FairPlay به عنوان اولین شرکت منصفانه به عنوان یک سرویس در جهان یاد می کند. فهرست مشتریان آن شامل شکل, پول مبارک, چلپ چلوپ مالی و سوخت ماشینی.

FairPlay به هر کسی اجازه می دهد از الگوریتمی استفاده کند که تصمیمات تاثیرگذاری می گیرد تا با پاسخ دادن به پنج سوال، عادلانه بودن آن را ارزیابی کند:

آیا الگوریتم من عادلانه است؟
اگر نه، چرا که نه؟
آیا می تواند صادقانه تر باشد؟
عادلانه بودن کسب و کار چه تاثیر اقتصادی دارد؟
آیا کسانی که رد می شوند یک بار دیگر نگاه می کنند تا ببینند آیا باید تایید می شدند یا خیر؟

چگونه Capco و SolasAI سوگیری را کاهش می دهند و در عین حال کاهش خطر را بهبود می بخشند

کپکو شریک جاشوا سیگل به شرکت های خدمات مالی کمک می کند تا اثربخشی خود را به حداکثر برسانند. این شرکت اخیراً با ارائه‌دهنده نرم‌افزار هوش مصنوعی الگوریتمی همکاری کرده است SolasAI برای کاهش تعصب و تبعیض و در عین حال افزایش کاهش خطر مرتبط با استفاده از هوش مصنوعی در صنعت خدمات مالی. 

سیگل گفت که مؤسسات برای انطباق با چرخه‌های نوآوری سریع‌تر به چالش کشیده می‌شوند زیرا به دنبال مزیت‌های رقابتی هستند. بسیاری به هوش مصنوعی نگاه می کنند، اما باید خطرات را درک کنند، که شامل کوتاهی از استانداردهای نظارتی است.

راه حل مشترک با SolasAI پیش‌بینی سوگیری می‌کند و به سرعت مدل‌های جایگزین منصفانه را با ادغام عدالت الگوریتمی مستقیماً در فرآیندهای مدل‌سازی، عملیات و حاکمیت مشتری ایجاد می‌کند. 

سیگل گفت: «هوش مصنوعی جهان را به شیوه‌هایی تغییر می‌دهد که ما می‌توانیم و نمی‌توانیم ببینیم. راه‌های زیادی وجود دارد که می‌تواند برای تصمیم‌گیری‌های تجاری از همه نوع، به‌ویژه تصمیم‌های وام‌دهی مفید باشد.

«در حالی که پتانسیل ارتقای زیادی وجود دارد، خطر تعصب ناخواسته در آن مدل‌ها نیز وجود دارد. و این خطر اعتبار ایجاد می کند. این خطر به حاشیه راندن برخی از جوامع را ایجاد می کند و نهادهای مردمی نمی خواهند به حاشیه رانده شوند."

همچنین بخوانید:

برای بررسی همه چیز هوش مصنوعی برنامه ریزی کنید

با توجه به توجه رسانه‌ها به پتانسیل سیستم‌های هوش مصنوعی برای توهم، سازمان‌ها باید انتظار بررسی دقیق هر چیزی را داشته باشند که به هوش مصنوعی مربوط می‌شود، مانند پرونده‌ای که به خوبی تبلیغ می‌شود که در آن پرونده‌های قضایی برای حمایت از یک خلاصه اختراع شده است. این را به تمرکز نظارتی بر مدل‌های مشارکت بانک‌ها و فین‌تک و رفتار آن‌ها با گروه‌های به حاشیه رانده شده تاریخی اضافه کنید.

سیگل گفت: «...از مؤسسات مالی پرسیده می شود که آیا عدالت را جدی می گیرند. قانون‌گذاران و مصرف‌کنندگانی که آینده صنعت خدمات مالی را نمایندگی می‌کنند، از آن‌ها خواسته می‌شود که این موضوع را جدی‌تر بگیرند و خود را متعهد به رفع مشکلات در صورت یافتن آن‌ها کنند.»

برای کاهش تعصب خود را پلیس کنید

مشکلات می توانند از اولین نقطه شروع شوند. صالح و سیگل هشدار دادند که کیفیت داده‌های مورد استفاده برای آموزش مدل‌های خود را از نزدیک نظارت کنید. صالح گفت که مدل اولیه ای که او استفاده کرد، یک کشور کوچک خاص را به عنوان منطقه وام دهنده اصلی شناسایی کرد. پس از ارزیابی، هیچ وامی در شرایطی که به عنوان یک وضعیت بسیار سخت شناخته می شد، داده نشد. از آنجایی که وام وجود نداشت، مدل هیچ نکول ندید و فرض کرد که دولت یک معدن طلا است.

صالح گفت: «اگر نسبت به داده‌هایی که مصرف می‌کنند و سپس محاسباتی که انجام می‌دهند، فوق‌العاده هوشیار نباشید، این چیزها دچار خطا می‌شوند.

برخی از وام دهندگان چندین سیستم هوش مصنوعی را به عنوان یک بررسی در برابر تعصب اجرا می کنند. FairPlay هم همینطور. آنها با استفاده از مدل‌های متخاصم که الگوریتم‌ها را در برابر یکدیگر قرار می‌دهند، فراتر می‌روند. یکی پیش بینی می کند که آیا مدل دیگری می تواند تعیین کند که آیا متقاضی از یک گروه اقلیت است یا خیر. مدل دوم یک زنجیره تصمیم می‌خواهد تا در صورت امکان، سوگیری را منشأ بگیرد.

(اولین باری که صالح روش خصمانه را امتحان کرد، به بانی وام مسکن نشان داد که چگونه می تواند نرخ پذیرش متقاضیان سیاه پوست را بدون افزایش ریسک تا 10 درصد افزایش دهد.)

وی افزود که بسیاری از مدل های پذیره نویسی به شدت ثبات اشتغال را در نظر می گیرند. این به زنان 18 تا 45 ساله آسیب می رساند. الگوریتم‌ها را می‌توان به منظور کاهش اتکا به ثبات شغلی و در عین حال افزایش وزن به عوامل غیر تعصبی تغییر داد.

صالح گفت: «هنوز می‌توانید این الگوریتم‌های بسیار کارآمد و پیش‌بینی‌کننده را بسازید که سوگیری‌ها را برای گروه‌های محروم تاریخی به حداقل می‌رساند. این یکی از نوآوری های کلیدی در انصاف و اعتبار الگوریتمی بوده است. ما می‌توانیم همین کار را انجام دهیم، پیش‌بینی کنیم که چه کسی پیش‌فرض می‌شود و در عین حال تفاوت‌ها را برای گروه‌های محافظت شده به حداقل می‌رسانیم.»

«این راهی است که در آن می‌توانید ساختار درون الگوریتم را برای جبران سوگیری‌های طبیعی در داده‌ها بازسازی کنید. در طول فرآیند یادگیری، شما مدل را مجبور می‌کنید به عناصر داده‌ای تکیه کند که به عناصر داده‌ای وزن می‌دهند که قدرت پیش‌بینی آن‌ها را به حداکثر می‌رسانند، اما اثر نابرابری را به حداقل می‌رسانند.

از خطر شهرت نیز آگاه باشید

مشتریان Siegel می‌خواهند منافع را به حداکثر برسانند و در عین حال خطر را به حداقل برسانند. راه‌حل آن‌ها با SolasAI، سوگیری‌ها را شناسایی می‌کند و در عین حال اطمینان می‌دهد که آنها برنمی‌گردند. پیامدها فراتر از وام دادن به بازاریابی، منابع انسانی و شعبه است.

موسسات باید در برابر خطرات شهرت محافظت کنند، زیرا فناوری تغییر به یک پیشنهاد بهتر را آسان می کند. اگر مؤسسه‌ای به نوعی مغرضانه تلقی شود، می‌توان آن را در رسانه‌های اجتماعی رد کرد. همانطور که نمونه‌های اخیر نشان می‌دهند، سرمایه‌ها طولی نمی‌کشد تا از بین بروند.

سیگل گفت: «SolasAI… یک شرکت با بنیانگذاران و رهبری با چندین دهه تجربه در وام دهی منصفانه و ساخت مدل هوش مصنوعی است. "راه حل آنها، که نه تنها متغیرهای بالقوه یا ویژگی های یک مدل را که ممکن است ناخواسته تعصب تزریق کند، شناسایی می کند، (همچنین) جایگزین هایی برای آن شرایط ارائه می دهد و راه هایی برای کاهش آن سوگیری ناخواسته ارائه می کند و در عین حال تا حد امکان عملکرد مدل را حفظ می کند. .

مشتریان در نهایت توضیح و شفافیت لازم برای بهره مندی از هوش مصنوعی را دارند و اطمینان حاصل می کنند که به فروشگاه فکر می کنند.

سیگل هشدار داد که افزودن شرایط می تواند قدرت پیش بینی هوش مصنوعی را تضعیف کند. این شرایط می تواند به جای ایجاد چیزی منحصر به فرد، آن را در جهتی خاص هدایت کند.

سیگل گفت: «به جای اینکه اجازه دهیم هوش مصنوعی به نتیجه برسد و مجموعه ای کامل از داده ها را به آن بدهد، با همبستگی ها، علیت و متغیرهایی مواجه می شود که شما با چشم انسان خود نمی بینید.» تا زمانی که بتوانید مطمئن شوید چیزی که در آن نتیجه نمی‌خواهید وجود ندارد، واقعاً چیز خوبی است.»

دلایل احتمالی فشار هوش مصنوعی

آیا بخشی از این فشار برای هوش مصنوعی ناشی از وام دهندگانی است که در مقایسه با 15 سال پیش به دنبال مشتریان پایین دستی بیشتری هستند؟ صالح گفت که تکنیک های متعارف پذیره نویسی برای به ثمر رساندن مشتریان فوق العاده و اصلی در جایی که داده های زیادی در دسترس است، عالی هستند. وام دهندگان بر روی آن گروه ها تمرکز کردند که اساساً مشتریان را بین خود مبادله می کنند.

رشد واقعی از گروه‌های با امتیاز پایین‌تر، گروه‌های نازک، بدون فایل و گروه‌هایی با داده‌های سنتی کمی حاصل می‌شود. از سال 2008، توجه بیشتری به رفتار نامتجانس با آنها شده است و بانک‌ها نمی‌خواهند برای ارائه خدمات به آنها تلاش کنند.

این امر منجر به نوآوری فین تک شده است زیرا شرکت ها از تکنیک های مدرن پذیره نویسی استفاده می کنند و از داده های غیر متعارف استفاده می کنند. این امکان پذیره نویسی جریان نقدی را فراهم کرده است که داده ها را بسیار نزدیک تر به ترازنامه تجاری ارزیابی می کند.

صالح گفت: «پذیره‌نویسی جریان نقدی بسیار نزدیک‌تر از گزارش اعتباری سنتی به ترازنامه مصرف‌کننده است. «شما در حال سنجش مستقیم تری از توانایی و تمایل به بازپرداخت هستید. ریاضیات می‌تواند معاملات بسیار زیادی را مصرف کند تا تصویری دقیق از توانایی آن وام گیرنده برای بازپرداخت ترسیم کند."

چگونه ماهی کوچک می تواند با هوش مصنوعی رقابت کند

برخی نگران توانایی سازمان های کوچکتر برای تولید داده های کافی برای آموزش صحیح مدل های هوش مصنوعی خود هستند. صالح گفت که وام دهندگان کوچکتر چندین گزینه از جمله خرید، داده های دفتر و رضایت مصرف کننده دارند. سازمان‌های بزرگ ممکن است داده‌ها را داشته باشند، اما سازمان‌های کوچکتر زیرک‌تر هستند.

بزرگ‌ها مزیتی از این مخازن داده‌های شگفت‌انگیز دارند، اگرچه، صادقانه بگویم، سیستم‌های آن‌ها در بسیاری از موارد، بیش از 30 سال خرید، آنقدر با هم ترکیب شده‌اند که این واقعیت که آنها پایگاه داده را دارند لزوماً آنها را برای استفاده مناسب نمی‌کند. صالح گفت. سپس شما تازه واردان به بازار را دارید که احتمالاً داده های مشابهی با افراد بزرگ ندارند، اما بسیار ضعیف تر هستند، و داده های آنها به راحتی مورد استفاده قرار می گیرد.

فکر می کنم همه می توانند در این فضا بازی کنند.

کار خود را ثابت کنید

در گذشته، وام دهندگان می توانستند فقط با دقت به کار خود ادامه دهند. صالح گفت که اکنون آنها نیز باید منصف باشند و باید بتوانند آن را ثابت کنند.

چیزهای زیادی در خطر است. FairPlay کشف کرد که بین 25 تا 33 درصد از متقاضیان سیاه‌پوست، قهوه‌ای و زن که بیشترین امتیاز را رد کرده‌اند، به همان خوبی عمل می‌کنند که ریسک‌پذیرترین افراد مورد تایید اکثر وام‌دهندگان هستند - تنها چند امتیاز رد را از پذیرش جدا می‌کند.

صالح گفت که سوال واقعی پیش روی صنعت این است که چقدر سخت کار می کند تا استراتژی های اعتباری کمتر تبعیض آمیز پیدا کند. اگر وام دهنده یاد بگیرد که مدلش مغرضانه است، آیا سعی می کند آن را توجیه کند یا به دنبال گزینه ای کم سوگیری است که اهداف تجاری آنها را نیز برآورده کند؟

صالح گفت: «این یک الزام قانونی در قانون است. "این جایگزین کمتر تبعیض آمیز نامیده می شود."

این قانون همچنین وام دهندگان را مجبور می کند نشان دهند که هیچ روش تبعیض آمیزی برای دستیابی به این اهداف وجود ندارد. آنها باید ثابت کنند که مدل های خود را ارزیابی کرده اند تا ببینند آیا جایگزین های منصفانه تری وجود دارد یا خیر.

و ابزارهایی برای کمک به آنها در انجام این کار وجود دارد، ابزارهایی مانند ابزارهایی که توسط Capco/SolasAI و FairPlay ارائه شده است.

صالح گفت: «ابزارهایی مانند ابزار ما مرز کارآمدی از استراتژی‌های جایگزین بین کاملاً منصفانه و کاملاً دقیق ایجاد می‌کنند. صدها و گاهی هزاران گونه جایگزین برای یک مدل در امتداد آن طیف وجود دارد. هر وام دهنده ای می تواند انتخاب کند که معامله مناسب برای کسب و کارش چیست.

"من فکر می کنم این فناوری است که امروزه افراد بسیار کمی از آن استفاده می کنند و همه در آینده نه چندان دور از آن استفاده خواهند کرد."

.pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .box-header-title { font-size: 20px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .box-header-title { font-weight: bold !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .box-header-title { color: #000000 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-avatar img { border-style: none !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-avatar img { border-radius: 5% !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-name a { font-size: 24px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-name a { font-weight: bold !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-name a { color: #000000 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-description { font-style: none !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-description { text-align: left !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a span { font-size: 20px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a span { font-weight: normal !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta { text-align: left !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a { background-color: #6adc21 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a { color: #ffffff !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a:hover { color: #ffffff !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-user_url-profile-data { color: #6adc21 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data span, .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data i { font-size: 16px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data { background-color: #6adc21 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data { border-radius: 50% !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data { text-align: center !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-linkedin-profile-data span, .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-linkedin-profile-data i { font-size: 16px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-linkedin-profile-data { background-color: #6adc21 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-linkedin-profile-data { border-radius: 50% !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-recent-posts-title { border-bottom-style: dotted !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-multiple-authors-boxes-li { border-style: solid !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-multiple-authors-boxes-li { color: #3c434a !important; }

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. خودرو / خودروهای الکتریکی، کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• BlockOffsets. نوسازی مالکیت افست زیست محیطی. دسترسی به اینجا.
• منبع: https://www.fintechnexus.com/bias-in-ai-what-to-watch-for-and-how-to-prevent-it/