AI'da önyargı: Nelere dikkat edilmeli ve nasıl önlenmeli?

AI'da önyargı: Nelere dikkat edilmeli ve nasıl önlenmeli?

Kaynak Düğüm: 2811494

Borç verenler kullanmaya yöneldikçe yapay zeka (AI), modellerinden önyargıyı kaldırmaya adanmış olmalıdırlar. Şans eseri, getirileri en üst düzeye çıkarmalarına ve riskleri en aza indirmelerine yardımcı olacak araçlar var.

FairPlay.ai ortak kurucu ve CEO Kareem Salih kariyerinin büyük bir bölümünde yapay zeka ile finansal katılımın kesiştiği noktada olmuştur. ZestFinance'ta EVP iken (şimdi Zest.ai), Saleh, yapay zeka yüklenimi benimsemek için borç verenlerle çalıştı. Obama yönetimi sırasında, gelişmekte olan pazarlarda kalkınma dostu projelere yapılan yıllık 3 milyar dolarlık yatırımı denetledi.

Saleh, Sahra altı Afrika, Latin Amerika ve Karayipler gibi gelişmekte olan pazarlar da dahil olmak üzere, temiz enerji projeleri ve kadın girişimcilerle puan alması zor borçlulara sigorta yaptırma sorununu uzun süredir inceledi. Finansın en yüksek seviyelerinde bile ilkel sigortalama uygulamaları bulduğuna şaşırdı.

Saleh, "Yalnızca sigortalama metodolojileri son derece ilkel değildi, kesinlikle Silikon Vadisi standartlarına göre (modeller oluşturuldu) 20 ila 50 değişkenle ve büyük ölçüde Excel'de yapıldı" dedi. “Karşılaştığım tüm karar verme sistemleri, beyaz olmayan insanlara, kadınlara ve tarihsel olarak yetersiz hizmet verilen diğer gruplara karşı eşitsizlikler sergiledi. Bunun nedeni, o modelleri inşa edenlerin kötü niyetli insanlar olması değil. Büyük ölçüde veri ve matematikteki sınırlamalardan kaynaklanıyor.”

Adalet testi yoluyla önyargıyı azaltma

Kurucu ortağıyla birlikte John MerrilBir Google ve Microsoft emektarı olan Saleh, adalet testinin otomatikleştirilebileceğine ve borç verenlere farklı gruplara nasıl davrandıkları konusunda gerçek zamanlı görünürlük sağlanabileceğine inanıyordu. FairPlay'den dünyanın ilk hizmet olarak adalet şirketi olarak bahsediyor. Müşteri listesi şunları içerir: şekil, Mutlu Para, Splash Finansal ve Oktan.

FairPlay, etkili kararlar veren bir algoritma kullanan herkesin beş soruyu yanıtlayarak onun adaletini değerlendirmesine olanak tanır:

Algoritmam adil mi?
Değilse neden olmasın?
Daha dürüst olabilir mi?
Daha adil olmanın iş üzerindeki ekonomik etkisi nedir?
Reddedilenler, onaylanmaları gerekip gerekmediğini görmek için ikinci kez bakıyorlar mı?

Capco ve SolasAI, risk azaltmayı geliştirirken önyargıyı nasıl azaltır?

capco Partner Joshua Siegel finansal hizmet şirketlerinin etkinliklerini en üst düzeye çıkarmasına yardımcı olur. Şirket yakın zamanda algoritmik adalet AI yazılım sağlayıcısı ile ortaklık kurdu SolasAI finansal hizmetler endüstrisinde yapay zeka kullanımıyla ilgili risk azaltmayı geliştirirken önyargı ve ayrımcılığı azaltmak. 

Capco'dan Josh SiegelCapco'dan Josh SiegelCapco'dan Josh SiegelCapco'dan Josh Siegel
Josh Siegel, AI'nın faydalarının çok olduğunu, ancak kurumların riskleri de anlamaları gerektiğini söyledi.

Siegel, kurumların rekabet avantajı ararken daha hızlı inovasyon döngülerine uyum sağlama konusunda zorlandıklarını söyledi. Birçoğu yapay zekaya bakıyor ancak düzenleyici standartların gerisinde kalmak da dahil olmak üzere riskleri anlaması gerekiyor.

SolasAI ile ortak çözüm, yanlılığı öngörür ve algoritmik adaleti doğrudan müşterinin model oluşturma, operasyonlar ve yönetişim süreçlerine entegre ederek hızlı bir şekilde adil alternatif modeller üretir. 

Siegel, "Yapay zeka dünyayı görebildiğimiz ve göremediğimiz şekillerde değiştiriyor" dedi. "Bütün ticari kararlarda, özellikle de borç verme kararlarında fayda sağlayabileceği pek çok yol var.

“Çok fazla canlandırıcı potansiyel olsa da, bu modellere kasıtsız önyargıların sızması riski de var. Bu da itibar riski yaratır; kurumların marjinalleştirmek istemediği belirli toplulukları ve kişileri marjinalleştirme riski yaratıyor.”

Ayrıca okuyun:

AI ile ilgili her şeyin incelenmesi için plan yapın

Medyanın, bir brifingi desteklemek için mahkeme davaları icat ettiği iyi duyurulmuş bir dava gibi, AI sistemlerinin halüsinasyon potansiyeline yönelik medya ilgisi göz önüne alındığında, kuruluşlar AI ile ilgili her şeyin incelenmesini beklemelidir. Bunu, banka ve fintech ortaklık modellerine ve bunların tarihsel olarak marjinalize edilmiş gruplara yönelik muamelesine yönelik düzenleme odağına ekleyin.

Siegel, "...mali kurumlara adaleti ciddiye alıp almadıkları soruluyor," dedi. "Finansal hizmetler endüstrisinin geleceğini temsil eden hem düzenleyiciler hem de tüketiciler tarafından bunu daha ciddiye almaları ve sorunları bulduklarında çözmeye kendilerini adamaları için teşvik ediliyorlar."

Önyargıyı azaltmak için kendiniz polis olun

Sorunlar en erken noktada başlayabilir. Hem Saleh hem de Siegel, modellerinizi eğitmek için kullanılan verilerin kalitesini yakından izleyin diye uyardı. Saleh, kullandığı erken bir modelin, belirli bir küçük eyaleti birincil borç verme bölgesi olarak tanımladığını söyledi. Değerlendirme üzerine, oldukça katı olarak bilinen durumda hiçbir kredi verilmedi. Kredi olmadığı için, model temerrüde düşmedi ve devletin bir altın madeni olduğunu varsaydı.

Saleh, "Tükettikleri veriler ve ardından çalıştırdıkları hesaplamalar konusunda çok dikkatli değilseniz, bu şeyler hata yapma eğilimindedir" dedi.

Fairplay.ai'nin CEO'su Kareem SalehFairplay.ai'nin CEO'su Kareem SalehFairplay.ai'nin CEO'su Kareem SalehFairplay.ai'nin CEO'su Kareem Saleh
Kareem Saleh, AI modellerinizi eğitmek için kullandığınız veriler konusunda dikkatli olmanızı tavsiye ediyor.

Bazı borç verenler, önyargıya karşı bir kontrol olarak birden fazla AI sistemi çalıştırır. FairPlay de öyle. Algoritmaları karşı karşıya getiren düşmanca modeller uygulayarak daha da ileri giderler. Bir başvuru sahibinin bir azınlık grubundan olup olmadığını başka bir modelin belirleyip belirlemeyeceği tahmin edilmektedir. İkinci model, eğer yapabiliyorsa, önyargıyı kaynaklayacak bir karar zinciri ister.

(Salih hasım yöntemi ilk kez denediğinde, ipotek oluşturucuya riski artırmadan siyah başvuranların kabul oranını nasıl %10 artırabileceğini gösterdi.)

Birçok taahhüt modelinin istihdam tutarlılığını güçlü bir şekilde dikkate aldığını ekledi. Bu da 18-45 yaş arası kadınları üzüyor. Algoritmalar, önyargılı olmayan faktörlerin ağırlığını artırırken, istihdam tutarlılığına olan güveni azaltmak için ince ayar yapılabilir.

Saleh, "Tarihsel olarak dezavantajlı gruplar için önyargıları da en aza indiren bu yüksek performanslı ve tahmine dayalı algoritmaları oluşturmaya devam edebilirsiniz" dedi. "Bu, algoritmik adalet ve itibar alanındaki en önemli yeniliklerden biri oldu. Aynı şeyi yaparak, korunan gruplar için eşitsizlikleri en aza indirirken kimin temerrüde düşeceğini tahmin edebiliriz.”

"Bu, verilerdeki doğal önyargıları telafi etmek için algoritma içindeki yapıyı yeniden oluşturabileceğiniz bir yol. Öğrenme sürecinde, modeli, tahmin güçlerini en üst düzeye çıkaracak ancak eşitsizliği tetikleyen etkiyi en aza indirecek veri öğelerine ağırlık verecek veri öğelerine güvenmeye zorluyorsunuz.”

İtibar riskinin de bilincinde olun

Siegel'in müşterileri, riski en aza indirirken faydayı en üst düzeye çıkarmak istiyor. SolasAI ile sundukları çözüm, önyargıları tespit ederken geri dönmemelerini sağlıyor. Sonuçlar, borç vermenin çok ötesinde pazarlama, insan kaynakları ve şube konumlarına kadar uzanır.

Teknoloji daha iyi bir teklife geçişi kolaylaştırdığından, kurumlar itibar riskine karşı korunmalıdır. Bir kurum bir şekilde önyargılı olarak algılanırsa, sosyal medyada teşhir edilebilir. Son örneklerin gösterdiği gibi, fonların akıp gitmesi uzun sürmüyor.

Siegel, "SolasAI... adil kredilendirme ve yapay zeka modeli yapımında onlarca yıllık deneyime sahip kurucuları ve liderliği olan bir şirkettir" dedi. "Kasıtsız olarak önyargı enjekte edebilecek bir modelin yalnızca potansiyel değişkenlerini veya özelliklerini tanımlamakla kalmayan çözümleri, (aynı zamanda) bu koşullara alternatifler sunar ve model performansını mümkün olduğunca korurken bu istenmeyen önyargıyı azaltmanın yollarını bulur. .

"Müşteriler nihayet yapay zekadan faydalanmak ve mağazayla ilgilendiklerinden emin olmak için ihtiyaç duydukları açıklanabilirliğe ve şeffaflığa sahipler."

Siegel, koşul eklemenin yapay zekanın tahmin gücünü zayıflatabileceği konusunda uyardı. Bu şartlar, benzersiz bir şey yaratmak yerine onu belirli bir yönde yönlendirebilir.

Siegel, "Yapay zekanın sonuca varmasına ve ona bir dizi veri vermesine izin vermek yerine, insan gözünüzle göremediğiniz korelasyonlar, nedensellik ve değişkenler ortaya çıkaracak" dedi. "Sonuçta istemediğiniz hiçbir şeyin olmadığından emin olduğunuz sürece bu gerçekten iyi bir şey."

AI push'un olası nedenleri

Yapay zekaya yönelik bu baskının bir parçası, 15 yıl öncesine kıyasla daha fazla alt müşteri arayan borç verenler tarafından motive ediliyor mu? Saleh, geleneksel yüklenim tekniklerinin, bol miktarda verinin mevcut olduğu yerlerde süper ve birinci sınıf müşterileri puanlamak için harika olduğunu söyledi. Bu gruplara odaklanan borç verenler, esasen kendi aralarında müşteri ticareti yaparlar.

Gerçek büyüme, daha düşük puan alan gruplardan, ince dosyalardan, dosyasızlardan ve çok az geleneksel veriye sahip olanlardan gelir. 2008'den bu yana, farklı muamelelerine daha fazla dikkat edildi ve bankalar onlara hizmet etmek için mücadele ediyor gibi görünmek istemiyorlar.

Şirketler modern taahhüt tekniklerini uygularken ve geleneksel olmayan verileri kullanırken, bu durum fintech inovasyonunu yönlendirdi. Bu, verileri iş bilançosuna çok daha yakın bir şekilde değerlendiren nakit akışı yüklenimi sağladı.

Saleh, "Nakit akışı yüklenimi, tüketicinin bilançosuna geleneksel bir kredi raporundan çok daha yakındır" dedi. “Geri ödeme yeteneği ve istekliliği konusunda çok daha doğrudan bir ölçüm alıyorsunuz. Matematik, borçlunun geri ödeme kabiliyetinin daha iyi bir portresini çizmek için çok, çok ve çok sayıda işlem tüketebilir.

Küçük balıklar AI ile nasıl rekabet edebilir?

Bazıları, daha küçük kuruluşların yapay zeka modellerini düzgün bir şekilde eğitmek için yeterli veri üretme yeteneğinden endişe duyuyor. Saleh, daha küçük borç verenlerin set satın alma, büro verileri ve tüketici onayı dahil olmak üzere çeşitli seçenekleri olduğunu söyledi. Büyük kuruluşlar verilere sahip olabilir, ancak daha küçük olanlar daha çeviktir.

"Büyük adamların bu harika veri havuzlarından bir avantajı var, ancak açıkçası, sistemleri pek çok durumda, 30 yılı aşkın süredir elde ettikleri kazanımlarla o kadar bir araya toplanmış ki, veritabanına sahip olmaları onları kullanıma uygun kılmıyor. dedi Salih. "Öyleyse, muhtemelen büyük adamlarla aynı verilere sahip olmayan, ancak çok daha hurda olan ve verileri kolayca kullanıma konulan piyasaya daha yeni girenler var.

"Bence herkes bu alanda oynayabilir."

Çalışmanı kanıtla

Geçmişte, borç verenler yalnızca doğru olmakla idare edebilirdi. Salih, artık onların da adil olmaları gerektiğini ve bunu ispat edebilmeleri gerektiğini söyledi.

Tehlikede olan çok şey var. FairPlay, en yüksek puana sahip siyahi, kahverengi ve kadın başvuranların %25 ila %33'ünün, çoğu borç verenin onayladığı en riskli kişiler kadar iyi performans göstermiş olacağını keşfetti; reddetmeyi kabul etmekten yalnızca birkaç puan ayırır.

Saleh, sektörün karşı karşıya olduğu asıl sorunun, daha az ayrımcı kredi stratejileri bulmanın ne kadar zor olduğu olduğunu söyledi. Bir borç veren, modelinin önyargılı olduğunu öğrenirse, bunu haklı çıkarmaya mı çalışır yoksa iş hedeflerini de karşılayan daha az önyargılı bir seçenek mi arar?

Saleh, "Bu yasada yasal bir gereklilik" dedi. "Buna en az ayrımcı alternatif deniyor."

Yasa aynı zamanda borç verenlerin bu hedeflere ulaşmak için daha az ayrımcı bir yöntem olmadığını göstermelerini sağlar. Daha adil alternatifler olup olmadığını görmek için modellerini değerlendirdiklerini kanıtlamaları gerekir.

Ve tam da bunu yapmalarına yardımcı olacak araçlar var, Capco/SolasAI ve FairPlay tarafından sunulanlar gibi araçlar.

Saleh, "Bizimki gibi araçlar, tamamen adil ve tamamen doğru arasında etkili bir alternatif stratejiler sınırı oluşturuyor" dedi. "Bu yelpaze boyunca bir modelin yüzlerce, bazen binlerce alternatif varyantı var. Herhangi bir borç veren, işi için uygun takasın ne olduğunu seçebilir.

"Bence bu, bugün çok az insanın kullandığı ve çok da uzak olmayan bir gelecekte herkesin kullanacağı bir teknoloji."

  • Tony, fintech ve alt-fi alanlarında uzun süredir katkıda bulunuyor. İki kez LendIt Yılın Gazetecisi adayı ve 2018'de kazanan, Tony, son yedi yılda blok zinciri, eşler arası borç verme, kitle fonlaması ve gelişen teknolojiler hakkında 2,000'den fazla orijinal makale yazdı. LendIt, CfPA Zirvesi ve Hong Kong'da bir blockchain fuarı olan DECENT's Unchained'de panellere ev sahipliği yaptı. Tony'ye buradan e-posta gönder.

.pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .box-header-title { font-size: 20px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .box-header-title { font-weight: bold !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .box-header-title { color: #000000 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-avatar img { border-style: none !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-avatar img { border-radius: 5% !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-name a { font-size: 24px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-name a { font-weight: bold !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-name a { color: #000000 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-description { font-style: none !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-description { text-align: left !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a span { font-size: 20px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a span { font-weight: normal !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta { text-align: left !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a { background-color: #6adc21 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a { color: #ffffff !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a:hover { color: #ffffff !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-user_url-profile-data { color: #6adc21 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data span, .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data i { font-size: 16px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data { background-color: #6adc21 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data { border-radius: 50% !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data { text-align: center !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-linkedin-profile-data span, .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-linkedin-profile-data i { font-size: 16px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-linkedin-profile-data { background-color: #6adc21 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-linkedin-profile-data { border-radius: 50% !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-recent-posts-title { border-bottom-style: dotted !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-multiple-authors-boxes-li { border-style: solid !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-multiple-authors-boxes-li { color: #3c434a !important; }

Zaman Damgası:

Den fazla Kredi Akademisi