Η σημασία της διαφορετικότητας στην τεχνητή νοημοσύνη δεν είναι γνώμη, είναι μαθηματικά – IBM Blog

Όλοι θέλουμε να δούμε τις ιδανικές ανθρώπινες αξίες μας να αντικατοπτρίζονται στις τεχνολογίες μας. Αναμένουμε από τεχνολογίες όπως η τεχνητή νοημοσύνη (AI) να μην μας λένε ψέματα, να μην κάνουν διακρίσεις και να είναι ασφαλείς για χρήση από εμάς και τα παιδιά μας. Ωστόσο, πολλοί δημιουργοί τεχνητής νοημοσύνης αντιμετωπίζουν επί του παρόντος αντιδράσεις για τις προκαταλήψεις, τις ανακρίβειες και τις προβληματικές πρακτικές δεδομένων που εκτίθενται στα μοντέλα τους. Αυτά τα ζητήματα απαιτούν κάτι περισσότερο από μια τεχνική, αλγοριθμική ή βασισμένη σε AI λύση. Στην πραγματικότητα, απαιτείται μια ολιστική, κοινωνικο-τεχνική προσέγγιση.

Τα μαθηματικά δείχνουν μια ισχυρή αλήθεια

Όλα τα προγνωστικά μοντέλα, συμπεριλαμβανομένης της τεχνητής νοημοσύνης, είναι πιο ακριβή όταν ενσωματώνουν ποικίλη ανθρώπινη νοημοσύνη και εμπειρία. Αυτό δεν είναι άποψη. έχει εμπειρική εγκυρότητα. Σκεψου το Θεώρημα πρόβλεψης διαφορετικότητας. Με απλά λόγια, όταν η διαφορετικότητα σε μια ομάδα είναι μεγάλη, το λάθος του πλήθους είναι μικρό — υποστηρίζοντας την έννοια της «σοφίας του πλήθους». Σε μια σημαντική μελέτη, αποδείχθηκε ότι διαφορετικές ομάδες λύτων προβλημάτων χαμηλής ικανότητας μπορούν να ξεπεράσουν τις ομάδες λύτων προβλημάτων υψηλής ικανότητας (Hong & Page, 2004).

Στη μαθηματική γλώσσα: Όσο μεγαλύτερη είναι η διακύμανσή σας, τόσο πιο τυπικός είναι ο μέσος όρος σας. Η εξίσωση μοιάζει με αυτό:

A περαιτέρω μελέτη παρείχε περισσότερους υπολογισμούς που βελτιώνουν τους στατιστικούς ορισμούς ενός σοφού πλήθους, συμπεριλαμβανομένης της άγνοιας των προβλέψεων των άλλων μελών και της συμπερίληψης αυτών με το μέγιστο διαφορετικό (αρνητικά συσχετισμένες) προβλέψεις ή κρίσεις. Έτσι, δεν είναι μόνο ο όγκος, αλλά η ποικιλομορφία που βελτιώνει τις προβλέψεις. Πώς μπορεί αυτή η εικόνα να επηρεάσει την αξιολόγηση των μοντέλων AI;

Μοντέλο (α)ακρίβεια

Για να παραθέσω έναν κοινό αφορισμό, όλα τα μοντέλα είναι λάθος. Αυτό ισχύει στους τομείς της στατιστικής, της επιστήμης και της τεχνητής νοημοσύνης. Τα μοντέλα που δημιουργούνται με έλλειψη εξειδίκευσης στον τομέα μπορούν να οδηγήσουν σε σφαλερός έξοδοι.

Σήμερα, μια μικροσκοπική ομοιογενής ομάδα ανθρώπων καθορίζει ποια δεδομένα θα χρησιμοποιήσει για την εκπαίδευση μοντέλων τεχνητής νοημοσύνης που δημιουργούνται, τα οποία προέρχονται από πηγές που υπερεκπροσωπούν τα αγγλικά. "Για τις περισσότερες από τις περισσότερες από 6,000 γλώσσες στον κόσμο, τα διαθέσιμα δεδομένα κειμένου δεν επαρκούν για την εκπαίδευση ενός μοντέλου θεμελίωσης μεγάλης κλίμακας" (από "Σχετικά με τις ευκαιρίες και τους κινδύνους των μοντέλων θεμελίωσης», Bommasani et al., 2022).

Επιπλέον, τα ίδια τα μοντέλα δημιουργούνται από περιορισμένες αρχιτεκτονικές: «Σχεδόν όλα τα υπερσύγχρονα μοντέλα NLP έχουν πλέον προσαρμοστεί από ένα από τα λίγα μοντέλα θεμελίωσης, όπως BERT, RoBERTa, BART, T5, κ.λπ. Ενώ αυτή η ομογενοποίηση παράγει εξαιρετικά υψηλή μόχλευση (οποιεσδήποτε βελτιώσεις στα μοντέλα θεμελίωσης μπορούν να οδηγήσουν σε άμεσα οφέλη σε όλο το NLP), είναι επίσης μια υποχρέωση. όλα τα συστήματα τεχνητής νοημοσύνης ενδέχεται να κληρονομήσουν τις ίδιες προβληματικές προκαταλήψεις μερικών μοντέλων θεμελίωσης (Οι Bommasani et al.) "

Για να αντικατοπτρίζει καλύτερα η γενετική τεχνητή νοημοσύνη τις διαφορετικές κοινότητες που εξυπηρετεί, μια πολύ μεγαλύτερη ποικιλία δεδομένων ανθρώπινων όντων πρέπει να αντιπροσωπεύεται σε μοντέλα.

Η αξιολόγηση της ακρίβειας του μοντέλου πηγαίνει χέρι-χέρι με την αξιολόγηση της μεροληψίας. Πρέπει να ρωτήσουμε ποιος είναι ο σκοπός του μοντέλου και για ποιους είναι βελτιστοποιημένο; Σκεφτείτε, για παράδειγμα, ποιος ωφελείται περισσότερο από τους αλγόριθμους συστάσεων περιεχομένου και τους αλγόριθμους μηχανών αναζήτησης. Τα ενδιαφερόμενα μέρη μπορεί να έχουν πολύ διαφορετικά ενδιαφέροντα και στόχους. Οι αλγόριθμοι και τα μοντέλα απαιτούν στόχους ή διακομιστή μεσολάβησης για το σφάλμα Bayes: το ελάχιστο σφάλμα που πρέπει να βελτιωθεί ένα μοντέλο. Αυτός ο διακομιστής μεσολάβησης είναι συχνά ένα άτομο, όπως ένας ειδικός σε θέματα με εξειδίκευση στον τομέα.

Μια πολύ ανθρώπινη πρόκληση: Αξιολόγηση του κινδύνου πριν από την προμήθεια ή την ανάπτυξη του μοντέλου

Οι αναδυόμενοι κανονισμοί και σχέδια δράσης για την τεχνητή νοημοσύνη υπογραμμίζουν ολοένα και περισσότερο τη σημασία των αλγοριθμικών εντύπων αξιολόγησης επιπτώσεων. Ο στόχος αυτών των φορμών είναι να συλλάβουν κρίσιμες πληροφορίες σχετικά με μοντέλα τεχνητής νοημοσύνης, έτσι ώστε οι ομάδες διακυβέρνησης να μπορούν να αξιολογήσουν και να αντιμετωπίσουν τους κινδύνους τους πριν τα αναπτύξουν. Οι τυπικές ερωτήσεις περιλαμβάνουν:

• Ποια είναι η περίπτωση χρήσης του μοντέλου σας;
• Ποιοι είναι οι κίνδυνοι για διαφορετικές επιπτώσεις;
• Πώς αξιολογείτε τη δικαιοσύνη;
• Πώς εξηγείτε το μοντέλο σας;

Αν και έχει σχεδιαστεί με καλές προθέσεις, το ζήτημα είναι ότι οι περισσότεροι κάτοχοι μοντέλων τεχνητής νοημοσύνης δεν κατανοούν πώς να αξιολογούν τους κινδύνους για την περίπτωση χρήσης τους. Μια κοινή επωδός μπορεί να είναι, "Πώς θα μπορούσε το μοντέλο μου να είναι άδικο αν δεν συλλέγει προσωπικά στοιχεία ταυτοποίησης (PII);" Κατά συνέπεια, τα έντυπα σπάνια συμπληρώνονται με την απαραίτητη προσοχή ώστε τα συστήματα διακυβέρνησης να επισημαίνουν με ακρίβεια τους παράγοντες κινδύνου.

Έτσι, υπογραμμίζεται η κοινωνικο-τεχνική φύση της λύσης. Ένας κάτοχος μοντέλου —ένα άτομο— δεν μπορεί απλώς να λάβει μια λίστα πλαισίων ελέγχου για να αξιολογήσει εάν η περίπτωση χρήσης του θα προκαλέσει βλάβη. Αντίθετα, αυτό που απαιτείται είναι ομάδες ανθρώπων με ευρέως διαφορετικές εμπειρίες στον κόσμο να συγκεντρωθούν σε κοινότητες που προσφέρουν ψυχολογική ασφάλεια για να έχουν δύσκολες συζητήσεις σχετικά με ετερόκλητο αντίκτυπο.

Καλωσορίζουμε ευρύτερες προοπτικές για αξιόπιστη τεχνητή νοημοσύνη

Η IBM® πιστεύει στην υιοθέτηση μιας προσέγγισης «πελάτη μηδέν», εφαρμόζοντας τις συστάσεις και τα συστήματα που θα έκανε για τους δικούς της πελάτες σε συμβουλευτικές λύσεις και λύσεις που βασίζονται σε προϊόντα. Αυτή η προσέγγιση επεκτείνεται σε ηθικές πρακτικές, γι' αυτό η IBM δημιούργησε ένα Αξιόπιστο Κέντρο Αριστείας AI (COE).

Όπως εξηγήθηκε παραπάνω, η ποικιλία των εμπειριών και των συνόλων δεξιοτήτων είναι κρίσιμη για την ορθή αξιολόγηση των επιπτώσεων της τεχνητής νοημοσύνης. Αλλά η προοπτική της συμμετοχής σε ένα Κέντρο Αριστείας θα μπορούσε να είναι τρομακτική σε μια εταιρεία που ξεσπά από καινοτόμους τεχνητής νοημοσύνης, ειδικούς και διακεκριμένους μηχανικούς, επομένως απαιτείται η καλλιέργεια μιας κοινότητας ψυχολογικής ασφάλειας. Η IBM το ανακοινώνει ξεκάθαρα λέγοντας: «Ενδιαφέρεστε για την τεχνητή νοημοσύνη; Ενδιαφέρεστε για την ηθική της AI; Έχεις μια θέση σε αυτό το τραπέζι».

Το COE προσφέρει εκπαίδευση στην ηθική της τεχνητής νοημοσύνης σε επαγγελματίες σε κάθε επίπεδο. Προσφέρονται τόσο προγράμματα σύγχρονης μάθησης (δάσκαλος και μαθητές στην τάξη) όσο και ασύγχρονα (αυτοκαθοδηγούμενα).

Αλλά είναι του COE εφαρμοσμένος εκπαίδευση που δίνει στους επαγγελματίες μας τις βαθύτερες γνώσεις, καθώς συνεργάζονται με παγκόσμιες, ποικίλες, πολυεπιστημονικές ομάδες σε πραγματικά έργα για την καλύτερη κατανόηση των διαφορετικών επιπτώσεων. Επίσης, αξιοποιούν τα πλαίσια σχεδιασμού σκέψης της IBM Σχεδιασμός για AI η ομάδα χρησιμοποιεί εσωτερικά και με πελάτες για να αξιολογήσει τις ακούσιες επιπτώσεις των μοντέλων τεχνητής νοημοσύνης, κρατώντας εκείνους που συχνά περιθωριοποιούνται στην κορυφή του μυαλού. (Βλέπε Sylvia Duckworth's Τροχός δύναμης και προνομίων για παραδείγματα του τρόπου με τον οποίο διασταυρώνονται τα προσωπικά χαρακτηριστικά για να ευνοούν ή να περιθωριοποιούν τους ανθρώπους.) Η IBM δώρισε επίσης πολλά από τα πλαίσια στην κοινότητα ανοιχτού κώδικα Σχεδιασμός ηθικά.

Παρακάτω είναι μερικές από τις αναφορές που έχει δημοσιεύσει η IBM σχετικά με αυτά τα έργα:

Απαιτούνται αυτοματοποιημένα εργαλεία διακυβέρνησης μοντέλων τεχνητής νοημοσύνης για τη συλλογή σημαντικών πληροφοριών σχετικά με την απόδοση του μοντέλου τεχνητής νοημοσύνης. Σημειώστε, όμως, ότι η σύλληψη του κινδύνου πολύ πριν αναπτυχθεί και τεθεί σε παραγωγή το μοντέλο σας είναι η βέλτιστη. Δημιουργώντας κοινότητες διαφορετικών, διεπιστημονικών επαγγελματιών που προσφέρουν έναν ασφαλή χώρο στους ανθρώπους για να έχουν σκληρές συζητήσεις σχετικά με ετερόκλητο αντίκτυπο, μπορείτε να ξεκινήσετε το ταξίδι σας προς τη λειτουργικότητα των αρχών σας και να αναπτύξετε την τεχνητή νοημοσύνη υπεύθυνα.

Στην πράξη, όταν προσλαμβάνετε επαγγελματίες τεχνητής νοημοσύνης, σκεφτείτε ότι πάνω από το 70% της προσπάθειας για τη δημιουργία μοντέλων είναι η επιμέλεια των σωστών δεδομένων. Θέλετε να προσλάβετε άτομα που ξέρουν πώς να συλλέγουν δεδομένα που είναι αντιπροσωπευτικά και που συλλέγονται επίσης με συναίνεση. Θέλετε επίσης άτομα που γνωρίζουν να συνεργάζονται στενά με ειδικούς του τομέα για να βεβαιωθούν ότι έχουν τη σωστή προσέγγιση. Η διασφάλιση ότι αυτοί οι επαγγελματίες έχουν τη συναισθηματική νοημοσύνη για να προσεγγίσουν την πρόκληση της υπεύθυνης επιμέλειας της τεχνητής νοημοσύνης με ταπεινότητα και διάκριση είναι το κλειδί. Πρέπει να μάθουμε πώς να αναγνωρίζουμε πώς και πότε τα συστήματα τεχνητής νοημοσύνης μπορούν να επιδεινώσουν την ανισότητα, όσο μπορούν να αυξήσουν την ανθρώπινη νοημοσύνη.

Ανακαλύψτε ξανά πώς λειτουργεί η επιχείρησή σας με την τεχνητή νοημοσύνη