Η μελέτη δείχνει ότι η επιλογή του μοντέλου AI θα μπορούσε να προκαλέσει προκατάληψη


Παρακολουθήστε τη Σύνοδο Κορυφής GamesBeat 2021 από 28-29 Απριλίου. Εγγραφείτε για δωρεάν ή VIP κάρτα σήμερα.


Τα τελευταία χρόνια έχουν καταστεί σαφές ότι η τεχνητή νοημοσύνη και η μηχανική μάθηση δεν αποτελούν πανάκεια όσον αφορά τα δίκαια αποτελέσματα. Η εφαρμογή αλγοριθμικών λύσεων σε κοινωνικά προβλήματα μπορεί να ενισχύσει τις προκαταλήψεις κατά των περιθωριοποιημένων ατόμων. η υπο δειγματοληψία των πληθυσμών καθορίζει πάντα μια χειρότερη προγνωστική ακρίβεια. Αλλά οι προκαταλήψεις στο AI δεν προέρχονται μόνο από σύνολα δεδομένων. Η διατύπωση προβλημάτων ή ο τρόπος με τον οποίο οι ερευνητές προσαρμόζουν τις εργασίες στις τεχνικές AI μπορεί να βοηθήσουν. Έτσι μπορούν και άλλα ανθρώπινα βήματα κατά τη διάρκεια του αγωγού ανάπτυξης AI.

Για το σκοπό αυτό, ένα νέο αυτή μελετάει συν-συγγραφέας ερευνητών του Πανεπιστημίου Cornell και Brown διερευνά τα προβλήματα της επιλογής μοντέλων, τη διαδικασία με την οποία οι μηχανικοί επιλέγουν μοντέλα μηχανικής μάθησης για εφαρμογή μετά την εκπαίδευση και την επικύρωση. Διαπίστωσαν ότι η επιλογή μοντέλων προσφέρει μια άλλη ευκαιρία για την εισαγωγή προκατάληψης, επειδή οι μετρήσεις που χρησιμοποιούνται για τη διάκριση μεταξύ μοντέλων υπόκεινται σε ερμηνεία και κρίση.

Στη μηχανική εκμάθηση, ένα μοντέλο συνήθως εκπαιδεύεται σε ένα σύνολο δεδομένων και αξιολογείται για μια μέτρηση (για παράδειγμα, ακρίβεια) σε ένα σύνολο δεδομένων δοκιμής. Για τη βελτίωση της απόδοσης, η μαθησιακή διαδικασία μπορεί να επαναληφθεί. Η επανεκπαίδευση έως ότου δημιουργηθεί ένα ικανοποιητικό μοτίβο πολλών είναι αυτό που είναι γνωστό ως «βαθμός ελευθερίας του ερευνητή».

Αν και οι ερευνητές μπορούν να αναφέρουν τη μέση απόδοση για έναν περιορισμένο αριθμό μοντέλων, συχνά δημοσιεύουν αποτελέσματα χρησιμοποιώντας ένα συγκεκριμένο σύνολο μεταβλητών που μπορούν να αποκρύψουν την πραγματική απόδοση ενός μοντέλου. Αυτό παρουσιάζει μια πρόκληση, επειδή άλλες ιδιότητες του μοντέλου μπορούν να αλλάξουν κατά τη διάρκεια της προπόνησης. Φαινομενικά ελάχιστες διαφορές στην ακρίβεια μεταξύ ομάδων μπορούν να πολλαπλασιαστούν σε μεγάλες ομάδες, επηρεάζοντας την ισότητα σε σχέση με ορισμένα δημογραφικά στοιχεία.

Οι συν-συγγραφείς επισημαίνουν μια μελέτη περίπτωσης στην οποία τα υποκείμενα δοκιμής κλήθηκαν να επιλέξουν ένα “σωστό” μοντέλο ανίχνευσης καρκίνου του δέρματος με βάση τις μετρήσεις που προσδιορίστηκαν. Συντριπτικά, τα θέματα επέλεξαν ένα μοντέλο με τη μέγιστη ακρίβεια παρόλο που έδειξαν τη μεγαλύτερη ανισότητα μεταξύ ανδρών και γυναικών. Αυτό είναι προβληματικό στην επιφάνεια. Η συμπερίληψη αυτών των μετρήσεων θα μπορούσε να έχει ωθήσει τα θέματα να κάνουν διαφορετικές επιλογές σχετικά με το ποιο μοντέλο ήταν το “καλύτερο”.

“Το βασικό σημείο είναι ότι οι πληροφορίες με βάση τα συμφραζόμενα είναι πολύ σημαντικές για την επιλογή μοντέλου, ιδιαίτερα όσον αφορά τις μετρήσεις που επιλέγουμε να ενημερώσουμε την απόφαση επιλογής”, έγραψαν οι συν-συγγραφείς της μελέτης. “Επιπλέον, η μεταβλητότητα της απόδοσης του υποπληθυσμού, όπου οι υποπληθυσμοί χωρίζονται σε προστατευμένα χαρακτηριστικά, μπορεί να είναι ένα κρίσιμο μέρος αυτού του πλαισίου, το οποίο με τη σειρά του έχει επιπτώσεις στην ισότητα.”

Πέρα από την επιλογή μοντέλων και τη διατύπωση προβλημάτων, η έρευνα αρχίζει να ρίχνει φως στους διάφορους τρόπους με τους οποίους οι άνθρωποι θα μπορούσαν να συμβάλουν στην προκατάληψη του μοντέλου. Για παράδειγμα, ερευνητές από το MIT το βρήκα πάνω από 2.900 λάθη που προέκυψαν από σφάλματα ετικετών στο ImageNet, μια βάση δεδομένων εικόνων που χρησιμοποιείται για την εκπαίδευση αμέτρητων αλγορίθμων όρασης υπολογιστή. Μια ξεχωριστή Κολούμπια αυτή μελετάει κατέληξε στο συμπέρασμα ότι οι προκατειλημμένες αλγοριθμικές προβλέψεις προκαλούνται κυρίως από μη ισορροπημένα δεδομένα, αλλά ότι τα δημογραφικά στοιχεία των μηχανικών διαδραματίζουν επίσης ρόλο, με τα μοντέλα που δημιουργούνται από λιγότερο διαφορετικές ομάδες να γίνονται χειρότερα.

Σε μελλοντικές εργασίες, το Πανεπιστήμιο Cornell και Brown δηλώνουν ότι σκοπεύουν να δουν αν μπορούν να βελτιώσουν το πρόβλημα της μεταβλητότητας των επιδόσεων μέσω μεθόδων “AutoML”, οι οποίες αποσυνδέουν τη διαδικασία επιλογής μοντέλου από την ανθρώπινη επιλογή. Ωστόσο, η έρευνα προτείνει ότι ενδέχεται να χρειαστούν νέες προσεγγίσεις για τον μετριασμό των ανθρώπινων πηγών προκατάληψης.

VentureBeat

Η αποστολή της VentureBeat είναι να είναι ένα ψηφιακό τετράγωνο πόλης για τεχνικούς υπεύθυνους λήψης αποφάσεων για να αποκτήσουν πληροφορίες σχετικά με τη μετασχηματιστική τεχνολογία και τις συναλλαγές. Ο ιστότοπός μας παρέχει βασικές πληροφορίες σχετικά με τις τεχνολογίες δεδομένων και τις στρατηγικές για να σας καθοδηγήσει καθώς οδηγείτε τους οργανισμούς σας. Σας προσκαλούμε να γίνετε μέλος της κοινότητάς μας, για πρόσβαση:

  • ενημερωμένες πληροφορίες για θέματα που σας ενδιαφέρουν
  • τα ενημερωτικά δελτία μας
  • κορυφαίο περιφραγμένο περιεχόμενο και μειωμένη πρόσβαση στις εκδηλώσεις top quality, όπως Μετασχηματισμός 2021: Για να μάθετε περισσότερα
  • δυνατότητες δικτύωσης και άλλα

Γίνομαι μέλος



[via]

Αυτός ο ιστότοπος χρησιμοποιεί το Akismet για να μειώσει τα ανεπιθύμητα σχόλια. Μάθετε πώς υφίστανται επεξεργασία τα δεδομένα των σχολίων σας.