Οι ερευνητές δείχνουν ότι οι προ-εκπαιδευμένοι αλγόριθμοι υπολογιστικής όρασης στο ImageNet παρουσιάζουν πολλές δυσάρεστες προκαταλήψεις

Δημιουργία σεξιστικών εικόνων iGPT


Προηγμένα μοντέλα AI για εκπαιδευμένη ταξινόμηση εικόνας ImageNet, ένα δημοφιλές (αλλά προβληματικός) το σύνολο δεδομένων που περιέχει φωτογραφίες που τραβήχτηκαν από το Διαδίκτυο, μαθαίνει αυτόματα ανθρώπινες προκαταλήψεις σχετικά με τη φυλή, το φύλο, το βάρος και πολλά άλλα. Αυτό είναι δεύτερο νέα έρευνα από επιστήμονες στο Πανεπιστήμιο Carnegie Mellon και στο Πανεπιστήμιο George Washington, οι οποίοι έχουν αναπτύξει αυτό που ισχυρίζονται ότι είναι μια νέα μέθοδος για τον ποσοτικό προσδιορισμό παραμορφωμένων συσχετίσεων μεταξύ αναπαραστάσεων κοινωνικών εννοιών (π.χ. φυλή και φύλο) και χαρακτηριστικά σε εικόνες. Σε σύγκριση με τα στατιστικά μοτίβα σε διαδικτυακά σύνολα δεδομένων εικόνων, τα ευρήματα υποδηλώνουν ότι τα μοντέλα μαθαίνουν αυτόματα προκατάληψη από το πώς οι άνθρωποι αντιπροσωπεύονται στερεοτυπικά στον ιστό.

Οι εταιρείες και οι ερευνητές χρησιμοποιούν τακτικά μοντέλα μηχανικής μάθησης που σχηματίζονται σε τεράστια σύνολα δεδομένων εικόνας στο Διαδίκτυο. Για τη μείωση του κόστους, πολλοί χρησιμοποιούν υπερσύγχρονα μοντέλα προ-εκπαιδευμένα σε μεγάλες εταιρείες για να βοηθήσουν στην επίτευξη άλλων στόχων – μια ισχυρή προσέγγιση που ονομάζεται μεταφορά μάθησης. Ένας αυξανόμενος αριθμός μεθόδων μηχανικής όρασης δεν παρακολουθείται, πράγμα που σημαίνει ότι δεν χρησιμοποιούν ετικέτες κατά τη διάρκεια της προπόνησης. Με τη βελτιστοποίηση, οι επαγγελματίες συνδυάζουν γενικές αναπαραστάσεις με ετικέτες τομέα για την εκτέλεση εργασιών όπως αναγνώριση προσώπου, επιλογή υποψηφίου εργασίας, αυτόνομα οχήματα και προβολή διαφημίσεων στο διαδίκτυο.

Ξεκινώντας από την υπόθεση ότι οι αναπαραστάσεις εικόνων περιέχουν προκαταλήψεις που αντιστοιχούν σε στερεότυπα ομάδων στις εικόνες εκπαίδευσης, οι ερευνητές προσαρμόζουν τις δοκιμές παραμόρφωσης που έχουν σχεδιαστεί για την ενσωμάτωση λέξεων στο πλαίσιο της εικόνας. (Οι ενσωματώσεις λέξεων είναι τεχνικές μοντελοποίησης γλώσσας στις οποίες οι λέξεις σε ένα λεξιλόγιο χαρτογραφούνται σε διανύσματα πραγματικών αριθμών, επιτρέποντας στα μοντέλα να μάθουν από αυτά.) υλοποιήσεις (δηλ. διανύσματα που αντιπροσωπεύουν εικόνες), με σκοπό τη μέτρηση ενσωματωμένων προκαταλήψεων κατά τη διάρκεια της προπαρασκευαστικής προετοιμασίας χωρίς επίβλεψη, συγκρίνοντας συστηματικά τη σχέση των ενσωματώσεων.

Για να διερευνήσουν ποια είδη προκαταλήψεων μπορούν να ενσωματωθούν σε παραγόμενες αναπαραστάσεις εικόνων όπου δεν υπάρχουν ετικέτες τάξης, οι ερευνητές επικεντρώθηκαν σε δύο μοντέλα μηχανικής όρασης που δημοσιεύθηκαν το περασμένο καλοκαίρι: OpenAI’s iGPT και το SimCLRv2 της Google. Και οι δύο είχαν προ-εκπαιδευτεί στο ImageNet 2012, το οποίο περιέχει 1,2 εκατομμύρια σχολιασμένες εικόνες από το Flickr και άλλους ιστότοπους κοινής χρήσης φωτογραφιών με 200 κλάσεις αντικειμένων. Και όπως εξηγούν οι ερευνητές, και οι δύο μαθαίνουν να παράγουν σιωπηρά ενσωματωμένα μοτίβα σε ολόκληρο το σύνολο σχηματισμού χαρακτηριστικών εικόνας.

Οι ερευνητές συνέταξαν ένα αντιπροσωπευτικό σύνολο ερεθιστικών εικόνων ανά κατηγορίες όπως «ηλικία», «επιστήμη των φύλων», «θρησκεία», «σεξουαλικότητα», «βάρος», «αναπηρία», «τόνος δέρματος» και «φυλή». Για καθένα, σχεδίασαν αντιπροσωπευτικές εικόνες από το Google Pictures, το σύνολο δεδομένων ανοιχτού κώδικα CIFAR-100 και άλλες πηγές.

Στα πειράματα, οι ερευνητές λένε ότι έχουν ανακαλύψει στοιχεία ότι το iGPT και το SimCLRv2 περιέχουν “σημαντικές” προκαταλήψεις που πιθανόν οφείλονται στην ανισορροπία των δεδομένων του ImageNet. Προηγούμενη έρευνα έδειξε ότι το ImageNet αντιπροσωπεύει άνισα τη φυλή και το φύλο. Για παράδειγμα, η κατηγορία “γαμπρός” δείχνει κυρίως λευκούς.

Τόσο το iGPT όσο και το SimCLRv2 εμφάνισαν φυλετικές προκαταλήψεις τόσο ως προς το σθένος (δηλ. Θετικά όσο και αρνητικά συναισθήματα) και στερεότυπα. Οι γάμοι από το iGPT και το SimCLRv2 έδειξαν μεροληψία σε ένα σημείο αναφοράς του αραβικού-μουσουλμάνου iEAT που μετρούσε εάν οι εικόνες Αραβών-Αμερικανών θεωρούνταν πιο «ευχάριστες» ή «δυσάρεστες» από άλλες. Το iGPT επηρεάστηκε σε μια δοκιμή τόνου δέρματος που συνέκρινε τις αντιλήψεις των ανοιχτόχρωμων και πιο σκούρων προσώπων. (Οι ελαφρύτεροι ήχοι θεωρήθηκαν από το μοντέλο ως πιο «θετικοί».) Και το iGPT και το SimCLRv2 συσχετίζουν τα λευκά με εργαλεία ενώ συσχετίζουν μαύρους με όπλα, μια μεροληψία παρόμοια με αυτήν που φαίνεται από το Google Cloud Vision, την υπηρεσία υπολογιστικής όρασης. της Google, αυτό ήταν βρέθηκαν για την επισήμανση εικόνων μελαχροινών ατόμων που κρατούν θερμόμετρα “όπλο”.

Πέρα από τη φυλετική προκατάληψη, οι συν-συγγραφείς αναφέρουν ότι η μεροληψία φύλου και βάρους μαστίζει τα υποτιθέμενα μοντέλα iGPT και SimCLRv2. Σε ένα τεστ καριέρας φύλου iEAT που υπολόγιζε την εγγύτητα της κατηγορίας “άνδρας” σε “επιχειρήσεις” και “γραφείο” και “γυναίκα” σε χαρακτηριστικά όπως “παιδιά” και “σπίτι”, οι ενσωματώσεις μοντέλων ήταν στερεότυπα. Στην περίπτωση του iGPT, ένα σημείο αναφοράς για την επιστήμη των φύλων έχει σχεδιαστεί για να κρίνει τις σχέσεις του «άνδρα» με «επιστημονικά» χαρακτηριστικά όπως τα μαθηματικά και τη μηχανική και τα «θηλυκά» με τις «φιλελεύθερες τέχνες» χαρακτηριστικά όπως η τέχνη έδειξαν παρόμοια προκατάληψη. Και το iGPT έχει δείξει μια αγάπη για τα ελαφρύτερα άτομα όλων των φύλων και φυλών, συνδέοντας τα λεπτά άτομα με ευχαρίστηση και υπέρβαρα άτομα με δυσάρεστη.

Οι ερευνητές αναφέρουν επίσης ότι τα χαρακτηριστικά πρόβλεψης του επόμενου επιπέδου του iGPT ήταν προκατειλημμένα έναντι των γυναικών στις δοκιμές τους. Για να το δείξουν, έκοψαν πορτρέτα γυναικών και ανδρών, συμπεριλαμβανομένης της Alexandria Ocasio-Cortez (D-NY) κάτω από το λαιμό και χρησιμοποίησαν το iGPT για να δημιουργήσουν πολλές πλήρεις εικόνες. Οι ολοκληρώσεις IGPT των κανονικών εσωτερικών και εξωτερικών επαγγελματικών πορτρέτων ντυμένων γυναικών και ανδρών έδειχναν συχνά μεγάλα στήθη και μαγιό. Σε έξι από τα δέκα συνολικά πορτρέτα που δοκιμάστηκαν, τουλάχιστον μία από τις οκτώ ολοκληρώσεις παρουσίασε μπικίνι ή χαμηλή κορυφή.

Δυστυχώς, τα αποτελέσματα δεν προκαλούν έκπληξη: αμέτρητες μελέτες έχουν δείξει ότι η αναγνώριση προσώπου είναι ευαίσθητη σε προκατάληψη. Ένα έγγραφο το περασμένο φθινόπωρο Από το Πανεπιστήμιο του Κολοράντο, οι ερευνητές του Boulder έδειξαν ότι η τεχνητή νοημοσύνη από την Amazon, την Clarifai, τη Microsoft και άλλους διατήρησε ποσοστά ακρίβειας άνω του 95% για άνδρες και γυναίκες cisgender, αλλά εσφαλμένα αναγνωρισμένοι άνδρες ως 38% γυναίκες. ωρες ωρες. Ανεξάρτητα σημεία αναφοράς συστημάτων από κορυφαίους προμηθευτές της Αποχρώσεις του φύλου έργο e το Εθνικό Ινστιτούτο Προτύπων και Τεχνολογίας (NIST) έδειξε ότι η τεχνολογία αναγνώρισης προσώπου παρουσιάζει φυλετική και μεροληψία φύλου και πρότεινε ότι τα τρέχοντα προγράμματα αναγνώρισης προσώπου μπορεί να είναι εξαιρετικά ανακριβή, εσφαλμένα να ταξινομούν άτομα άνω των 96% του χρόνου.

Ωστόσο, πρέπει να σημειωθεί ότι καταβάλλονται προσπάθειες για τη δημιουργία του ImageNet πιο περιεκτική και λιγότερο τοξική. Πέρυσι, η ομάδα από το Στάνφορντ, το Πρίνστον και το Πανεπιστήμιο της Βόρειας Καρολίνας πίσω από το σύνολο δεδομένων χρησιμοποίησε το crowdsourcing για τον εντοπισμό και την κατάργηση υποτιμητικών λέξεων και φωτογραφιών. Αξιολόγησαν επίσης τη δημογραφική και γεωγραφική ποικιλομορφία στις φωτογραφίες του ImageNet και ανέπτυξαν ένα εργαλείο για να αναδείξουν πιο διαφορετικές εικόνες όσον αφορά το φύλο, τη φυλή και την ηλικία.

“Παρόλο που μοντέλα όπως αυτά μπορεί να είναι χρήσιμα για τον ποσοτικό προσδιορισμό της σύγχρονης κοινωνικής προκατάληψης, καθώς αντιπροσωπεύονται σε μεγάλες ποσότητες εικόνων στο Διαδίκτυο, τα αποτελέσματά μας υποδηλώνουν ότι η χρήση μη επιτηρούμενης προετοιμασίας σε εικόνες μεγάλης κλίμακας θα μπορούσε να προκαλέσει επιβλαβείς προκαταλήψεις.” Οι ερευνητές του Carnegie Mellon και του Πανεπιστημίου George Washington έγραψαν σε ένα έγγραφο που περιγράφει λεπτομερώς το έργο τους, το οποίο δεν έχει αξιολογηθεί από ομοτίμους. «Δεδομένου του υψηλού υπολογιστικού κόστους και του κόστους κατάρτισης άνθρακα σε μοντέλα μεγάλης κλίμακας, η μεταφορά της μάθησης με προ-εκπαιδευμένα μοντέλα είναι μια ελκυστική επιλογή για επαγγελματίες. Αλλά τα ευρήματά μας δείχνουν ότι τα στερεότυπα πρότυπα αναπαραγωγής των κοινωνικών ομάδων επηρεάζουν τα μη εποπτευόμενα πρότυπα, οπότε απαιτείται προσεκτική έρευνα και ανάλυση προτού αυτά τα πρότυπα λάβουν επακόλουθες αποφάσεις για τα άτομα και την κοινωνία. “


Πώς οι επιχειρήσεις ξεκινούν την επικοινωνία:

Η πανδημία οδηγεί τις νεοσύστατες επιχειρήσεις να ρίξουν μια πιο προσεκτική ματιά στην άνοδο των λύσεων επικοινωνίας τους. Μάθε πως να




[via]