Ακρίβεια GPT-3

Οι ερευνητές προτείνουν διόρθωση προκατάληψης για το GPT-3 και άλλα γλωσσικά μοντέλα


Η εκμάθηση με μερικές πινελιές ή η ικανότητα εκμάθησης καθηκόντων από μερικά παραδείγματα, είναι μια βασική πτυχή της ανθρώπινης νοημοσύνης. Υπέροχα μοντέλα φυσικής γλώσσας AI όπως το OpenAI GPT-3 μπορεί να εκτελέσει την εκμάθηση μερικών πινελιών χωρίς συντονισμό. Όμως, παρά την υπόσχεση της μάθησης με λίγες πινελιές, νέα έρευνα σημειώνει ότι η ακρίβεια των γλωσσικών μοντέλων, ιδίως του GPT-3, μπορεί να είναι «εξαιρετικά ασταθής», ελλείψει βαθμονόμησης.

Η έρευνα, η οποία συν-συντάχθηκε από επιστήμονες στο UC Berkeley, στο UC Irvine και στο Πανεπιστήμιο του Μέριλαντ, είναι η τελευταία που εντοπίζει ελαττώματα στο GPT-3 και σε άλλα παρόμοια μοντέλα. Το ίδιο το OpenAI σημειώνει ότι το GPT-3 τοποθετεί λέξεις όπως “κακές” ή “απορροφημένες” δίπλα στις γυναικείες αντωνυμίες και το “Ισλάμ” δίπλα σε λέξεις όπως “τρομοκρατία”. Ενα έγγραφο Υποψήφιος διδάκτορας του Πανεπιστημίου του Στάνφορντ ε Γκράδιο Ο ιδρυτής Abubakar Abid παρουσίασε λεπτομερώς τις αντι-μουσουλμανικές τάσεις του κειμένου που δημιουργήθηκε από το GPT-3. Και το Κέντρο για την Τρομοκρατία, τον Εξτρεμισμό και την Αντιτρομοκρατία του Ινστιτούτου Διεθνών Σπουδών του Middlebury υποστηρίζει ότι το GPT-3 θα μπορούσε αξιόπιστα να δημιουργήσει «ενημερωτικό» και «επιρροή» κείμενο που θα μπορούσε να «ριζοσπαστικοποιήσει τα άτομα σε βίαιες ιδεολογίες και συμπεριφορές.

Υποθέτοντας ότι το GPT-3 είναι ευαίσθητο σε ορισμένους τύπους αστάθειας, οι ερευνητές συνέκριναν το μοντέλο χρησιμοποιώντας το API OpenAI χρησιμοποιώντας παραδείγματα εκπαίδευσης από σύνολα δεδομένων για ταξινόμηση κειμένου, ανάκτηση γεγονότων και εξαγωγή πληροφοριών. Τα παραδείγματα ήταν σε μια σειρά διαφορετικών μορφών και παραγγελιών, συμπεριλαμβανομένων προτύπων ερωτήσεων-απαντήσεων, προτύπων στυλ συνομιλίας και μηνυμάτων που μοιάζουν με συγκεκριμένες ιστοσελίδες.

Στα πειράματά τους, οι ερευνητές διαπίστωσαν ότι διαφορετικές επιλογές σχετικά με τη μορφή και τη σειρά θα μπορούσαν να οδηγήσουν σε διακυμάνσεις στην ακρίβεια. Για παράδειγμα, η αλλαγή της σειράς των παραδειγμάτων εκπαίδευσης καθώς η GPT-3 ταξινόμησε το συναίσθημά τους προκάλεσε μια αλλαγή στην ακρίβεια από σχεδόν τυχαία (54%) σε σχεδόν άκρη (93%). Είναι ενδιαφέρον ότι η προσθήκη περισσότερων παραδειγμάτων εκπαίδευσης στα παραδείγματα προπόνησης δεν μείωσε απαραίτητα τη διακύμανση της ακρίβειας, με ορισμένα παραδείγματα προπόνησης να πλήττουν ακόμη και την ακρίβεια.

Οι ερευνητές λένε ότι έχουν εντοπίσει τρεις παγίδες που οδηγούν τα γλωσσικά μοτίβα όπως το GPT-3 να προκαλούν προκατάληψη σε ορισμένες απαντήσεις: μεροληψία πλειοψηφίας, μεροληψία προσφάτων και κοινή μεροληψία. Οι περισσότερες προκαταλήψεις ετικέτας και πρόσφατης θέσης οδηγούν το μοντέλο να προβλέψει αποκρίσεις που εμφανίζονται συχνά ή προς το τέλος μιας προτροπής. Από την άλλη πλευρά, η κοινή μεροληψία συμβολισμού οδηγεί το μοντέλο να προτιμά συχνές απαντήσεις στα δεδομένα προ-εκπαίδευσης, για παράδειγμα “Ηνωμένες Πολιτείες” έναντι της “Αγίας Λουκίας”.

Οι ερευνητές προσπάθησαν να αντισταθμίσουν αυτές τις προκαταλήψεις «βαθμονομώντας» την κατανομή της παραγωγής, εκτιμώντας την προκατάληψη του μοντέλου προς ορισμένες αποκρίσεις τροφοδοτώντας εικονικές εισόδους χωρίς περιεχόμενο (π.χ. «N / A»). Προσαρμόστηκαν οι παράμετροι βαθμονόμησης έτσι ώστε η είσοδος χωρίς περιεχόμενο να έχει ομοιόμορφες βαθμολογίες για κάθε απόκριση, την οποία ισχυρίζονται ότι παρείχε μια καλή ρύθμιση παραμέτρων χωρίς πρόσθετα δεδομένα εκπαίδευσης.

Τα αποτελέσματα των πειραμάτων δείχνουν ότι η βαθμονόμηση βελτίωσε σταθερά την ακρίβεια του GPT-3 μέσω γρήγορων μορφών και παραδειγμάτων, καθιστώντας την ακρίβεια πιο σταθερή. “Μέσω λεπτομερούς ανάλυσης, εντοπίσαμε ότι αυτή η αστάθεια πηγάζει από προκαταλήψεις στα γλωσσικά μοντέλα, για παράδειγμα, την τάση τους να παράγουν πρόσφατα ή κοινά σύμβολα”, έγραψαν οι συν-συγγραφείς σε ένα έγγραφο που περιγράφει το έργο τους. “Χρησιμοποιούμε αυτές τις πληροφορίες για να αναπτύξουμε βαθμονόμηση με βάση τα συμφραζόμενα – μια απλή διαδικασία για την προσαρμογή των πιθανοτήτων εξόδου μοντέλου – που βελτιώνει την ακρίβεια, μειώνει τη διακύμανση και, γενικά, καθιστά εργαλεία όπως το GPT-3 πιο αποτελεσματικό για τους τελικούς χρήστες.”

VentureBeat

Η αποστολή της VentureBeat είναι να είναι ένα ψηφιακό τετράγωνο πόλης για τεχνικούς υπεύθυνους λήψης αποφάσεων για να αποκτήσουν πληροφορίες σχετικά με τη μετασχηματιστική τεχνολογία και τις συναλλαγές. Ο ιστότοπός μας παρέχει βασικές πληροφορίες σχετικά με τις τεχνολογίες δεδομένων και τις στρατηγικές για να σας καθοδηγήσει καθώς οδηγείτε τους οργανισμούς σας. Σας προσκαλούμε να γίνετε μέλος της κοινότητάς μας, για πρόσβαση:

  • ενημερωμένες πληροφορίες για θέματα που σας ενδιαφέρουν
  • τα ενημερωτικά δελτία μας
  • Περιεχόμενο περιφραγμένο με κορυφαία σκέψη και μειωμένη πρόσβαση στις πολύτιμες εκδηλώσεις μας, όπως το Remodel
  • δυνατότητες δικτύωσης και άλλα

Γίνομαι μέλος



[via]

Αυτός ο ιστότοπος χρησιμοποιεί το Akismet για να μειώσει τα ανεπιθύμητα σχόλια. Μάθετε πώς υφίστανται επεξεργασία τα δεδομένα των σχολίων σας.