Η έρευνα για την τεχνητή νοημοσύνη της Google για τον καρκίνο του μαστού είναι άσκοπη χωρίς διαφάνεια, λένε οι επικριτές

Η έρευνα για την τεχνητή νοημοσύνη της Google για τον καρκίνο του μαστού είναι άσκοπη χωρίς διαφάνεια, λένε οι επικριτές


Τον Ιανουάριο, η Google Health and fitness, η θυγατρική της Google επικεντρώθηκε σε έρευνα σχετικά με την υγεία, κλινικά εργαλεία και συνεργασίες για υπηρεσίες υγείας, κυκλοφόρησε μια Μοντέλο AI εκπαιδεύτηκε σε περισσότερες από 90.000 ακτινογραφίες μαστογραφίας οι οποίες, σύμφωνα με την εταιρεία, είχαν καλύτερη απόδοση από τους ακτινολόγους του ανθρώπου. Η Google είπε ότι ο αλγόριθμος θα μπορούσε να αναγνωρίσει περισσότερα ψευδώς αρνητικά – το είδος των εικόνων που φαίνονται φυσιολογικά αλλά περιέχουν καρκίνο του μαστού – από την προηγούμενη εργασία, αλλά ορισμένοι γιατροί, επιστήμονες δεδομένων και μηχανικοί αμφισβητούν αυτόν τον ισχυρισμό. Σε μια διαφωνία κυκλοφόρησε σήμερα στο περιοδικό Φύση, περισσότεροι από 19 συν-συγγραφείς που συνεργάστηκαν με το Πανεπιστήμιο McGill, το Πανεπιστήμιο City της Νέας Υόρκης (CUNY), το Πανεπιστήμιο του Χάρβαρντ και το Πανεπιστήμιο του Στάνφορντ δήλωσαν ότι η έλλειψη λεπτομερών μεθόδων και κωδικών στην αναζήτηση Google “υπονομεύει την επιστημονική του αξία.”

Η επιστήμη γενικά έχει ένα πρόβλημα αναπαραγωγιμότητας: μια έρευνα του 2016 σε 1.500 επιστήμονες ανέφερε ότι το 70% από αυτούς είχαν δοκιμάσει αλλά απέτυχαν αναπαράγω τουλάχιστον ένα άλλο πείραμα επιστημόνων, αλλά ενδιαφέρεται ιδιαίτερα στον τομέα της τεχνητής νοημοσύνης. ΠΡΟΣ ΤΗΝ ICML 2019, 30% συγγραφέων απέτυχαν να υποβάλουν τον κωδικό τους με τα άρθρα τους μέχρι την έναρξη του συνεδρίου. Οι μελέτες συχνά παρέχουν αποτελέσματα αναφοράς αντί του πηγαίου κώδικα, ο οποίος καθίσταται προβληματικός όταν αμφισβητείται η πληρότητα των κριτηρίων αναφοράς. Ένα πρόσφατο σχέση διαπίστωσε ότι το 60% έως 70% των απαντήσεων που παρέχονται από μοντέλα επεξεργασίας φυσικής γλώσσας ενσωματώθηκαν κάπου στα εκπαιδευτικά σύνολα αναφοράς, υποδεικνύοντας ότι τα μοντέλα συχνά απλώς απομνημόνευαν τις απαντήσεις. Μια άλλη μελέτη, μια μετα-ανάλυση περισσότερων από 3.000 άρθρων σχετικά με την τεχνητή νοημοσύνη, διαπίστωσε ότι οι μετρήσεις που χρησιμοποιούνται για τη σύγκριση των μοντέλων AI και μηχανικής μάθησης τείνουν να είναι ασυνεπείς, ανομοιογενείς και όχι ιδιαίτερα ενημερωτικοί.

Στην ανακήρυξή τους, οι συν-συγγραφείς του Φύση Τα σχόλια επισημαίνουν ότι η έρευνα για το μοντέλο καρκίνου του μαστού της Google δεν έχει λεπτομέρειες, συμπεριλαμβανομένης μιας περιγραφής της εξέλιξης του μοντέλου, καθώς και των αγωγών επεξεργασίας και κατάρτισης δεδομένων που χρησιμοποιήθηκαν. Η Google έχει παραλείψει τον ορισμό πολλών υπερπαραμέτρων για την αρχιτεκτονική του μοντέλου (οι μεταβλητές που χρησιμοποιεί το μοντέλο για να κάνει διαγνωστικές προβλέψεις) και δεν έχει αποκαλύψει καν τις μεταβλητές που χρησιμοποιήθηκαν για την αύξηση του συνόλου δεδομένων στο οποίο εκπαιδεύτηκε το μοντέλο. Αυτό θα μπορούσε “σημαντικά” να επηρεάσει την απόδοση, το Φύση παράπονο των συν-συγγραφέων · Για παράδειγμα, είναι πιθανό ότι μία από τις αυξήσεις δεδομένων που χρησιμοποίησε η Google είχε ως αποτέλεσμα πολλές περιπτώσεις του ίδιου ασθενούς, αλλάζοντας τα τελικά αποτελέσματα.

«Στα χαρτιά και στη θεωρία, το [Google] η μελέτη είναι όμορφη, “ο Δρ. Benjamin Haibe-Kains, ανώτερος επιστήμονας στο Κέντρο Καρκίνου του Princess Margaret και πρώτος συγγραφέας του Φύση σχόλιο, Είπε. “Αλλά αν δεν μπορούμε να μάθουμε από αυτό, τότε έχει ελάχιστη ή καθόλου επιστημονική αξία … Οι ερευνητές έχουν περισσότερα κίνητρα να δημοσιεύσουν τα ευρήματά τους παρά να ξοδέψουν χρόνο και πόρους για να διασφαλίσουν ότι η μελέτη τους μπορεί να αναπαραχθεί … Η επιστημονική πρόοδος εξαρτάται από την ικανότητα των ερευνητών να εξετάζουν τα αποτελέσματα μιας μελέτης και να αναπαράγουν τα κύρια αποτελέσματα για να μάθουν. “

Από την πλευρά της, η Google είπε ότι ο κωδικός που χρησιμοποιήθηκε για την εκπαίδευση του μοντέλου είχε μια σειρά εξαρτήσεων από εσωτερικά εργαλεία, υποδομή και υλικό, καθιστώντας αδύνατη την κυκλοφορία. Η εταιρεία ανέφερε επίσης τον ιδιόκτητο χαρακτήρα των δύο συνόλων δεδομένων εκπαίδευσης (και τα δύο είχαν άδεια) και την ευαισθησία των δεδομένων υγείας των ασθενών στην απόφασή της να μην τα απελευθερώσει. Αλλά το Φύση Οι συν-συγγραφείς σημειώνουν ότι η κοινή χρήση ακατέργαστων δεδομένων έχει γίνει πιο συνηθισμένη στη βιοϊατρική βιβλιογραφία, από λιγότερο από 1% στις αρχές της δεκαετίας του 2000 έως 20% σήμερα, και ότι οι προβλέψεις μοντέλων και οι ετικέτες δεδομένων θα μπορούσαν να είχαν κυκλοφορήσει χωρίς συμβιβασμούς προσωπικών πληροφοριών.

“[Google’s] Οι πολλαπλές εξαρτήσεις λογισμικού μεγάλης κλίμακας εφαρμογών μηχανικής μάθησης απαιτούν τον κατάλληλο έλεγχο του περιβάλλοντος λογισμικού, το οποίο μπορεί να επιτευχθεί μέσω διαχειριστών πακέτων, συμπεριλαμβανομένου του Conda, καθώς και συστημάτων εμπορευματοκιβωτίων και εικονικοποίησης, συμπεριλαμβανομένων των Code Ocean, Gigantum και Colaboratory, “αυτοί γράφτηκε από τους συν-συγγραφείς στο Φύση. “Εάν η εικονικοποίηση εσωτερικών εργαλείων αποδειχθεί δύσκολη, [Google] μπορεί να έχει κυκλοφορήσει τον κωδικό και τα έγγραφα του υπολογιστή σας. Οι συγγραφείς θα μπορούσαν επίσης να έχουν δημιουργήσει παραδείγματα παιχνιδιών για να δείξουν πώς πρέπει να υποβληθούν σε επεξεργασία νέα δεδομένα για τη δημιουργία προβλέψεων. “

ο Φύση Οι συν-συγγραφείς υποστηρίζουν ότι για τις προσπάθειες όπου διακυβεύονται ζωές – όπως θα συνέβαινε με το μοντέλο της Google εάν είχε αναπτυχθεί σε κλινικό περιβάλλον – θα πρέπει να υπάρχει υψηλό επίπεδο διαφάνειας. Εάν τα δεδομένα δεν μπορούν να κοινοποιηθούν στην κοινότητα λόγω αδειοδότησης ή άλλων ανυπέρβλητων ζητημάτων, έγραψαν, θα πρέπει να δημιουργηθεί ένας μηχανισμός έτσι ώστε ανεξάρτητοι και εκπαιδευμένοι ερευνητές να έχουν πρόσβαση στα δεδομένα και να επαληθεύουν τις αναλύσεις, επιτρέποντας την ομότιμη ανασκόπηση της μελέτης. και η απόδειξή του.

«Έχουμε μεγάλες ελπίδες για τη χρησιμότητα των μεθόδων τεχνητής νοημοσύνης στην ιατρική», έγραψαν. “Η διασφάλιση ότι αυτές οι μέθοδοι πληρούν τις δυνατότητές τους, ωστόσο, απαιτεί να είναι αναπαραγώγιμες αυτές οι μελέτες.”

Πράγματι, εν μέρει λόγω της απροθυμίας για την απελευθέρωση κώδικα, συνόλων δεδομένων και τεχνικών, πολλά από τα δεδομένα που χρησιμοποιούνται σήμερα για την εκπαίδευση αλγορίθμων AI για τη διάγνωση ασθενειών μπορούν να διαιωνίσουν τις ανισότητες. Μια ομάδα Βρετανών επιστημόνων βρέθηκαν ότι σχεδόν όλα τα σύνολα δεδομένων οφθαλμικών παθήσεων προέρχονται από ασθενείς στη Βόρεια Αμερική, την Ευρώπη και την Κίνα, πράγμα που σημαίνει ότι οι αλγόριθμοι διάγνωσης των οφθαλμικών παθήσεων είναι λιγότερο πιθανό να λειτουργούν καλά για φυλετικές ομάδες σε χώρες που υποεκπροσωπούνται. Σε μια άλλη μελέτη, ερευνητές από το Πανεπιστήμιο του Στάνφορντ δήλωσαν ότι τα περισσότερα από τα δεδομένα των ΗΠΑ για μελέτες που αφορούν ιατρικές χρήσεις της ΤΠ προέρχονται από την Καλιφόρνια, τη Νέα Υόρκη και τη Μασαχουσέτη. ΕΝΑ μελέτη ενός αλγορίθμου της ομάδας UnitedHealth αποφάσισε ότι θα μπορούσε να υποτιμήσει τον αριθμό των μαύρων ασθενών που χρειάζονται περισσότερη φροντίδα κατά το ήμισυ. Αυτό είναι στο αυξανόμενη μάζα εργασίας προτείνει ότι οι αλγόριθμοι ανίχνευσης καρκίνου του δέρματος τείνουν να είναι λιγότερο ακριβείς όταν χρησιμοποιούνται σε μαύρους ασθενείς, εν μέρει επειδή τα μοντέλα AI εκπαιδεύονται κυρίως σε εικόνες ασθενών με ανοιχτόχρωμο δέρμα.

Πέρα από τις προκλήσεις του βασικού συνόλου δεδομένων, τα μοντέλα χωρίς επαρκή αξιολόγηση από ομοτίμους μπορούν να αντιμετωπίσουν απροσδόκητα εμπόδια όταν εφαρμόζονται στον πραγματικό κόσμο. Επιστήμονες του Χάρβαρντ βρέθηκαν ότι οι αλγόριθμοι που έχουν εκπαιδευτεί να αναγνωρίζουν και να ταξινομούν αξονική τομογραφία θα μπορούσαν να αποτραπούν στη σάρωση μορφών από ορισμένους κατασκευαστές μηχανημάτων CT. Εν τω μεταξύ, δημοσίευσε ένα Google λευκό χαρτί αποκάλυψε προκλήσεις στην εφαρμογή ενός συστήματος πρόβλεψης οφθαλμικών παθήσεων σε νοσοκομεία της Ταϊλάνδης, συμπεριλαμβανομένων προβλημάτων με την ακρίβεια της σάρωσης. Και μελέτες που πραγματοποιήθηκαν από εταιρείες όπως Υγεία της Βαβυλώνας, μια καλά χρηματοδοτούμενη εκκίνηση τηλεϊατρικής που ισχυρίζεται ότι μπορεί να προχωρήσει σε μια σειρά ασθενειών από μηνύματα κειμένου, έχει αμφισβητηθεί επανειλημμένα.

“Εάν δεν αντιμετωπιστεί σωστά, η διάδοση αυτών των προκαταλήψεων κάτω από το μανδύα της τεχνητής νοημοσύνης έχει τη δυνατότητα να υπερβάλει τις ανισότητες στην υγεία που αντιμετωπίζουν οι μειονοτικοί πληθυσμοί που έχουν ήδη το μεγαλύτερο βάρος ασθένειας”, έγραψαν οι συν-συγγραφείς ενός πρόσφατο έγγραφο σε Περιοδικό της Αμερικανικής Ένωσης Ιατρικής Πληροφορικής, ο οποίος υποστήριξε ότι τα προκατειλημμένα μοντέλα μπορούν να ευνοήσουν το δυσανάλογο αντίκτυπο η πανδημία του κοροναϊού έχει στους ανθρώπους του χρώματος. “Αυτά τα εργαλεία κατασκευάζονται από παραμορφωμένα δεδομένα που αντικατοπτρίζουν παραμορφωμένα συστήματα υγείας και ως εκ τούτου τα ίδια διατρέχουν υψηλό κίνδυνο μεροληψίας, ακόμη και αν αποκλείουν ρητά ευαίσθητα χαρακτηριστικά όπως φυλή ή φύλο.”

ο Φύση οι συν-συγγραφείς υποστηρίζουν την επικύρωση ιατρικών μοντέλων από τρίτους με κάθε κόστος. Η αποτυχία να το πράξει, είπαν, θα μπορούσε να μειώσει τον αντίκτυπό της και να οδηγήσει σε ακούσιες συνέπειες. “Δυστυχώς, η βιοϊατρική βιβλιογραφία είναι γεμάτη με μελέτες που απέτυχαν στη δοκιμασία αναπαραγωγιμότητας και πολλές από αυτές μπορεί να σχετίζονται με πειραματικές μεθοδολογίες και πρακτικές που δεν μπορούσαν να διερευνηθούν λόγω της έλλειψης πλήρους αποκάλυψης λογισμικού και δεδομένων”, έγραψαν. . “Η αποτυχία του [Google] Η ανταλλαγή βασικών υλικών και πληροφοριών μετατρέπει το έργο τους από μια ανοιχτή επιστημονική έκδοση σε επαλήθευση σε προώθηση κλειστής τεχνολογίας. “



[via]

Απάντηση

Αυτός ο ιστότοπος χρησιμοποιεί το Akismet για να μειώσει τα ανεπιθύμητα σχόλια. Μάθετε πώς υφίστανται επεξεργασία τα δεδομένα των σχολίων σας.