Το προτεινόμενο πλαίσιο θα μπορούσε να μειώσει την κατανάλωση ενέργειας της ομοσπονδιακής μάθησης

Το προτεινόμενο πλαίσιο θα μπορούσε να μειώσει την κατανάλωση ενέργειας της ομοσπονδιακής μάθησης


Τα σύγχρονα συστήματα μηχανικής μάθησης καταναλώνουν τεράστιες ποσότητες ενέργειας. Στην πραγματικότητα, εκτιμάται ότι η εκπαίδευση ενός μεγάλου μοντέλου μπορεί να παράγει τόσο διοξείδιο του άνθρακα όσο και τη συνολική διάρκεια ζωής των πέντε αυτοκινήτων. Ο αντίκτυπος θα μπορούσε να επιδεινωθεί με την εμφάνιση της μηχανικής μάθησης σε κατανεμημένες και ενοποιημένες ρυθμίσεις μάθησης, όπου δισεκατομμύρια συσκευές αναμένεται να εκπαιδεύουν τα μοντέλα μηχανικής μάθησης σε τακτική βάση.

Σε μια προσπάθεια να μάθουν τον αντίκτυπο, ερευνητές από το Πανεπιστήμιο της Καλιφόρνια, το Riverside και το Πανεπιστήμιο του Οχάιο αναπτηγμένος ένα ομοσπονδιακό πλαίσιο μάθησης βελτιστοποιημένο για δίκτυα με ισχυρούς περιορισμούς ισχύος. Ισχυρίζονται ότι είναι τόσο επεκτάσιμο όσο και πρακτικό, καθώς μπορεί να εφαρμοστεί σε μια σειρά ρυθμίσεων μηχανικής μάθησης σε δικτυωμένα περιβάλλοντα και ότι προσφέρει “σημαντικές” βελτιώσεις απόδοσης.

Τα αποτελέσματα της τεχνητής νοημοσύνης και του μοντέλου μηχανικής μάθησης στο περιβάλλον έρχονται στο φως όλο και περισσότερο. Πρώην ειδικός δεοντολογίας της Google στο Google Timnit Gebru πρόσφατα συν-συγγραφέας ενός αρχείου χαρτί σε μεγάλα γλωσσικά μοντέλα που συζήτησαν πιεστικούς κινδύνους, συμπεριλαμβανομένου του αποτυπώματος άνθρακα. Και τον Ιούνιο του 2020, ερευνητές από το Πανεπιστήμιο της Μασαχουσέτης στο Amherst δημοσίευσαν μια έκθεση που εκτιμά ότι η ποσότητα ενέργειας που απαιτείται για την εκπαίδευση και την έρευνα ενός δεδομένου μοντέλου οδηγεί σε εκπομπές περίπου 626.000 λίβρες διοξειδίου του άνθρακα, ισοδυναμεί με σχεδόν 5 φορές τις εκπομπές κύκλου ζωής ενός μέσου αμερικανικού αυτοκινήτου.

Στη μηχανική μάθηση, η ομοσπονδιακή μάθηση περιλαμβάνει την κατάρτιση αλγορίθμων σε συσκευές πελατών που περιέχουν δείγματα δεδομένων χωρίς να τα ανταλλάσσουν. Ένας κεντρικός διακομιστής θα μπορούσε να χρησιμοποιηθεί για να ενορχηστρώσει κύκλους εκπαίδευσης για τον αλγόριθμο και να λειτουργήσει ως ρολόι αναφοράς, ή η διάταξη θα μπορούσε να είναι peer-to-peer. Ανεξάρτητα, οι τοπικοί αλγόριθμοι εκπαιδεύονται σε τοπικά δείγματα δεδομένων και τα βάρη – οι μαθησιακές παράμετροι των αλγορίθμων – ανταλλάσσονται μεταξύ των αλγορίθμων σε μια συγκεκριμένη συχνότητα για τη δημιουργία ενός παγκόσμιου μοντέλου. Προκαταρκτικός Εκπαίδευση έχουν δείξει ότι αυτή η ρύθμιση μπορεί να οδηγήσει σε μείωση των εκπομπών άνθρακα σε σύγκριση με την παραδοσιακή μάθηση.

Κατά το σχεδιασμό της εγκατάστασής τους, οι ερευνητές σε αυτό το νέο έγγραφο υπέθεσαν ότι οι πελάτες είχαν διαλείπουσα ισχύ και μπορούσαν να συμμετάσχουν στη διαδικασία εκπαίδευσης μόνο όταν έχουν διαθέσιμη ενέργεια. Η λύση τους αποτελείται από τρία στοιχεία: (1) προγραμματισμός πελατών, (2) τοπική κατάρτιση στους πελάτες και (3) ενημερώσεις μοντέλου στον διακομιστή. Ο σχεδιασμός των πελατών γίνεται τοπικά έτσι ώστε κάθε πελάτης να αποφασίσει εάν θα παρακολουθήσει εκπαίδευση βάσει μιας εκτίμησης της διαθέσιμης ισχύος. Κατά τη διάρκεια της τοπικής φάσης εκπαίδευσης, οι πελάτες που επιλέγουν να συμμετάσχουν στην εκπαίδευση ενημερώνουν το παγκόσμιο μοντέλο χρησιμοποιώντας τα τοπικά σύνολα δεδομένων τους και στέλνουν τις ενημερώσεις τους στον διακομιστή. Αφού λάβει τοπικές ενημερώσεις, ο διακομιστής ενημερώνει το παγκόσμιο μοντέλο για τον επόμενο κύκλο εκπαίδευσης.

Σε πολλά πειράματα, οι ερευνητές συνέκριναν την απόδοση του πλαισίου τους με τις συμβατικές ρυθμίσεις ομοσπονδιακής μάθησης αναφοράς. Το πρώτο σημείο αναφοράς ήταν ένα σενάριο όπου οι ομοσπονδιακοί πελάτες μάθησης παρακολούθησαν την εκπαίδευση μόλις είχαν αρκετή δύναμη. Το δεύτερο σημείο αναφοράς, εν τω μεταξύ, εξέτασε έναν διακομιστή που περιμένει τους πελάτες να έχουν αρκετή δύναμη για να συμμετάσχουν στην προπόνηση πριν ξεκινήσουν έναν κύκλο προπόνησης.

Οι ερευνητές λένε ότι το πλαίσιο τους ξεπέρασε σημαντικά τα δύο σημεία αναφοράς ως προς την ακρίβεια. Ελπίζουν ότι θα χρησιμεύσει ως πρώτο βήμα προς βιώσιμες ομοσπονδιακές τεχνικές μάθησης και ανοιχτές ερευνητικές κατευθύνσεις για την οικοδόμηση μεγάλων συστημάτων μηχανικής εκπαίδευσης με ελάχιστες περιβαλλοντικές επιπτώσεις.

VentureBeat

Η αποστολή της VentureBeat είναι να είναι ένα ψηφιακό τετράγωνο πόλης για τεχνικούς υπεύθυνους λήψης αποφάσεων για να αποκτήσουν πληροφορίες σχετικά με τη μετασχηματιστική τεχνολογία και τις συναλλαγές. Ο ιστότοπός μας παρέχει βασικές πληροφορίες σχετικά με τις τεχνολογίες δεδομένων και τις στρατηγικές για να σας καθοδηγήσει καθώς οδηγείτε τους οργανισμούς σας. Σας προσκαλούμε να γίνετε μέλος της κοινότητάς μας, για πρόσβαση:

  • ενημερωμένες πληροφορίες για θέματα που σας ενδιαφέρουν
  • τα ενημερωτικά δελτία μας
  • Περιεχόμενο περιφραγμένο με κορυφαία σκέψη και μειωμένη πρόσβαση στις πολύτιμες εκδηλώσεις μας, όπως το Completely transform
  • δυνατότητες δικτύωσης και άλλα

Γίνομαι μέλος



[via]

Αυτός ο ιστότοπος χρησιμοποιεί το Akismet για να μειώσει τα ανεπιθύμητα σχόλια. Μάθετε πώς υφίστανται επεξεργασία τα δεδομένα των σχολίων σας.