Τα Cloud TPUs της Google υποστηρίζουν καλύτερα το PyTorch

Τα Cloud TPUs της Google υποστηρίζουν καλύτερα το PyTorch


Το 2018, η Google παρουσίασε επιταχυνόμενη γραμμική άλγεβρα (XLA), έναν μεταγλωττιστή βελτιστοποίησης που επιταχύνει τις λειτουργίες μοντέλου μηχανικής εκμάθησης συνδυάζοντας πολλούς πυρήνες σε έναν. (Σε αυτό το πλαίσιο, ο “πυρήνας” αναφέρεται σε κατηγορίες αλγορίθμων ανάλυσης προτύπων.) Παρόλο που το XLA υποστηρίζει επεξεργαστή κάρτας γραφικών και υλικό, λειτουργεί επίσης σε ιδιόκτητες μονάδες επεξεργασίας τανυστών (TPU) της Google. και έπαιξε καθοριστικό ρόλο στην υποστήριξη της TPU στο πλαίσιο του PyTorch AI και της μηχανικής μάθησης του Fb. Οπως σήμερα, PyTorch / XLA Η υποστήριξη για το Cloud TPU – η υπηρεσία TPU που διαχειρίζεται η Google – είναι πλέον γενικά διαθέσιμη, επιτρέποντας στους χρήστες της PyTorch να αξιοποιούν τα TPU χρησιμοποιώντας ενσωματώσεις πρώτου μέρους.

Google TPU είναι ολοκληρωμένα κυκλώματα για συγκεκριμένες εφαρμογές (ASICs) που αναπτύχθηκαν ειδικά για την επιτάχυνση της AI. Ψύχονται με υγρό και έχουν σχεδιαστεί για να χωρά σε ράφια διακομιστή. παρέχει έως και 100 υπολογισμούς petaflops. και εξουσιοδοτεί προϊόντα Google όπως Αναζήτηση Google, Φωτογραφίες Google, Μετάφραση Google, Βοηθό Google, Gmail και API Google Cloud AI. Η Google ανακοίνωσε το τρίτη γενιά στο ετήσιο συνέδριο προγραμματιστών I / O για το 2018 και τον Ιούλιο, χτύπησε τον διάδοχό του, ο οποίος βρίσκεται στη φάση της έρευνας.

Η Google και το Facebook λένε ότι το PyTorch / XLA – ένα πακέτο Python που χρησιμοποιεί το XLA για τη σύνδεση PyTorch και TPU – αντιπροσωπεύει δύο χρόνια εργασίας. Σύμφωνα με τις εταιρείες, η PyTorch / XLA εκτελεί τα πιο τυπικά προγράμματα PyTorch με ελάχιστη τροποποίηση, βασισμένη σε επεξεργαστές για την εκτέλεση λειτουργιών που δεν υποστηρίζονται από TPU. Με τη βοήθεια των αναφορών που δημιουργούνται από την PyTorch / XLA, οι προγραμματιστές της PyTorch μπορούν να βρουν σημεία συμφόρησης και να προσαρμόσουν προγράμματα για εκτέλεση στο Cloud TPU.

Η Google λέει ότι το Allen Institute for AI χρησιμοποίησε πρόσφατα το PyTorch / XLA στο Cloud TPU σε διάφορα έργα, συμπεριλαμβανομένου ενός που διερευνά τον τρόπο προσθήκης ενός οπτικού στοιχείου σε γλωσσικά μοντέλα για τη βελτίωση των δεξιοτήτων κατανόησης.

Παράλληλα με το PyTorch / XLA, η Google και το Facebook παρουσίασαν σήμερα εργαλεία για τη διευκόλυνση της συνεχούς δοκιμής του μοντέλου AI, το οποίο λένε ότι βοήθησαν τις ομάδες PyTorch Lightning and Hugging Experience να χρησιμοποιούν με Cloud TPUs. Η Google και το Fb έχουν επίσης κυκλοφορήσει μια νέα εικόνα – Deep Mastering VM – η οποία έχει προεγκατεστημένο το PyTorch / XLA, μαζί με το PyTorch 1.6.

Το PyTorch, το οποίο δημοσίευσε το Facebook δημοσίως τον Οκτώβριο του 2016, είναι μια βιβλιοθήκη ανοιχτού κώδικα βασισμένη στο Torch, ένα επιστημονικό πλαίσιο επεξεργασίας και μια γλώσσα δέσμης ενεργειών που βασίζεται στην γλώσσα προγραμματισμού Lua. Παρόλο που το TensorFlow ήταν διαθέσιμο μόνο για λίγο καιρό (από τον Νοέμβριο του 2015), η PyTorch συνεχίζει να βλέπει ταχεία αφομοίωση στην επιστήμη των δεδομένων και στις κοινότητες προγραμματιστών. Πρόσφατα στο Facebook αποκάλυψε ότι το 2019 ο αριθμός των συνεισφερόντων στην πλατφόρμα αυξήθηκε κατά περισσότερο από 50% από έτος σε έτος σε σχεδόν 1.200. Ανάλυση που διεξήχθη από την Gradient διαπίστωσε ότι σε όλα τα μεγάλα συνέδρια AI του 2019 τα περισσότερα έγγραφα εφαρμόστηκαν στο PyTorch. Και O’Reilly παρατήρησα ότι οι αναφορές της PyTorch στα έγγραφα αυξήθηκαν περισσότερο από 194% μόνο το πρώτο εξάμηνο του 2019.

Δεν αποτελεί έκπληξη, μια σειρά από κύρια προγράμματα λογισμικού μηχανικής μάθησης είναι χτισμένα στο PyTorch, συμπεριλαμβανομένων των Uber’s Pyro και του HuggingFace’s Transformers. Ο προγραμματιστής λογισμικού Most well-liked Networks εντάχθηκε στις τάξεις πρόσφατα με την υπόσχεση της μετάβασης από το AI framework Chainer στην PyTorch στο εγγύς μέλλον.



[via]