Αναλυτής φόρτου εργασίας ανοιχτού κώδικα Varada για PrestoDB και Trino

Αναλυτής φόρτου εργασίας ανοιχτού κώδικα Varada για PrestoDB και Trino


Βαράδα επιδιώκει να αυξήσει την υιοθέτηση παραλλαγών μιας ανοιχτής πηγής διανεμημένης μηχανής ερωτήσεων SQL για μεγάλα δεδομένα από διάθεση ενός Αναλυτή φόρτου εργασίας που αναπτύχθηκε με άδεια ανοιχτού κώδικα.

Το Workload Analyzer για Presto είναι συμβατό με PrestoDB και Τρισυπόστατος (παλαιότερα γνωστό ως Presto SQL). Το Trino έχει προχωρήσει από το Presto Software program Foundation χρησιμοποιώντας ένα πιρούνι της ίδιας ανοιχτής πηγής κώδικα με το PrestoDB. Το Trino δημιουργήθηκε από πρώην μηχανικούς του Fb ως μέρος μιας προσπάθειας να δημιουργήσει μια έκδοση του PrestoDB που διέπεται ανεξάρτητα από το Fb. Δημιουργήθηκε το 2019, το Presto Application Basis περιλαμβάνει συνεργάτες των Starburst, Arm Treasure Info, Qubole και Varada που συνεχίζουν να εργάζονται στο έργο Trino. Το Starburst, το οποίο απασχολεί τους αρχικούς προγραμματιστές του PrestoDB που δημιούργησαν το Trino, τον περασμένο μήνα συγκέντρωσε 100 εκατομμύρια δολάρια σε πρόσθετη χρηματοδότηση για να αποτιμήσετε 1,2 δισεκατομμύρια δολάρια.

Το PrestoDB, εν τω μεταξύ, τώρα αναπτύσσεται υπό την αιγίδα ενός αντίπαλου Ιδρύματος Presto, το οποίο είναι ένα σκέλος του Linux Basis. Επίσης, δημιουργήθηκε το 2019, οι ιδρυτές του Ιδρύματος Presto περιλαμβάνουν Facebook, Uber, Twitter και Alibaba. Οι προσπάθειες ενοποίησης των δύο αντίπαλων κοινοπραξιών έχουν αποδειχθεί μέχρι στιγμής άχρηστες.

Αρχικά δημιουργήθηκε το 2012, το PrestoDB και αργότερα το Trino, έχουν αποκτήσει δημοτικότητα σε διάφορους οργανισμούς που πρέπει να χρησιμοποιήσουν το SQL για να ρωτήσουν τεράστιες ποσότητες δεδομένων. Ο αναλυτής φόρτου εργασίας της Varada για το Presto εξάγει και συγκεντρώνει μετρήσεις ερωτημάτων και άλλα δεδομένα, ώστε να μπορούν να εμφανίζονται σε γραφήματα που παρέχουν μεγαλύτερη προβολή στην απόδοση ενός συμπλέγματος που εκτελεί PrestoDB ή Trino, δήλωσε ο Ori Reshef, αντιπρόεδρος της Varada. Αυτό καθιστά εύκολο να προσδιορίσετε ποια ερωτήματα καταναλώνουν μεγάλες ποσότητες υπολογιστικών πόρων και να μάθετε ποια δεδομένα προσπελάζονται συχνότερα και πώς να βελτιώσετε τη συνολική απόδοση Join, ανεξάρτητα από το αν οι οργανισμοί χρησιμοποιούν PrestoDB ή Trino.

Τον Δεκέμβριο, η Varada διέθεσε μια πλατφόρμα εικονικοποίησης δεδομένων σχεδιασμένη να αναπτύσσεται σε ένα εικονικό δημόσιο σύννεφο. Η πλατφόρμα δεδομένων Varada βασίζεται στην τεχνολογία ευρετηρίου βασισμένων σε κώδικα Presto που χωρίζει τα δεδομένα σε νανο μπλοκ βελτιστοποιημένα για τον τύπο περιεχομένου και τη δομή δεδομένων. Αυτή η προσέγγιση επιτρέπει στους τελικούς χρήστες να υποβάλλουν ερωτήματα στα δεδομένα όπου βρίσκονται χωρίς να χρειάζεται να τα μετακινήσουν σε ένα κεντρικό αποθετήριο. “Η IP μας είναι τεχνολογία ευρετηρίασης”, δήλωσε ο Reshef.

Ως μέρος αυτής της πλατφόρμας, η Varada διαθέτει μια παρουσία Trino για εταιρικούς βαθμούς που εξασφαλίζει υψηλή διαθεσιμότητα. Η Varada έχει επίσης δεσμευτεί να συνεισφέρει κώδικα στα έργα PrestoDB και Trino.

Δεν είναι σαφές σε ποιο βαθμό το χάσμα μεταξύ των υποστηρικτών του PrestoDB και του Trino επηρεάζει οργανισμούς που χρειάζονται μηχανή αναζήτησης υψηλής ταχύτητας για πρόσβαση σε μεγάλα αποθετήρια δεδομένων που βασίζονται σε Hadoop και σε άλλες πλατφόρμες NoSQL. Το SQL είναι το lingua franca για την αναζήτηση βάσεων δεδομένων σε εταιρικά περιβάλλοντα πληροφορικής. Οι περισσότεροι εταιρικοί οργανισμοί πληροφορικής θα προτιμούν να χρησιμοποιούν μια πλατφόρμα βάσης δεδομένων συμβατή με SQL όπου είναι δυνατόν, καθώς τα περισσότερα από τα εργαλεία που χρησιμοποιούνται από τους τελικούς χρήστες εξαρτώνται από τις διεπαφές SQL.

Εν τω μεταξύ, τίποτα δεν εμποδίζει ένα έργο ανοιχτού κώδικα να διχαστεί ποτέ. Ο μεγαλύτερος άμεσος αντίκτυπος μιας τέτοιας εκδήλωσης είναι πώς οι συνεισφέροντες σε ένα έργο πάνω σε άλλο διαιρούν το χρόνο και τους πόρους τους. Με την πάροδο του χρόνου, δεν είναι ασυνήθιστο ένα πιρούνι του αρχικού έργου ανοιχτού κώδικα να μην είναι συμβατό με το αρχικό γονικό έργο.

Το επίπεδο διαφωνίας μεταξύ των δύο κοινοπραξιών μπορεί να δώσει σε ορισμένους οργανισμούς που προσπαθούν να αποφασίσουν εάν θα χρησιμοποιήσουν το PrestoDB έναντι του Trino για παύση. Ανεξάρτητα από την εναλλακτική λύση που επιλέχθηκε, ωστόσο, τα συνολικά οφέλη από τη χρήση λογισμικού ανοιχτού κώδικα στους περισσότερους οργανισμούς εξακολουθούν να υπερτερούν των διαφωνιών μεταξύ των συντελεστών που δυστυχώς ενδέχεται να προκύψουν.

VentureBeat

Η αποστολή της VentureBeat είναι να είναι ένα ψηφιακό τετράγωνο πόλης για τεχνικούς υπεύθυνους λήψης αποφάσεων για να αποκτήσουν πληροφορίες σχετικά με τη μετασχηματιστική τεχνολογία και συναλλαγές. Ο ιστότοπός μας παρέχει βασικές πληροφορίες σχετικά με τις τεχνολογίες δεδομένων και τις στρατηγικές για να σας καθοδηγήσει καθώς οδηγείτε τους οργανισμούς σας. Σας προσκαλούμε να γίνετε μέλος της κοινότητάς μας, για πρόσβαση:

  • ενημερωμένες πληροφορίες για θέματα που σας ενδιαφέρουν
  • τα ενημερωτικά δελτία μας
  • Περιεχόμενο περιφραγμένο με κορυφαία σκέψη και μειωμένη πρόσβαση στις πολύτιμες εκδηλώσεις μας, όπως το Completely transform
  • δυνατότητες δικτύωσης και άλλα

Γίνομαι μέλος



[via]