Οι ερευνητές του Carnegie Mellon χρησιμοποιούν το Twitch για να συλλέγουν ήχους για έρευνα AI

Rolling Rhapsody


Οι ερευνητές του Carnegie Mellon σχεδίασαν μια ζωντανή ροή βιντεοπαιχνίδι για τη συλλογή ήχου από παίκτες που συμπληρώνουν μια βάση δεδομένων αναζήτησης AI. Το παιχνίδι της ομάδας – Rolling Rhapsody – έχει σχεδιαστεί ειδικά για να παίζεται στο Twitch και απαιτεί από ταινίες να ρίξουν μια μπάλα στο χάρτη για να συλλέξουν “θησαυρούς”, ενώ οι θεατές καταγράφουν τον ήχο από τα σπίτια τους μέσω μιας εφαρμογής.

Σύμφωνα με τους ερευνητές, ηχογραφήσεις οικιακών ήχων όπως θόρυβος πόρτας υπνοδωματίου ή βήχας θα μπορούσε να χρησιμοποιηθεί για τη δημιουργία μιας σειράς χρήσιμων τεχνολογιών. Για παράδειγμα, η Google αντλεί ήχο από χιλιάδες συναντήσεις και βίντεο YouTube για εκπαίδευση αλγόριθμος ακύρωσης θορύβου στο Google Meet. Εν τω μεταξύ, μια ξεχωριστή ομάδα ερευνητών Carnegie Mellon δημιούργησε ένα “ήχος-δράση-όραση“Corpus για να προβλέψει πού θα κινούνται τα αντικείμενα όταν υφίστανται φυσική δύναμη.

Το Rolling Rhapsody ολοκλήρωσε πρόσφατα ένα πέμπτο τεστ με τις διάσημες ταινίες Twitch. Σε συνεργασία με τους ερευνητές, οι ταινίες ώθησαν τους θεατές να καταγράψουν και να ανεβάσουν ήχους από τις συμπληρωματικές εφαρμογές Android και iOS. Αυτοί οι ήχοι παίζονταν κατά τη διάρκεια της ροής κάθε φορά που το stream συλλέγει ένα κομμάτι θησαυρού, έτσι ώστε όλοι όσοι παρακολουθούσαν να μπορούσαν να ακούσουν από κοινού.

“Φανταστείτε ότι μπορείτε να συλλέξετε 500 ήχους μικροκυμάτων σε 10 λεπτά προσεγγίζοντας μόνο ένα άτομο – ο Twitch το καθιστά δυνατό”, εξήγησε η ομάδα σε ανάρτηση στον ιστότοπο του έργου. “Είχε περισσότερους από 15 εκατομμύρια ενεργούς χρήστες κάθε μέρα και από 2,2 έως 3,2 εκατομμύρια μηνιαίους ραδιοτηλεοπτικούς φορείς το 2018. Για κάθε ροή που προσεγγίζουμε, έχουμε πολλούς θεατές επειδή λαμβάνει χώρα το εφέ ενισχυτή … Επιτρέπει δυνατότητα συλλογής χιλιάδων ήχων από τους θεατές.

Πάνω: η συμπληρωματική εφαρμογή Rolling Rhapsody.

Η ελπίδα είναι μια μέρα να κάνουμε τους ήχους διαθέσιμους στο κοινό χωρίς να διακυβεύεται η ταυτότητα των συμμετεχόντων. Όλοι οι παίκτες και οι θεατές του Rolling Rhapsody πρέπει να συμμετάσχουν και να δώσουν τη συγκατάθεσή τους για να ανεβάσουν ήχους και το παιχνίδι τους προσφέρει την ευκαιρία να συντάξουν ήχους που κατά λάθος τραβούν κάτι προσωπικό. Μπορούν επίσης να διαγράψουν επικοινωνίες, να επιλέξουν να αποθηκεύουν ήχους τοπικά και να ανακαλούν τη συγκατάθεσή τους ανά πάσα στιγμή

Το Rolling Rhapsody δεν είναι καθόλου τέλειο: απαιτεί από τους παίκτες στο σπίτι να επισημάνουν τους ηχογραφημένους ήχους και περίπου το 50% από αυτούς παρέχουν λάθος ετικέτα. Ωστόσο, οι εργασίες συνεχίζονται με μια μεγαλύτερη δοκιμή πεδίου που έχει προγραμματιστεί για τα τέλη του καλοκαιριού

«Μπορούμε να το χρησιμοποιήσουμε ως απόδειξη της ιδέας για έναν νέο τύπο εμπειρίας παιχνιδιού που μπορεί να οδηγήσει στη συλλογή ηθικών δεδομένων από το σπίτι. Μπορούμε να συλλέγουμε δεδομένα με διασκεδαστικό και ευχάριστο τρόπο για όλους τους εμπλεκόμενους», δήλωσε η επικεφαλής ερευνητής Τζέσικα Σφυρί σε μια σημείωση. “Αυτή η έρευνα δεν πρέπει να περιορίζεται στη συλλογή δεδομένων ήχου για το σπίτι. Μια απλή επέκταση συλλέγει άλλους τύπους δεδομένων ήχου. Έτσι, μπορείτε να χρησιμοποιήσετε το ίδιο παιχνίδι, απλώς αλλάξτε τον τύπο των προκλήσεων που δίνετε στους παίκτες.”

Το Rolling Rhapsody, το οποίο υποστηρίζεται από τις χορηγίες της Philips Healthcare και της Bosch, είναι μέρος της Polyphonic, μιας μεγαλύτερης πρωτοβουλίας Carnegie Mellon που περιλαμβάνει μια εφαρμογή για σήμανση ήχου και επικύρωση και μια διεπαφή όπου οι ερευνητές μπορούν προβολή και λήψη ήχων.



[via]

Απάντηση

Αυτός ο ιστότοπος χρησιμοποιεί το Akismet για να μειώσει τα ανεπιθύμητα σχόλια. Μάθετε πώς υφίστανται επεξεργασία τα δεδομένα των σχολίων σας.