Alfavita Newsroom Όταν ο Marc Petz ήταν πρωτοετής δάσκαλος computer graphics/animation στο Kent Career Technical Center του Michigan, ένας συνάδελφος έδινε μάχη για να καλύψει τις ανάγκες ενός μαθητή με αυτισμό. Η τάξη του Petz κλήθηκε να αναπτύξει οπτικά ελκυστικές ιστορίες που θα μπορούσε να χρησιμοποιήσει ο μαθητής για να ασκήσει στοχοθετημένες κοινωνικές συμπεριφορές και κάπως έτσι γεννήθηκε το Autism XR, όπως γράφει το gr.ign.com.
Το διαδικτυακό AR, οι μαθητές συμμετέχουν σε σενάρια με εικονικούς ανθρώπους οι οποίοι μέσω της αναγνώρισης του προσώπου και της επεξεργασίας φυσικής γλώσσας, προπονούνται μέσω συγκεκριμένων κοινωνικών καταστάσεων. Η πρώτη εκδοχή του Autism XR, ενός πρωτότυπου εικονικής πραγματικότητας που βασίζεται σε εφαρμογές, μπήκε στους 10 εθνικούς φιναλίστ στο Solve for Tomorrow Tech for Good της Samsung. Τώρα ανανεώνεται ως πρόγραμμα AR για γενική χρήση.
Ο Petz εργάζεται επίσης σε ένα παιδικό βιβλίο για περιβάλλοντα μάθησης χωρίς αποκλεισμούς με τη συνάδελφο Mary Musto και γράφει διαδραστικές ιστορίες με τα παιδιά του μέσω μιας startup, που ονομάζεται Kit Tales.
Δείτε απόσπασμα της συνέντευξης που έδωσε στο gr.ign.com:
Πώς εξελίχθηκε το Autism XR
Αποφασίσαμε να αλλάξουμε την κατεύθυνση της ιδέας σε ένα πλήρως διαδικτυακό διαδραστικό περιβάλλον AR, το οποίο αποτελεί σήμερα μια πειραματική πλατφόρμα. Με ορισμένους από τους τρέχοντες περιορισμούς που σχετίζονται με το Google ARCore, το WebXR και τις τεχνολογίες τηλεφώνου, αναγκαστήκαμε να αυτοσχεδιάσουμε. Ένα παράδειγμα είναι το στοιχείο ανίχνευσης ματιών της εφαρμογής. Δεν είμαστε σε θέση να χωρίσουμε την κατανομή της μπροστινής και οπίσθιας κάμερας, ενώ υπάρχει ενεργή συνεδρία AR στον browser. Εξαιτίας αυτού, έπρεπε να χρησιμοποιήσουμε σχετικές συντεταγμένες όπου βρίσκεται η κάμερα σε αντίθεση με την παρακολούθηση οφθαλμών σε πραγματικό χρόνο.
Πόσα σενάρια περιλαμβάνονται στην τρέχουσα εκδοχή της εφαρμογής; Και ποια αποδείχθηκαν πολύ χρήσιμα;
Υπάρχουν επί του παρόντος εννέα σενάρια που έχουν δημιουργηθεί και ένα hot-to/tutorial σενάριο. Ένα από τα δύο ερευνητικά σενάρια χρησιμοποιήθηκε σε μια μικρή ερευνητική μελέτη σε πολλαπλές αίθουσες διδασκαλίας με φοιτητές ανώτερης σχολικής ηλικίας. To σενάριο "Ξεκινήστε μια συζήτηση με κάποιον που γνωρίζετε" αποδείχτηκε εξαιρετικά χρήσιμο και παράγει εκπληκτικά αποτελέσματα.
Χρησιμοποιήσατε voice actors;
Όχι, το μεγαλύτερο μέρος της φωνής του χαρακτήρα ήταν από τη γυναίκα μου, τα παιδιά μου και εμένα. Μερικοί φοιτητές συνέβαλαν επίσης στη δράση. Κατέγραψα όλο το voice acting με ένα μικρό φορητό στούντιο που έχτισα για το σκοπό αυτό.
Είναι σημαντικό να σημειωθεί ότι αυτό το πρόγραμμα λειτουργεί χωρίς ειδικό εξοπλισμό. Δεν χρειάζονται ακουστικά VR ή γυαλιά τροποποιημένα με AR, όσο η συσκευή χρήστη μπορεί να εκτελέσει το WebXR. Είδαμε σίγουρα μια ευκαιρία να οικοδομήσουμε ένα εργαλείο που θα μπορούσε να ωφελήσει πολλούς ανθρώπους και η εξάλειψη των φραγμών ήταν τεράστια προτεραιότητα. Ο εξοπλισμός high-end VR και AR προσφέρει πολλά μεγάλα οφέλη, αλλά αποφασίσαμε νωρίς ότι θέλαμε τη λύση μας να είναι πολύ προσιτή, εύκολη στη χρήση και οικονομικά προσιτή. Το WebXR είναι η πλατφόρμα που μας επιτρέπει να επιτύχουμε αυτούς τους στόχους.
Το Autism XR χρησιμοποιεί το WebXR, η οποία εξακολουθεί να είναι μια πειραματική τεχνολογία που έχει κάποια βήματα που πρέπει να κάνουν οι χρήστες, εάν διαθέτουν συσκευή που το υποστηρίζει. Οι μεγαλύτεροι παίκτες αυτής της τεχνολογίας έχουν περιορίσει τις υποστηριζόμενες συσκευές στις περισσότερες νεότερες, πιο πρόσφατες κινητές συσκευές. Ένας εύκολος τρόπος να διαπιστώσετε εάν υποστηρίζεται μια συσκευή Android είναι να επισκεφθείτε το Google Play Store και να επιχειρήσετε να εγκαταστήσετε την εφαρμογή Google ARCore. Αν το Play Store το έχει διαθέσιμο, τότε το τηλέφωνό σας υποστηρίζει πλήρως το WebXR.
Με την εγκατάσταση του ARCore πρέπει να εγκαταστήσουμε το πειραματικό πρόγραμμα περιήγησης του Chrome Canary στην συσκευή. Ο περιηγητής του Canary έχει ενεργοποιημένη όλη την τεχνολογία XR (αντίθετα με τον κύριο πρόγραμμα περιήγησης Chrome) και βρήκαμε ότι η έκδοση 70 είναι η πιο σταθερή για την τρέχουσα κατασκευή μας.
Μόλις εγκατασταθεί η εφαρμογή Google ARCore και το πρόγραμμα περιήγησης, τι κάνετε στη συνέχεια;
Αφού ολοκληρωθεί η εγκατάσταση του προγράμματος περιήγησης Google Chrome Canary v70, πληκτρολογήστε Chrome: // flag στο πρόγραμμα περιήγησης Canary v70. Αναζητήστε το WebXR ενώ βρίσκεστε στη σελίδα Chrome: // flag και ενεργοποιήστε όλα τα αποτελέσματα που επιστρέφονται από την αναζήτηση. Αυτό θα επιτρέψει στη συσκευή σας να χρησιμοποιεί το περιεχόμενο του WebXR μέσω του προγράμματος περιήγησης. Εάν ήταν σε θέση να ολοκληρώσετε με επιτυχία τα τρία πρώτα βήματα, τότε είστε έτοιμοι να ανοίξετε το πρόγραμμα περιήγησης Chrome Canary v70 και να πλοηγηθείτε στο marcpetz.com και να αρχίσετε να χρησιμοποιείτε την διαδικτυακή εφαρμογή.
Ποια στοιχεία μηχανικής μάθησης έχετε ενσωματώσει στην εφαρμογή και πώς βελτιώνουν την εμπειρία;
Χρησιμοποιούμε το TensorFlow. Το χρησιμοποιούμε για να δημιουργήσουμε ένα συστατικό αναγνώρισης προσώπου / συναισθηματικής συμπεριφοράς στην εφαρμογή. Αυτό το τμήμα της εφαρμογής δεν έχει ακόμη εφαρμοστεί πλήρως, λόγω της πρόκλησης που αντιμετωπίζουμε στη χρήση της εμπρόσθιας και οπίσθιας κάμερα. Η τρέχουσα κατασκευή της συναισθηματικής ανίχνευσης λειτουργεί καλά και έτσι πιστεύω ότι από τη στιγμή που θα είναι πλήρως ενσωματωμένη στην εφαρμογή, θα ενισχύσει σημαντικά την εμπειρία της εκμάθησης, προάγοντας τους χρήστες να ασκούν κατάλληλες εκφράσεις του προσώπου και συναισθηματικές απαντήσεις σε διάφορες καταστάσεις.
Πώς δοκιμάσατε το πρόγραμμα;
Ήμασταν σε θέση να λάβουμε την έγκριση από την σχολική περιοχή μας για να διεξαγάγαμε μια πολύ μικρή ερευνητική μελέτη για την επικύρωση του προγράμματος και πόσο αποτελεσματική μπορεί να είναι για τη βελτίωση στοχευμένων συμπεριφορών. Παρόλο που η έρευνά μας μπορεί να θεωρηθεί ασήμαντη λόγω λίγων συμμετεχόντων, τα αποτελέσματα που είχαμε ήταν αξιοσημείωτα και δικαιολογεί σίγουρα μια εκτεταμένη έρευνα. Οι μαθητές βελτίωσαν τη στοχοθετημένη συμπεριφορά από την εκπαίδευση και επίσης γενικεύσαν τη μαθησιακή συμπεριφορά από την εκπαίδευση σε άλλες περιπτώσεις.
Όλες οι σημαντικές και έκτακτες ειδήσεις σήμερα
2ος Πανελλήνιος Γραπτός Διαγωνισμός ΑΣΕΠ: Τα 2 μαθήματα εξέτασης και η ύλη
Παν.Πατρών: Μοριοδοτούμενο σεμινάριο ΕΙΔΙΚΗ ΑΓΩΓΗΣ με 65Є εγγραφή - έως 8/5
Μοριοδοτούμενο σεμινάριο Ειδικής Αγωγής (ΕΛΜΕΠΑ) με μόνο 50Є εγγραφή- αιτήσεις ως 8/5
Proficiency και Lower μόνο 95 ευρώ σε 2 μόνο ημέρες στα χέρια σας (ΧΩΡΙΣ προφορικά, ΧΩΡΙΣ έκθεση!)
ΕΥΚΟΛΕΣ ΠΙΣΤΟΠΟΙΗΣΕΙΣ ΙΣΠΑΝΙΚΩΝ και ΙΤΑΛΙΚΩΝ για εκπαιδευτικούς - Πάρτε τις άμεσα
