Κάθε εκπαιδευτικός έχει διορθώσει γραπτό που ήταν καλογραμμένο, με σωστή σύνταξη και σίγουρο ύφος, και παρ' όλα αυτά δεν απαντούσε σε όσα ζητούσε η ερώτηση. Τα γλωσσικά μοντέλα Τεχνητής Νοημοσύνης κάνουν συχνά ακριβώς το ίδιο λάθος, και μάλιστα σε μεγάλη κλίμακα. Γράφουν ελληνικά με άνεση, αλλά μπορεί να αλλάξουν μια χρονολογία, να προσθέσουν μια λεπτομέρεια που δεν υπάρχει στην πηγή ή να απαντήσουν μόνο στο μισό ερώτημα, χωρίς τίποτα στο ύφος τους να το προδίδει.
Τέτοια λάθη τα εντοπίζει καλύτερα όποιος έχει μάθει να διαβάζει μια απάντηση απέναντι σε ένα κείμενο. Γι' αυτό η ανοιχτή δράση GlossAPI του Οργανισμού Ανοιχτών Τεχνολογιών(ΕΕΛΛΑΚ) απευθύνεται τώρα στους εκπαιδευτικούς και τους ζητά να αξιολογήσουν απαντήσεις που δίνει στα ελληνικά το γλωσσικό μοντέλο Apertus.
Τι καλείται να κάνει ο εκπαιδευτικός
Στην οθόνη εμφανίζονται τρία πράγματα: ένα απόσπασμα κειμένου, μια ερώτηση πάνω σε αυτό και η απάντηση που έδωσε το μοντέλο. Ο αξιολογητής διαβάζει και κρίνει αν η απάντηση προκύπτει πράγματι από το κείμενο.
Ας πούμε ότι το απόσπασμα αναφέρει πως μια μεταρρύθμιση εφαρμόστηκε το 1982 και το μοντέλο απαντά «το 1983». Η απάντηση μπορεί να είναι άψογα διατυπωμένη, είναι όμως λάθος. Λάθος είναι και όταν το μοντέλο προσθέτει πληροφορία που δεν υπάρχει στο κείμενο, ή όταν απαντά μόνο σε ένα μέρος της ερώτησης.
Ο αξιολογητής δεν χρειάζεται να γνωρίζει το αντικείμενο του κάθε κειμένου, αφού η πηγή βρίσκεται μπροστά του. Ένας φυσικός μπορεί να ελέγξει μια απάντηση για τη Βυζαντινή ιστορία και μια φιλόλογος μια απάντηση για τη φωτοσύνθεση, γιατί αυτό που ελέγχεται είναι αν η απάντηση στηρίζεται στο συγκεκριμένο απόσπασμα. Η δουλειά μοιάζει πολύ περισσότερο με διόρθωση γραπτού στην κατανόηση κειμένου παρά με οτιδήποτε έχει να κάνει με υπολογιστές.
Γιατί οι εκπαιδευτικοί
Όταν ένας εκπαιδευτικός διορθώνει, δεν κοιτάζει μόνο τη γραμματική. Ελέγχει αν ο μαθητής κατάλαβε το κείμενο, αν απάντησε σε αυτό που ρωτήθηκε, αν τεκμηρίωσε όσα έγραψε και αν πρόσθεσε στοιχεία που δεν προκύπτουν από την πηγή. Αυτές ακριβώς οι κρίσεις χρειάζονται και για την αξιολόγηση ενός γλωσσικού μοντέλου.
Η διαφορά είναι ότι απέναντι δεν βρίσκεται ένας μαθητής αλλά ένα σύστημα που παράγει πολύ φυσικό λόγο, οπότε τα λάθη του δεν φαίνονται πάντα με την πρώτη ματιά. Ένας αυτόματος έλεγχος δυσκολεύεται να καταλάβει πότε μια απάντηση μόνο ακούγεται σωστή. Ένας έμπειρος διορθωτής το καταλαβαίνει συνήθως αμέσως.
Η συμμετοχή αφορά εκπαιδευτικούς κάθε βαθμίδας και ειδικότητας, μόνιμους και αναπληρωτές, εν ενεργεία και συνταξιούχους, αλλά και φοιτητές παιδαγωγικών και φιλολογικών τμημάτων. Χρειάζονται επίσης πολλοί αξιολογητές, γιατί δύο προσεκτικοί αναγνώστες δεν συμφωνούν πάντα. Όσο περισσότερες κρίσεις συγκεντρώνονται για την ίδια απάντηση, τόσο πιο αξιόπιστο γίνεται το αποτέλεσμα, ενώ τα σημεία όπου οι αξιολογητές διαφωνούν δείχνουν πού το ερώτημα είναι πραγματικά δύσκολο.
Από πού έρχονται οι ερωτήσεις
Το GlossAPI συγκεντρώνει ελληνικά κείμενα από ανοιχτές πηγές, όπως πανεπιστημιακά αποθετήρια, συγγράμματα, διδακτορικές διατριβές και δημόσια έγγραφα. Τα καθαρίζει και τα οργανώνει σε σύνολα δεδομένων, που έχουν ξεπεράσει πλέον συνολικά τα 50 δισεκατομμύρια μονάδες κειμένου (tokens). Τα δεδομένα αυτά αξιοποιούνται για την προσαρμογή στα ελληνικά του Apertus, ενός πλήρως ανοιχτού πολυγλωσσικού μοντέλου που ανέπτυξαν η EPFL, το ETH Ζυρίχης και το Ελβετικό Εθνικό Κέντρο Υπερυπολογιστών στο πλαίσιο της Swiss AI Initiative.
Το μοντέλο παράγει ερωτήσεις και απαντήσεις πάνω σε αυτά τα κείμενα, και το υλικό μεταφέρεται στην Argilla, μια εφαρμογή ανοιχτού κώδικα για τον έλεγχο δεδομένων, όπου το αξιολογούν άνθρωποι.
Τι γίνεται με τις αξιολογήσεις
Κάθε αξιολόγηση καταγράφει πού και πώς έσφαλε το μοντέλο: πότε αλλοίωσε μια πληροφορία, πότε παρέλειψε κάτι σημαντικό, πότε πρόσθεσε κάτι που δεν υπήρχε. Από αυτές τις κρίσεις προκύπτει ένα ελληνικό σύνολο δεδομένων αξιολόγησης, με το οποίο μπορεί να μετρηθεί πόσο καλά καταλαβαίνει τα ελληνικά ένα μοντέλο.
Δεν πρόκειται για δωρεάν εργασία για κάποιο κλειστό εμπορικό προϊόν. Το σύνολο αξιολόγησης θα διατεθεί ανοιχτά στο huggingface.co/glossAPI. Θα μπορεί δηλαδή να το χρησιμοποιήσει κάθε ερευνητική ή εκπαιδευτική ομάδα, και όχι μόνο για το Apertus. Για τα ελληνικά αυτό έχει ιδιαίτερη σημασία, γιατί εκτός από λιγότερα ψηφιακά κείμενα από τα αγγλικά υπάρχουν και πολύ λιγότερα εργαλεία για να ελέγχουμε αν τα μοντέλα τα καταλαβαίνουν σωστά.
Πώς συμμετέχετε
- Μπείτε στο argilla.glossapi.gr και δημιουργήστε λογαριασμό.
- Διαβάστε τις σύντομες οδηγίες αξιολόγησης.
- Ξεκινήστε από όποιο σύνολο δεδομένων σας ενδιαφέρει.
Η συμμετοχή είναι εθελοντική και γίνεται εξ αποστάσεως, όποτε σας βολεύει. Δεν υπάρχει ελάχιστη δέσμευση, και μισή ώρα ένα απόγευμα είναι ήδη ουσιαστική συνεισφορά. Για όσους συμμετέχουν ενεργά θα χορηγηθεί βεβαίωσης συμμετοχής από την ΕΕΛΛΑΚ. Σύλλογοι εκπαιδευτικών, σχολικές μονάδες ή ομάδες επιμόρφωσης που θέλουν να συμμετάσχουν συλλογικά μπορούν να επικοινωνήσουν με την ομάδα του GlossAPI στο glossapi.team@eellak.gr .
Συνήθως η συζήτηση για την Τεχνητή Νοημοσύνη στο σχολείο αφορά το πώς θα χρησιμοποιήσουν οι εκπαιδευτικοί τα νέα εργαλεία ή το πώς αυτά θα αλλάξουν τη δουλειά τους. Εδώ ο εκπαιδευτικός βρίσκεται στη θέση του εξεταστή. Διαβάζει την πηγή, κοιτάζει την απάντηση και κάνει την ερώτηση που κάνει κάθε μέρα στην τάξη: «Αυτό που έγραψες, προκύπτει από το κείμενο;»
