Alfavita Newsroom Δρ. Παναγιώτης Παναγίδης
Μαθηματικός, ΒΔΑ'
Απεήτειο Γυμνάσιο Αγρού, Κύπρος
email: [email protected]
Το πρόγραμμα PISA (Programme for International Student Assessment) είναι μια διεθνής έρευνα που διοργανώνεται κάθε τρία χρόνια, με αφετηρία το 2000, από τον Οργανισμό Οικονομικής Συνεργασίας και Ανάπτυξης (ΟΟΣΑ). Το 2012 ήταν η πέμπτη φορά που διοργανώθηκε και έλαβαν μέρος 65 χώρες. Για πρώτη φορά συμμετείχε και η Κύπρος.
Η έρευνα απευθύνεται σε μαθητές 15 χρονών (η ηλικία μέχρι την οποία τελειώνει η υποχρεωτική εκπαίδευση) και αξιολογεί την επίδοσή τους στα Μαθηματικά, στις Φυσικές Επιστήμες και στη Γλώσσα (κατανόηση κειμένου). Εκτός από την επίδοση των μαθητών σε δοκίμια, το πρόγραμμα αξιολογεί με τη χρήση ειδικών ερωτηματολογίων την οργάνωση των σχολικών ομάδων, τη διαδικασία μάθησης και την επίδραση διάφορων παραγόντων στην επίδοση των μαθητών, όπως για παράδειγμα το φύλο. Επίσης αξιολογεί την ποιότητα του εκπαιδευτικού συστήματος, συγκρίνοντας το με το εκπαιδευτικό σύστημα άλλων χωρών.
Υπεύθυνο για τη διοργάνωση του προγράμματος στην Κύπρο είναι το Εθνικό Κέντρο PISA, το οποίο υπάγεται στο Κέντρο Εκπαιδευτικής Έρευνας και Αξιολόγησης.
Σε άρθρο του στο Παιδεία News ο Γιάννης Οικονομίδης αναφέρει τα πιο κάτω:
Σε μια επιχειρουμένη εκπαιδευτική μεταρρύθμιση, η οποία απαραιτήτως πρέπει να βασίζεται σε αξιόπιστα στοιχεία, η έρευνα PISA αποτελεί μια πολύ καλή βάση για αξιολόγηση της μέχρι τώρα πορείας μας και εφαλτήριο για διαμόρφωση των πολιτικών εκείνων και κατ’ επέκταση των αλλαγών που θα φέρουν τα θετικά και επιθυμητά μαθησιακά αποτελέσματα, μέσα από σωστές μαθησιακές διαδικασίες στην εκπαίδευση της Κύπρου. (8/10/2014)
Ο Kreiner (2012) αμφισβητεί την αξιοπιστία των δοκιμίων κατανόησης κειμένου που χρησιμοποιούνται στο πρόγραμμα PISA και κατ’ επέκταση τη χρησιμότητα του προγράμματος.
Έχοντας μελετήσει την παρουσίαση του Καθηγητή Kreiner που αφορούσε τα δοκίμια κατανόησης κειμένου που χρησιμοποιήθηκαν για το πρόγραμμα το 2006, ο ερευνητής ανέλαβε να διεξαγάγει μια παρόμοια εργασία (Παναγίδης, 2014), για τη διερεύνηση του βαθμού αξιοπιστίας των αποτελέσματα των δοκιμίων στα Μαθηματικά για το PISA 2009, με τη χρήση των μοντέλων Rasch (Rasch, 1960).
Συμπεράσματα της εργασίας
Ο σκοπός της εργασίας αυτής ήταν η αξιολόγηση της αξιοπιστίας των αποτελεσμάτων του προγράμματος PISA για τα δοκίμια στα Μαθηματικά. Για την διερεύνηση αυτή χρησιμοποιήθηκαν τα αποτελέσματα των δοκιμίων του προγράμματος από το 2009, τα οποία δημοσιεύονται στο διαδίκτυο στην ιστοσελίδα του ΟΟΣΑ.
Μια θεμελιώδης αρχή της θεωρίας των μετρήσεων είναι αυτή της σταθερότητας. Αυτή αναφέρει ότι: 'Η δυσκολία κάθε ερώτησης είναι σταθερή και ανεξάρτητη από τα άτομα που αποτελούν το δείγμα. Ταυτόχρονα, η ικανότητα των ατόμων είναι σταθερή και ανεξάρτητη από τις ερωτήσεις που απαρτίζουν το δοκίμιο που θα χρησιμοποιηθεί'. Μια πρώτη ανάλυση στην κατάταξη των εξεταζόμενων των διάφορων χωρών σε έξι από τις ερωτήσεις έδειξε ότι υπάρχει πολύ μεγάλη διακύμανση στην κατάταξη των χωρών σε κάθε ερώτηση ξεχωριστά. Για παράδειγμα το Αζερμπαϊτζάν έχει καταταγεί τέταρτο σε μια ερώτηση ενώ 60ο σε άλλη (διαφορά στην κατάταξη 54 θέσεων) ενώ η Λιθουανία 6η σε μια και 56η σε άλλη (διαφορά 50 θέσεων). Επίσης, διερευνήθηκε η κατάταξη των χωρών σε τρία βιβλιάρια-δοκίμια δείχνοντας επίσης μεγάλες διακυμάνσεις. Προφανώς η αρχή της σταθερότητας δεν ισχύει για τις ερωτήσεις που χρησιμοποιήθηκαν και κατ' επέκταση και για το δοκίμιο των Μαθηματικών που χρησιμοποιήθηκε για τους σκοπούς του προγράμματος. Ένα αντίστοιχο παράδειγμα από τη μέτρηση στο φυσικό κόσμο θα ήταν το εξής:
Ένας καθηγητής στις εκπαιδευτικές μετρήσεις μπαίνει στην τάξη του και λέει στους φοιτητές του ότι επινόησε ένα καινούργιο τρόπο να τους κατατάξει με βάση το βάρος τους. Έφερε, τους λέει, τρεις διαφορετικές ζυγαριές που μετρούν βάρος σε κιλά, και θα ζυγίζει τον κάθε φοιτητή και στις τρεις και μετά θα τους κατατάξει, από τον βαρύτερο στον ελαφρότερο, με βάση το μέσο όρο του βάρους που μέτρησε από τις τρεις ζυγαριές. Ξεκινά ο καθηγητής με τους φοιτητές Α, Β και Γ. Η πρώτη ζυγαριά δείχνει πιο βαρύ τον Α, δεύτερο το Β και τρίτο το Γ, ενώ η δεύτερη δείχνει το Β μετά το Γ και τελευταίο τον Α και η τρίτη τον Γ μετά τον Α και τελευταίο τον Β. Πόσο αξιόπιστος μπορεί να θεωρηθεί αυτός ο τρόπος κατάταξης των φοιτητών μe βάση το βάρος τους; Προφανώς αυτό ο τρόπος έχει πολύ χαμηλό βαθμό αξιοπιστίας.
Τα αποτελέσματα της εργασίας αυτής δείχνουν ότι η αξιοπιστία του δοκιμίου που χρησιμοποιήθηκε για το πρόγραμμα PISA ήταν πολύ χαμηλή (οι δείκτες που υπολογίστηκαν ήταν πολύ χαμηλοί), με την εγκυρότητα των αποτελεσμάτων μεγάλου ποσοστού των εξεταζομένων να είναι αμφισβητούμενη. Επίσης πολλές από τις ερωτήσεις του δοκιμίου επιδεικνύουν μεροληψία εις βάρος αρκετών χωρών. Για παράδειγμα, περίπου μια στις τρεις ερωτήσεις επιδείκνυε μεροληψία κατά των εξεταζομένων από την Tamil Nadu-India που κατατάγηκε 73η σε σύνολο 75 χωρών. Ταυτόχρονα, περίπου μια στις τέσσερις ερωτήσεις επιδείκνυε μεροληψία κατά των εξεταζομένων από την Κίνα, που κατατάγηκε πρώτη στη γενική κατάταξη. Αυτό οδηγεί στο συμπέρασμα ότι η επίδοση της κάθε χώρας στο δοκίμιο εξαρτάται από το ποιες ερωτήσεις θα κληθεί να απαντήσει το μεγαλύτερο μέρος του πληθυσμού των εξεταζομένων της. Πιθανοί λόγοι για τη μεροληψία των ερωτήσεων είναι, κατά τη γνώμη του ερευνητή, η διαφορετικότητα ανάμεσα στα αναλυτικά προγράμματα και στην έμφαση που αυτά δίνουν στα διάφορα κεφάλαια όπως επίσης και στη διαφορά κουλτούρας ανάμεσα στις διάφορες χώρες ως προς την αντιμετώπιση τέτοιων διαγωνισμών.
Φυσικά το ερώτημα που τίθεται είναι πόση βαρύτητα πρέπει να δίνουμε και πως να αξιοποιούμε τα αποτελέσματα αυτά. Λόγω της χαμηλής αξιοπιστίας των δοκιμίων, τουλάχιστο στα μαθηματικά, δεν πρέπει να δίνεται μεγάλη σημασία στην κατάταξη των χωρών σε διαδοχικές χορηγήσεις των δοκιμίων αυτών. Δηλαδή αν η θέση της Κύπρου ή της Ελλάδας βελτιωθεί κατά 10 θέσεις από το 2012 στο 2015, αυτό δε σημαίνει κατ' ανάγκη βελτίωση. Μπορεί απλά να σημαίνει ότι χορηγήθηκαν πιο ευνοϊκές ερωτήσεις στους εξεταζομένους των χωρών αυτών. Άρα, κατά τη γνώμη του ερευνητή, το PISA δεν αποτελεί μια καλή ή αξιόπιστη βάση για την αξιολόγηση της μέχρι τώρα πορείας μας και φυσικά είναι παρακινδυνευμένο να χρησιμοποιήσουμε τα αποτελέσματά του για διαμόρφωση πολιτικών και αλλαγών με σκοπό τις βελτιώσεις της ποιότητας της εκπαίδευσης μας και των μαθησιακών διαδικασιών μας.
Ο ερευνητής πιστεύει ότι πρέπει να μας προβληματίσει η άσχημη κατάταξη μας (Κύπρου και Ελλάδας) στο διαγωνισμό του 2012, να δούμε αναλυτικά την επίδοση των μαθητών μας ανά ερώτηση και να αποφασίσουμε αν θέλουμε να βελτιώσουμε τους τομείς στους οποίους υστερούμε, αν φυσικά θεωρούμε ότι αυτοί οι τομείς είναι σημαντικοί στη μαθηματική μας παιδεία.
Ο ερευνητής εισηγείται όπως διεκπεραιωθούν παρόμοιες εργασίες με τα αποτελέσματα του διαγωνισμού για το 2012, έτσι ώστε να διαπιστωθεί ο βαθμός εγκυρότητας και αξιοπιστίας των δοκιμίων σ' όλες της θεματικές ενότητες. Αυτό είναι απαραίτητο έτσι ώστε να μην παρθούν βεβιασμένες αποφάσεις για το μέλλον του εκπαιδευτικού συστήματος στην Κύπρο που να βασίζονται στη χρήση λανθασμένου εργαλείου μέτρησης.
Ένας από τους κριτές για τη δημοσίευση της πιο πάνω έρευνας πολύ εύστοχα αναφέρει:
Ένα από τα αξιόλογα συμπεράσματα του άρθρου είναι ότι, λόγω των προαναφερθέντων προβλημάτων, εφόσον γίνεται χρήση των δεικτών και των συνακόλουθων κατατάξεων του προγράμματος Pisa, η χρήση αυτή θα πρέπει να γίνεται με ιδιαίτερη προσοχή και επιφύλαξη στα πλαίσια της συζήτησης για το σχεδιασμό εκπαιδευτικής πολιτικής και της αξιολόγησης της υπάρχουσας κατάστασης όσον αφορά στη μαθηματική εκπαίδευση. Εδώ αξίζει να επισημανθεί ότι χρήση των δεικτών και των συνακόλουθων κατατάξεων του προγράμματος Pisa δεν γίνεται μόνο από την κοινότητα των ειδικών για την εκπαίδευση και την χάραξη εκπαιδευτικής πολιτικής. Συχνά οι δείκτες και οι κατατάξεις αυτές χρησιμοποιούνται από τα media και από κέντρα επιρροής και διαμόρφωσης της κοινής γνώμης. Το στοιχείο αυτό καταδεικνύει ένα ακόμη λόγο για τον οποίο είναι σημαντικά τα αποτελέσματα του παρόντος άρθρου.
Τέλος, χρησιμοποιώντας τα λόγια του καθηγητή Linacre: "International educational League Tables make for exciting politics but not much for education". (Linacre, personal communication, April 24, 2012).
Βιβλιογραφικές πηγές
Οικονομίδης, Γ. (8/10/2014).Τα αποτελέσματα του προγράμματος PISA, ένα παράθυρο ευκαιρίας για εκπαιδευτική μεταρρύθμιση. Παιδεία News. Available at: http://www.paideia-news.com/index.php?id=109&hid=14127&url=Τα-αποτελέσματα-του-προγράμματος-PISA,-ένα-παράθυρο-ευκαιρίας-για-εκπαιδευτική-μεταρρύθμιση
Παναγίδης, Π. (2014). PISA – Μαθηματικά: Πόσο αξιόπιστα είναι τα αποτελέσματα; Επιστήμες Αγωγής, 2-3, 147-158. Available at: http://www.ediamme.edc.uoc.gr/index.php?id=150,0,0,1,0,0
Kreiner, S. (2012). Is the foundation under PISA solid? A critical look at the scaling model underlying international comparisons of student attainment. Study presented at the 6th Annual UK Rasch Users Group Meeting, 20 – 21 March, Leeds, UK.
Rasch, G. (1960) Probabilistic models for some intelligence and attainment tests. (Reprinted in 1980 with a forward and afterward by Benjamin D. Wright). Chicago: MESA Press.
Εδώ θα βρείτε την εργασία που δημοσιεύται στο ΕΠΙΣΤΗΜΕΣ ΑΓΩΓΗΣ του Πανεπιστημίου της Κρήτης.
Συμπλήρωσε το newsletter της Carrefour και κέρδισε δωροεπιταγή 200€
Όλες οι σημαντικές και έκτακτες ειδήσεις σήμερα
ΕΛΜΕΠΑ: Το κορυφαίο πρόγραμμα Ειδικής Αγωγής στην Ελλάδα για διπλή μοριοδότηση
Το 1ο στην Ελλάδα Πρόγραμμα επιμόρφωσης Τεχνητής Νοημοσύνης για εκπαιδευτικούς με Πιστοποιητικό
ΑΣΕΠ: Η πιο Εύκολη Πιστοποίηση Αγγλικών για μόρια σε 2 ημέρες (δίνεις από το σπίτι σου με 95 ευρώ)
Παν.Πατρών: Μοριοδοτούμενο σεμινάριο ΕΙΔΙΚΗ ΑΓΩΓΗΣ με 65Є εγγραφή - έως 14/12
ΕΥΚΟΛΕΣ πιστοποιήσεις ΙΣΠΑΝΙΚΩΝ - ΙΤΑΛΙΚΩΝ - ΓΑΛΛΙΚΩΝ - ΓΕΡΜΑΝΙΚΩΝ για ΑΣΕΠ - Πάρτε τις ΑΜΕΣΑ
2ος Πανελλήνιος Γραπτός Διαγωνισμός ΑΣΕΠ: Τα 2 μαθήματα εξέτασης και η ύλη
