Συγκριτική βιβλιομετρική αξιολόγηση τμημάτων Πληροφορικής κ.α.
Μετά την βιβλιομετρική αξιολόγηση ελληνικών οικονομικών τμημάτων, η ΜΟΔΙΠ του ΠΑ.ΜΑΚ. παρουσιάζει τώρα μια παρόμοια μελέτη για τμήματα:
α) Πληροφορικής
β) Διεθνών Σπουδών
γ) Διοίκησης Επιχειρήσεων/Λογιστικής-Χρηματοοικονομικών
Οι μελέτες βρίσκονται στην ιστοσελίδα της:
http://modip.uom.gr/
Categories: Uncategorized
Μια ακόμα ώριμη και ορθή χρήση των βιβλιομετρικών δεικτών. Ιδιαίτερα απ’τη στιγμή που πρόκειται για “aggregates” ολόκληρων Τμημάτων και όχι μεμονομένους επιστήμονες.
Κοιτούσα αυτήν της Πληροφορικής μιας που είναι η πιο «θετική». Ενδιαφέροντα συμπεράσματα και σίγουρα unbiased καθώς το Πα.Μακ. που έκανε αυτές τις αξιολογήσεις βγήκε… τελευταίο. (Μπράβο στο ΑΠΘ που βγήκε πρώτο! Η Θεσσαλονίκη όπως πάντα είναι η πόλη των αντιθέσεων…)
Πολύ καλή δουλειά. Μπράβο στον Κατρανίδη και Ζωντανό για την δουλειά τους. Μακάρι όλοι οι Αντιπρυτάνεις να έκαναν μια τέτοια δουλειά για τα Πανεπιστήμιά τους.
Άτομα από τον χώρο της Πληροφορικής μπορούν να επιβεβαιώσουν. Εξ όσων γνωρίζω:
* Η Πληροφορική είναι ιδιάζουσα περίπτωση στο χώρο των επιστημών, λόγω της μεγαλύτερης απήχησης των δημοσιεύσεων σε ορισμένα peer-reviewed συνέδρια (από περιοδικά) τα οποία δεν συμπεριλαμβάνονται στις κλασικές βάσεις δεδομένων.
* Το τμήμα του Πανεπιστημίου της Κρήτης θεωρείται εξαιρετικά δυνατό και είναι παράξενο πως δεν είναι στην κορυφή.
Δηλαδή- εμμέσως πλην σαφώς- θες να πεις ότι το Κρήτης βγαίνει πρώτο γιατί οι ερευνητές του ασχολούνται περισσότερο με εργασίες συνεδρίων παρά απλές δημοσιεύσεις, έτσι;
Άι ντον μπάι ιτ. Συνήθως όταν ένα Τμήμα είναι ερευνητικά καλό είναι καλό σε όλα συμμετρικά. Δεν είναι ότι το προσωπικό του σνομπάρει μιας μορφής εξωτερίκευσης του έργου του για μια άλλη. Άσε που πολλές εργασίες συνεδρίων ανακυκλώνονται και σε παραδοσιακές δημοσιεύσεις αφότου ανακοινωθούν κι αυτό το έχω δει να γίνεται σε όλες τις επιστήμες.
Πάντως το Κρήτης δεν είναι ότι βγήκε σκάρτο, απλά δε βγήκε καλύτερο απ’το ΑΠΘ.
Δεν είναι ούτε η πρώτη φορά ούτε η τελευταία που βρισκόμαστε προ εκπλήξεων όταν βγαίνουν βιβλιομετρικά αποτελέσματα. Δεν είχε συμβεί και με του Θέμη στη Φυσική; Θα περίμενε κανείς πως Αθήνα και Θεσσαλονίκη με το πολύ προσωπικό να έχουν και πολύ δουλειά (λόγω κλιμάκωσης κονδυλίων και συνεργασιών), κάτι που όμως δε συμβαίνει.
Όπως έχουμε πάντως ξαναπεί τόσες φορές, αν, καμία μέθοδος δεν είναι τέλεια. Γι’αυτό χρειάζονται όλες και μετα-αξιολόγησή τους για βελτίωση στο μέλλον.
@Κωνσταντίνος Μιχαηλίδης
Αυτό που λέω (όχι εγώ, αλλά οι σχετικές μελέτες ειδικών περί τα βιβλιομετρικά) είναι πως η Πληροφορική είναι ιδιάζουσα περίπτωση στο σύνολο των επιστημών (εννοώ Sciences) και οι κλασικές βάσεις δεδομένων (που δεν περιλαμβάνουν συνέδρια) είναι ανεπαρκείς για βιβλιομετρική αξιολόγησή της. Τα συμπεράσματα αυτά είναι γνωστά σε όσους ασχολούνται με τα βιβλιομετρικά. Αν θυμάμαι καλά επίσης, σε κάποιες μελέτες είχε βρεθεί πως η απήχηση κάποιων καλών συνεδρίων Πληροφορικής (που δεν συμπεριλαμβάνονται στις βάσεις δεδομένων) ήταν 8 φορές μεγαλύτερη των μετρίων journals (τα οποία συμπεριλαμβάνονται).
Τα υπόλοιπα για τους ειδικούς.
Και ναι, έχεις δίκιο. Αλλά απροκάλυπτα δε διάβασες τι έγραψα…
Η βάση δεδομένων Scopus (η οποία έχει χρησιμοποιηθεί στην παρούσα βιβλιομετρική σύγκριση) περιλαμβάνει 3,6 εκατομμύρια εγγραφές από πρακτικά συνεδρίων. Αυτές οι 3,6 εγγραφές αντιπροσωπεύουν περίπου το 10% του συνόλου των εγγραφών της Scopus. Εάν λάβουμε υπόψη μας ότι στη συντριπτική τους πλειοψηφία αφορούν συνέδρια πληροφορικής το ποσοστό των εγγραφών για συνέδρια πληροφορικής ξεπερνά το 50% του συνόλου των εγγραφών της Scopus για την πληροφορική. (http://info.scopus.com/scopus-in-detail/content-coverage-guide/sourcetypes/)
Επίσης η Web of Science περιλαμβάνει πλεόν και τη βάση δεδομένων Conference Proceedings Citation Index από την οποία αντλεί δεδομένα αναφορών για όλες τις εγγραφές της. (http://images.isiknowledge.com/WOK46/help/WOS/h_database.html)
@stillalive
Έχω την εντύπωση πως τις δημοσιεύσεις συνεδρίων άρχισαν πρόσφατα να τις συμπεριλαμβάνουν, αλλά μόνο κατ’ όνομα. Όχι σαν ισοδύναμες δημοσιεύσεις με τις αναφορές τους. Το οποίο, απλά, σημαίνει πως στην τελική σούμα μετρούν μόνον οι αναφορές που γίνονται από indexed-journals και όχι και από συνέδρια. Από όσα μου έχουν τεθεί υπόψη, η πληροφορική είναι ειδική περίπτωση σε σχέση με ό,τι καλούμε Sciences (δεν μπορώ να εκφραστώ για πέρα από sciences, όπου υπάρχουν άλλου είδους ειδικές περιπτώσεις και προβλήματα). Τα δε πρακτικά συνεδρίων πληροφορικής αφορούν full peer-reviewed papers (ξανά σε αντίθεση με το τι γίνεται οπουδήποτε αλλού όπου συνήθως στέλνεται abstract).
@Κωνσταντίνος Μιχαηλίδης
Το διάβασα. Απλά δεν είχα τίποτα άλλο να σχολιάσω!
@αν
Στη Scopus περιλαμβάνονται ισότιμα όλα τα conference papers. Ο μόνος περιορισμός της Scopus γενικά είναι πως περιλαμβάνει αναφορές από το 1996 και μετά. Οποιοσδήποτε και αν κάνει μια έρευνα στη Scopus (ιδιαίτερα στη θεματική περιοχή της πληροφορικής) θα δεί στα αποτελέσματα έναν πολύ μεγάλο αριθμό εγγραφών με conference papers με το σύνολο των αναφορών τους (references).
Όσον αφορά την Web of Science ισχύει το ακριβώς αντίθετο από αυτό που ισχυρίζεστε. Οι αναφορές από conference papers περιλαμβάνονται σε όλες τις βάσεις ενώ τα ίδια τα conference papers περιλαμβάνονται μόνον στο Conference Proceedings Citation Index. Έτσι, ένα άρθρο περιοδικού που περιλαμβάνεται στο Science Citation Index περιλαμβάνει citations που έχει δεχθεί από conference papers. Η εξέλιξη αυτή είναι πράγματι για τη WoS πρόσφατη (από το 2009) η κάλυψη όμως για τα conference papers πάει πίσω ως το 1990!
Η WoS λόγω ανταγωνισμού με τη Scopus σταμάτησε να είναι τόσο ελιτίστικη.
@stillalive
Δεν έχω ιδίαν αντίληψη. Αλλά, όταν πέρυσι, είχε τεθεί το ζήτημα με συναδέλφους της Πληροφορικής, μου είχαν παρουσιαστεί παραδείγματα περιπτώσεων με (order of) 50 citations σε google scholar και καμία σε scopus. Μεγάλη διαφορά, δεν νομίζετε; Οι δε αναφορές που έβρισκε το google scholar ήταν – στη συντριπτική πλειοψηφία τους – καθόλα αξιοπρεπείς. Για κάποιες από αυτές μου έκανε εντύπωση πως δεν τις έβρισκε το scopus. Το επιχείρημά τους πάντως ήταν πως το google scholar, παρά τις ελλείψεις του, ήταν ό,τι καλύτερο για την αποτύπωση των βιβλιομετρικών του κλάδου…
Δηλαδή όποτε η Κρήτη δεν βγαίνει πρώτη, φταίει η μέθοδος αξιολόγησης?!!!
@parsifal
Eίστε εκτός θέματος.
@αν
Μα από αυτό τη σημείο δεν ξεκίνησατε το θέμα της συζήτησης? Επίσης, η απάντησή σας δείχνει ενόχληση?
Το Google Scholar έχει σίγουρα “αστρονομικά” ευρύτερη κάλυψη (περιλαμβάνει και books και technical papers και πολλά άλλα είδη γκρίζας βιβλιογραφίας). Τα προβλήματα του Google Scholar όμως σχετίζονται κυρίως με την αδιαφανή του κάλυψη και με την μειωμένη αξιοπιστία και ακρίβεια των αποτελεσμάτων του. Η Google δεν έχει αποκαλύψει ποτέ ποιες ακριβώς πηγές ευρετηριάζει και ποιες όχι στο Google Scholar. Επίσης επειδή τα δεδομένα συχνά προέρχονται από τα references κάποιου paper αναπαράγει τα πολύ συνηθισμένα λάθη των βιβλιογραφικών παραπομπών.
Σε τελευταία ανάλυση όμως έχω τη γνώμη πως και μια βιβλιομετρική σύγκριση με πηγή δεδομένων το Google Scholar δεν θα έδινε στατιστικά σημαντικά διαφορετικά αποτελέσματα. Ο παραπάνω ισχυρισμός στηρίζεται σε μια σχετική βιβλιομετρική έρευνα (που συνέκρινε αποτελέσματα από WoS, Scopus και Google Scholar) για την οποία δυστυχώς αυτή τη στιγμή δεν έχω πρόχειρη την βιβλιογραφική παραπομπή.
Για να μη σας χαλάω και τη συζήτηση, απλώς να σας μεταφέρω την εμπειρία μου ως μέλος επιτροπής εσωτερικής αξιολόγησης και μετά θα αποχωρήσω:
Σε επίπεδο τμήματος το στατιστικό δείγμα είναι αρκετά μεγάλο οπότε τα συμπεράσματα που βγαίνουν είναι αρκετά ασφαλή όποια database και αν χρησιμοποιηθεί.
Ίσως να αλλάζουν τα απόλυτα νούμερα, αλλά η σχετική κατάταξη και η γενική εντύπωση δεν πρέπει να αλλάζει (όποια κριτήρια και να βάλετε για την βιβλικομετρική αξιολόγηση δεν πρόκειται τα Harvard, MIT και Cambridge να είναι μακρυά από την κορυφή). Αν δυο τμήματα εναλλάσονται στην πρώτη θέση ανάλογα με την database, είναι γενικά αρκετά ισοδύναμα (π.χ. είναι αστείο να λέμε ότι το Yale είναι ακαδημαϊκά ‘χειρότερο’ από το Harvard, οι ποσοτικές διαφορές τους είναι πολύ μικρές και χρησιμοποιούνται μόνο για marketing).
Αν η πληροφορική έχει ιδιαιτερότητες (π.χ. δεν δημοσιεύουν σε περιοδικά, και μπορεί κάποιος να κάνει retrieve των βιβλιομετρικών μόνο από το google scholar) γιατί δεν ελέγχουμε με ποιά κριτήρια αξιολογούνται τα αντίστοιχα τμήματα στα top τμήματα παγκοσμίως και να υιοθετήσουμε αυτή τη μέθοδο?
Αυτά τα ολίγα, καλό σας απόγευμα.
@stillalive
“Ο παραπάνω ισχυρισμός στηρίζεται σε μια σχετική βιβλιομετρική έρευνα (που συνέκρινε αποτελέσματα από WoS, Scopus και Google Scholar) για την οποία δυστυχώς αυτή τη στιγμή δεν έχω πρόχειρη την βιβλιογραφική παραπομπή”
Αυτό φυσιολογικά ισχύει όταν τα patterns είναι κοινά μεταξύ των τριών. Και για τους περισσότερους τομείς των Θετικών Επιστημών είναι. Σε περιπτώσεις κλάδων Arts κλπ, είναι γνωστό πως δεν είναι. Οπως και στην περίπτωση της πληροφορικής. Θα προσπαθήσω να ψάξω και να βρω τις περιπτώσεις papers με ~50 αναφορές σε GS και καμία σε SCOPUS που μου είχαν επισημανθεί από τους συναδέλφους της Πληροφορικής. Και, προφανώς, δεν μπορεί να είναι μοναδικές εξαιρέσεις για τον τομέα τους…
Παρεμπιπτόντως, η συζήτηση αυτή είχε γίνει στα πλαίσια κοινού πλαισίου αξιολόγησης για όλα τα τμήματα Θετικών Επιστημών. Η επιλογή ήταν τελικά να χρησιμοποιηθούν scopus και google scholar μαζί…
@parsifal
«Αν η πληροφορική έχει ιδιαιτερότητες (π.χ. δεν δημοσιεύουν σε περιοδικά, και μπορεί κάποιος να κάνει retrieve των βιβλιομετρικών μόνο από το google scholar) γιατί δεν ελέγχουμε με ποιά κριτήρια αξιολογούνται τα αντίστοιχα τμήματα στα top τμήματα παγκοσμίως και να υιοθετήσουμε αυτή τη μέθοδο?»
Άλλο ενδοαξιολόγηση, άλλο σύγκριση τμημάτων. Καμία αξιολόγηση (πχ σαγκάι, τάιμς, γκάρντιαν, κλπ) από όσο γνωρίζω δεν βασίζεται αποκλειστικά στα βιβλιομετρικά. Η περίπτωση του ΗΒ είναι ενδιαφέρουσα – όπου έχει τεθεί το ζήτημα των βιβλιομετρικών – αλλά εξ όσων γνωρίζω εξακολουθούν να υπάρχουν μεγάλες ασυμφωνίες και δεν είναι ξεκάθαρο αν και πως θα προχωρήσει.
Παρεμπιπτόντως, δεν έχω καμία σχέση με το ΠΚ, απλά σέβομαι και μεταφέρω τη γνώμη εξαιρετικά δυνατών – διεθνώς – συναδέλφων γι αυτό.
Έχετε απόλυτο δίκιο! Αλλά μια σοβαρή επιτροπή ενδοαξιολόγησης δεν πρέπει να κάνει και τη μελέτη σύγκρισης ομοειδών τμημάτων (για να ξέρει πού βρίσκεται το τμήμα), έστω και αν δεν τη δημοσιεύει?
@parsifal
Από προσωπική εμπειρία, η ενδοαξιολόγηση είναι συνήθως quite a task από μόνη της. Δύσκολα θα υπήρχε επιπλέον χρόνος να γίνει η ίδια δουλειά και για άλλα πόσα τμήματα. Επίσης, τα στοιχεία που χρησιμοποιούνται δεν είναι μόνο τα βιβλιομετρικά αλλά funding, phds, κλπ, και αυτά δεν είναι εύκολο να αντληθούν και για άλλους…
Μετρήστε και συγκρίνετε αναφορές σε GS και SCOPUS για: http://portal.acm.org/citation.cfm?id=1630802
@αν
Δεν έχω πρόσβαση αυτή τη στιγμή στη Scopus και επιφυλάσσομαι για πιο ολοκληρωμένη απάντηση. Όμως χρησιμοποιώντας ως παράδειγμα αυτήν την εργασία μπορούμε να δούμε μαζί τα προβλήματα αξιοπιστίας και ακρίβειας της Google Scholar.
Ας κάνουμε την έρευνα ["Dynamic probabilistic relational models" συγγραφέας:"Weld"] δηλ. ας πληκτρολογήσουμε στο search box της Google Scholar την παραπάνω έρευνα (παραλείποντας τις αγκύλες αλλά όχι τα εισαγωγικά).
Στα αποτελέσματα θα δούμε ότι ακριβώς η ίδια εργασία εμφανίζεται 3 φορές, εμφανίζεται δηλ. ως 3 εργασίες εκ των οποίων η μία έχει 75 αναφορές και οι άλλες δύο καμμία. Αυτό σημαίνει αυτόματα ότι ο Weld φαίνεται να έχει δύο εργασίες παραπάνω από όσες έχει αλλά ταυτόχρονα μειώνεται ο λόγος αναφορών προς δημοσιεύσεις από 75/1 σε 75/3.
Τώρα εάν κάνετε την ίδια έρευνα αλλά στη θέση του συγγραφέα βάλετε τον άλλον co-author δηλ. ["Dynamic probabilistic relational models" συγγραφέας:"Domingos"] για η ίδια μοναδική εργασία θα εμφανίζεται 2 φορές. Αυτό σημαίνει ότι (εξετάζοντας την ίδια και μοναδική εργασία που έχουμε πάρει ως παράδειγμα] ο Domingos θα εμφανίζεται κατά μια εργασία λιγότερο παραγωγικός από τον Weld αλλά με καλύτερο λόγο αναφορών προς δημοσιεύσεις 75/2.
Εαν συνεχίσουμε και κάνουμε και μια τρίτη έρευνα αλλά στη θέση του συγγραφέα βάλουμε τον άλλο co-author “Dynamic probabilistic relational models” συγγραφέας:”Sanghai” θα αποκαλύψουμε πως ο Sanghai είναι λιγότερο παραγωγικός από όλους (στα αποτελέσματα η μία εργασία ω του θαύματος εμφανίζεται πράγματι ως μία) αλλά έχει τον καλύτερο λόγο αναφορών προς δημοσιεύσεις 75/1.
Τι σόι βιβλιομετρικές συγκρίσεις μπορείς να κάνεις με τέτοια δεδομένα!
Και αυτό αφορά μόνον την τριπλή εμφάνιση μιας και μοναδικής εργασίας 3 συγγραφέων με διαφορετικό τρόπο στον κάθε συγγραφέα. Μπορείτε και μόνος σας να διαπιστώσετε πόσο πολλαπλάσιάζονται τα προβλήματα άν εξετάσουμε 10 διαφορετικές εργασίες, πόσες εργασίες που εμφανίζονται δεν είναι καν peer-reviewed και εκατοντάδες άλλα προβλήματα.
H Google Scholar δεν προσφέρεται για σοβαρές βιβλιομετρικές εργασίες. Την αγαπούν όλοι για πολλαπλασιάζει όλων τα papers και τα citations σε σχέση με την καταραμένη Web of Science αλλά ως πηγή βιβλιομετρικών δεδομένων δεν αξίζει. Σχετική βιβλιογραφία υπάρχει και στο κομμάτι της μεθοδολογίας της έρευνας του ΠΑΜΑΚ.
@stillalive
Πολύ σωστά. Ετσι είναι. Η GS δεν μπορεί να χρησιμοποιηθεί βιβλιομετρικά. Προφανώς καλύτερη είναι και η WoS επειδή έχει περισσότερο δύσκολα κριτήρια ένταξης στη βάση σε σχέση με την scopus, πολλά περιοδικά της οποίας δεν πρόκειται ποτέ να μπουν στην πρώτη γιατί η επίδρασή τους είναι μάλλον μικρή.
Θα ήταν ενδιαφέρον αν στο μέλλον βελτιωθεί το Google Scholar προσφέροντας ένα ολοκληρωμένο toolkit από operators (ακόμα κι ένα “strict mode”) ώστε να αποτελεί ένα αξιόπιστο εργαλείο βιβλιομετρικών αναζητήσεων. Αν δε το συνδυάσουν με τα εργαλεία ανάλυσης που έχουν ήδη για τα webometrics θα γινει πραγματικά ασυναγώνιστο!
Δεν έχω χρησιμοποιήσει ποτέ το Google Scholar, ακουστά μόνο το έχω. Το Web of Science προσφέρει αρκετές δυνατότητες αλλά και σε αυτό έχω δει εργασίες συγγραφέων να υπάρχουν πολλαπλές φορές στον κατάλογο αποτελεσμάτων κατόπιν αναζήτησης. Έτσι μπορεί ασπούμε ένας συγγραφέας να φαίνεται π.χ. ότι έχει 25 εργασίες, αλλά αν ψάξει κάποιος προσεκτικά θα δει για παράδειγμα ότι 2-3 από αυτές είναι ‘εις διπλούν’ στον κατάλογο αποτελεσμάτων. Στη μία εγγραφή για παράδειγμα τo source είναι σε κεφαλαία γράμματα (CHEMPHYSCHEM) και στην άλλη για κάποιο απροσδιόριστο λόγο υπάρχει η ίδια εργασία, απλά το περιοδικό είναι γραμμένο με μικρά γράμματα (τεχνικό λάθος προφανώς). Βέβαια οι διπλοεγγραφές δε συναντώνται σε κάθε αναζήτηση εργασιών. Στο ‘scopus’ απ’όσο θυμάμαι δεν έχω δει παρόμοια τεχνικά λάθη. Υπάρχει και το scifinder.cas.org, τσεκάρετέ το όσοι έχετε πρόσβαση. Αν θυμάμαι καλά και σε αυτό το τελευταίο έχω δει κάποιες φορές διπλοεγγραφές εργασιών.
@stillalive
Δεν είμαι σίγουρος πως μπορώ να παρακολουθήσω το συλλογισμό σας. Δεν μας ενδιαφέρει να μετρήσουμε άρθρα. Αυτά τα έχουμε σχετικά εύκολα. Στη συγκεκριμένη περίπτωση ένα άρθρο έχουμε και θέλουμε αναφορές (citations) να μετρήσουμε. Το GS έβγαλε 75 αναφορές για εργασία όπου το Scopus βγάζει 0 (μηδέν). Kαι το ζητούμενό μας είναι πόσες πραγματικά είναι οι αναφορές του συγκεκριμένου άρθρου. Αν δούμε αναλυτικότερα τις 75 αναφορές από το GS οι περισσότερες από τις μισές είναι σε genuine περιοδικά. Ακόμη και αν οι *πραγματικές* αναφορές του άρθρου είναι (ας πούμε) 40, το λάθος που λαμβάνω σε σχέση με το 75 είναι πολύ καλύτερο από το λάθος που λαμβάνω σε σχέση με το μηδέν.
Τέλος πάντων. Η συζήτηση αυτή έγινε σε ευρύτατο επίπεδο πέρυσι σε κάποιο διακεκριμένο (όχι ελληνικό) πανεπιστήμιο και η κατάληξη ήταν να χρησιμοποιηθούν μαζί Scopus και GS. Και όπως προείπα, οι πληροφορικάριοι ήταν σαφέστατα αντίθετοι σε WOS και SCOPUS (και ίσως το GS ήταν compromise, ίσως επειδή φουσκώνει τις αναφορές).
@Κωνσταντίνος Μιχαηλίδης
Δεν είμαι σίγουρος εάν έχω καταλάβει καλά τι εννοείτε ως “ολοκληρωμάνο toolkit από operators”. Εάν πάντως εννοείτε τον υπολογισμό βιβλιομετρικών δεικτών αυτό το κάνει το ελεύθερο software “Harzing’s Publish or Perish”. Το πρόβλημα είναι πως αναπαράγει τα προβλήματα της μηχανής αναζήτησης της GS γιατί ακριβώς στηρίζεται σε αυτήν. Νομίζω πως η βασική διαφορά της GS από Scopus και WoS είναι πως η πρώτη είναι μια μηχανή αναζήτησης ενώ οι άλλες είναι βάσεις δεδομένων στις οποίες ανθρώπινα μυαλά εισάγουν τις πληροφορίες σε προκαθορισμένα πεδία, κάνουν θεματική ανάλυση της κάθε εργασίας κλπ.
Ασφαλώς η GS αποτελεί ανεκτίμητο εργαλείο. Προς το παρόν όμως δεν έχει τη δομή που να της επιτρέπει να χρησιμοποιείται για βιβλιομετρικές συγκρίσεις (ειδικά σε μεγάλο αριθμό εγγραφών).
@Παραμυθιασμένος
Αν δεν το έχετε αντιληφθεί, δεν μιλάμε γενικά για όλες τις επιστήμες. Κάνουμε διάκριση, καθότι κάθε κλάδος έχει τις ιδιαιτερότητές του. Οι οποίες – εκ των πραγμάτων – καθιστούν ένα ενιαίο βιβλιομετρικό σύστημα μάλλον δύσκολο. Πάντως, όπως και ο κύριος Μιχαηλίδης έγραψε, νομίζω πως το GS έχει τη δυνατότητα μελλοντικής βελτίωσης ώστε να γίνει ασυναγώνιστο.
@αν
Στο παράδειγμα που χρησιμοποίησα (εσείς άλλωστε το υποδείξατε) στo GS για την ίδια μία και μοναδική εργασία τριών συνεργαζόμενων συγγραφέων έχουμε άλλο λόγο αναφορών προς δημοσιεύσεις για κάθε ένα από τους 3 συγγραφείς για την ίδια εργασία!
Προφανώς μπορεί κάποιος να μετρήσει εύκολα τον αριθμό των εργασιών ενός συγγραφέα κάνοντας μόνος του αποδιπλασιασμό των πολλαπλά εμφανιζόμενων εργασιών. Ειδικά όταν πρόκειται για 10-20 εργασίες. Όταν πρόκειται για τις εργασίες των μελών ΔΕΠ ενός Τμήματος τα πράγματα δυσκολεύουν πάρα πολύ. Όπως είπα και παραπάνω επιφυλάσσομαι να απαντήσω για τις αναφορές στη Scopus επειδή δεν έχω πρόσβαση αυτή τη στιγμή. Να με συγχωρείτε.
@stillalive
Εξακολουθείτε να μην αντιλαμβάνεστε πως το ζητούμενο είναι “πόσες αναφορές έχει ένα άρθρο”. Αυτό ψάχνουμε να βρούμε. Και αν κάποιος θέλει να το ψάξει, είναι καλύτερα να υπάρχει πληροφορία με noise (όπως στο GS) παρά καθόλου πληροφορία (όπως στο SCOPUS ή αλλού). Παρεμπιπτόντως, οι Πληροφορικάριοι θεωρούν το συγκεκριμένο συνέδριο από τα κορυφαία στον τομέα του.
Υπάρχει θέμα με τη Πληροφορική.
Παράδειγμα που είχε παίξει και στο GURF Και είναι κ δικός μας..
Joseph Sifakis, στο Scopus 64 hits-1600 citations h-index 17
Joseph Sifakis, στο GS 377hits -10000+ citations h-index 45
Τα h-index σίγουρα είναι λίγο προβληματικά λόγω των Hits (σίγουρα το 377 έχει διπλοτριπλα) αλλά στα citations υπάρχει τάξη μεγέθους διαφορά. Ένα από τα tophit papers του (αυτό του 1982), έχει επίσης τάξη μεγέθους διαφορά (100 citation Scopus – 1000 GS )
@αν
Αγαπητέ/-η αν
Μήπως εξακολουθείτε να μην αντιλαμβάνεστε πως από τον υπολογιστή που βρίσκομαι δεν έχω πρόσβαση στη Scopus και δεν μπορώ να κάνω τη σύγκριση που ζητάτε; Τι άλλο μπορώ να κάνω; Σας ζήτησα ήδη συγγνώμη και σας υπόσχομαι ότι το αργότερο μέχρι αύριο θα κοιτάξω για τη συγκεκριμένη εργασία συγκριτικά σε Scopus και GS.
@stojohn
Ένα ακόμη καλό παράδειγμα. Πήρα ένα άρθρο τυχαία του 1998: Cοntrοller Synthesis fοr Timed Autοmata
Στο SCΟPUS δεν υπάρχει. Στο GS έχει 169 αναφορές. Ψάχνοντας στις 15+ σελίδες όπου τις παραθέτει το GS, μόλις στην 4η υπάρχει κάτι που μοιάζει με deliverable και ίσως δεν θα έπρεπε να μετρά. Και μόλις στην 12η υπάρχουν αρκετές αναφορές που ίσως δεν θα έπρεπε να μετρούν.
Τι προτιμά κανείς; Πληροφορία με θόρυβο που μπορεί να φιλτραριστεί ή καθόλου πληροφορία; Αναφανδόν τάσσομαι υπέρ του πρώτου…
@stojohn
Πώς είστε σίγουρος ότι τα “διπλοτριπα” είναι μόνον στα hits και όχι στα citations;
Για το paper του 1982 υπάρχει η εξήγηση: Η Scopus περιλαμβάνει αναφορές από το 1996 και μετά. Επίσης η κάλυψή της πριν το 1996 έχει σοβαρά κενά.
Αυτό που θέλει βέβαια προσοχή είναι οι αναφορές στα βιβλία που επίσης υπάρχουν στο GS. Ο πάλι δικός μας, Papadimitriou CH, έχει πάνω από 12000 extra citations από βιβλία στο GS! Οχι βέβαια οτι αυτά δε προσθέτουν στο ερευνητικό προφιλ κάποιου, απλά λέμε τώρα… Κατά τα άλλα πάλι υπάρχει χάσμα, 6000 citations σε Scopus& ISI πάνω από 15000 αν αφαιρέσεις τα βιβλία στο GS.
Και εγώ πιστεύω οτι κρατιέται μια αναλογία (αυτοί που είναι καλοί στο ένα είναι και στο άλλο) αλλα ένα τμήμα δεν έχει ενός “είδους” πληροφορικους και αυτοί που είναι πιο κοντά σε engineering βγαίνουν καλύτεροι όταν κριτήριο είναι scopus&ISI.
@stillalive
Mα δεν είναι το ζητούμενο αγαπητέ πως δεν έχετε πρόσβαση στο SCOPUS. Εξακολουθείτε να μην αντιλαμβάνεστε. Το ζητούμενο είναι να βρούμε τον αριθμό αναφορών ενός άρθρου *Πληροφορικής* σε αντίθεση με άλλες επιστήμες. Ενός συγκεκριμένου άρθρου. Και το GS μας παρέχει πληροφορία με θόρυβο ενώ σε πλείστες όσες περιπτώσεις το SCOPUS και άλλες βάσεις δεδομένων παρέχει μηδέν πληροφορία. Και αυτά έχουν διερευνηθεί από πολλούς και σοβαρούς. Αν χρειάζεστε πρόσβαση στο SCOPUS για να αντιληφθείτε όλα αυτά, κανένα πρόβλημα. Ελάτε πάλι αύριο ή όταν έχετε την πολυπόθητη πρόσβαση…
@ αν
Πράγματι, θυμάμαι ότι στο SCOPUS σε κάποιες περιπτώσεις ο αριθμός των citations ενός άρθρου ήταν μικρότερος του πραγματικού. Με προσεκτικό ψάξιμο έχω επιβεβαιώσει ότι για κάποιες δημοσιεύσεις οι ‘αληθινές’ (εννοώ προφανώς χωρίς τις ‘διπλές’) citations ενός άρθρου ήταν λιγότερες από αυτές που έβρισκε το WoS. Για παράδειγμα υπήρχε πρόβλημα με το Art. No. στο Phys. Rev. B. Κάποιο πρόβλημα καταχώρησης, δε γνωρίζω, αλλά πάντως έχει συμβεί να έχει άρθρο στο Phys Rev B 15 citations στο WoS, και στο SCOPUS να βγαίνουν 0! Εντάξει, η παρούσα συζήτηση έχει να κάνει περισσότερο με τμήματα Πληροφορικής κλπ, αλλά νομίζω ότι όλες αυτές οι πληροφορίες που δίνει ο καθένας μας από την εμπειρία του στις βιβλιογραφικές πηγές, κάτι προσθέτουν. Άντε γεια χαρά προς το παρόν, σιγά σιγά να ετοιμαζόμαστε για τον τελικό του Μουντιάλ!
@nik
Ναι, αντίστοιχες διαφορές εμφανίζονται παντού. Οι Πληροφορικάριοι είναι όμως εκείνοι (από τις Θετικές Επιστήμες) που θεωρούν πως (λόγω της υφής των συνεδρίων στον κλάδο τους), τα Scopus και WOS τους αδικούν. Από όσα έχω δει, νομίζω πως το επιχείρημα έχει βάση…
Σίγουρα όλα αυτά τα προβλήματα στο μέλλον θα εξομαλυνθούν. Προσωπικά πάντως, νομίζω πως η δύναμη είναι στην αυτόματη αναζήτηση και γι αυτό θεωρώ το Gοοgle Scholar πρωτοποριακό. Και μακάρι να βελτιωθεί και άλλο στο μέλλον…
Μέχρι τότε όμως, πρώτα θα έχουμε μάθει το όνομα του WC2010 Champion… Και ίσως είναι από τις λίγες φορές (ίσως και η μοναδική φορά) που πραγματικά συμπαθώ και τους δύο!
Και λίγο πιό φιλοσοφικά (μέχρι να αρχίσει ο τελικός). Γιατί να μετρά η αναφορά στη δημοσίευση ενός τριτοκλασάτου περιοδικού (που θα υπάρχει σε μία βάση δεδομένων) και να μην μετρά εξίσου και η αναφορά στο technical report μιάς διακεκριμένης εταιρείας την οποία θα βρει το Goοgle Schοlar?
@αν
Μου επιτρέπετε να έχω τη γνώμη πως οι πληροφορίες με τόσο θόρυβο από τη GS τις καθιστούν αναξιόπιστες για εκτεταμένες βιβλιομετρικές συγκρίσεις; Και εγώ μπορώ να επικαλεστω πολλούς και σοβαρούς. Σας παρέπεμψα ήδη στο τμήμα της μεθοδολογίας της σύγκρισης του ΠΑΜΑΚ που αναφέρεται στη GS.
Και επειδή το θέμα δεν είναι η ποδοσφαιρικού τύπου αναμέτρηση GS vs. Scopus θα ήθελα να ξαναπώ τα παρακάτω:
Η GS έχει ασύγκριτα μεγαλύτερη κάλυψη από οποιαδήποτε άλλη βάση (Διαφορά τάξης μεγέθους 500+ εκ. εγγραφές vs. 30 εκ. εγγραφές).
Το πρόβλημά της είναι η αδιαφάνεια των πηγών της και κυρίως η έλλειψη αξιοπιστίας και ακρίβειας των δεδομένων της.
Αυτά τα χαρακτηρίστικά της την καθιστούν πολύ κατάλληλη για τον εντοπισμό αναφορών στο έργο ενός συγγραφέα αλλά προβληματική για εκτεταμένες βιβλιομετρικές συγκρίσεις. Για αυτό και κάνετε πολύ καλά να κοιτάται στη GS για τις αναφορές μιας συγκεκριμένης εργασίας. Απλά αυτό το 75-0 με κάνει λίγο καχύποπτο και θέλω να το επιβεβαιώσω με σχετική έρευνα στη Scopus.
Παρόλα αυτά επειδή σε μεγάλα δείγματα ο θόρυβος τείνει να διαχέεται με στατιστικά τυχαίο τρόπο δεν υπάρχει κανείς λόγος να υποθέτει κανείς πως εαν η σύγκριση γινόταν με δεδομένα από την GS το Πανεπιστήμιο Κρήτης θα ερχόταν πρώτο και το ΑΠΘ τελευταίο.
@nik
Είναι πολύ λογικό ένα άρθρο στο Phys Rev να έχει 15 αναφορές στο Wos και Ο στη Scopus. Ιδιαίτερα εάν έχει δημοσιευθεί πριν το 1996. Το Science Citation Index της WoS έχει κάλυψη από το 1945 ενώ η Scopus περιλαμβάνει δεδομένα αναφορών από το 1996 και μετά.
@αν
Μήπως γιατί το τριτοκλασάτο περιοδικό έχει peer review ενώ το technical report όχι?
@stillalive
Τo πρόβλημα έγκειται κυρίως στην Πληροφορική (και όχι γενικά) όπου φαίνεται πως το λάθος είναι μικρότερο στο GS παρά στις παραδοσιακές βάσεις δεδομένων (όπου η κάλυψη είναι ελλειπέστατη). Και ο λόγος για αυτό το φαινόμενο είναι βασικά η ιδιορρυθμία του κλάδου με τα peer-reviewed άρθρα σε πρακτικά συνεδρίων.
Δεν ξέρω τι θα γινόταν στην κατάταξη αν χρησιμοποιούντο δεδομένα από το GS. Δεν είναι όμως θέμα θορύβου που διαχέεται με στατιστικά τυχαίο τρόπο. Είναι θέμα κάλυψης και σημαντικότητας. Όταν στην πληροφορική υπάρχουν κορυφαίοι επιστήμονες με τα καλύτερα άρθρα τους σε συνέδρια απαιτείται καλή συλλογή των αναφορών σε άρθρα συνεδρίων και όχι περιοδικών.
Τέλος, το ξανααναφέρω. Υπάρχουν σοβαρές μελέτες όπου τα προβλήματα αυτά για την Πληροφορική έχουν επισημανθεί.
@stillalive
“Μήπως γιατί το τριτοκλασάτο περιοδικό έχει peer review ενώ το technical report όχι?”
Συγγνώμη, αλλά γνωρίζω πολλά τριτοκλασάτα περιοδικά που θα δημοσίευαν άρθρα χαμηλοτάτης ποιότητας. Το technical report μιάς διακεκριμένης εταιρίας που καινοτομεί μπορεί να είναι κλάσεις πιό σημαντικό από το άρθρο στο τριτοκλασάτο περιοδικό.
Μην τα βλέπετε όλα άσπρα-μαύρα, διότι δεν είναι.
@stillalive
http://delab.csd.auth.gr/~dimitris/papers/PCI08kmm.pdf
Enjoy… μέχρι να αρχίσει ο τελικός, ή να έχετε πρόσβαση στο SCΟPUS, or for as long…
Ρωτάω γιατι δεν είμαι πληροφορικός. Ναι σύμφωνοι τα περισσότερα συνέδρια της πληροφορικής έχουν peer review στο πλήρες κείμενο και όχι στο abstract και αυτό τα καθιστά σίγουρα εγκυρότερα από συνέδρια σε άλλες επιστήμες (π.χ. οικονομική). Αλλά μήπως οι διαφορές τελειώνουν εδώ;
Μήπως και στην πληροφορική ισχύει ότι συνήθως μια ανακοίνωση σε συνέδριο αποτελεί τις περισσότερες φορές τη βάση για μια πιο ολοκληρωμένη δημοσίευση σε περιοδικό;
@αν
Ασφαλώς και γνωρίζω την παραπάνω εργασία και είναι αξιοσημείωτο πως και η σύγκριση του ΠΑΜΑΚ καταλήγει στα ίδια περίπου συμπεράσματα με εξαίρεση το Παν. Κρήτης. Αυτό μπορεί να οφείλεται σε μετακινήσεις μελών ΔΕΠ που πιθανόν μεσολάβησαν από την έρευνα αυτή μέχρι σήμερα.
Θα ήθελα να συνοψίσω μερικές από τις ενστάσεις του αν και τις απαντήσεις σε αυτές:
1)”Η Πληροφορική είναι ιδιάζουσα περίπτωση στο χώρο των επιστημών, λόγω της μεγαλύτερης απήχησης των δημοσιεύσεων σε ορισμένα peer-reviewed συνέδρια (από περιοδικά) τα οποία δεν συμπεριλαμβάνονται στις κλασικές βάσεις δεδομένων”
Δεν ισχύει οι ‘κλασικές βάσεις δεδομένων’ και ιδιαίτερα η Scopus περιλαμβάνουν συνέδρια.
2)”Έχω την εντύπωση πως τις δημοσιεύσεις συνεδρίων άρχισαν πρόσφατα να τις συμπεριλαμβάνουν, αλλά μόνο κατ’ όνομα. Όχι σαν ισοδύναμες δημοσιεύσεις με τις αναφορές τους. Το οποίο, απλά, σημαίνει πως στην τελική σούμα μετρούν μόνον οι αναφορές που γίνονται από indexed-journals και όχι και από συνέδρια”
Ανακριβές: Η Scopus χειρίζεται τα conference papers ως ισοδύναμα με τα άρθρα. Στη δε WoS οι αναφορές από συνέδρια μετρούν σε όλα τα journal articles.
3)”Μετρήστε και συγκρίνετε αναφορές σε GS και SCOPUS για: http://portal.acm.org/citation.cfm?id=1630802. Το GS έβγαλε 75 αναφορές για εργασία όπου το Scopus βγάζει 0 (μηδέν)”
Ανακριβές: H Scopus δεν βγάζει 0 αναφορές. Απλώς δεν περιλαμβάνει τα πρακτικά του συγκεκριμένου συνεδρίου.
4)”Και το GS μας παρέχει πληροφορία με θόρυβο ενώ σε πλείστες όσες περιπτώσεις το SCOPUS και άλλες βάσεις δεδομένων παρέχει μηδέν πληροφορία. Και αυτά έχουν διερευνηθεί από πολλούς και σοβαρούς”
Δεν μας αναφέρει όμως ούτε έναν από τους πολλούς και σοβαρούς.
Για να σοβαρευτούμε όμως παραθέτω βιβλιογραφία από ειδικούς επιστήμονες της πληροφόρησης και βιβλιομετρίας που καταλήγουν στο συμπέρασμα ότι το Google Scholar είναι εξαιρετικό για οτιδήποτε άλλο εκτός από βιβλιομετρικές συγκρίσεις:
1) Το σύνολο σχεδόν των άρθρων του καθηγητή στο University of Hawaii, Dpt. of Information and Computer Sciences, Peter Jasco (http://www2.hawaii.edu/~jacso/article.htm
2) Επίσης του P. Jasco http://www2.hawaii.edu/~jacso/extra/gs/
3) Meho, L.I. & Yang, K. (2007). Impact of data sources on citation counts and rankings of LIS faculty: Web of science versus Scopus and Google Scholar. Journal of the American Society for Information Science and Technology, 58, 2105-2125.
4) Yang, K. & Meho, L.I., (2006). Citation analysis: a comparison of Google Scholar, Scopus, and Web of Science. Proceedings 69th Annual Meeting of the American Society for Information Science and Technology (ASIST). Available at: http://eprints.rclis.org/archive/00008121/01/Yang_citation.pdf, Vol. 43.
Στην έρευνα αυτή αναφέρεται πως στον κλάδο της πληροφορικής το 51,8% των αναφορών του έργου ενός επιστήμονα στη Google Scholar, προέρχεται από non peer-reviewed items.
Τελειώνοντας τα σχόλια για σήμερα θα ήθελα να κάνω λίγο θόρυβο για το “θόρυβο” της Google Scholar.
Ένα κουίζ:
Γνωρίζετε τους επιστήμονες: P. Login, A. Registered, P. Options, και S.D. Access?
Εάν δεν τους γνωρίζετε κάνετε έρευνα στο Google Scholar με τους παραπάνω authors και θα δείτε ότι είναι πολυγραφότατοι έχουν γράψει πάνω από 3000 articles στο περιοδικό Lancet.
Στην πραγματικότητα είναι συγγραφείς-ζόμπι που έχουν εξαφανίσει όλους τους πραγματικούς συγγραφείς του Lancet από τη Google Scholar. Θέλετε να μάθετε τα πλήρη ονόματά τους;
Ο κ. P. Login είναι ο γνωστός Please Login
O κ. A. Registered είναι ο πασίγνωστος Already Registered?
Ο κ. P. Options είναι ο περίφημος Purchase Options
και ο κ. S.D. Access είναι ο διάσημος ScienceDirect Access.
Έναν άλλον πολυγραφότατο συγγραφέα-ζόμπι τον κ. Password κατόρθωσε πρόσφατα η GS να τον αφανίσει.
Δεν είναι ανέκδοτο. Είναι η πραγματικότητα. Μεταξύ των άλλων φανταστικών πραγμάτων που κάνει το GS είναι να δημιουργεί συγγραφείς-φαντάσματα (από επιλογές του search menu της ιστοσελίδας του άρθρου) που εξαφανίζουν τους πραγματικούς συγγραφείς. Επίσης περιλαμβάνει πολλά άρθρα επιστημονικών περιοδικών του 1110 μΧ, του 1239 μΧ κλπ. Εκλαμβάνοντας των αριθμό σελίδων των άρθρων ως χρονιά δημοσίευσης. Όλα τα παραπάνω συμβαίνουν σε ΕΚΑΤΟΜΜΥΡΙΑ ΕΓΓΡΑΦΕΣ!
ΓΙΑ ΠΕΡΙΣΣΟΤΕΡΑ ΜΥΣΤΗΡΙΑ ΤΗΣ GS ΔΙΑΒΑΣΤΕ ΠΑΡΑΚΑΛΩ ΤΑ ΑΡΘΡΑ ΤΟΥ P. JASCO (http://www2.hawaii.edu/~jacso/article.htm)
@stillalive
“Ασφαλώς και γνωρίζω την παραπάνω εργασία…”
Α καλά… Σοβαρή συζήτηση… Την γνωρίζατε αλλά λίγο πριν γράψατε ωσάν να μην την γνωρίζετε πως «δεν υπάρχει κανείς λόγος να υποθέτει κανείς πως εαν η σύγκριση γινόταν με δεδομένα από την GS το Πανεπιστήμιο Κρήτης θα ερχόταν πρώτο και το ΑΠΘ τελευταίο»… Λυπάμαι, αλλά δεν προδιαθέτετε για σοβαρή συζήτηση και κάπου εδώ σταματώ…
Όσο για τα υπόλοιπα που αναφέρετε ως ‘ενστάσεις’, πάλι χάνετε το νόημα και την ουσία… Ξαναλέω πως οι ίδιοι οι πληροφορικάριοι, σε πανεπιστήμιο κλάσεις καλύτερο από κάθε ελληνικό, προέκριναν GS από οτιδήποτε άλλο για βιβλιομετρικά του τομέα τους… Kαι εξήγησα και το λόγο ο οποίος έχει να κάνει με την ιδιορρυθμία του κλάδου σε σχέση με συνέδρια… Εσείς προφανώς ξέρετε καλύτερα από αυτούς… Και φυσικά για σας είναι αδιάφορο το γεγονός άρθρων με μηδενικές αναφορές στις αγαπημένες σας βάσεις δεδομένων… Προφανώς, όμως, για εκείνους – και για κάθε καλόπιστο παρατηρητή – έχει σημασία η διαφορά μηδέν ακόμη και με κάτι inflated όπως το GS…
@αν
Καληνύχτα κ. ΑΝ
Σοβαρή τεκμηρίωση για τη σοβαρότητα της συζήτησης!
Οι “σοβαροί πληροφορικάριοι” που προκρίνουν την GS για τα βιβλιομετρικά του τομέα τους να χαίρονται τους σοβαρούς συναδέλφους τους: τον κ. Login, τον κ. Password και τον κ. Access. Όμως δικαιολογούνται οι “σοβαροί πληροφορικάριοι” γιατί δεν είναι υποχρεωμένοι να είναι και σοβαροί βιβλιομέτρες.
Υπο αυτή την έννοια δικαιολογώ και σας για τις ανακρίβειες που γράφετε όλη μέρα. Μόνον για τις ανακρίβειες όμως, όχι και για τη συμπεριφορά σας.