DISSENSI – TALVOLTA ESPRESSI IN MODO TROPPO AGGRESSIVO – SULLA QUESTIONE SE SIA UTILE O DANNOSO CHE L’ANVUR PUBBLICHI ANCHE I VOTI ASSEGNATI ALLE SINGOLE PUBBLICAZIONI

Alcuni interventi pubblicati sul sito Roars (clicca qui per leggere anche gli altri) e sul Corriere della Sera, con le relative risposte di Andrea e Pietro Ichino, a seguito della pubblicazione sul Corriere della Sera del 14 giugno 2012 del loro articolo Trasparenza totale sulla valutazione della ricerca universitaria

ALESSANDRO FERRETTI
Inanzitutto vi ringrazio per la vostra lettera, che nella sua versione integrale mi dà modo di chiarire ulteriormente la questione, a beneficio di tutto il pubblico interessato a capire. Innanzitutto, la lettera contiene vari errori materiali. Ad esempio: i ricercatori non si nascondono dietro la tutela della privacy e la richiesta dei ricercatori non è che “i voti dati dall’Anvur alle singole pubblicazioni non devono essere divulgati”: la richiesta è che tali voti non vengano usati per valutare il singolo ricercatore, e non per timidezza ma in quanto assolutamente fuorvianti. Infatti, l’idea di valutare un singolo ricercatore tramite un sistema disegnato per valutare una struttura di ricerca è analoga a valutare la bravura dei singoli calciatori usando come dato il risultato finale della partita. Come ha già anche fatto notare Fantoni, i dati relativi agli individui nel RAE inglese non vengono diffusi pubblicamente proprio per evitare confusioni e false impressioni. Nella lettera al Corriere i fratelli Ichino affermano un’altra falsità, quando parlano di “pubblicazioni da lui/lei scelte”. Come facilmente verificabile sul sito dell’ANVUR, le pubblicazioni NON sono scelte dai ricercatori, ma sono attribuite dalle strutture di ricerca. Quindi, in tutti i casi in cui sono presenti più coautori le pubblicazioni attribuite in questo modo NON sono rappresentative della sua produzione scientifica. Quindi, anche nell’ipotetico caso che le singole pubblicazioni fossero valutate correttamente non si otterrebbe comunque un’idea sensata della produzione del ricercatore cui sono state attribuite. Per fare un esempio: supponiamo che ci sia un carretto pieno di mele, dove le mele sono le pubblicazioni di un gruppo che lavora insieme ad un progetto e quindi firma insieme gli articoli. Ogni singola mela appartiene quindi a ciascun singolo membro del gruppo di ricerca. Tra queste mele ce ne sono di tutti i formati, da quelle molto grandi a quelle molto piccole. La valutazione ANVUR impone alle strutture di ricerca di assegnare a ciascun membro del gruppo di ricerca tre mele. Ovviamente tutti i ricercatori sono ugualmente “proprietari” delle mele grandi e delle mele piccole, ma nel processo di attribuzione alcuni si ritroveranno con le mele più grandi, altre con quelle piccole. Quindi il problema non è l’errore che si fa a pesare le mele: il problema sta nell’attribuzione delle mele. Per quanto riguarda “il passo della lettera che risponde al principale punto di sostanza”: è ovvio che la proposta non risolve per nulla il problema. Infatti, chi nel gruppo di ricerca ha avuto la fortuna di vedersi attribuite delle mele sopra la media si tiene le mele sopra la media, mentre tutti coloro cui sono state atttribuite tre mele sotto la media potranno sostituirle con tre mele medie. Il risultato è paradossale e mi pare che argomentare oltre sia un insulto l’intelligenza del lettore. In ultimo, un commento generale: l’ennesima reiterazione di banali errori materiali a sostegno della propria tesi genera in me un notevole imbarazzo, perchè mi riesce difficile capire la genesi di un simile comportamento. Una volta scartata l’ipotesi di scuola secondo cui gli autori non siano in grado di afferrare semplici concetti, viene quasi da pensare che un simile modo di argomentare sia finalizzato semplicemente a sollevare un polverone per proporsi come paladini della trasparenza e del merito presso il grande pubblico, approfittando del fatto che quest’ultimo è molto poco informato sul lavoro di ricerca e sulla sua valutazione. A me personalmente questo stile argomentativo basato su premesse false ha riportato alla mente le teorie su complotti di ogni genere, dagli UFO ai cerchi nel grano alle scie chimiche ed altre amenità del genere. Mi auguro ovviamente che i fratelli Ichino smentiscano quanto prima queste mie impressioni ammettendo perlomeno i loro errori materiali, contribuendo così a fare chiarezza e corretta informazione su una materia così delicata e così strategica per il nostro paese come la valutazione della ricerca.
Alessandro Ferretti

hhGrazie ad Alessandro Ferretti per il suo contributo, anche se non comprendiamo il motivo dell’aggressività di alcuni suoi passaggi, che certo non giova alla serenità di questa discussione. Noi chiediamo solo  che venga reso noto in quale delle quattro classi di merito previste sarà posta ogni pubblicazione valutata dall’Anvur con l’elenco completo dei suoi autori. Mi sembra che Alessandro Ferretti, all’inzio del suo commento, concordi sul fatto che questo tipo di trasparenza sia utile e possibile. Se siamo d’accordo su questo abbiamo fatto un passo avanti.
Divergiamo invece sulla possibilità di usare questi dati elementari anche per ottenere informazioni (non necessariamente esaustive ma comunque utili) sui singoli ricercatori.
Il RAE non chiede che le strutture sottomettano 3 (o N) pubblicazioni per OGNI ricercatore. Ogni struttura sceglie quelle da sottomettere, che possono essere poche o tante e perfino di un solo ricercatore. E’ chiaro che in quel caso si sta valutando il meglio che il dipartimento come squadra ha prodotto. Ma la VQR chiede che 3 pubblicazioni per ogni ricercatore di ogni struttura. Questo rende possibile utilizzare le 4 categorie di merito previste dalla VQR anche per una valutazione del livello più alto raggiunto dalla attività di ricerca di ciascun ricercatore. E’ normale nelle competizioni internazionali per posizioni di docenza che ai candidati venga chiesto di presentare non tutti i loro lavori ma solo i 3 o 5 migliori.  La valutazione Anvur (VQR) puo’ benissimo essere utilizzata per valutare il meglio (anche se non la totalita’) della produzione scientifica di ogni ricercatore. Basta utilizzare la valutazione media più favorevole tra quella delle opere da lui/lei scelte e quella di tutte le opere di cui compare come autore.
Consideriamo il caso di due ricercatori tutti con pubblicazioni in classe B, uno con 3 e l’altro con 30.  La trasparenza che noi chiediemo metterebbe in luce che nessuno dei due ricercatori ha ottenuto risultati scientifici eccellenti, indipendentemente dalla quantita’. Questa non e’ certo una valutazione completa ed esaustiva dei due ricercatori ma e’ comunque una valutazione utile e informativa.
Il fatto che il compito affidato all’Anvur sia di valutare le strutture, non ci sembra affatto in contrasto con la nostra proposta. Come scriviamo nell’articolo: “valutare una struttura non significa valutare solo il suo risultato aggregato. Due dipartimenti potrebbero entrambi ottenere un rating di valore medio, ma il primo con un 50% di prodotti eccellenti e i rimanenti pessimi o del tutto mancanti; viceversa, la mediocrità potrebbe prevalere nel secondo dipartimento. Serve l’intera distribuzione delle valutazioni, non solo la media, se non vogliamo fare l’errore di Trilussa! “
Ciascun ricercatore italiano ha dovuto caricare individualmente (e liberamente) sul sito Anvur le sue migliori pubblicazioni. Siamo d’accordo su questo? Invitiamo dunque Alessandro Ferretti a rileggere quello che abbiamo scritto: “se di ogni pubblicazione verrà reso noto il voto conseguito e l’elenco tutti gli autori, i punteggi eccellenti saranno imputabili a ciascuno di essi e non soltanto a quello che ha indicato l’opera fra le proprie tre migliori. Di ogni ricercatore avrà senso usare la valutazione media più favorevole tra quella delle opere da lui/lei scelte e quella di tutte le opere di cui compare come autore.” (a.i. e p.i.)

ààà
GIUSEPPE MINGIONE
Gentili Pietro e Andrea Ichino, la valutazione ANVUR, una delle poche cose positive che sono accadute nel mondo universitario italiano negli ultimi anni, è stata congegnata in modo da funzionare, più o meno bene, quando applicata a larghe strutture. Infatti, eventuali singolarità, frutto di un inappropriato (nel bene e bel male) esito puntuale dell’applicazione degli indici bibliometrici, possono essere ragionevolmente cancellate da effetti di media su larga scala. In questa ottica mi sembra apparire pienamente accettabile adottare criteri bibliometrici per effettuare la valutazione (anche perchè rimangono probabilmente gli unici che si prestino ad essere applicati in una valutazione di questa portata). Come noto, il discorso cambia completamente quando invece si vogliono usare le stesse metriche per una eventuale valutazione individuale. Sia chiaro, in nessuna università del mondo qualcuno si azzarderebbe a dare una valutazione del lavoro di una singola persona usando solo gli indici bibliometrici e prendendo in considerazione solo tre lavori in 7 anni. La valutazione individuale, perchè così verrebbe inevitabilmente la pubblicazione degli esiti individuali, è cosa assai delicata e da effettuare con un paniere di indici assai composito e tra i quali non può non svettare quello di merito affidato ad un revisore. Per questo motivo trovo che la sua sia una proposta di sorprendente ingenuità e destinata a portare ulteriore confusione in un campo ancora in via di (problematica) definizione come quello della valutazione della ricerca in Italia.
Cordiali saluti,
G.R. Mingione

Grazie per il suo contributo ragionato alla discussione sulla nostra richiesta. Come avrà gia letto nel nostro articolo pubblicato sul Corriere, ciò che chiediamo è solo che venga reso noto in quale delle quattro classi di merito previste sarà posta ogni pubblicazione: gli errori non possono che essere marginali in una aggregazione tra 4 grandi classi, che comunque si basa non solo su indici bibliometrici ma anche su peer review.
Inoltre, è normale nelle competizioni internazionali per posizioni di docenza che ai candidati venga chiesto di presentare non tutti i loro lavori ma solo i 3 o 5 migliori.  La valutazione Anvur (VQR) puo’ benissimo essere utilizzata per valutare il meglio (anche se non la totalita’) della produzione scientifica di ogni ricercatore. Basta utilizzare la valutazione media più favorevole tra quella delle opere da lui/lei scelte e quella di tutte le opere di cui compare come autore.
Consideriamo il caso di due ricercatori tutti con pubblicazioni in classe B, uno con 3 e l’altro con 30.  La trasparenza che noi chiediemo metterebbe in luce che nessuno dei due ricercatori ha ottenuto risultati scientifici eccellenti, indipendentemente dalla quantita’. Questa non e’ certo una valutazione completa ed esaustiva dei due ricercatori ma e’ comunque una valutazione utile e informativa.
Infine, la legge stabilisce i modo chiarissimo che tutti i dati su cui la valutazione si basa devono essere pubblicati; e la sua applicazione, fino a prova contraria, non è un optional.
Siamo molto contenti di concordare con lei sul fatto che la VQR sia una delle poche cose positive che sono accadute nel mondo universitario italiano negli ultimi anni.
(a.i. e p.i.)

jj
G.F. BRUNETTI
Per completezza di informazioni, rispondo solo a voi e a Sperello cercando di minimizzare l’intasamento della posta elettronica.
Quello che volevo puntualizzare meglio e’ il concetto espresso da Sperello.
In moltissimi casi gli enti di ricerca NON hanno “appiccicato” al singolo ricercatore i risultati migliori, ma solo alcuni fra i risultati segnalati dai ricercatori stessi in una fase iniziale.
Nel mio caso (come in quello di tantissimi altri!) i miei “articoli” migliori (ad esempio articoli su Nature o Science che avevo firmato come primo nome) sono stati “appiccicati” ad altri ricercatori INAF che erano fra i co-firmatari dell’articolo. A me sono stati “appiccicati” lavori che avevo segnalato in una top 10-16 (ad es. con rank n.4, 6, 10, 11, 14, 15…, NON 1, 2, 3, …).
Questo perche’ il COMPITO degli Enti era quello di massimizzare il risultato come Ente e non di valutare i singoli ricercatori.
In altre parole (ripeto non e’ solo il mio caso ma e’ cosa “comune”) se io dovessi segnalare “solo” i miei 6 lavori migliori NON segnalerei quelli che mi ha “appiccicato” il mio Ente nell’ambito della valutazione.
Saluti e buon lavoro.
G. Brunetti

La legge stabilisce che tutti i dati – anche parziali – su cui la valutazione si basa devono essere pubblicati, in modo che essi possano essere utilizzati anche per valutazioni operate secondo diversi criteri. E l’applicazione della legge non dovrebbe essere considerata un optional.
E’, poi, normale nelle competizioni internazionali per posizioni di docenza che ai candidati venga chiesto di presentare non tutti i loro lavori ma solo i 3 migliori.  La valutazione Anvur (VQR) puo’ benissimo essere utilizzata per valutare il meglio (anche se non la totalita’) della produzione scientifica di ogni ricercatore. Basta utilizzare la valutazione media più favorevole tra quella delle opere da lui/lei scelte e quella di tutte le opere di cui compare come autore. (a.i. e p.i.)