«La peer review non basta a curare gli sprechi»
Il Sole 24 Ore Sanita' del 21/10/2008 N. 41 21-27 OTTOBRE 2008 p. 16
Quattro fasi e altrettanti errori Ri-orientamento delle priorità
DI ALESSANDRO LIBERATI *
Recentemente i ministeri dell'Istruzione e del Welfare hanno annunciato importanti novità nei meccanismi di valutazione della ricerca biomedica e sanitaria pubblica. Le informazioni, molto generali, sin qui diffuse dai media riguardano principalmente i metodi di valutazione della ricerca (peer review) prevedendo l'adozione di un meccanismo simile a quello da anni utilizzato dai National institutes of health (Nih) americani. Gli sprechi evitabili. Il sistema pubblico di finanziamento della ricerca biomedica e sanitaria soffre di una sostanziale inefficienza allocativa. Esserne consapevoli è importante per trovare le soluzioni capaci di massimizzare il ritorno conoscitivo degli investimenti in ricerca in un'epoca di risorse limitate. Sono almeno 4 le fasi del percorso della ricerca in cui vi sono altrettanti "sprechi" evitabili. La prima riguarda l'errata individuazione dei quesiti. Un sistema di ricerca efficiente deve orientare i propri investimenti verso progetti che diano risposte rilevanti ai problemi dei pazienti e dell'organizzazione dell'assistenza. La seconda riguarda l'insufficiente attenzione prestata a evitare la ricerca non necessaria. Ogni nuovo progetto dovrebbe essere finanziato solo se non sono già disponibili le conoscenze che esso dichiara di voler ottenere e se la sua metodologia è adeguata per ottenere i risultati attesi. La terza area di spreco evitabile dipende dal cattivo uso dei risultati della ricerca per ritardo nella loro pubblicazione o addirittura per la loro soppressione perché non graditi a chi ha finanziato la ricerca. Ultimo tipo di spreco evitabile riguarda la qualità delle pubblicazioni scientifiche che è spesso insoddisfacente pregiudicando un efficace trasferimento delle innovazioni nella pratica clinica. Il finanziamento pubblico della ricerca biomedica e sanitaria in Italia. I finanziamenti per la ricerca biomedica in Italia provengono dall'ex ministero della Salute, dal Mur e, limitatamente all'area dei farmaci, dal bando dell'Aifa. I fondi della ex-Salute e del Mur sono distribuiti attraverso bandi "non aperti" a tutta la comunità scientifica ma riservati a predefiniti destinatari istituzionali (gli Istituti di ricovero e cura a carattere scientifico, le Regioni più altre specifiche istituzioni nazionali del Ssn) e solo il bando Aifa non ha vincoli predefiniti di eleggibilità dei partecipanti. Inoltre la gran parte dei fondi dell'ex ministero della Salute (noti come Ricerca corrente, che spiega oltre l'80% dell'intero Fondo) non sono utilizzati per finanziare specifici progetti di ricerca ma la complessiva attività istituzionale (ricerca compresa, ovviamente) degli Enti che vi possono accedere. I meccanismi di peer review utilizzati all'interno di questi tre tipi di finanziamento sono molto variabili e certo non esenti da critiche sul piano del rigore e della trasparenza. Con la significativa eccezione del bando Aifa che da quando è stato avviato nel 2005 ha adottato le modalità di peer review degli Nih americani (si veda in proposito il recentissimo report sui bandi Aifa nel triennio 2005-2007, appena pubblicato). I meccanismi attuali di peer review. Come detto, i metodi di peer review e valutazione sin qui applicati ai tre tipi di finanziamento descritti sono diversi e variabili per rigore, trasparenza e salvaguardia dall' autoreferenzialità (intesa come separazione netta tra valutati e valutatori). I due ministeri hanno annunciato di voler mettere a punto un unico meccanismo di valutazione e peer review per tutti i progetti di ricerca, indipendentemente dalla loro natura e finalità. Pur comprendendo le preoccupazioni che stanno alla base, quest'idea non mi pare appropriata per almeno due ordini di motivi. Il primo riguarda la differente natura di ciò che deve essere valutato in funzione della tipologia della ricerca. Quanto più un progetto ha natura traslazionale e applicativa - rispetto a una principalmente conoscitiva - tanto più la valutazione deve fondarsi sia sulla qualità scientifica e metodologica sia sulla rilevanza e fattibilità dei progetti. Soprattutto nell'ambito di progetti di natura traslazionale e valutativa può essere utile un meccanismo in due fasi, fatto da una pre-selezione (triage) dei progetti più originali e promettenti (fase questa che in genere utilizza lo strumento delle "lettere di intenti") seguita da una ulteriore peer review approfondita basata sulla valutazione del protocollo completo della ricerca. La seconda motivazione per la quale un meccanismo unico non appare convincente ha a che fare con il grado di multidisciplinarità che va garantito nel percorso di valutazione. Il metodo della Study session (largamente usato dall'Nih) - che prevede una discussione face-to-face tra gruppi di esperti dopo che essi hanno valutato individualmente i singoli progetti - è nato proprio per limitare la soggettività e ridurre i possibili errori di valutazione, ben noti nel processo di peer review. Si tratta tuttavia di un metodo impegnativo, che richiede tempo e risorse e che deve essere preferito - rispetto alla peer review tradizionale affidata alla valutazione di singoli esperti - in quelle situazioni nelle quali la multidisciplinarietà è elemento essenziale del percorso valutativo e nelle quali è necessario fare scelte di priorità per il finanziamento tra aree di ricerca competitive. Per queste principali ragioni il richiamo a un meccanismo unico di valutazione non mi pare convincente anche se applicato solamente all'interno della galassia della ricerca biomedica e sanitaria. E sempre per queste considerazioni il riferimento ai modelli di peer review utilizzati da Telethon e Iarc non è completamente appropriato in questo contesto considerando che le ricerche di queste due Fondazioni appartengono in gran parte alla ricerca di base e pre-clinica. In Italia non siamo comunque all'anno zero e alcune esperienze andrebbero valorizzate. Il metodo della Study session tipo Nih è stato applicato ai bandi Aifa sin dal 2005 e, a partire dal bando 2007 al bando Ricerca finalizzata dell'ex Salute, segnando una sostanziale discontinuità rispetto agli anni precedenti. Il Mur non ha invece introdotto sostanziali variazioni rispetto a una tradizionale valutazione fatta da esperti individuati dal ministero stesso. Non esiste un sistema di valutazione e peer review perfetto ed esente da limiti. L'indiscutibile priorità che devono avere i criteri di originalità e validità scientifica, rigorosità della metodologia e dimostrata competenza dei proponenti devono - soprattutto per quanto riguarda la ricerca finanziata direttamente dal Servizio sanitario nazionale - coniugarsi con il perseguimento della massima rilevanza e ricaduta conoscitiva e operativa. Per quanto sia importante il problema della peer review e della valutazione ex ante, la cura più importante dei mali della ricerca del Servizio sanitario nazionale passa attraverso una riorganizzazione e un ri-orientamento del modo con cui si definiscono le priorità e il rapporto tra ricerca e innovazione. L'idea di un esplicito coordinamento (anche attraverso forme di bando integrato) tra le diverse agenzie di finanziamento è prioritaria. Le tappe essenziali per questo percorso sono: a) chiarimento su obiettivi e potenzialità della ricerca biomedica e sanitaria; b) definizione del ruolo della ricerca biomedica e sanitaria degli Ircss; c) realizzazione di un sostanziale coordinamento tra gli enti che finanziano la ricerca biomedica e sanitaria; d) ricerca di nuove forme di sinergia tra pubblico e privato per programmi di ricerca e innovazione; e) integrazione possibile tra livelli di finanziamento internazionale, nazionale e regionale. Data la vastità dei temi, sull'esempio di quanto già realizzato in altri Paesi questo andrebbe realizzato in modo ampio e partecipato lanciando una "Consultazione nazionale sulla ricerca biomedica e sanitaria" aperta alla partecipazione della comunità scientifica italiana. Tale Consultazione era già stata discussa nella Commissione nazionale ricerca e dovrebbe essere seriamente considerata come azione prioritaria dall'attuale Governo.
*Il professor Alessandro Liberati è scomparso il 1° gennaio 2012, Alessandro Liberati, medico, ricercatore, Professore Associato di Statistica Medica e Biometria presso l’Università degli Studi di Modena e Reggio Emilia, Direttore dal 1994 del Centro Cochrane Italiano.
Ha fatto parte di numerose commissioni per stabilire i criteri di assegnazione dei fondi per la ricerca sanitaria, sia a livello nazionale, sia regionale e internazionale. In queste “cabine di regia” Liberati ha sempre lavorato favorendo momenti di discussione e di autocritica del sistema stesso, e puntando a un maggior rigore e trasparenza. Queste discussioni non sono di pubblico dominio. È importante però che si riconosca il ruolo cruciale e innovatore svolto da Liberati, che ha portato a un significativo miglioramento delle strategie di finanziamento della ricerca nel nostro Paese.
Il Sole 24 Ore Sanita' del 21/10/2008 N. 41 21-27 OTTOBRE 2008 p. 16
Quattro fasi e altrettanti errori Ri-orientamento delle priorità
DI ALESSANDRO LIBERATI *
Recentemente i ministeri dell'Istruzione e del Welfare hanno annunciato importanti novità nei meccanismi di valutazione della ricerca biomedica e sanitaria pubblica. Le informazioni, molto generali, sin qui diffuse dai media riguardano principalmente i metodi di valutazione della ricerca (peer review) prevedendo l'adozione di un meccanismo simile a quello da anni utilizzato dai National institutes of health (Nih) americani. Gli sprechi evitabili. Il sistema pubblico di finanziamento della ricerca biomedica e sanitaria soffre di una sostanziale inefficienza allocativa. Esserne consapevoli è importante per trovare le soluzioni capaci di massimizzare il ritorno conoscitivo degli investimenti in ricerca in un'epoca di risorse limitate. Sono almeno 4 le fasi del percorso della ricerca in cui vi sono altrettanti "sprechi" evitabili. La prima riguarda l'errata individuazione dei quesiti. Un sistema di ricerca efficiente deve orientare i propri investimenti verso progetti che diano risposte rilevanti ai problemi dei pazienti e dell'organizzazione dell'assistenza. La seconda riguarda l'insufficiente attenzione prestata a evitare la ricerca non necessaria. Ogni nuovo progetto dovrebbe essere finanziato solo se non sono già disponibili le conoscenze che esso dichiara di voler ottenere e se la sua metodologia è adeguata per ottenere i risultati attesi. La terza area di spreco evitabile dipende dal cattivo uso dei risultati della ricerca per ritardo nella loro pubblicazione o addirittura per la loro soppressione perché non graditi a chi ha finanziato la ricerca. Ultimo tipo di spreco evitabile riguarda la qualità delle pubblicazioni scientifiche che è spesso insoddisfacente pregiudicando un efficace trasferimento delle innovazioni nella pratica clinica. Il finanziamento pubblico della ricerca biomedica e sanitaria in Italia. I finanziamenti per la ricerca biomedica in Italia provengono dall'ex ministero della Salute, dal Mur e, limitatamente all'area dei farmaci, dal bando dell'Aifa. I fondi della ex-Salute e del Mur sono distribuiti attraverso bandi "non aperti" a tutta la comunità scientifica ma riservati a predefiniti destinatari istituzionali (gli Istituti di ricovero e cura a carattere scientifico, le Regioni più altre specifiche istituzioni nazionali del Ssn) e solo il bando Aifa non ha vincoli predefiniti di eleggibilità dei partecipanti. Inoltre la gran parte dei fondi dell'ex ministero della Salute (noti come Ricerca corrente, che spiega oltre l'80% dell'intero Fondo) non sono utilizzati per finanziare specifici progetti di ricerca ma la complessiva attività istituzionale (ricerca compresa, ovviamente) degli Enti che vi possono accedere. I meccanismi di peer review utilizzati all'interno di questi tre tipi di finanziamento sono molto variabili e certo non esenti da critiche sul piano del rigore e della trasparenza. Con la significativa eccezione del bando Aifa che da quando è stato avviato nel 2005 ha adottato le modalità di peer review degli Nih americani (si veda in proposito il recentissimo report sui bandi Aifa nel triennio 2005-2007, appena pubblicato). I meccanismi attuali di peer review. Come detto, i metodi di peer review e valutazione sin qui applicati ai tre tipi di finanziamento descritti sono diversi e variabili per rigore, trasparenza e salvaguardia dall' autoreferenzialità (intesa come separazione netta tra valutati e valutatori). I due ministeri hanno annunciato di voler mettere a punto un unico meccanismo di valutazione e peer review per tutti i progetti di ricerca, indipendentemente dalla loro natura e finalità. Pur comprendendo le preoccupazioni che stanno alla base, quest'idea non mi pare appropriata per almeno due ordini di motivi. Il primo riguarda la differente natura di ciò che deve essere valutato in funzione della tipologia della ricerca. Quanto più un progetto ha natura traslazionale e applicativa - rispetto a una principalmente conoscitiva - tanto più la valutazione deve fondarsi sia sulla qualità scientifica e metodologica sia sulla rilevanza e fattibilità dei progetti. Soprattutto nell'ambito di progetti di natura traslazionale e valutativa può essere utile un meccanismo in due fasi, fatto da una pre-selezione (triage) dei progetti più originali e promettenti (fase questa che in genere utilizza lo strumento delle "lettere di intenti") seguita da una ulteriore peer review approfondita basata sulla valutazione del protocollo completo della ricerca. La seconda motivazione per la quale un meccanismo unico non appare convincente ha a che fare con il grado di multidisciplinarità che va garantito nel percorso di valutazione. Il metodo della Study session (largamente usato dall'Nih) - che prevede una discussione face-to-face tra gruppi di esperti dopo che essi hanno valutato individualmente i singoli progetti - è nato proprio per limitare la soggettività e ridurre i possibili errori di valutazione, ben noti nel processo di peer review. Si tratta tuttavia di un metodo impegnativo, che richiede tempo e risorse e che deve essere preferito - rispetto alla peer review tradizionale affidata alla valutazione di singoli esperti - in quelle situazioni nelle quali la multidisciplinarietà è elemento essenziale del percorso valutativo e nelle quali è necessario fare scelte di priorità per il finanziamento tra aree di ricerca competitive. Per queste principali ragioni il richiamo a un meccanismo unico di valutazione non mi pare convincente anche se applicato solamente all'interno della galassia della ricerca biomedica e sanitaria. E sempre per queste considerazioni il riferimento ai modelli di peer review utilizzati da Telethon e Iarc non è completamente appropriato in questo contesto considerando che le ricerche di queste due Fondazioni appartengono in gran parte alla ricerca di base e pre-clinica. In Italia non siamo comunque all'anno zero e alcune esperienze andrebbero valorizzate. Il metodo della Study session tipo Nih è stato applicato ai bandi Aifa sin dal 2005 e, a partire dal bando 2007 al bando Ricerca finalizzata dell'ex Salute, segnando una sostanziale discontinuità rispetto agli anni precedenti. Il Mur non ha invece introdotto sostanziali variazioni rispetto a una tradizionale valutazione fatta da esperti individuati dal ministero stesso. Non esiste un sistema di valutazione e peer review perfetto ed esente da limiti. L'indiscutibile priorità che devono avere i criteri di originalità e validità scientifica, rigorosità della metodologia e dimostrata competenza dei proponenti devono - soprattutto per quanto riguarda la ricerca finanziata direttamente dal Servizio sanitario nazionale - coniugarsi con il perseguimento della massima rilevanza e ricaduta conoscitiva e operativa. Per quanto sia importante il problema della peer review e della valutazione ex ante, la cura più importante dei mali della ricerca del Servizio sanitario nazionale passa attraverso una riorganizzazione e un ri-orientamento del modo con cui si definiscono le priorità e il rapporto tra ricerca e innovazione. L'idea di un esplicito coordinamento (anche attraverso forme di bando integrato) tra le diverse agenzie di finanziamento è prioritaria. Le tappe essenziali per questo percorso sono: a) chiarimento su obiettivi e potenzialità della ricerca biomedica e sanitaria; b) definizione del ruolo della ricerca biomedica e sanitaria degli Ircss; c) realizzazione di un sostanziale coordinamento tra gli enti che finanziano la ricerca biomedica e sanitaria; d) ricerca di nuove forme di sinergia tra pubblico e privato per programmi di ricerca e innovazione; e) integrazione possibile tra livelli di finanziamento internazionale, nazionale e regionale. Data la vastità dei temi, sull'esempio di quanto già realizzato in altri Paesi questo andrebbe realizzato in modo ampio e partecipato lanciando una "Consultazione nazionale sulla ricerca biomedica e sanitaria" aperta alla partecipazione della comunità scientifica italiana. Tale Consultazione era già stata discussa nella Commissione nazionale ricerca e dovrebbe essere seriamente considerata come azione prioritaria dall'attuale Governo.
*Il professor Alessandro Liberati è scomparso il 1° gennaio 2012, Alessandro Liberati, medico, ricercatore, Professore Associato di Statistica Medica e Biometria presso l’Università degli Studi di Modena e Reggio Emilia, Direttore dal 1994 del Centro Cochrane Italiano.
Ha fatto parte di numerose commissioni per stabilire i criteri di assegnazione dei fondi per la ricerca sanitaria, sia a livello nazionale, sia regionale e internazionale. In queste “cabine di regia” Liberati ha sempre lavorato favorendo momenti di discussione e di autocritica del sistema stesso, e puntando a un maggior rigore e trasparenza. Queste discussioni non sono di pubblico dominio. È importante però che si riconosca il ruolo cruciale e innovatore svolto da Liberati, che ha portato a un significativo miglioramento delle strategie di finanziamento della ricerca nel nostro Paese.
0 commenti:
Posta un commento