Crisi della replicazione: differenze tra le versioni

Versione delle 11:58, 22 mag 2023

Versione delle 17:36, 23 mag 2023

Riga 6:

Poiché la riproducibilità dei risultati sperimentali è una parte essenziale del [[metodo scientifico]],<ref>Staddon, John (2017). ''Scientific Method: How Science Works, Fails to Work or Pretends to Work''. Taylor and Francis.</ref> l'incapacità di replicare gli studi di altri ha conseguenze potenzialmente gravi per molti campi della scienza in cui teorie significative sono fondate su un lavoro sperimentale irriproducibile. La crisi della replicazione è stata ampiamente discussa nei campi della medicina, dove sono stati fatti numerosi sforzi per riesaminare i risultati classici, per determinare sia l'attendibilità dei risultati sia, se ritenuto inattendibile, le ragioni del fallimento di replica.<ref>{{Cita web|url=https://www.newyorker.com/magazine/2010/12/13/the-truth-wears-off|titolo= |sito=The New Yorker|lingua=en|accesso=30 gennaio 2020}}</ref><ref>{{Cita web|url=https://www.newyorker.com/tech/annals-of-technology/the-crisis-in-social-psychology-that-isnt|titolo= |sito=The New Yorker|lingua=en|accesso=30 gennaio 2020}}</ref>

== Il concetto e l'importanza della replicazione sperimentale ==

== Nelle scienze ==

Il concetto di replicazione può essere generalmente definito come uno strumento metodologico basato sulla ripetizione di un esperimento al fine di stabilire un certo fatto, verità o un elemento di conoscenza scientifica<ref name=":6">{{Cita pubblicazione|nome=Stefan|cognome=Schmidt|data=2009-06|titolo=Shall we Really do it Again? The Powerful Concept of Replication is Neglected in the Social Sciences|rivista=Review of General Psychology|volume=13|numero=2|pp=90–100|lingua=en|accesso=2023-05-23|doi=10.1037/a0015108|url=http://journals.sagepub.com/doi/10.1037/a0015108}}</ref>. In una replicazione, la ripetizione di una certa procedura sperimentale viene operata su un campione di dati diverso dall’esperimento originale, in maniera tale da testare l’affidabilità dei risultati di quest’ultimo<ref name=":5">{{Cita pubblicazione|nome=Brian A.|cognome=Nosek|nome2=Tom E.|cognome2=Hardwicke|nome3=Hannah|cognome3=Moshontz|data=2022-01-04|titolo=Replicability, Robustness, and Reproducibility in Psychological Science|rivista=Annual Review of Psychology|volume=73|numero=1|pp=719–748|lingua=en|accesso=2023-05-23|doi=10.1146/annurev-psych-020821-114157|url=https://www.annualreviews.org/doi/10.1146/annurev-psych-020821-114157}}</ref>. In questo senso, la replicazione si differenzia dalla ''riproduzione'', in quanto la seconda viene definita come una procedura volta al ripetere lo stesso processo di analisi sugli stessi dati dell’originale. La replicazione si differenzia anche da un test di “''robustezza''” che è invece volto all’analizzare gli stessi dati con una strategia di analisi sufficientemente diversa<ref name=":5" />.

Generalmente, nel decidere se un esperimento sia stato replicato con successo, questa decisione si conforma come un giudizio dicotomico di tipo “replicato/non replicato”<ref name=":5" />.Nel contesto di un [[Test di verifica d'ipotesi|test di verifica d’ipotesi]], la replicazione di risultati trovati in precedenza avviene quando i risultati ottenuti in uno studio di replicazione sono [[Significatività|statisticamente significativi]] nella direzione prevista dallo studio originale<ref name=":5" />. Un secondo metodo per stabilire se una replicazione ha avuto successo sta nel calcolare gli [[Intervallo di confidenza|intervalli di confidenza]] del parametro stimato (e.g. la differenza tra le medie di due gruppi sperimentali in un [[test t]]) per l’esperimento originale e per la replicazione, e il valutare se la stima del parametro dei due esperimenti rientri nell’intervallo di confidenza dell’altro esperimento (la stima dell’originale nell’intervallo di confidenza della replicazione e vice versa). Altri metodi includono: stabilire se il risultato ottenuto nella replicazione sia coerente con la possibile dimensione dell'effetto (i.e. [[w:effect size|effect size]]) stimata dall’originale, valutare soggettivamente se i risultati della replicazione e quelli dell’originale siano simili, o l’utilizzo di [[Fattore di Bayes|fattori Bayes]] per comparare i risultati dell’originale e della replicazione nel contesto della statistica Bayesiana.<ref name=":5" />

La definizione di cosa implichi esattamente “ripetere un esperimento” è ancora un concetto molto discusso nel campo delle metascienze, specialmente quando applicato alle scienze psicologiche<ref name=":7">{{Cita pubblicazione|nome=Brian A.|cognome=Nosek|nome2=Timothy M.|cognome2=Errington|data=2020-03-27|titolo=What is replication?|rivista=PLOS Biology|volume=18|numero=3|pp=e3000691|lingua=en|accesso=2023-05-23|doi=10.1371/journal.pbio.3000691|url=https://dx.plos.org/10.1371/journal.pbio.3000691}}</ref><ref name=":6" />. In generale, vi è accordo sul fatto che in diverse discipline scientifiche, non sia possibile riprodurre un esperimento tale e quale all’originale (ciò che viene talvolta definita come una “replicazione esatta”). Secondo il professore universitario specializzato in scienze della salute e psicologia [https://sites.google.com/site/webstefanschmidt/cv-1 Stefan Schmidt], ciò è particolarmente vero per le discipline scientifiche che lavorano con “unità irreversibili”, ovvero sistemi complessi che variano inevitabilmente col passare del tempo non rendendo possibile lo stabilire le stesse condizioni dell’esperimento originale. Un possibile esempio possono essere le reazioni fisiologiche a stimoli minacciosi dei partecipanti ad uno studio, che si conformano necessariamente in maniera diversa una volta che l’esposizione a questi stimoli viene ripetuta multiple volte in diversi momenti. Più in generale, due esperimenti è inevitabile che si differenzino in una moltitudine di aspetti, tra cui: il [[Campionamento statistico|campione]] studiato, il contesto sperimentale (i.e. Il laboratorio dove si tiene l’esperimento), la conformazione delle condizioni sperimentali, et cetera<ref name=":5" />. In [[psicologia sociale]], secondo gli psicologi dell'omonima disciplina Christian S. Crandall e Jeffrey W. Sherman, l’impossibilità di condurre una replicazione esatta viene racchiusa dalla nozione per cui non si può “discendere due volte nello stesso fiume”. L’espressione in questo contesto riflette l’idea che i [[Fenomeno|fenomeni]] psicologici sono necessariamente influenzati da una moltitudine di fattori quali cultura, lingua, [[Priming (psicologia)|priming]] di certe conoscenze e idee, il significato attribuito a domande e frasi, e le esperienze costantemente soggette a cambiamento dei partecipanti a diversi studi. In questo senso, i fenomeni psicologici sono influenzati dal contesto storico e culturale dove avvengono (a differenze dei fenomeni nelle [[scienze naturali]]) e ciò rende impossibile replicare un esperimento in maniera esatta rispetto all’originale.<ref name=":8">{{Cita pubblicazione|nome=Christian S.|cognome=Crandall|nome2=Jeffrey W.|cognome2=Sherman|data=2016-09-01|titolo=On the scientific superiority of conceptual replications for scientific progress|rivista=Journal of Experimental Social Psychology|volume=66|pp=93–99|lingua=en|accesso=2023-05-23|doi=10.1016/j.jesp.2015.10.002|url=https://www.sciencedirect.com/science/article/pii/S0022103115300020}}</ref>

Con questa premessa, un numero di tassonomie è stato sviluppato con l’obbiettivo di definire diversi tipi di replicazione sperimentale. Comunemente, una distinzione molto spesso usata<ref name=":8" /><ref name=":6" /><ref name=":9">{{Cita pubblicazione|nome=Harold|cognome=Pashler|nome2=Christine R.|cognome2=Harris|data=2012-11|titolo=Is the Replicability Crisis Overblown? Three Arguments Examined|rivista=Perspectives on Psychological Science|volume=7|numero=6|pp=531–536|lingua=en|accesso=2023-05-23|doi=10.1177/1745691612463401|url=http://journals.sagepub.com/doi/10.1177/1745691612463401}}</ref> è quella tra i seguenti tipi:

* Replicazione '''diretta''' - Una replicazione viene definita come “diretta” se sufficientemente simile all’esperimento originale da un punto di vista metodologico, in maniera tale da aspettarsi legittimamente di ottenere gli stessi risultati<ref name=":10">{{Cita pubblicazione|nome=Etienne P.|cognome=LeBel|nome2=Derek|cognome2=Berger|nome3=Lorne|cognome3=Campbell|data=2017-08|titolo=Falsifiability is not optional.|rivista=Journal of Personality and Social Psychology|volume=113|numero=2|pp=254–261|lingua=en|accesso=2023-05-23|doi=10.1037/pspi0000106|url=http://doi.apa.org/getdoi.cfm?doi=10.1037/pspi0000106}}</ref>. Più nello specifico, una replicazione diretta può essere intesa come un esperimento che ripete le caratteristiche cruciali per riprodurre un certo effetto o fenomeno. Le caratteristiche cruciali per la produzione di un certo effetto sono a loro volta basate sulla [[Teoria|comprensione teorica]] dell’effetto stesso<ref name=":11">{{Cita pubblicazione|nome=Rolf A.|cognome=Zwaan|nome2=Alexander|cognome2=Etz|nome3=Richard E.|cognome3=Lucas|data=2018|titolo=Making replication mainstream|rivista=Behavioral and Brain Sciences|volume=41|lingua=en|accesso=2023-05-23|doi=10.1017/S0140525X17001972|url=https://www.cambridge.org/core/product/identifier/S0140525X17001972/type/journal_article}}</ref>.

* Replicazione '''concettuale''' - Una replicazione viene definita come “concettuale” nel momento in cui si testa una certa ipotesi già testata in precedenza con significative variazioni metodologiche. Un esempio di variazione metodologica significativa può essere l’utilizzo di una diversa operazionalizzazione delle variabili indipendenti e dipendenti nello studio di replicazione rispetto all’originale.<ref name=":6" /><ref name=":10" />

Allo stesso tempo, il meta-scienziato Etienne P. Lebel e colleghi<ref name=":10" /> hanno proposto una tassonomia che vede la differenza tra diversi tipi di replicazione come meglio rappresentata da un continuum di similarità metodologica rispetto all’originale. In questo senso, si possono quindi individuare i seguenti tipi di replicazione:

# Replicazione '''esatta''' - Una replicazione dove tutto ciò che è sotto il controllo del ricercatore viene ripetuto tale e quale all’originale. Ciò include: l’operazionalizzazione delle [[variabili dipendenti e indipendenti]], gli stimoli utilizzati per le variabili dipendenti e indipendenti, i dettagli procedurali dell’esperimento e le caratteristiche fisiche del luogo dove l’esperimento avviene. Si ammette invece una variazione nelle variabili contestuali (e.g. contesto storico).

# Replicazione '''molto prossimale''' - Una replicazione dove a differenza della replicazione esatta, vi è anche una variazione nei dettagli procedurali dell’esperimento e nelle caratteristiche fisiche del luogo dove l’esperimento avviene (mentre non vi è variazione nell’operazionalizzazione delle variabili e negli stimoli utilizzati)

# Replicazione '''prossimale''' - Una replicazione dove a differenza delle precedenti, vi è anche una variazione negli stimoli utilizzati per le variabili dipendenti e indipendenti (mentre non vi è variazione per l’operazionalizzazione delle due variabili).

# Replicazione '''distale''' - Una replicazione dove a differenza delle precedenti, vi è anche una variazione nell’operazionalizzazione delle variabili dipendenti e indipendenti.

# Replicazione '''molto distale''' - Una replicazione per cui ogni singolo aspetto metodologico menzionato in precedenza può essere diverso, e solo l’astrazione teorica del fenomeno è la stessa. Un esempio di replicazione molto distale possono essere i tre diversi studi condotti dallo psicologo sociale John Bargh e colleghi sul fenomeno del comportamento sociale automatico.<ref>{{Cita pubblicazione|nome=John A.|cognome=Bargh|nome2=Mark|cognome2=Chen|nome3=Lara|cognome3=Burrows|data=1996|titolo=Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action.|rivista=Journal of Personality and Social Psychology|volume=71|numero=2|pp=230–244|lingua=en|accesso=2023-05-23|doi=10.1037/0022-3514.71.2.230|url=http://doi.apa.org/getdoi.cfm?doi=10.1037/0022-3514.71.2.230}}</ref>

Detto ciò, diversi tipi di replicazione svolgono diverse funzioni da un punto di vista [[Epistemologia|epistemologico]].

Le replicazioni di tipo diretto, esatto o molto prossimale svolgono la funzione di testare l’effettiva esistenza degli effetti e fenomeni osservati in precedenza. Più precisamente, vista la loro similarità con gli esperimenti originali, replicazioni di questo tipo sono mirate al falsificare l’ipotesi che un fenomeno osservato originariamente fosse un [[Falso positivo e falso negativo|falso positivo]].<ref name=":6" /><ref name=":11" /><ref name=":10" />

In questo senso, se da una parte il successo di uno studio di replicazione diretto, esatto o molto prossimale può renderci più fiduciosi nell’effettiva esistenza degli effetti trovati in precedenza, dall’altra il fallimento di uno studio di replicazione può generalmente diminuire la nostra fiducia nell’esistenza di quegli stessi effetti (suggerendo invece che possa essersi trattato di falsi positivi).<ref name=":7" /><ref name=":9" /> Questo tipo di replicabilità è considerato fondamentale per gli obbiettivi della ricerca scientifica in generale. Il testare l’esistenza di base e la stabilità di un fenomeno osservabile è ciò che a sua volta permette di perseguire gli altri obbiettivi della ricerca scientifica, quali: l’accumulazione di evidenza e conoscenza scientifica, la consequenzialità dei risultati, la scoperta di fenomeni, e il testare diversi tipi di [[Validità (psicologia)|validità]] di un esperimento (i.e. Interna, esterna, di costrutto)<ref name=":10" />

Differentemente dalle replicazioni sopracitate, le replicazioni di tipo concettuale, prossimale, distale e molto distale sono considerate importanti nel processo di espansione teorica, nel testare la validità di esperimenti precedenti e nello stabilire la generalizzabilità dei fenomeni osservati in precedenza.<ref name=":8" /><ref name=":10" /> Ciò avviene grazie alle variazioni metodologiche proprie di questi tipi di replicazione, che permettono quindi di testare certe ipotesi ausiliarie associate all’ipotesi principale, e l’importanza di certi fattori nella produzione di un effetto (e.g. il tipo di operazionalizzazione utilizzata, il tipo di stimoli, o il tipo di costrutti teorici, et cetera)<ref name=":10" />

Viste le considerazioni di cui sopra sulle funzioni della replicazione sperimentale nelle discipline scientifiche, una bassa incidenza di replicazioni dirette rispetto a replicazioni concettuali, unita a bassi tassi di replicabilità può essere considerata come allarmante da un punto di vista epistemologico.<ref name=":9" />

== NelleIncidenza nelle scienze ==

=== In generale ===

Nel 2016, un sondaggio condotto da Nature su circa 1500 scienziati di diverse discipline, ha riportato come il 70% di loro dichiari di non essere riuscito a replicare gli esperimenti di un altro scienziato/a, ma allo stesso tempo, meno del 20% è mai stato contattato da un altro ricercatore o ricercatrice non in grado di riprodurre un loro esperimento. Più precisamente, l'87% dei [[Chimica|chimici]], il 77% dei [[Biologia|biologi]], il 69% dei [[Fisica|fisici]] e degli [[Ingegneria|ingegneri]], il 67% dei [[Medicina|ricercatori medici]], il 64% degli [[Scienze ambientali|scienziati]] [[Scienze della Terra|della terra]] e dell'ambiente e il 62% di tutti gli altri ha dichiarato di non essere stato in grado di replicare gli esperimenti di qualcun altro. Inoltre, Il 50% degli stessi ha dichiarato invece di non essere stato/a in grado di replicare un ''proprio'' esperimento. Del campione, solo una minoranza ha dichiarato di aver tentato di pubblicare una replicazione. Nello specifico, il 24% ha dichiarato di essere stato in grado di pubblicare una replicazione riuscita, mentre solo il 13% ha dichiarato di essere stato in grado di pubblicare una replicazione fallita, un fatto coerente con il fenomeno del [[bias di pubblicazione]]. Di questi, un numero non precisato di intervistati ha dichiarato come gli editori/editrici delle riviste a cui si è fatto domanda abbiano spesso richiesto di ridurre quanto possibile il paragone con gli studi originali. Allo stesso tempo, gli intervistatori hanno notato come nonostante tutto, le percentuali di accoglienza per gli studi di replicazione fossero comunque maggiori rispetto a quelle di rifiuto da parte delle riviste, con solamente il 12% degl’intervistati ad aver dichiarato di ''non'' essere stato in grado di pubblicare una replicazione riuscita, ed il 10% di non essere stato in grado di pubblicare una replicazione fallita. In conclusione, il 52% degl’intervistati ha dichiarato come quella corrente sia una situazione di crisi degna di nota, ma solo il 31% crede che un fallimento nel replicare risultati pubblicati indichi che i risultati originali fossero [[Falso positivo e falso negativo|falsi]], e la maggioranza degl’intervistati ha espresso di avere comunque fiducia nella validità dei risultati pubblicati fino a quel momento. <ref name="Nature 5-25-2016">{{Cita pubblicazione|autore=Baker|nome=Monya|data=25 maggio 2016|titolo=1,500 scientists lift the lid on reproducibility|editore=[[Springer Nature]]|volume=533|pp=452–454|accesso=21 maggio 2021|url=https://www.nature.com/articles/533452a}}</ref><ref>{{Cita web|url=https://www.scientificamerican.com/video/is-there-a-reproducibility-crisis-in-science/|titolo= |autore=Nature Video|sito=Scientific American|lingua=en|accesso=15 agosto 2019}}</ref>