Crisi della replicazione: differenze tra le versioni

Versione delle 12:58, 16 lug 2023

Versione delle 14:50, 16 lug 2023

Riga 63:

== Cause ==

===# Problemi nel sistema di pubblicazione ===

==== Bias di pubblicazione ====

Il [[bias di pubblicazione]] si riferisce ad un fenomeno per cui, nelle scienze, gli studi che trovano risultati positivi e sorprendenti hanno una maggior probabilità di venir pubblicati<ref name=":14" />. Questo porta alla creazione del cosiddetto "effetto del cassetto dei file”, concettualizzato dallo psicologo [[w:Robert Rosenthal |Robert Rosenthal]], secondo il quale alla luce del bias di pubblicazione un numero considerevole di risultati negativi (non-significativi nel caso di un [[Test di verifica d'ipotesi|test d’ipotesi]]) non viene pubblicato<ref>{{Cita pubblicazione|nome=Robert|cognome=Rosenthal|data=1979-05|titolo=The file drawer problem and tolerance for null results.|rivista=Psychological Bulletin|volume=86|numero=3|pp=638–641|lingua=en|accesso=2023-07-07|doi=10.1037/0033-2909.86.3.638|url=http://doi.apa.org/getdoi.cfm?doi=10.1037/0033-2909.86.3.638}}</ref>. Quest’utimo tende a distorcere la percezione di quale sia il reale supporto empirico verso una teoria o un fenomeno scientifico. Secondo il sopracitato Romero, quando il bias di pubblicazione viene considerato insieme al fatto che una possibile larga maggioranza delle ipotesi che vengono testate siano false ''a priori'' (sezione 3.5), si crea una situazione in cui è plausibile che una porzione considerevole di risultati pubblicati siano [[Falso positivo e falso negativo|falsi positivi]]<ref name="Ioannidis2005" />. Un alto tasso di falsi positivi spiegherebbe a sua volta i diffusi fallimenti nel replicare esperimenti passati.

Un ulteriore e ancor più diretto ruolo del bias di pubblicazione nella crisi di replicazione sta nel fatto che la forte preferenza delle riviste scientifiche verso risultati ed esperimenti originali costitituisce un deterrente per i ricercatori al condurre replicazioni dirette, come spiegato dal filosofo Brian D. Earp e dallo psicologo Jim A. C. Everett<ref name=":3">{{Cita pubblicazione|nome=Jim|cognome=Everett|nome2=Brian|cognome2=Earp|data=2015|titolo=A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers|rivista=Frontiers in Psychology|volume=6|accesso=2023-07-07|doi=10.3389/fpsyg.2015.01152/full|url=https://www.frontiersin.org/articles/10.3389/fpsyg.2015.01152}}</ref>. In mancanza di replicazioni dirette, diventa complicato stabilire la validità dei risultati esistenti (sezione 1.3). A testimonianza di questo fatto, un sondaggio della rivista ''Nature'' condotto con più di 1500 ricercatori ha constatato come solo una minoranza degli stessi avesse mai provato a pubblicare una replicazione diretta. Tra i ricercatori, molti hanno riportato come, al momento di pubblicare una replicazione fallita, una richiesta comune da parte degl’editori della rivista fosse quella di minimizzare i paragoni con l’esperimento originale<ref name="Nature 5-25-2016" />.

==== Cultura del “pubblica o perisci” ====

Riga 87:

In sunto, le replicazioni che vengono condotte sono prevalentemente di tipo concettuale, solo quelle signficative vengono pubblicate e quelle che falliscono non sono informative. Ciò crea potenzialmente una situazione in cui un dato programma di ricerca è basato esclusivamente su una percentuale di replicazioni concettuali riuscite, senza alcun metodo per misurare la validità e l’affidibilità delle stesse (per esempio il condurre replicazioni dirette). Secondo Pashler e Harris, la situazione è particolarmente preoccupante nelle aree di studio in cui gli esperimenti hanno bassa potenza statistica (dove è quindi probabile che una più alta percentuale di studi siano falsi positivi)<ref name=":9" />.

La situazione è resa ancor più problematica alla luce del fatto, citato in precedenza, che nella situazione attuale di certi campi scientifici, i singoli ricercatori sono fortemente disincentivati al condurre replicazioni dirette. Earp ed Everett spiegano come, in psicologia sociale, la decisione dei singoli ricercatori sull'investire tempo e risorse nel condurre una replicazione diretta si conformi come un dilemma sociale. Questo tipo di dilemma avviene in situazioni in cui, nel prendere una certa scelta, gli intressi di un individuo sono in contrasto con quelli della collettività, e dove l'opzione "individualista" tende ad essere più vantaggiosa.<ref name=":3" /> Nel caso della crisi della replicazione, per la comunita scientifica risulta fondamentale condurre replicazioni dirette, ma il condurre questo tipo di studi non risulta invece conveniente per i singoli ricercatori. Earp ed Everett offrono i seguenti cinque motivi sul perchè condurre replicazioni dirette non sia conveniente per i singoli ricercatori:

# Una replicazione diretta potrebbe richiedere molto tempo

# È probabile che una replicazione diretta porti via tempo e risorse a progetti più originali

# Le replicazioni dirette sono più difficili da pubblicare

# Se pubblicate, le replicazioni dirette non vengono viste come un contributo importante in termini conoscitivi

# Le replicazioni dirette tendono ad attrare meno stima, fondi e riconoscimenti per chi le conduce

Per questi motivi, i ricercatori sono spesso disincentivati al condurre replicazioni dirette.<ref name=":3" /> In mancanza di replicazioni dirette, diventa complicato stabilire la validità dei risultati esistenti (sezione 1.3).

=== Problemi di natura statistica ===

Riga 161 ⟶ 171:

Un dato interessante fornito dallo studio sta nella dimensione del campione stimata per trovare la dimensione degli effetti degli studi originali, calcolata secondo i dati forniti dal progetto. Svolgendo un'analisi della potenza a priori, con un valore di potenza statistica dell’80%, gli autori hanno stimato i vari campioni necessari per trovare gli effetti originali a seconda dei tassi di replicabilità dei vari effetti. Per i 10 effetti replicati con successo secondo tutti i parametri, si stima che un campione tra 12 e 54 partecipanti sia sufficiente per avere una potenza statistica dell 80%; per gli studi con tassi di replicazione misti, questi numeri salgono a 200 e 2.184; per gli effetti risultati non significativi, ma comunque diversi da zero e nella direzione prevista dall’effetto originale, si è stimato dimensioni del campione necessarie tra 6.283 e 313.998 persone; infine, per gli studi con dimensioni dell’effetto pari a zero o trovate nella direzione contraria a quella prevista originariamente, gli autori hanno dichiarato che sia ''impossibile'' ottenere una dimensione dei campioni abbastanza grande da ottenere una potenza dell’80%.<ref name=":22" />

==== Un dilemma sociale ====

Evidenziando la struttura sociale che scoraggia la replicazione in psicologia, Brian D. Earp e Jim AC Everett hanno elencato cinque punti sul perché i tentativi di replicazione sono rari:<ref name="EarpTrafimow2015">{{Cita pubblicazione|autore=Earp|nome=Brian D.|autore2=Trafimow|nome2=David|data=2015|titolo=Replication, falsification, and the crisis of confidence in social psychology|rivista=[[Frontiers in Psychology]]|volume=6|p=621|lingua=en|doi=10.3389/fpsyg.2015.00621|PMID=26042061|issn=1664-1078}}</ref><ref name="Everett 1152">{{Cita pubblicazione|autore=Everett|nome=Jim Albert Charlton|autore2=Earp|nome2=Brian D.|data=1º gennaio 2015|titolo=A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers|rivista=Frontiers in Psychology|volume=6|p=1152|doi=10.3389/fpsyg.2015.01152|PMID=26300832}}</ref>

# "Le repliche indipendenti e dirette dei risultati di altri possono richiedere molto tempo per il ricercatore che replica"

# "Le repliche rischiano di sottrarre energia e risorse direttamente ad altri progetti che riflettono il proprio pensiero originale"

# "Le repliche sono generalmente più difficili da pubblicare (in gran parte perché sono considerate non originali)"

# "Anche se replicazioni vengono pubblicate, è probabile che vengano viste come esercizi di 'fortificazione', piuttosto che come importanti contributi al campo"

# "Le repliche portano ai loro autori meno riconoscimenti e ricompense, e persino una sicurezza di base nella carriera"<ref name=":3">{{Cita web|url=http://www.spsp.org/blog/resolving-replication-crisis-social-psychology|titolo= |accesso=18 novembre 2015}}</ref>

Per questi motivi gli autori hanno sostenuto che la psicologia si trova di fronte a un dilemma sociale, in cui gli interessi della disciplina sono in contrasto con gli interessi del singolo ricercatore.

==== Polemica sul "terrorismo metodologico" ====

Riga 220 ⟶ 219:

=== Enfatizzare i tentativi di replica nell'insegnamento ===

Sulla base dei corsi sui metodi sperimentali presso il MIT, Stanford e l'[[Università del Washington|Università di Washington]], è stato suggerito che i corsi sui metodi in psicologia e altri campi enfatizzano i tentativi di replica piuttosto che gli studi originali.<ref>{{Cita pubblicazione|autore=Frank|nome=Michael C.|autore2=Saxe|nome2=Rebecca|data=1º novembre 2012|titolo=Teaching Replication|rivista=Perspectives on Psychological Science|volume=7|numero=6|pp=600–604|doi=10.1177/1745691612460686|PMID=26168118|issn=1745-6916}}</ref><ref>{{Cita pubblicazione|autore=Grahe|nome=Jon E.|autore2=Reifman|autore3=Hermann|nome2=Alan|nome3=Anthony D.|data=1º novembre 2012|titolo=Harnessing the Undiscovered Resource of Student Research Projects|rivista=Perspectives on Psychological Science|volume=7|numero=6|pp=605–607|doi=10.1177/1745691612459057|PMID=26168119|issn=1745-6916}}</ref><ref>{{Cita pubblicazione|autore=Marwick|nome=Ben|autore2=Wang|autore3=Robinson|nome2=Li-Ying|nome3=Ryan|data=22 ottobre 2019|titolo=How to Use Replication Assignments for Teaching Integrity in Empirical Archaeology|rivista=Advances in Archaeological Practice|volume=8|pp=78–86|doi=10.1017/aap.2019.38}}</ref> Un tale approccio aiuterebbe gli studenti ad apprendere la metodologia scientifica e fornire numerose repliche indipendenti di scoperte scientifiche significative che metterebbero alla prova la replicabilità delle scoperte scientifiche. Alcuni hanno raccomandato che agli studenti laureati sia richiesto di pubblicare un tentativo di replica di alta qualità su un argomento relativo alla loro ricerca di dottorato prima della laurea.<ref name="Everett 1152">{{Cita pubblicazione|autore=Everett|nome=Jim Albert Charlton|autore2=Earp|nome2=Brian D.|data=1º gennaio 2015|titolo=A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers|rivista=Frontiers in Psychology|volume=6|p=1152|doi=10.3389/fpsyg.2015.01152|PMID=26300832}}</ref>

=== Ridurre il valore richiesto per rivendicare la significatività di nuovi risultati ===