ricerca e metodologia - 27/12/18

Niente di meglio dell'ultima scoperta in campo scientifico, per un bel titolone attraente.

Il lavoro del ricercatore meriterebbe sempre i primi posti nelle notizie, date le potenzialità nel cambiarci la vita e migliorare il nostro stato di benessere.

Oltretutto sempre più persone, oggi, vogliono capire e prediligono scelte informate per mantenere e migliorare la propria salute.

Sta di fatto, tuttavia, che spesso non è semplice separare il grano dalla pula, distinguere gli studi significativi da quelli che lo sono solo in apparenza.

1. Quando i media ingannano

La principale ragione di ciò è che i media hanno interesse a mostrare le ultime notizie nel modo più interessante possibile. Ciò rende non sempre facile distinguere le notizie buone da quelle ingannevoli.

I media sono sistemi alimentati dal consumo.

Affinché una testata o un portale possa sopravvivere, è necessario che sforni ogni giorno notizie fresche. E non importa se per completare il budget di pagine o durata del telegiornale si è costretti a infilarci dentro notizie di seconda mano.

L'importante è pubblicare.

Prima vengono continuità, cliccabilità e appeal, poi i fatti.

Qualcuno ha proposto che giornali e telegiornali dovrebbero uscire non tutti i giorni, come direbbe il loro nome, ma solo quando ci fossero notizie di rilievo da presentare.

E sarebbe ovviamente irrealizzabile.

Se ciò vale per le notizie quotidiane, figuriamoci in ambito scientifico, dove persino chi ha ricevuto specifica formazione può prendere cantonate e lasciarsi ingannare dal potere di seduzione delle conclusioni di uno studio.

Ad esempio, leggendo un titolo come questo:

"Nuovo studio trova che una sostanza contenuta nel vino rosso elimina le cellule tumorali"

si potrebbe essere indotti a credere che bere vino sia meglio della radioterapia. E sicuramente lo è... ma non certo al fine di curare un tumore.

Andandosi a leggere la pubblicazione originale apprendiamo infatti che:

	Lo studio non è stato condotto sugli esseri umani, ma sui topolini.
	Lo studio era limitato a un tipo di tumore specifico, il melanoma.
	Le cellule tumorali non erano in vivo, ma risiedevano su un vetrino da laboratorio.

Difficile estrapolare dal vetrino all'essere umano, dal melanoma a tutti i tumori.

Vediamo quindi come il problema sta in ciò che è taciuto piuttosto che in ciò che è detto.

Ed ecco perché, se davvero vogliamo farci un'idea su rilevanza, validità e affidabilità di uno studio visto su qualche testata o portale, la prima cosa da fare è andarsi a cercare la pubblicazione originale o almeno l'abstract (*).

2. Come leggere un articolo scientifico

Molti credono che la sezione dei risultati sia la più importante.

Invece, la sezione più critica è quella relativa alla metodologia utilizzata.

Un'ipotesi può avere tutte le carte in regola per diventare una scoperta rivoluzionaria, e tuttavia un metodo non idoneo può invalidarla completamente.

2.1. Due disegni molto usati

In qualsiasi manuale di metodologia della ricerca è possibile trovare tutti i comuni disegni sperimentali utilizzati in psicologia e medicina. Ne esistono molti tipi, ma in questo articolo ne considereremo brevemente solo due.

2.1.1. Il test clinico

Uno degli schemi più usati è il cosiddetto test clinico.

Questo tipo di studio deduce l'efficacia di un determinato intervento terapeutico confrontando vari gruppi di soggetti, alcuni dei quali ricevono una qualche forma di trattamento, mentre altri non lo ricevono e sono chiamati gruppi di controllo.

Nei migliori studi, la scelta dei soggetti è randomizzata, ossia i soggetti vengono assegnati a caso ai vari gruppi.

Il massimo della validità metodologica si ottiene quando lo studio è in doppio o triplo cieco, cioè quando né lo sperimentatore né il soggetto sanno se stanno ricevendo o no il trattamento.

Si parla di triplo cieco quando, oltre allo sperimentatore, nemmeno la persona che analizza i dati risultanti dal test è al corrente della composizione dei vari gruppi. Questa modalità è usata quando le variabili in gioco sono ambigue e si prestano a essere interpretate in modi differenti.

Questo accorgimento serve per eliminare o limitare i bias nell'interpretazione dei dati, vedi più avanti.

Una versione meno stringente è il singolo cieco, quando cioè il soggetto non sa se è stato inserito nel gruppo sperimentale, ma lo sperimentatore sì. Molti studi clinici in psicoterapia usano questo schema, dato che spesso è difficile far sì che lo sperimentatore non sappia se sta somministrando un certo trattamento. Infatti, almeno il terapeuta deve sapere se sta somministrando una terapia o un semplice protocollo di controllo.

Uno dei modi di valutare l'efficacia di un trattamento è attraverso l'uso del placebo. Ai gruppi sperimentali è somministrato il trattamento ritenuto efficace, mentre ai gruppi di controllo è somministrato un trattamento senza efficacia, ad esempio una pillola inerte in medicina o sedute di generica conversazione non strutturata nel caso della psicoterapia.

La differenza fra i risultati medi ottenuti fra gruppi sperimentali e gruppi di controllo dà ai ricercatori una misura di quanto potrebbe essere efficace il trattamento sotto esame.

Esistono tuttavia problemi di ordine etico nel somministrare finti trattamenti a persone che avrebbero davvero bisogno di una cura.

Per questo motivo, un'alternativa è il confronto con gruppi che ricevono il trattamento ritenuto al momento il più efficace fra tutti quelli disponibili.

Il confronto con il placebo può così essere riservato ai soli casi in cui non si disponga di un trattamento di eccellenza, o comunque non vi sia accordo su quale esso sia.

2.1.2. Lo studio osservazionale

In questo tipo di studio i soggetti non sono assegnati ad alcun gruppo.

Ci si limita a osservare i soggetti prescelti che mettono spontaneamente in atto i comportamenti oggetto di studio, ad esempio fare un determinato tipo di allenamento fisico, oppure fumare, assumere sostanze ecc.

Lo studio osservazionale è tipicamente longitudinale, cioè continua a seguire i soggetti su un arco di tempo relativamente lungo, a differenza del test clinico che esamina i soggetti per lo stretto tempo necessario.

2.2. Cosa cercare nella sezione Metodologia

Veniamo ora al dunque, ai 3 punti da tenere d'occhio nel valutare la bontà di uno studio scientifico.

Per chi non sia abituato, può essere difficile scorgere i segnali rivelatori che indicano se uno studio è stato condotto come si deve o se invece soffre di gravi limitazioni.

Primo punto da cercare: la dimensione del campione.

Se abbiamo due studi condotti ipoteticamente in modo identico, uno su 10 soggetti e l'altro su 1.000, siamo autorizzati a mantenere più riserve sulle conclusioni del primo che sul secondo.

Ciò non significa che gli studi su campioni piccoli siano tutti da buttare.

A volte è l'unica alternativa possibile (ad esempio nel caso di malattie rare).

Ma è necessario in tali casi valutare i risultati in modo più attento, dato che una conclusione tratta da un piccolo campione non si presta a essere generalizzata facilmente all'intera popolazione.

Secondo punto: la rappresentatività del campione.

Il campione deve essere rappresentativo della popolazione che si sta studiando.

Estremizzando, se volessi fare uno studio sui danni della cannabis in età adulta, sarebbe assurdo se nel mio campione includessi bambini in preadolescenza, che non hanno mai fumato.

Oppure, in uno studio su una malattia che colpisce in prevalenza i maschi, sarebbe ugualmente inutile e fuorviante se nel mio campione i maschi fossero in netta minoranza.

Terzo punto: la sezione Metodologia dev'essere dettagliata:

	Quali soggetti sono stati inclusi nello studio? Chi ne è stato escluso e perché?
	Quale intervento è stato misurato? Come è stato somministrato?
	Quanto è durato lo studio? Quando è stato effettuato?
	Dove?
	Come sono stati analizzati i dati? Quali i metodi statistici? Perché sono stati scelti?
	Come sono stati determinati i gruppi sperimentali e di controllo?

2.3. Bugie piccole, bugie grosse e p-hacking

In ambito scientifico/accademico esiste purtroppo una deplorevole tendenza, del tutto simile a quella presentata prima che affligge i media, consistente nel massaggiare i dati per farli conformare all'ipotesi che si vuole dimostrare.

Un modo molto semplice è il cosiddetto cherry picking: scegliere solo i dati che vanno nella direzione voluta dal ricercatore e tagliare fuori quelli che non possono essere spiegati.

I dati possono essere analizzati in molti modi e se è vero che la matematica non è un'opinione, è altrettanto vero che mediante la statistica è possibile rendere plausibile più o meno qualunque opinione.

Basta scegliere i dati giusti.

A pensarci, questo è vero in qualunque tipo di dibattito: scegliendo gli esempi appropriati, il comunicatore scaltro è capace far sembrare plausibile un punto di vista e il suo contrario.

2.3.1. "P" e p-hacking

In molti studi la bontà dei risultati è definita da un valore chiamato p, che deve essere uguale o inferiore a 0,05.

Negli studi più validi tale valore può essere ridotto a 0,01 e anche oltre, ma teniamo per buono 0,05 per semplificare.

Il calcolo e la spiegazione dettagliata del significato di "p" esula dalla portata del presente articolo, ma la sostanza è che, per essere significativa, la differenza osservata fra gruppi sperimentali e gruppi di controllo deve verificarsi casualmente meno di una volta su 20 (0,05 = 1/20).

Il che può sembrare tanto, ma in realtà è facilissimo da ottenere, ad esempio scegliendo fra tot misure solo quelle che provano ciò che voglio provare.

2.3.2. Linearità, non linearità, linearità locale

Un'altro problema, ancor più fondamentale, è che la maggior parte dei calcoli statistici fanno finta che i fenomeni studiati siano lineari, mentre le non linearità sono la norma in natura.

Quando calcolo una media, una varianza, quando traccio una retta di regressione o una gaussiana, sto dando per scontata la linearità della variabile studiata.

Molte volte, però, si studiano variabili che non sono ancora ben comprese e quindi la linearità può solo essere ipotizzata, ma non sappiamo per certo se sia davvero così.

Oppure, ancora peggio, una certa variabile può essere lineare in un certo intervallo, ma non al di fuori di esso (linearità locale).

Magari il mio studio, per caso o per scelta, si è limitato a studiare la variabile solo nell'intervallo entro il quale essa si comporta nel modo che mi interessava dimostrare.

Per questo e altri motivi, è sempre da apprezzare la classica e umile frase usata alla fine di ogni paper: "Ulteriori indagini sono necessarie per confermare o smentire le nostre conclusioni".

3. Conclusioni

Anche quando tutte le suddette condizioni sono soddisfatte, possono ancora rimanere limiti e incongruenze.

Se non si è certi della bontà della sezione Metodologia che abbiamo analizzato, possiamo chiedere il parere di un amico più abituato a lavorare in modo scientifico, facendogliela leggere.

La sua esperienza potrà permettergli di cogliere altre falle e spiegare come e perché il metodo implementato sia stato quello più appropriato o no.


Bibliografia:

M. Charvat, 2018. How to Tell the Difference Between Good and Bad Science. Psychology Today online, dic. 2018.

(*) Abstract: parte iniziale riassuntiva di uno studio scientifico, che riporta lo scopo dello studio, la metodologia usata, i dati ottenuti, i risultati e le conclusioni._