En el contrast d'hipòtesi nul·la, el valor p és la probabilitat d'obtenir resultats de prova almenys tan extrems com el resultat observat realment, amb l'assumpció que la hipòtesi nul·la és correcta. Un valor p molt petit significa que un resultat observat tan extrem seria molt poc probable assumint la hipòtesi nul·la. Encara que proporcionar els valors p de les proves estadístiques és una pràctica comuna en les publicacions acadèmiques de molts camps quantitatius, la mala interpretació i l'ús incorrecte dels valors p són molt estesos i han estat un tema rellevant en matemàtiques i metaciència.
El 2016, l'American Statistical Association (ASA) va declarar formalment que "els valors p no mesuren la probabilitat que la hipòtesi estudiada sigui certa, ni la probabilitat que les dades s'hagin produït només per atzar", i que "un valor p, o significació estadística, no mesura la mida d'un efecte o la importància d'un resultat", ni "l'evidència respecte a un model o una hipòtesi". Dit això, un grup de treball de l'ASA el 2019 va emetre una declaració sobre la significació estadística i la reproductibilitat, i va concloure que: "els valors p i les proves de significació, quan s'apliquen i interpreten correctament, augmenten el rigor de les conclusions extretes de les dades".
Exemple bàsic miniatura|286x286px
Plantejament Un jugador llença un dau tres vegades per comprovar quantes vegades li surt el número "5", el seu "número de la sort". En acabar els tres llançaments, s'adona que el número 5 no ha sortit cap vegada. El jugador es pregunta per què ha tingut tan "mala sort".
Solució Som davant d'un cas en què cada tirada només pot tenir dos resultats possibles: o "surt el 5" o "no surt el 5". En estadística, aquest tipus de cas s'anomena de distribució binominal, és a dir, només hi ha dues categories de resultats. Així, en cada tirada del dau el jugador té 1/6 de probabilitats que surti un "5", i 5/6 de probabilitats que no en surti. Atès que la probabilitat de treure 0 vegades un número determinat del dau en tres tirades es pot calcular amb una regla de matemàtica combinatòria, obtenim que:
Així, el valor p(0) és la probabilitat que el "5" no surti cap vegada: el 58%. Fet i fet, el jugador no ha tingut "mala sort", atès que tenia més probabilitats que no sortís cap "5" (58%), que no que sortís alguna vegada (42%).
El «valor p» en l'estadística inferencial «Inferir» significa «treure conseqüència», és a dir, deduir una cosa d'una altra. Per tant, l'estadística inferencial té com a objecte l'obtenció de conclusions sobre determinats fenòmens d'acord amb l'observació de mostres estadístiques. Per exemple, en un determinat experiment social es podrà saber si una mostra en la qual s'ha observat un fenomen en una determinada proporció, procedeix o no d'una població en la qual es dona aquesta proporció. Així, l'estadística inferencial permet resoldre dues qüestions:
Si les diferències observades entre dues mostres s'han produït per atzar, o bé signifiquen que les mostres provenen de dues poblacions diferents. Determinar si és probable que el valor obtingut a partir d'una mostra pertany o no a una població. Aquesta prova de comparació és la base per desenvolupar les proves de decisió, també anomenades proves de contrast d'hipòtesi.
Les proves de contrast d'hipòtesi Article principal: Contrast d'hipòtesi
Una part important de les investigacions científiques tenen l'objectiu de contrastar una hipòtesi plantejada (acceptar-la o rebutjar-la) com a possible explicació d'un fenomen. Per poder contrastar la hipòtesi és necessari seguir un procediment estandarditzat de 6 passos. +Passos de les proves d'hipòtesi1. Formular les hipòtesis estadístiques.2. Elecció d'una prova estadística adequada3. Especificació del nivell de significació α i la mida de la mostra N4. Trobar la distribució mostral de la prova estadística sobre el supòsit H05. Definició de la regió de rebuig de la hipòtesi nul·la H06. Càlcul del valor p i contrast d'hipòtesi. Si aquest valor es troba dins la regió de rebuig, la decisió a prendre és rebutjar la hipòtesi que hem plantejat (hipòtesi nul·la, H0) i acceptar l'alternativa.
Formulació de les hipòtesis estadístiques Se'n formularan dues: la hipòtesi nul·la H0 (és la hipòtesi que es vol contrastar) i la hipòtesi alternativa H1 (és la hipòtesi que s'acceptarà si no es compleix la hipòtesi nul·la).
Elecció d'una prova estadística adequada En funció del tipus d'investigació que es vol dur a terme i la naturalesa de les dades obtingudes, l'investigador ha de decidir quina és la prova estadística més adequada. Hi ha dos grans grups de proves:
Aparamètriques (p. ex. Moda, Mediana, Freqüència, Coeficient de contingència, Coeficient de correlació de Spearman, etc.) Paramètriques (p. ex. Mitjana, Desviació tipus, Coeficient de correlació de Pearson, etc.)
Nivell de significació i mida de la mostra El nivell de significació és un llindar arbitrari (establert per l'investigador abans d'obtenir els resultats). Aquest llindar determina si el resultat obtingut en prova estadística és degut a l'atzar, o bé a un efecte causal. El nivell de significació més habitual en les investigacions és de 0,05 o de 0,01. El procediment és prou simple. Si el valor p de la prova estadística dona un valor inferior al nivell de significació, llavors es rebutja la hipòtesi nul·la H0 i s'accepta la hipòtesi alternativa H1.
Tanmateix, no sempre es pot estar segur del tot d'acceptar o rebutjar la hipòtesi nul·la. En l'àmbit de les probabilitats, escollir una hipòtesi o una altra (H0 o H1) sempre comporta el risc d'equivocar-se. Atès que hi ha dues alternatives, també hi ha dos tipus d'error. El primer tipus d'error (error Tipus I) és rebutjar H0 quan és certa i, el segon (error Tipus II), acceptar H0 quan és falsa.
Error Tipus I. També anomenat risc α (risc alfa), fals positiu o risc d'error. En aquest cas, com més gran sigui α, més probable serà equivocar-se rebutjant H0 quan és certa. Atès que el valor α (nivell de significació) s'estableix abans de dur a terme l'experiment, quan es contrasta la hipòtesi s'ha d'indicar expressament (per exemple, «es rebutja la hipòtesi H0 amb un risc d'error del 5%»). Error Tipus II. També anomenant risc β (risc beta) o fals negatiu. Aquest risc és sempre desconegut i varia en proporció inversa al valor de α. El risc β es produeix quan en valor p cau en la zona de rebuig de la hipòtesi H0 per atzar. És a dir, s'accepta la hipòtesi H0 quan és falsa.
Els valors α i β han de ser establerts per l'investigador abans de realitzar-se la prova i serviran per determinar la mida de la mostra (N). Normalment, per a reduir els dos tipus d'error, és recomanable augmentar la mida de la mostra.
Distribució mostral Quan l'investigador ha triat una prova estadística per a treballar amb les dades, ha de determinar, tot seguit, quina és la distribució mostral de la prova estadística. Hi ha diferents tipus de distribució de dades:
Distribució de la població: És la distribució característica d'una població general (p. ex. tots els ciutadans de Catalunya) Distribució de la mostra: És la distribució dels elements d'una mostra extreta d'una població més general (p. ex., una mostra de 2.000 persones de Catalunya). Distribució mostral: Descriu la conducta esperada d'un gran nombre de mostres aleatòries simples extretes de la mateixa població (p. ex., totes les mostres possibles de 2.000 persones de Catalunya).
Així, la distribució mostral s'obté quan es prenen totes les mostres aleatòries de mida mostral N d'una mateixa població, es calcula l'estadístic (una mitjana o una proporció) i es distribueixen els valors al voltant del paràmetre. Per exemple, de la població de Catalunya l'any 1980, que era de 5,9 milions de persones, s'extrau una mostra aleatòria de 2.000 persones i es calcula l'edat mitjana dels membres. Si es repeteix el mateix càlcul (obtenir la mitjana d'edat) a totes les mostres possibles de 2.000 persones, a Catalunya s'obtindrà la distribució mostral de totes les mitjanes d'edat de la població.
Definició de la regió de rebuig En el següent gràfic es presenten els conceptes comentats en els apartats anteriors i com es defineix la regió de rebuig.
Quan el valor p observat en la mostra de l'experiment es troba dins de l'interval de probabilitat (1-α), es considera que la diferència entre el valor px obtingut en l'experiment i el valor p teòric és deguda a l'atzar. En aquest cas, no es pot rebutjar la hipòtesi nul·la (H0).
Per contra, si el valor px observat no es troba a l'interval (1-α), es considera que la diferència entre el valor px observat i el valor p teòric és significativa i, per tant, no és deguda a l'atzar. En aquest cas, s'ha de rebutjar la hipòtesi nul·la H0 i acceptar la hipòtesi alternativa H1.
Puntuació z i Valor p En termes estadístics, resulta força convenient considerar una corba de distribució normal en termes de puntuacions típiques (puntuacions z) en comptes d'utilitzar les unitats originals de l'estudi o experiment (anys, euros, etc.). Aquesta corba s'anomena corba normal tipificada, en què la variable X s'expressa en unitats de desviació tipus. En aquest cas, la corba de distribució normal té mitjana = 0 i variància=1. El gràfic següent mostra les àrees sota la corba en funció de les unitats de desviació tipus que s'allunyen de la mitjana X.
Així, per cada unitat de desviació tipus allunyada de la mitjana, l'àrea sota la corba es fa més gran. En concret, a una distància d'1 unitat de desviació tipus de la mitjana (x-1, x+1) l'àrea és del 68,27%, a dues unitats (x-2, x+2) l'àrea és del 95,45%, i a tres unitats (x-3, x+3) l'àrea és del 99,73%. Aquesta opció és força útil per poder transformar la proporció de casos d'un experiment que queden sota l'àrea donat un interval determinat. Per exemple, donada una població amb mitjana d'edat de seixanta anys i desviació tipus de quinze anys, es vol saber la proporció de casos que hi ha en l'interval de 60 a 85 anys. El primer que s'ha de fer és obtenir les unitats de desviació tipus que separa 85 de 60. Així:
És a dir, entre els 60 i els 85 anys hi ha 1,66 vegades la desviació tipus. Aquest resultat tipificat z=1,66 es pot traduir en un valor p mitjançant la funció de la distribució normal, que indicarà l'àrea de la corba que queda sota aquest valor; és a dir, la probabilitat de trobar algú entre 60 i 85 anys. Així, en aquest exemple, el valor p és igual a 0,4758 (47,58%).
Annex: Exemple 1 Un equip de sociòlegs està duent a terme un estudi sobre les actituds violentes en els infants. Amb aquest objectiu, l'equip realitza un conjunt de proves «acceptació-rebuig» de la violència als alumnes d'un col·legi. Per intentar provocar pautes de rebuig a la violència, els investigadors proposen la visualització al col·legi d'una sèrie de documentals de contingut artístic i científic. Per aquest motiu, s'escull una mostra aleatòria de 20 nens i se'ls va fer visionar periòdicament aquest tipus de documentals. En acabar les sessions de documentals, s'aplicà al grup de 20 nens les mateixes proves d'acceptació-rebuig a la violència fetes al conjunt d'alumnes del col·legi.
La predicció dels investigadors és que els nens sotmesos a les projeccions dels documentals manifestaran un rebuig a la violència superior als alumnes que no ho han fet. Per a comprovar els resultats, es du a terme una prova de contrast d'hipòtesi.
Resultat de l'experiment: Dels 20 nens que van visionar els documentals, 15 van donar resultats que mostraven rebuig a la violència i 5 no els van donar.
Pas 1: Plantejament d'hipòtesi Hipòtesi nul·la H0: (p=P). La probabilitat que un nen que ha vist els documentals rebutgi la violència (p) és la mateixa probabilitat que la resta de nens del col·legi que no els han vist (P). És a dir, l'experiment no ha produït cap diferència.