P vrednost (p-vrednost) je verjetnost, da bi dobil tako velik ali večji odmik podatkov od ničelne hipoteze, če bi ta držala in bi držale tudi vse druge predpostavke izbranega modela. Statistično značilno pomeni, da je p vrednost pod vnaprej izbrano stopnjo tveganja, najpogosteje 0,05. P vrednost ni verjetnost, da je hipoteza resnična, in ne pove, kako velik je učinek. Spodaj je razlaga na primerih, ki si jih lahko sam preračunaš, šest načel Ameriškega statističnega združenja iz leta 2016 in zapis v nalogi.
Kaj je p vrednost
Greenland in sodelavci (2016) jo opišejo takole: statistika preizkusa meri razdaljo med podatki in napovedjo modela, p vrednost pa je verjetnost, da bi bila ta statistika vsaj tako velika, kot je opažena, če bi bile vse predpostavke modela pravilne, vključno z ničelno hipotezo. Zato p ne preverja le ničelne hipoteze: odvisen je od celotnega modela, tudi od načina izbora enot in drugih predpostavk.
Ničelna hipoteza (H₀) pravi, da razlike ali povezave ni. Alternativna (H₁) pravi, da je. Kako ju zapišeš, je razloženo v članku o hipotezah in raziskovalnih vprašanjih.
Primer 1: kovanec
Izmišljen primer: kovanec vržeš 10-krat in 9-krat pade cifra. Je kovanec pošten? Ničelna hipoteza: pošten je, verjetnost cifre je 0,5.
Vseh izidov je 2¹⁰ = 1024. Izidov z 9 ali 10 ciframi je 10 + 1 = 11. Verjetnost za tak ali še bolj skrajen izid v to smer je 11 / 1024 = 0,011. Ker bi nas enako presenetilo tudi 9 grbov ali več, upoštevamo oba konca: 22 / 1024 = 0,021. To je dvostranska p vrednost: če bi bil kovanec pošten, bi tako skrajen izid, v katero koli smer, dobili v 2,1 % primerov.
Primer 2: dve skupini študentov
Vzemimo podatke iz članka o t-testu: 12 študentov v skupini A in 12 v skupini B, razlika povprečij 6,83 točke. t-test da p = 0,0010.
Isto vprašanje lahko postaviš brez formul. Če bi bila skupini enaki in bi 24 študentov v dve skupini po 12 razdelili povsem naključno, bi bilo vseh razdelitev 2.704.156. Pri 3.756 izmed njih je razlika povprečij vsaj 6,83 točke v katero koli smer. To je 3.756 / 2.704.156 = 0,0014. Sklep je enak kot pri t-testu: tako velika razlika bi bila po naključju zelo redka.
Kaj je statistično značilno
Pri testiranju hipotez si vnaprej izbereš stopnjo tveganja α. Slovensko učno gradivo Farmacevtske fakultete UL navaja stopnje 0,05 (5 %), 0,01 (1 %) in 0,001 (0,1 %). Če je p manjši od α, ničelno hipotezo zavržeš in rečeš, da je razlika statistično značilna. Če je p večji, ničelne hipoteze ne moreš zavreči. Gradivo še izrecno poudari, da je v tem primeru ne sprejmeš.
Vrednost 0,05 je dogovor, ne zakon narave. ASA v sporočilu iz leta 2016 opozarja, da se znanstveni sklepi in odločitve ne smejo opirati samo na to, ali p preseže določeno mejo. Ron Wasserstein, direktor združenja, je ob izidu izjave rekel: »The p-value was never intended to be a substitute for scientific reasoning«. V prevodu: p vrednost ni bila nikoli mišljena kot nadomestek za znanstveno sklepanje.
Šest načel ASA
Ameriško statistično združenje je leta 2016 objavilo izjavo o statistični značilnosti in p vrednostih s šestimi načeli (povzetek v slovenščini):
- P vrednosti lahko pokažejo, kako neskladni so podatki z izbranim statističnim modelom.
- P vrednosti ne merijo verjetnosti, da je preučevana hipoteza resnična, niti verjetnosti, da so podatki nastali samo po naključju.
- Sklepi in odločitve se ne smejo opirati samo na to, ali p preseže določeno mejo.
- Pravilno sklepanje zahteva polno poročanje in preglednost.
- P vrednost oziroma statistična značilnost ne meri velikosti učinka ali pomembnosti rezultata.
- P vrednost sama po sebi ni dobra mera dokazov o modelu ali hipotezi.
Ista razlika, različna p vrednost
Načelo 5 pokaže primer. Izmišljen primer: dve skupini se razlikujeta za 1 točko, standardni odklon je 10. Samo število anketirancev se spreminja:
| Enot v skupini | t | p |
|---|---|---|
| 20 | 0,32 | 0,75 |
| 200 | 1,00 | 0,32 |
| 2000 | 3,16 | 0,0016 |
Razlika je v vseh treh primerih ista, torej enako majhna. Pri 2000 enotah je »statistično značilna«, vendar ali je ena točka razlike pri odklonu 10 pomembna, presodiš ti, ne p. Obratno: skupini z razliko 10 točk in po 5 enot dasta p = 0,15, čeprav je razlika velika. Zato poleg p vedno navedi velikost razlike. Kako izbereš število enot, je v članku o velikosti vzorca.
Pogoste napačne razlage
Greenland in sodelavci (2016) naštejejo veliko napačnih razlag p vrednosti. Pogoste:
- »P je verjetnost, da so podatke ustvarile same naključne razlike.« Napačno. Pri p = 0,08 ne obstaja 8 % možnosti, da so rezultat povzročile same naključne razlike.
- »Pri p ≤ 0,05 je ničelna hipoteza napačna.« Napačno. Majhen p le označi podatke kot nenavadne, če bi vse predpostavke držale. Lahko je majhen zaradi naključne napake ali ker je kršena kakšna druga predpostavka.
- »P > 0,05 pomeni, da učinka ni.« Napačno. Pomeni le, da je ničelna hipoteza ena od mnogih hipotez s p > 0,05.
- »Če zavrnem H₀ pri 0,05, se z verjetnostjo 5 % motim.« Napačno. Pet odstotkov se nanaša na to, kako pogosto bi bil test ob mnogih uporabah ob resnični H₀ napačen.
- »P = 0,05 in p ≤ 0,05 je isto.« Napačno. Prvo je mejni rezultat, drugo vključuje tudi zelo majhne vrednosti.
Kako zapišeš p vrednost v nalogi
Greenland in sodelavci pojasnijo, da je slaba praksa poročati p kot neenakost, na primer »p < 0,02« za 0,015 ali »p > 0,05« za 0,06. Neenakost je upravičena le pri zelo majhnih vrednostih, na primer pod 0,001. Zapiši torej natančno vrednost in jo spremljaj z velikostjo učinka. Izmišljen primer:
Skupina A je v povprečju dosegla 6,83 točke več kot skupina B (95 % interval zaupanja od 3,09 do 10,57), t(22) = 3,79, p = 0,001.
Če uporabljaš hi kvadrat preizkus ali korelacijo, ravnaš enako: navedi natančen p, poleg njega pa moč povezanosti. Postopek je razložen v člankih hi kvadrat test in korelacija. Pregled postopka celotne kvantitativne raziskave je v članku Kvantitativna metoda raziskovanja. Zapis uskladi z navodili svoje fakultete in z mentorjem.
Pogoste napake v nalogah
- Besede brez številke. »Rezultat je značilen« brez p, stopnje tveganja in testa.
- Značilno razumljeno kot pomembno. Poišči velikost učinka.
- Neznačilno razumljeno kot dokaz, da razlike ni.
- Izbira testa po tem, kateri da nizek p. ASA v 4. načelu zahteva polno poročanje in preglednost.
- Zaupanje v mejo 0,05 kot v zakon. Navedi izbrano stopnjo tveganja in zakaj.
Viri
- Wasserstein, R. L., in Lazar, N. A. (2016). The ASA statement on p-values: context, process, and purpose. The American Statistician, 70(2), 129 do 133. https://doi.org/10.1080/00031305.2016.1154108. Ta članek se opira na uradno sporočilo ASA z istimi šestimi načeli: https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf
- Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., in Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31, 337 do 350. https://doi.org/10.1007/s10654-016-0149-3, prosto dostopno na PMC
- Farmacevtska fakulteta Univerze v Ljubljani. Predstavitev 4. vaje, 2009/2010. https://www.ffa.uni-lj.si/fileadmin/homedirs/12/d-Farmacevtska_informatika/4.vaja-_predstavitev_2009-2010.pdf