Zakłada trafność przyjętego modelu statystycznego, spełnienie jego wymagań (np. o doborze próby, homoskedastyczności i braku współliniowości), oraz przestrzeganie algorytmu wnioskowania częstościowego. Łamanie tych założeń nazwano p-hackingiem; zrywa ono gwarancję, że oczekiwana częstość błędów będzie zgodna z przyjętym ryzykiem. Najczęściej stosowane testy opierają się na modelu liniowym (np. test chi-kwadrat, analiza wariancji czy test t Studenta), czasem doprecyzowanym na tyle, aby rozluźnić część jego ogólnych założeń.
Determinuje, ceteris paribus, ryzyko błędu II rodzaju (β: nieodrzucenia fałszywej hipotezy zerowej; jego dopełnieniem, 1–β, jest moc testu). W tym stopniu, w jakim rozkłady statystyki dla porównywanych hipotez pokrywają się, im surowszy poziom istotności, tym niższa moc testu i większe ryzyko β. Na moc statystyczną wpływ ma także m.in. wielkość efektu i rozmiar próby.
W zgodzie z pierwotną propozycją Fishera oraz Neymana i Pearsona, wybór wartości α zależy od badacza, natury problemu i od tego, jak dokładnie chce on weryfikować swoje hipotezy. Jak opisuje Gigerenzer, często „bezmyślnie” przyjmuje się dwustronne α=0,025+0,025=0,05.