LПроизволните нива на значимост се решават преди изчисляването на статистика на контраста, а непроизволните нива на значимост зависят от стойността, взета от статистиката на контраста, и двете зависят от разпределението, последвано от данните.
С други думи, произволните нива на значимост винаги ще бъдат еднакви за различни стойности на тестовата статистика, а непроизволните нива на значимост ще бъдат различни за различните стойности на тестовата статистика.
Не е произволно
Когато се посочва концепция, характеристиката на произвол означава, че стойността на тази концепция се избира от изследователя. априори (преди) да направите експеримента, без да разчитате на свързана информация.
P-стойност и слонове
Да предположим например, че искаме да тестваме броя на слоновете на ливада.
Преди да видим поляната и слоновете, които всъщност съществуват, предполагаме априори броя на слоновете. Казваме, че може да има 10 слона. И така, отиваме на поляната и броим броя на слоновете, които виждаме: 1, 2, 3, 4, 5, 6 и 7.
Нашата нулева хипотеза беше, че броят на слоновете на поляната беше равен на 10, а алтернативната ни хипотеза беше, че има по-малко от 10. Така че, като се има предвид слоновете, които има, ние бихме отхвърлили нулевата хипотеза. Но … Ами ако на поляната има още 3 слона, но те са скрити зад дърветата? Ние бихме отхвърлили нулевата си хипотеза, когато би могло да бъде вярно, ако вместо да броим слоновете, бяхме изчислили максималния брой слонове, които пасището може да побере.
Анализ
Десетте слона, избрани в началото, бяха напълно произволни, тъй като не сме виждали размера на поляната и следователно не знаем дали 10 слона са много или малко.
От друга страна, ако предвид размера на ливадата изчислим максималния брой слонове, които тя може да побере, ще знаем каква е максималната стойност, за да не отхвърлим нулевата хипотеза. Така че намирането на реалното число ще бъде много по-лесно.
Сравнение
Същото важи и за нивата на значимост 1%, 5% и 10% в сравнение с р-стойността. В много контрасти ние избираме нивото на значимост, без да отчитаме каквато и да е информация, различна от разпространението. Обикновено 5% се използва като ниво на значимост (алфа), оставяйки 95% от пробата в рамките на доверителния интервал.
Проблемът с произволното присвояване на нивото на значимост е същият проблем, който имаме с примера със слонове. Ако смятаме, че е правилно да приложим 5% (ниво на значимост), можем да отхвърлим нулевата хипотеза, когато минимумът, който трябва да бъде отхвърлен, е 2% (р-стойност). Бихме получили грешни резултати, просто като зададем 5% вместо минималната стойност, която трябва да бъде отхвърлена (2%).
С други думи, заключаваме, че на поляната има по-малко от 10 слона, но в действителност има още 3 слона, но те са скрити. И така, много по-бързо се изчислява кое е максималното или минималното ниво на значимост, за което не бихме отхвърлили или бихме отхвърлили нулевата хипотеза.
Правило за отхвърляне
Ако стойност - стр < ниво на значимост => H0 отхвърляне.
Ако стойност - стр > ниво на значимост => Без отхвърляне H0.