The Logic of Hypothesis Testing

When we conduct a survey or experiment, we want to know if our observed results are statistically significant, which means the results are unlikely under the assumption that the null hypothesis ($H_0$) is true. To determine if we should reject the null hypothesis, we can use two main logical approaches:

  • The Classical Approach: Under this method, we reject the null hypothesis if the sample proportion is too many standard deviations away from the proportion stated in the null hypothesis.
  • The P-Value Approach: A P-value is the probability of observing a sample statistic as extreme or more extreme than the one observed, assuming the statement in the null hypothesis is true. If the probability of getting a sample statistic this extreme is small (specifically, if the P-value is less than your level of significance, $\alpha$), you reject the null hypothesis.

Steps for Testing a Population Proportion

When you are ready to test a hypothesis regarding a population proportion, $p$, follow these structured steps:

  1. Set your hypotheses: Determine if your test is two-tailed ($H_1: p \ne p_0$), left-tailed ($H_1: p < p_0$), or right-tailed ($H_1: p > p_0$).
  2. Verify conditions: Select a level of significance, $\alpha$. Before proceeding, you must ensure that your sample is obtained by simple random sampling (or a randomized experiment), the sampled values are independent, and that $np_0(1-p_0) \ge 10$.
  3. Compute the test statistic: If the conditions are met, calculate your test statistic using the formula $z_0 = \frac{\hat{p}-p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}}$.
  4. Compare and conclude: Depending on your chosen approach, either compare your test statistic to the critical value or use a statistical spreadsheet/calculator to find the P-value. Use this comparison to state your final conclusion.

The Confidence Interval Shortcut

There is a handy shortcut for two-tailed hypothesis tests using confidence intervals. When testing $H_0: p = p_0$ versus $H_1: p \ne p_0$, you can simply look at a $(1-\alpha)\cdot100\%$ confidence interval. If that confidence interval contains your assumed proportion, $p_0$, you do not reject the null hypothesis. However, if the confidence interval does not contain $p_0$, you can conclude that the true proportion is different from $p_0$ at your chosen level of significance.

Tackling Small Samples

What happens if your sample is small and the condition $np_0(1-p_0) \ge 10$ is not met? In this case, the sampling distribution of the sample proportion, $\hat{p}$, is not approximately normal.

Instead of using the standard normal distribution, you must test your hypothesis using the binomial probability distribution. Keep in mind that small-sample hypothesis tests require substantial evidence against the statement in the null hypothesis in order to actually reject it.