Enkel lineær regresjon modellerer sammenhengen mellom en avhengig variabel $Y$ og én uavhengig variabel $X$ med en lineær modell.

Modellen

Populasjonsmodell:

$Y_i = \beta_0 + \beta_1 X_i + \varepsilon_i$, der $\varepsilon_i \sim N(0, \sigma^2)$ (uavhengige)

$\beta_0$ = konstantledd (skjæringspunkt med y-aksen)

$\beta_1$ = stigningstall (endring i $Y$ når $X$ øker med 1 enhet)

Estimert modell (OLS):

$\hat{Y}_i = \hat{\beta}_0 + \hat{\beta}_1 X_i$

$\hat{\beta}_1 = \frac{\sum(X_i - \bar{X})(Y_i - \bar{Y})}{\sum(X_i - \bar{X})^2} = \frac{S_{XY}}{S_{XX}}$

$\hat{\beta}_0 = \bar{Y} - \hat{\beta}_1 \bar{X}$

Residual: $e_i = Y_i - \hat{Y}_i$

Modellvurdering

$R^2$ — forklaringsgraden:

$R^2 = 1 - \frac{SSE}{SST} = \frac{SSR}{SST}$

der $SST = \sum(Y_i - \bar{Y})^2$, $SSR = \sum(\hat{Y}_i - \bar{Y})^2$, $SSE = \sum(Y_i - \hat{Y}_i)^2 = \sum e_i^2$

$R^2$ angir andelen av variasjonen i $Y$ som forklares av modellen. $0 \le R^2 \le 1$.

Standardfeilen til regresjonen:

$s_e = \sqrt{\frac{SSE}{n-2}} = \sqrt{MSE}$

Estimerer $\sigma$ — standardavviket til feilleddet $\varepsilon$.

Hypotesetesting for $\beta_1$

t-test for stigningstall:

$H_0: \beta_1 = 0$ (ingen lineær sammenheng)

$t = \frac{\hat{\beta}_1}{SE(\hat{\beta}_1)}$, $df = n - 2$

$SE(\hat{\beta}_1) = \frac{s_e}{\sqrt{S_{XX}}}$

Konfidensintervall for $\beta_1$:

$\hat{\beta}_1 \pm t_{\alpha/2,\,n-2} \cdot SE(\hat{\beta}_1)$

Eksempel: Enkel lineær regresjon

En bedrift undersøker sammenhengen mellom annonseutgifter ($X$, i tusen kr) og salg ($Y$, i tusen enheter). Fra regresjonsanalysen: $\hat{\beta}_0 = 10{,}2$, $\hat{\beta}_1 = 3{,}5$, $SE(\hat{\beta}_1) = 0{,}8$, $R^2 = 0{,}78$, $n = 20$.

Tolkning: Når annonseutgiftene øker med 1000 kr, øker salget med 3500 enheter (estimert).

Signifikanstest: $t = \frac{3{,}5}{0{,}8} = 4{,}375$, $df = 20 - 2 = 18$.

Kritisk verdi $t_{0{,}025,\,18} = 2{,}101$. Siden $4{,}375 > 2{,}101$, forkaster vi $H_0$.

95 % KI for $\beta_1$: $3{,}5 \pm 2{,}101 \cdot 0{,}8 = 3{,}5 \pm 1{,}681 = (1{,}82;\; 5{,}18)$

$R^2 = 0{,}78$ betyr at 78 % av variasjonen i salg forklares av annonseutgifter.

Prediksjonsintervall for ny enkeltobservasjon

Standardavvik for prediksjonsfeilen:

$S(\hat{Y} - Y) = S\sqrt{1 + \dfrac{1}{n} + \dfrac{(x_0 - \bar{x})^2}{M}}$ der $M = \sum(x_i - \bar{x})^2 = (n-1)s_x^2$.

«1-en» er den nye enkeltobservasjonens egen spredning — derfor er prediksjonsintervallet bredere enn konfidensintervallet for $E[Y]$ (som mangler 1-en).

Intervall: $\hat{y}_0 \pm t_{\alpha/2,\,n-2} \cdot S(\hat{Y}-Y)$. Usikkerheten vokser med avstanden fra $\bar{x}$ — vær varsom med ekstrapolasjon.

Eksempel: Prediksjonsintervall fra utskrift (eksamenstypisk)

En regresjon av hvilepuls ($Y$) mot ukentlige treningstimer ($x$) hos $n = 12$ ansatte gir $\hat{Y} = 78 - 2{,}1x$ med $S = 4{,}2$. Utskriften oppgir $\bar{x} = 5$ og $s_x = 2{,}6$. Lag et 95 % prediksjonsintervall for hvilepulsen til en ny person som trener $x_0 = 8$ timer.

Punktprediksjon: $\hat{y}_0 = 78 - 2{,}1 \cdot 8 = 61{,}2$.

$M = (n-1)s_x^2 = 11 \cdot 2{,}6^2 = 74{,}4$

$S(\hat{Y}-Y) = 4{,}2\sqrt{1 + \frac{1}{12} + \frac{(8-5)^2}{74{,}4}} = 4{,}2\sqrt{1{,}204} \approx 4{,}61$

t-kvantil med $n - 2 = 10$ frihetsgrader: $t_{0{,}025,10} = 2{,}228$.

Intervall: $61{,}2 \pm 2{,}228 \cdot 4{,}61 = 61{,}2 \pm 10{,}3$, altså om lag $(51,\ 72)$.

Studieguide: Enkel lineær regresjon

Studieguide: Enkel lineær regresjon