Enkel lineær regresjon modellerer sammenhengen mellom en avhengig variabel $Y$ og én uavhengig variabel $X$ med en lineær modell.

Modellen

Populasjonsmodell:

$Y_i = \beta_0 + \beta_1 X_i + \varepsilon_i$, der $\varepsilon_i \sim N(0, \sigma^2)$ (uavhengige)

$\beta_0$ = konstantledd (skjæringspunkt med y-aksen)

$\beta_1$ = stigningstall (endring i $Y$ når $X$ øker med 1 enhet)

Estimert modell (OLS):

$\hat{Y}_i = \hat{\beta}_0 + \hat{\beta}_1 X_i$

$\hat{\beta}_1 = \frac{\sum(X_i - \bar{X})(Y_i - \bar{Y})}{\sum(X_i - \bar{X})^2} = \frac{S_{XY}}{S_{XX}}$

$\hat{\beta}_0 = \bar{Y} - \hat{\beta}_1 \bar{X}$

Residual: $e_i = Y_i - \hat{Y}_i$

Modellvurdering

$R^2$ — forklaringsgraden:

$R^2 = 1 - \frac{SSE}{SST} = \frac{SSR}{SST}$

der $SST = \sum(Y_i - \bar{Y})^2$, $SSR = \sum(\hat{Y}_i - \bar{Y})^2$, $SSE = \sum(Y_i - \hat{Y}_i)^2 = \sum e_i^2$

$R^2$ angir andelen av variasjonen i $Y$ som forklares av modellen. $0 \le R^2 \le 1$.

Standardfeilen til regresjonen:

$s_e = \sqrt{\frac{SSE}{n-2}} = \sqrt{MSE}$

Estimerer $\sigma$ — standardavviket til feilleddet $\varepsilon$.

Hypotesetesting for $\beta_1$

t-test for stigningstall:

$H_0: \beta_1 = 0$ (ingen lineær sammenheng)

$t = \frac{\hat{\beta}_1}{SE(\hat{\beta}_1)}$, $df = n - 2$

$SE(\hat{\beta}_1) = \frac{s_e}{\sqrt{S_{XX}}}$

Konfidensintervall for $\beta_1$:

$\hat{\beta}_1 \pm t_{\alpha/2,\,n-2} \cdot SE(\hat{\beta}_1)$

Eksempel: Enkel lineær regresjon

En bedrift undersøker sammenhengen mellom annonseutgifter ($X$, i tusen kr) og salg ($Y$, i tusen enheter). Fra regresjonsanalysen: $\hat{\beta}_0 = 10{,}2$, $\hat{\beta}_1 = 3{,}5$, $SE(\hat{\beta}_1) = 0{,}8$, $R^2 = 0{,}78$, $n = 20$.

Tolkning: Når annonseutgiftene øker med 1000 kr, øker salget med 3500 enheter (estimert).

Signifikanstest: $t = \frac{3{,}5}{0{,}8} = 4{,}375$, $df = 20 - 2 = 18$.

Kritisk verdi $t_{0{,}025,\,18} = 2{,}101$. Siden $4{,}375 > 2{,}101$, forkaster vi $H_0$.

95 % KI for $\beta_1$: $3{,}5 \pm 2{,}101 \cdot 0{,}8 = 3{,}5 \pm 1{,}681 = (1{,}82;\; 5{,}18)$

$R^2 = 0{,}78$ betyr at 78 % av variasjonen i salg forklares av annonseutgifter.

Studieguide: Enkel lineær regresjon

Studieguide: Enkel lineær regresjon