Oversikt

Regresjonsoppgaven er typisk den storste enkeltoppgaven pa eksamen (7-12 poeng). Du far en utskrift fra R og skal tolke den, beregne koeffisienter for hand, og teste hypoteser om sammenhengen mellom variabler.

Modellen

$$Y = \beta_0 + \beta_1 X + \varepsilon$$

der $\varepsilon$ er feilleddet med forventning 0. Vi estimerer:

$$\hat{\beta}_1 = \frac{s_{xy}}{s_x^2} = r_{xy} \cdot \frac{s_y}{s_x}$$

$$\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \cdot \bar{x}$$

Tolkning av koeffisientene

$\hat{\beta}_0$ (konstantleddet): Forventet verdi av $Y$ nar $X = 0$. Ikke alltid meningsfull (f.eks. byggeaar = 0).

$\hat{\beta}_1$ (stigningstallet): Nar $X$ oker med 1 enhet, oker $Y$ i gjennomsnitt med $\hat{\beta}_1$ enheter.

Forklaringskraft: $R^2$

$$R^2 = r_{xy}^2 = \frac{SSE}{SST} = 1 - \frac{SSR}{SST}$$

$R^2$ angir andelen av variasjonen i $Y$ som forklares av $X$. Verdien ligger mellom 0 og 1.

Viktig sammenheng: $r_{xy} = \pm \sqrt{R^2}$, der fortegnet bestemmes av $\hat{\beta}_1$.

Hypotesetest for $\beta_1$

$$H_0: \beta_1 = 0 \quad \text{(ingen linear sammenheng)}$$

$$t = \frac{\hat{\beta}_1}{SE(\hat{\beta}_1)}, \quad df = n - 2$$

I R-utskriften star dette under "t value" og "Pr(>|t|)". P-verdien i R er ALLTID tosidig.

For ensidig test (f.eks. $H_A: \beta_1 > 0$): Del R-utskriftens P-verdi pa 2.

Konfidensintervall for $\beta_1$

$$\hat{\beta}_1 \pm t^*_{(1-c)/2} \cdot SE(\hat{\beta}_1)$$

der $df = n - 2$.

Residual Standard Error

$$\hat{\sigma}_e = s_e = \sqrt{\frac{\sum e_i^2}{n-2}} = \sqrt{\frac{SSR}{n-2}}$$

der $e_i = y_i - \hat{y}_i$ er residualene. Maler gjennomsnittlig avstand mellom observasjoner og regresjonslinjen.

Korrelasjon vs. arsakssammenheng

Signifikant linear sammenheng betyr IKKE arsakssammenheng. Det kan finnes konfunderende variabler (lurking variables) som forklarer sammenhengen. Pa eksamen (H2024, H2023) kommer dette som tolkningsoppgave.

Eksempel 1: Lese R-utskrift og beregne (H2024)

Oppgave: Regresjon av Prom (Y) pa Byggeaar (X) med n=191:

Coefficients:\n            Estimate Std. Error t value Pr(>|t|)\n(Intercept) 1196.9604   327.3516   3.656  0.000331 ***\nByggeaar      -0.5765     0.1707  -3.377  0.000889 ***\n\nResidual standard error: 53.13 on 189 degrees of freedom\nMultiple R-squared: 0.05692

Regresjonslikning: $\hat{Y} = 1196.96 - 0.5765 X$

Tolkning av $\hat{\beta}_1 = -0.5765$: For hvert ar nyere bygningen er, synker forventet Prom med 0.58 kvm.

Test $H_0: \beta_1 = 0$ vs. $H_A: \beta_1 < 0$ (ensidig): P-verdi = 0.000889 / 2 = 0.000445

Siden $0.000445 < 0.05$ forkaster vi $H_0$.

$R^2 = 0.057$ betyr at bare 5.7% av variasjonen i Prom forklares av Byggeaar -- en svak sammenheng.

Kilde: Eksamen H2024, Oppgave 5a-e

Eksempel 2: Beregne regresjon for hand (H2025)

Oppgave: Gitt datapunktene (1,1), (2,3), (3,2). Beregn $\hat{\beta}_0$ og $\hat{\beta}_1$ for hand.

$\bar{x} = (1+2+3)/3 = 2$, $\bar{y} = (1+3+2)/3 = 2$

$s_{xy} = \frac{1}{2}[(1-2)(1-2) + (2-2)(3-2) + (3-2)(2-2)] = \frac{1}{2}[1 + 0 + 0] = 0.5$

$s_x^2 = \frac{1}{2}[(1-2)^2 + (2-2)^2 + (3-2)^2] = \frac{1}{2}[1 + 0 + 1] = 1$

$$\hat{\beta}_1 = \frac{s_{xy}}{s_x^2} = \frac{0.5}{1} = 0.5$$

$$\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \cdot \bar{x} = 2 - 0.5 \cdot 2 = 1.0$$

Regresjonslikning: $\hat{Y} = 1.0 + 0.5X$

Kontroll mot R-utskriften: Intercept = 1.000, x = 0.500. Stemmer!

Kilde: Eksamen H2025, Oppgave 4e

Eksempel 3: Residual Standard Error for hand (H2025)

Oppgave: Med $\hat{Y} = 1 + 0.5X$ og datapunktene (1,1), (2,3), (3,2). Beregn residual standard error.

Prediksjoner: $\hat{y}_1 = 1 + 0.5(1) = 1.5$, $\hat{y}_2 = 1 + 0.5(2) = 2.0$, $\hat{y}_3 = 1 + 0.5(3) = 2.5$

Residualer: $e_1 = 1 - 1.5 = -0.5$, $e_2 = 3 - 2.0 = 1.0$, $e_3 = 2 - 2.5 = -0.5$

$$SSR = (-0.5)^2 + 1.0^2 + (-0.5)^2 = 0.25 + 1.0 + 0.25 = 1.5$$

$$\hat{\sigma}_e = \sqrt{\frac{1.5}{3-2}} = \sqrt{1.5} = 1.225$$

Stemmer med R-utskriften: Residual standard error: 1.225 on 1 degrees of freedom.

Kilde: Eksamen H2025, Oppgave 4f(6)

Studieguide: Regresjon