Modellen

I enkel lineær regresjon antar vi at responsen avhenger lineært av forklaringsvariabelen $x$:

$$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i, \qquad i=1,\dots,n.$$

Her er $\beta_0$ skjæringspunktet, $\beta_1$ stigningstallet og $\epsilon_i$ tilfeldige feilledd. Standardantakelsene er at $\epsilon_i$ er uavhengige med $E[\epsilon_i]=0$ og konstant varians $\text{Var}(\epsilon_i)=\sigma^2$ (homoskedastisitet). For eksakt inferens antar vi i tillegg normalfordeling: $\epsilon_i \sim N(0,\sigma^2)$.

Grunnregel — minste kvadraters estimater:

$$\hat{\beta}_1=\frac{S_{xy}}{S_{xx}}, \qquad \hat{\beta}_0=\bar{y}-\hat{\beta}_1\bar{x},$$

der $S_{xx}=\sum(x_i-\bar{x})^2$ og $S_{xy}=\sum(x_i-\bar{x})(y_i-\bar{y})$. Regresjonslinjen går alltid gjennom tyngdepunktet $(\bar{x},\bar{y})$.

Tolkning av koeffisientene

Stigningstallet $\beta_1$ er forventet endring i $Y$ når $x$ øker med én enhet. Skjæringspunktet $\beta_0$ er forventet respons ved $x=0$ — men kun meningsfullt når $x=0$ ligger innenfor dataområdet, ellers er det ekstrapolasjon. Bruk alltid riktige enheter i tolkningen.

Forklaringsgrad $R^2$

Variasjonen i $y$ dekomponeres som $SST=SSR+SSE$, der $SST=\sum(y_i-\bar{y})^2$ er total variasjon, $SSR=\sum(\hat{y}_i-\bar{y})^2$ er forklart, og $SSE=\sum(y_i-\hat{y}_i)^2$ er uforklart (residual). Forklaringsgraden er

$$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST},\qquad 0\le R^2\le 1.$$

I enkel regresjon er $R^2=r^2$, kvadratet av korrelasjonen. Merk: høy $R^2$ betyr ikke automatisk at en lineær modell passer — residualene kan likevel vise systematisk krumning.

Inferens på stigningstallet

Feilvariansen estimeres forventningsrett med $S^2=SSE/(n-2)$ (to frihetsgrader tapt for $\hat{\beta}_0,\hat{\beta}_1$). Estimatorens spredning er $\text{Var}(\hat{\beta}_1)=\sigma^2/S_{xx}$, med standardfeil $\text{SE}(\hat{\beta}_1)=\sqrt{S^2/S_{xx}}$. For test av $H_0:\beta_1=0$ brukes

$$T=\frac{\hat{\beta}_1}{\text{SE}(\hat{\beta}_1)}\sim t_{n-2},$$

og et $(1-\alpha)$ konfidensintervall er $\hat{\beta}_1\pm t_{\alpha/2,n-2}\,\text{SE}(\hat{\beta}_1)$.

Residualer

Residualet $e_i=y_i-\hat{y}_i$ estimerer feilleddet. I en MKM-tilpasning med skjæringsledd gjelder $\sum e_i=0$ og $\sum x_i e_i=0$. Et residualplott (residualer mot $\hat{y}$ eller $x$) skal vise en strukturløs sky rundt null. Vifteform tyder på ikke-konstant varians, krumning på ikke-linearitet, og enkeltpunkter langt fra mengden på uteliggere eller høy leverage.

Eksempel 1 — full analyse:

Data: $x=(1,2,3,4,5)$, $y=(2{,}1;\,3{,}9;\,6{,}1;\,7{,}9;\,10{,}1)$.

$\bar{x}=3$, $\bar{y}=6{,}02$. Vi får $S_{xx}=10$, $S_{xy}=20$, $S_{yy}=40{,}05$.

$$\hat{\beta}_1=\frac{20}{10}=2{,}0,\qquad \hat{\beta}_0=6{,}02-2{,}0\cdot 3=0{,}02.$$

Linje: $\hat{y}=0{,}02+2{,}0x$. Residualkvadratsum: $SSE=S_{yy}-\hat{\beta}_1 S_{xy}=40{,}05-40{,}00=0{,}05$.

$$R^2=1-\frac{0{,}05}{40{,}05}\approx 0{,}999.$$

$S^2=0{,}05/3=0{,}0167$, $\text{SE}(\hat{\beta}_1)=\sqrt{0{,}0167/10}=0{,}0408$. Testobservator: $t=2{,}0/0{,}0408\approx 49$. Med $t_{0{,}025,3}=3{,}182$ forkastes $H_0:\beta_1=0$ klart.

Eksempel 2 — residualer og KI:

Data: $x=(1,2,3,4)$, $y=(1,3,4,6)$. Her er $\bar{x}=2{,}5$, $\bar{y}=3{,}5$, $S_{xx}=5$, $S_{xy}=8$, $S_{yy}=13$.

$$\hat{\beta}_1=\frac{8}{5}=1{,}6,\qquad \hat{\beta}_0=3{,}5-1{,}6\cdot 2{,}5=-0{,}5.$$

Predikerte verdier: $\hat{y}=(1{,}1;\,2{,}7;\,4{,}3;\,5{,}9)$, residualer $e=(-0{,}1;\,0{,}3;\,-0{,}3;\,0{,}1)$, så $SSE=0{,}20$ og $\sum e_i=0$. Da blir $S^2=0{,}20/2=0{,}10$ og $\text{SE}(\hat{\beta}_1)=\sqrt{0{,}10/5}=0{,}141$.

$95\%$-KI med $t_{0{,}025,2}=4{,}303$: $1{,}6\pm 4{,}303\cdot 0{,}141=1{,}6\pm 0{,}607=[0{,}99;\ 2{,}21]$. Intervallet inneholder ikke $0$, så stigningstallet er signifikant.

Studieguide: Enkel lineær regresjon

Studieguide: Enkel lineær regresjon