Den bivariate regresjonsmodellen

Enkel lineær regresjonsanalyse modellerer sammenhengen mellom én avhengig variabel Y og én uavhengig variabel X med en rett linje:

$$Y_i = \alpha + \beta X_i + \varepsilon_i$$

der $\alpha$ er konstantleddet (intercept), $\beta$ er stigningstallet (slope/regresjonskoeffisienten) og $\varepsilon_i$ er residualet (det uforklarte avviket) for enhet $i$.

OLS-estimering

Minste kvadraters metode (OLS) finner de estimatene $\hat{\alpha}$ og $\hat{\beta}$ som minimerer summen av kvadrerte residualer ($SSR = \sum(y_i - \hat{y}_i)^2$). Formlene er:

$$\hat{\beta} = \frac{\sum(x_i - \bar{x})(y_i - \bar{y})}{\sum(x_i - \bar{x})^2} = r \cdot \frac{s_y}{s_x}$$

$$\hat{\alpha} = \bar{y} - \hat{\beta}\bar{x}$$

Tolkning av koeffisienter

Konstantledd $\hat{\alpha}$: forventet verdi av Y når X = 0. Har kun substantiell mening dersom X = 0 er en realistisk verdi. Stigningstall $\hat{\beta}$: forventet endring i Y når X øker med én enhet, alt annet likt. Eksempel: $\hat{\beta} = 2{,}3$ i en regresjon av valgdeltakelse på utdanningsår betyr at ett ekstra år med utdanning er forbundet med 2,3 prosentpoengs høyere valgdeltakelse.

R² – forklart varians

R² (determinasjonskoeffisienten) angir andelen av variansen i Y som forklares av X: $R^2 = 1 - \frac{SSR}{SST}$, der SST = $\sum(y_i - \bar{y})^2$ er total varians. $R^2 \in [0, 1]$; høyere R² betyr bedre modellpassning. I bivariat regresjon er $R^2 = r^2$.

Eksempel: Regresjon av valgdeltakelse på sosioøkonomisk status

Datasett: 50 kommuner. Y = valgdeltakelse (%), X = gjennomsnittlig SES-indeks (0–10). OLS gir: $\hat{Y} = 45{,}2 + 4{,}1X$, R² = 0,38. Tolkning: En kommune med SES = 0 forventes å ha 45,2 % deltakelse (konstantleddet – sannsynligvis ikke realistisk, men matematisk definert). For hvert ekstra SES-poeng øker forventet deltakelse med 4,1 prosentpoeng. Modellen forklarer 38 % av variasjonen i valgdeltakelse mellom kommuner.

Eksempel: Skriv ligningen på generell form og tolk fra R-output (eksamensstil)

Et fast Del 2-grep er først å be om regresjonsligningen på generell form (typisk 6p), deretter tolkning. Generell form for én uavhengig variabel:

$$Y_i = b_0 + b_1 X_i + e_i$$

Sensor gir poeng for hvert element: konstantledd $b_0$, koeffisient $b_1$ med variabel, og residual $e_i$. Symbolvalg (α/β eller b, store/små bokstaver) spiller mindre rolle så lenge det er konsekvent.

Anta R gir Konstant = 52,97 (p < 0,001) og stigningstall for FORELDREPERMISJON_DUMMY = −0,20 (p = 0,94), R² = 0,00004. Tolkning: Konstantleddet (52,97) er forventet Y når dummyen er 0 – altså gjennomsnittlig yrkesdeltakelse i referansegruppen. Stigningstallet (−0,20) betyr at gruppen med verdien 1 i snitt ligger 0,2 enheter lavere; effekten er svært liten og ikke signifikant (p = 0,94 ≫ 0,05). R² ≈ 0 betyr at X forklarer nær null av variasjonen i Y. Konklusjon: hypotesen om en sammenheng er svekket.

Eksempel: Regn ut en predikert verdi (eksamensstil, vis utregning)

Gitt $\hat{Y} = 35 + 3{,}5\cdot\text{KJØNN} - 5{,}3\cdot\text{DELTID}$, der mann = 1 og deltid = 1. Forventet antall arbeidstimer for en mann i deltidsstilling: $35 + 3{,}5\cdot 1 - 5{,}3\cdot 1 = 33{,}2$ timer. Sensor gir delpoeng for riktig innsetting selv om sluttsvaret er feil – husk alltid å ta med konstantleddet og sette inn riktige verdier (0/1) på dummyene.

Forutsetninger for OLS

De viktigste forutsetningene er: (1) linearitet i forholdet X–Y, (2) uavhengige residualer (ingen autokorrelasjon), (3) homoskedastisitet (konstant varians i residualene), (4) normalfordelte residualer (for slutninger), (5) forventet verdi av feilleddet er 0, og (6) forklaringsvariablene er målt uten feil og uten perfekt multikolinearitet. Kellstedt og Whitten grupperer ni antagelser i tre grupper (om feilleddet, om modellspesifikasjon, og grunnkrav for estimering) – kjenn minst ett punkt fra hver gruppe. Brudd på disse svekker tolkbarhet og validiteten av statistiske tester.

Diagnostikk via residualplott (et fast Del 2-spørsmål, 4–6p): et histogram av residualene brukes til å vurdere normalitetsantagelsen. Er det tilnærmet klokkeformet, er antagelsen rimelig oppfylt, og vi kan stole på t-testene av koeffisientene; er det tydelig skjevt, kan standardfeilene bli feil og dermed signifikanstestene upålitelige. Et plott av residualer mot X (eller predikerte verdier) brukes til å oppdage heteroskedastisitet: hvis spredningen i residualene øker eller varierer systematisk med X, er forutsetningen om konstant varians brutt, noe som også gir gale standardfeil.

Eksempel: Vurder en OLS-forutsetning fra et residualplott (eksamensstil)

«Histogrammet over residualene fra modellen er tilnærmet klokkeformet og symmetrisk. Vurder én av OLS-forutsetningene og si hva det betyr for tolkningen.» Svar: Histogrammet taler til antagelsen om normalfordelte residualer. Siden fordelingen er tilnærmet normal, er antagelsen rimelig oppfylt, og konsekvensen er at vi kan bruke t-tester til å vurdere koeffisientenes statistiske signifikans. Hadde fordelingen vært tydelig skjev (særlig ved lite N), kunne standardfeilene blitt feilestimert og signifikanstestene upålitelige. Sensor gir typisk 3p for å koble plottet til riktig forutsetning og 3p for konsekvensen.

Studieguide: Enkel (bivariat) regresjonsanalyse

Studieguide: Enkel (bivariat) regresjonsanalyse