Den multivariate regresjonsmodellen

Multivariat (multippel) regresjon utvider enkel regresjon til K uavhengige variabler:

$$Y_i = \alpha + \beta_1 X_{1i} + \beta_2 X_{2i} + \cdots + \beta_K X_{Ki} + \varepsilon_i$$

OLS minimerer fremdeles summen av kvadrerte residualer, men koeffisientene tolkes nå som partialeffekter.

Partialkoeffisienter og kontroll

Partialkoeffisienten $\hat{\beta}_j$ angir forventet endring i Y når $X_j$ øker med én enhet, gitt at alle andre X-variabler holdes konstant. Dette er statistisk kontroll: vi «nøytraliserer» variasjonen i de andre uavhengige variablene. Eksempel: $\hat{\beta}_{utd} = 1{,}8$ i en regresjon av lønn på utdanning og erfaring betyr at ett ekstra år utdanning er forbundet med 1 800 kr høyere lønn, kontrollert for erfaring.

Kontrollvariabler og konfundering

Inkludering av kontrollvariabler er den kvantitative tilnærmingens svar på konfunderingsproblemet. Hvis Z konfunderer forholdet X→Y, og vi inkluderer Z i regresjonen, vil estimatet for $\beta_X$ bli «renset» for Zs virkning. Men vi kan bare kontrollere for observerte variabler – uobserverte konfundere er fremdeles et problem (omitted variable bias).

Justert R² og modellevaluering

Justert R² ($\bar{R}^2$) straffer for inkludering av variabler som ikke bidrar til forklaringskraft. Vanlig R² øker alltid med flere variabler, selv tilfeldig. Justert R² øker bare hvis den nye variabelen bidrar mer enn tilfeldig. Bruk justert R² for å sammenligne modeller med ulikt antall variabler.

Dummyvariabler og kategoriske variabler

En dummyvariabel tar verdiene 0 og 1 og brukes til å få kategoriske variabler inn i en regresjon. For en variabel med flere enn to kategorier (f.eks. region med fem verdier, eller utdanning i tre nivåer) lager du én dummy per kategori, men tar med én færre enn antall kategorier (k − 1) i modellen. Den utelatte kategorien blir referansekategori. Hver enhet får verdien 1 på dummyen for sin egen kategori og 0 på de andre.

Dette endrer tolkningen av konstantleddet: det blir forventet Y for referansekategorien (når alle dummyene og øvrige X er 0). Hver dummykoeffisient tolkes som forskjellen i forventet Y mellom den kategorien og referansekategorien. En ordinal variabel kan også gjøres om til dummyer på denne måten, fordi man ellers feilaktig antar lik avstand mellom kategoriene.

Samspill (interaksjon)

Et samspillsledd $b_3(X_1 \cdot X_2)$ inkluderes når effekten av én variabel antas å avhenge av verdien på en annen. At det er samspill mellom $X_1$ og $X_2$ betyr at effekten av $X_1$ på Y avhenger av verdien på $X_2$ (og omvendt). I en modell $Y = b_0 + b_1 X_1 + b_2 X_2 + b_3(X_1 X_2) + e$ er den samlede (betingede) effekten av $X_1$ lik $b_1 + b_3 X_2$. For en dummy $X_2$: effekten av $X_1$ er $b_1$ når $X_2 = 0$ og $b_1 + b_3$ når $X_2 = 1$. En signifikant $b_3$ betyr at effekten av $X_1$ er signifikant forskjellig mellom de to gruppene.

Standardiserte koeffisienter

Standardiserte regresjonskoeffisienter (beta-vekter, β) uttrykker effekten i antall standardavvik: hvor mange standardavvik Y endrer seg når X øker med ett standardavvik. De gjør det mulig å sammenligne den relative styrken til uavhengige variabler som er målt i ulike enheter. En β på 0,55 har større relativ betydning enn en β på 0,29.

Hvorfor faller N (antall observasjoner)?

Antall observasjoner i en regresjon er ofte lavere enn antall enheter i datasettet fordi R som standard bruker listwise deletion: enheter som mangler verdi (NA) på minst én av variablene i modellen, utelates helt. Legger du til en variabel med mange manglende verdier, kan N falle merkbart – noe som også gjør modeller med ulik N vanskeligere å sammenligne direkte.

Multikolinearitet

Multikolinearitet oppstår når to eller flere uavhengige variabler er høyt korrelerte. Konsekvenser: ustabile estimater med store standardfeil – koeffisientene kan være lite reliable og ha uventede fortegn. VIF (Variance Inflation Factor) er et vanlig diagnostisk mål: VIF > 10 indikerer problematisk multikolinearitet. Løsningen er å fjerne én av de høyt korrelerte variablene eller bruke dimensjonsreduksjon.

Eksempel: Omitted variable bias

Vi ønsker å estimere effekten av skattepolitikk (X) på BNP-vekst (Y). Hvis vi ikke inkluderer handelspolitikk (Z), som korrelerer med både X og Y, vil $\hat{\beta}_X$ fange opp noe av Zs effekt – estimatet er forventet skjevt. I en multivariat modell med både X og Z vil $\hat{\beta}_X$ reflektere skattepolitikkens partialeffekt, kontrollert for handelspolitikk. Men uobserverte faktorer (institusjonskvalitet, naturressurser) kan fremdeles skape skjevhet.

Eksempel: Inkludere en kategorisk variabel som dummyer (eksamensstil, 8p)

«Du vil inkludere REGION (Nord, Midt, Sør) i regresjonen. Forklar hvert trinn og skriv ligningen på generell form.»

REGION har tre kategorier, så lag tre dummyer (en per region), men inkluder bare k − 1 = 2 i modellen.
Hver enhet får 1 på dummyen for sin region og 0 på de andre.
Den utelatte regionen (f.eks. Sør) blir referansekategori.
Ligning: $Y_i = b_0 + b_1 X_{1i} + b_2 D_{\text{Nord},i} + b_3 D_{\text{Midt},i} + e_i$.

Konsekvens for konstantleddet: $b_0$ er nå forventet Y for referanseregionen (Sør) når øvrige X er 0. Sensor er streng på at det er nøyaktig k − 1 dummyer i den endelige ligningen.

Eksempel: Samspill – betinget effekt (eksamensstil)

Modell: $\hat{Y} = 260000 + 49000\cdot\text{KVINNE} + 2900\cdot\text{UTDANNING} + 440(\text{KVINNE}\cdot\text{UTDANNING})$, der kvinne = 1. Forventet inntekt for en kvinne med 4 års utdanning: sett KVINNE = 1: $260000 + 49000 + 2900\cdot 4 + 440\cdot 4 = 260000 + 49000 + 11600 + 1760 = 322360$. Den betingede effekten av ett ekstra utdanningsår for kvinner er $2900 + 440 = 3340$, mot $2900$ for menn (KVINNE = 0). Samspillsleddet (440) forteller at utdanningseffekten er 440 kr sterkere for kvinner enn for menn.

Eksempel: Hvorfor endrer en koeffisient seg når du legger til kontrollvariabler?

I Modell 1 (bare X) er effekten av kjønn på en holdningsvariabel −0,13 og signifikant. I Modell 3 legger du til flere mellomliggende holdningsvariabler, og kjønnseffekten faller til nær 0 og blir ikke-signifikant. Forklaring: de nye variablene fanger opp mekanismen som kobler kjønn til utfallet – den opprinnelige effekten gikk i hovedsak indirekte gjennom disse. Dette er kjernen i å sammenligne koeffisienter på tvers av modeller, et svært vanlig Del 2-grep (typisk 4p).

Studieguide: Multivariat regresjonsanalyse