Logit-modellen: fra R-utskrift til sannsynlighet

Når utfallet er binært (mislighold/ikke, oppsigelse/ikke), estimerer vi en logistisk regresjon med glm(y ~ x1 + x2, family = binomial). Den estimerte modellen skrives $\hat{p} = \frac{e^{z}}{1+e^{z}}$ med lineær prediktor $z = \hat{\beta}_0 + \hat{\beta}_1 x_1 + \dots + \hat{\beta}_k x_k$, der koeffisientene leses rett ut av Estimate-kolonnen. Parameterne estimeres med maksimum likelihood (ikke OLS): glm() velger de verdiene som gjør de observerte 0/1-utfallene mest sannsynlige. Fortegnet på en koeffisient gir retningen på effekten (positiv koeffisient betyr høyere sannsynlighet, alt annet likt), en dummy-koeffisient er et skift i $z$ — aldri et antall prosentpoeng. Husk ankerpunktene: $z=0 \iff \hat p = 0{,}5$, og odds $= \hat p/(1-\hat p) = e^{z}$.

Gjennomregnet eksempel 1: sannsynlighet og invers oppgave

Dagligvarekjeden «Grønnhandel» modellerer sannsynligheten for at et kundeklubbmedlem løser inn en rabattkupong: $z = -2{,}4 + 0{,}5 \cdot \text{handler\_mnd} + 0{,}9 \cdot \text{app}$, der app er en dummy for om medlemmet har handleappen. For et medlem med 4 handler i måneden og app: $z = -2{,}4 + 0{,}5 \cdot 4 + 0{,}9 = 0{,}5$, som gir $\hat p = \frac{e^{0{,}5}}{1+e^{0{,}5}} = \frac{1{,}649}{2{,}649} \approx 0{,}62$. Invers oppgave: hvor mange handler må et app-medlem ha for at $\hat p = 0{,}5$? Sett $z=0$: $-2{,}4 + 0{,}5x + 0{,}9 = 0$ gir $x = 1{,}5/0{,}5 = 3$ handler. For en annen målsannsynlighet $p^*$ brukes $z = \ln\frac{p^*}{1-p^*}$ (f.eks. $\ln 4 \approx 1{,}386$ for $p^*=0{,}8$).

Klassifisering, konfusjonstabell og terskelvalg

Med terskel $c$ klassifiseres $\hat y = 1$ når $\hat p > c$. Resultatet oppsummeres i konfusjonstabellen, som gir andel riktige $\frac{TP+TN}{n}$, sensitivitet $\frac{TP}{TP+FN}$ (andel faktiske positive som fanges) og spesifisitet $\frac{TN}{TN+FP}$. Senkes terskelen, øker sensitiviteten og spesifisiteten faller — ROC-kurven viser nettopp alle kombinasjonene av sensitivitet og $1-$spesifisitet når terskelen varieres. Ved skjeve klasser er andel riktige misvisende: en naiv modell som alltid sier «nei» treffer 95 % hvis bare 5 % er positive. Terskelen bør følge økonomien: å klassifisere som positiv lønner seg når $\hat p \cdot G_{TP} + (1-\hat p)\cdot G_{FP} > 0$, som gir break-even $p^* = \frac{|G_{FP}|}{G_{TP}+|G_{FP}|}$. Store tap ved å overse positive gir lav terskel (0,10–0,30 er vanlige eksamensvalg).

Gjennomregnet eksempel 2: KNN for hånd

KNN klassifiserer en ny observasjon til flertallsklassen blant de $k$ nærmeste naboene, målt med euklidisk avstand på standardiserte variabler ($z = (x-\bar x)/s$ med treningssettets gjennomsnitt og standardavvik — uten standardisering dominerer variabelen med størst tallverdier). En ny kunde ligger i standardiserte koordinater i $(0, 0)$, og de fem treningsobservasjonene er N1 $(0{,}2;\ 0{,}1)$ med $y=1$, N2 $(-0{,}4;\ 0{,}3)$ med $y=0$, N3 $(0{,}5;\ -0{,}5)$ med $y=1$, N4 $(-0{,}7;\ -0{,}6)$ med $y=0$ og N5 $(1{,}0;\ 0{,}2)$ med $y=1$. Avstandene blir $d_{N1} = \sqrt{0{,}2^2+0{,}1^2} \approx 0{,}22$, $d_{N2} = 0{,}50$, $d_{N3} \approx 0{,}71$, $d_{N4} \approx 0{,}92$ og $d_{N5} \approx 1{,}02$. Med $k=3$ er naboene N1, N2 og N3 med klassene 1, 0, 1: flertallet gir klasse 1, og $\hat P(Y=1) = 2/3$. Valg av $k$: liten $k$ gir fleksibel, støyfølsom grense ($k=1$ har alltid null treningsfeil — overtilpasning), stor $k$ gir glatt grense, og $k=n$ degenererer til å alltid predikere flertallsklassen. Velg $k$ etter feilrate på test-/valideringsdata.

Logit vs. KNN og trenings-/testsett

Logit har alltid lineær beslutningsgrense: ved terskel 0,5 er grensen $z=0$, altså $\hat\beta_0 + \hat\beta_1 x_1 + \dots = 0$ — en rett linje i variabelplanet. KNN kan derimot fange krumme grenser og samspill automatisk, men gir ingen tolkbare koeffisienter og krever standardisering og godt valg av $k$. Del alltid dataene i trenings- og testsett (typisk 70/30 med set.seed() og sample()): prestasjon måles på data modellen ikke har sett, og testdata standardiseres med treningssettets $\bar x$ og $s$.

Slik testes temaet på MET4-eksamen

I Del 1 (R) skal du typisk estimere glm-modellen på et utdelt datasett, hente sannsynligheter med predict(type = "response"), klassifisere med en gitt terskel, lage konfusjonstabell med table() og vurdere kost/nytte av klassifiseringene. I Del 2 (regning) får du en ferdig glm()-utskrift og skal skrive opp modellen, tolke koeffisienter, beregne $\hat p$ for et konkret individ, løse inverse oppgaver, håndregne KNN fra en nabotabell og diskutere terskelvalg, gevinstmatriser og logit mot KNN.

Studieguide: Logistisk regresjon og KNN

Studieguide: Logistisk regresjon og KNN