STK1110

Studieguide

God oversikt over pensum med forklaringer, formler, vanlige feil og eksamenstips.

Introduksjon

STK1110 Statistiske metoder og dataanalyse er et videregaende statistikkemne ved Universitetet i Oslo som bygger pa STK1100. Eksamen varer 4 timer, bestar typisk av 3 oppgaver, og tillater godkjent kalkulator samt den offisielle formelsamlingen for STK1110.

Kurset legger vekt pa praktisk dataanalyse med R-utskrifter, lineaer regresjon (enkel og multippel), estimering (MLE og momentestimering), hypotesetesting, konfidensintervaller og modelldiagnostikk. Et gjennomgaende trekk er at eksamen gir R-utskrifter du ma tolke og forklare, samt at du ma utlede formler og argumentere for resultater -- ikke bare sette inn tall.

De siste eksamenene (H2023, H2024, H2025) viser et fast monster: Oppgave 1 handler om estimering (MLE/momentestimering) med konfidensintervaller, Oppgave 2 om lineaer regresjon med R-utskrifter, og Oppgave 3 om to-utvalgssammenligning, ANOVA eller Bayesiansk analyse. Formelsamlingen er tilgjengelig, men du ma kunne bruke den aktivt i utledninger.

Maximum likelihood-estimering (MLE)

Sett opp likelihood- og log-likelihood-funksjoner, deriver for a finne MLE, beregn Fisher-informasjon og asymptotisk fordeling. Brukes i nesten alle Oppgave 1-varianter.

Oversikt

Oppgave 1 pa STK1110-eksamen starter nesten alltid med a utlede en MLE fra en gitt tetthet eller punktsannsynlighet. Eksamenene H2024 og H2025 fulgte dette monsteret eksakt: gitt en parametrisk modell, finn MLE, bestem asymptotisk fordeling, og bruk den til konfidensintervaller og testing.

Fremgangsmate for MLE

Gitt iid observasjoner $X_1, \ldots, X_n$ med tetthet $f(x; \theta)$ :

Sett opp likelihood-funksjonen: $L(\theta) = \prod_{i=1}^n f(X_i; \theta)$
Ta logaritmen for a fa log-likelihood: $\ell(\theta) = \sum_{i=1}^n \ln f(X_i; \theta)$
Deriver og sett lik null: $\frac{\partial \ell}{\partial \theta} = 0$
Los for $\hat{\theta}_{\text{ML}}$ og verifiser at det er et maksimum (andrederivert negativ).

Fisher-informasjon og asymptotisk fordeling

Den forventede Fisher-informasjonen i en enkelt observasjon er:

$I(\theta) = -\text{E}\left[\frac{\partial^2 \ln f(X; \theta)}{\partial \theta^2}\right]$

For store $n$ er MLE tilnaermet normalfordelt:

$\hat{\theta}_{\text{ML}} \stackrel{\text{approx}}{\sim} N\left(\theta, \frac{1}{nI(\theta)}\right)$

Dette gir en nedre grense for variansen til enhver forventningsrett estimator via Cramer-Rao-ulikheten: $\text{Var}(\hat{\theta}) \geq \frac{1}{nI(\theta)}$

Nar MLE oppnar denne grensen, er den effisient (best mulig blant forventningsrette estimatorer).

Momentestimering som supplement

Momentestimatorer finnes ved a sette utvalgsmomenter lik teoretiske momenter: $\bar{X} = \text{E}(X_i)$

og lose for parameteren. En svakhet ved momentestimering (pavist i H2024) er at den kan gi forskjellige estimatorer avhengig av hvilket moment man velger, mens MLE alltid gir et entydig svar.

Eksempel 1: Poisson MLE (H2025)

Oppgave: $X_1, \ldots, X_n$ iid Poisson med parameter $\lambda$ . Vis at $\hat{\lambda} = \bar{X}$ er MLE.

Losning: Log-likelihood:

$\ell(\lambda) = \sum_{i=1}^n \left(X_i \ln \lambda - \lambda - \ln(X_i!)\right) = \ln \lambda \sum_{i=1}^n X_i - n\lambda - \sum_{i=1}^n \ln(X_i!)$

Deriverer: $\frac{\partial \ell}{\partial \lambda} = \frac{\sum X_i}{\lambda} - n = 0 \implies \hat{\lambda} = \frac{\sum X_i}{n} = \bar{X}$

Fisher-informasjon: $\frac{\partial^2 \ell}{\partial \lambda^2} = -\frac{\sum X_i}{\lambda^2}$ , sa $I(\lambda) = \frac{1}{\lambda}$ . Dermed $\text{Var}(\hat{\lambda}) = \frac{1}{n \cdot 1/\lambda} = \frac{\lambda}{n}$ , som stemmer med den eksakte variansen.

Eksempel 2: Potensfordeling MLE (H2024)

Oppgave: $X_i$ har tetthet $f(x;\alpha) = \alpha x^{\alpha-1}$ for $0 < x < 1$ . Vis at MLE er $\hat{\alpha} = \frac{n}{-\sum \ln X_i}$ .

Losning: Log-likelihood:

$\ell(\alpha) = n \ln \alpha + (\alpha - 1)\sum_{i=1}^n \ln X_i$

Deriverer: $\frac{\partial \ell}{\partial \alpha} = \frac{n}{\alpha} + \sum_{i=1}^n \ln X_i = 0 \implies \hat{\alpha} = \frac{n}{-\sum_{i=1}^n \ln X_i}$

Asymptotisk fordeling: $I(\alpha) = 1/\alpha^2$ (fra andrederivert), sa $\hat{\alpha} \stackrel{\text{approx}}{\sim} N(\alpha, \alpha^2/n)$ .

Nøkkelformler

•$ $L(\theta) = \prod_{i=1}^n f(X_i; \theta)$ $ (Likelihood-funksjonen)
•$ $\ell(\theta) = \sum_{i=1}^n \ln f(X_i; \theta)$ $ (Log-likelihood)
•$ $\displaystyle I(\theta) = -\text{E}\left[\frac{\partial^2 \ln f(X;\theta)}{\partial \theta^2}\right]$ $ (Fisher-informasjon)
•$ $\displaystyle \hat{\theta}_{\text{ML}} \stackrel{\text{approx}}{\sim} N\left(\theta, \frac{1}{nI(\theta)}\right)$ $ (Asymptotisk fordeling for MLE)
•$ $\displaystyle \text{Var}(\hat{\theta}) \geq \frac{1}{nI(\theta)}$ $ (Cramer-Rao nedre grense)

Vanlige feil

⚠️Glemme a sjekke at losningen er et maksimum (ikke minimum/sadelpunkt) -- sjekk fortegnet pa andrederiverten.
⚠️Forveksle Fisher-informasjon for en observasjon I(theta) med total Fisher-informasjon nI(theta).
⚠️Ved momentestimering: ikke nevne svakheten at ulike momenter gir ulike estimatorer -- dette var eksplisitt spurt i H2024.
⚠️Glemme a forenkle log-likelihood for du deriverer -- det gjor regningen mye enklere.

Eksamenstips

💡MLE-utledning kommer pa nesten ALLE eksamener (H2023, H2024, H2025). Drill fremgangsmaaten.
💡Oppgaven sier ofte 'vis at MLE er ...' -- da trenger du bare a derivere log-likelihood og vise at resultatet stemmer.
💡Fisher-informasjon brukes til a finne asymptotisk varians, som igjen gir konfidensintervaller.
💡Momentestimatoren $\bar{X} = E(X)$ er alltid et godt forste steg, men MLE er oftest mer effisient.

Laster...

Introduksjon