Simultan fordeling

En simultan (felles) fordeling beskriver to variabler $X$ og $Y$ samtidig. For diskrete variabler er $f(x,y)=P(X=x,\,Y=y)$ med kravene $f(x,y)\ge 0$ og $\sum_x\sum_y f(x,y)=1$. For kontinuerlige variabler er $f(x,y)$ en tetthet med $\iint f(x,y)\,dx\,dy=1$, og sannsynligheter beregnes som dobbeltintegraler over et område.

Forventningen til en vilkårlig funksjon $g(X,Y)$ regnes ut direkte fra simultanfordelingen: diskret $E[g(X,Y)]=\sum_x\sum_y g(x,y)f(x,y)$ og kontinuerlig $E[g(X,Y)]=\iint g(x,y)f(x,y)\,dx\,dy$. Med $g(x,y)=xy$ får vi $E[XY]$, som er nøkkelen til kovarians.

Grunnregel: En gyldig simultanfordeling må ha ikke-negative verdier og summere/integrere til $1$. Marginalfordelingen for én variabel fås ved å «summere/integrere ut» den andre: $f_X(x)=\sum_y f(x,y)$ (diskret) eller $f_X(x)=\int f(x,y)\,dy$ (kontinuerlig).

Marginalfordeling

Marginalfordelingen beskriver én variabel alene, uten hensyn til den andre. Den fås ved å summere (diskret) eller integrere (kontinuerlig) bort den andre variabelen. Den betingede fordelingen $f_{Y\mid X}(y\mid x)=f(x,y)/f_X(x)$ beskriver $Y$ når $X$ er kjent.

Eksempel 1 (kontinuerlig marginal og forventning): La $f(x,y)=x+y$ for $0\le x,y\le 1$. Marginalen blir $f_X(x)=\int_0^1(x+y)\,dy=\big[xy+\tfrac{y^2}{2}\big]_0^1=x+\tfrac12$. Forventningen: $E[X]=\int_0^1 x(x+\tfrac12)\,dx=\int_0^1(x^2+\tfrac{x}{2})\,dx=\tfrac13+\tfrac14=\tfrac{7}{12}$. Videre $E[X^2]=\int_0^1 x^2(x+\tfrac12)\,dx=\tfrac14+\tfrac16=\tfrac{5}{12}$, så $\operatorname{Var}(X)=\tfrac{5}{12}-\big(\tfrac{7}{12}\big)^2=\tfrac{60-49}{144}=\tfrac{11}{144}$.

Kovarians og korrelasjon

Kovariansen måler hvordan to variabler varierer sammen: $\operatorname{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]=E[XY]-E[X]E[Y]$. Positiv kovarians betyr at store $X$ følges av store $Y$; negativ betyr motsatt. Kovariansen er bilineær: $\operatorname{Cov}(aX+b,cY+d)=ac\,\operatorname{Cov}(X,Y)$, og $\operatorname{Cov}(X,X)=\operatorname{Var}(X)$.

Siden kovariansen avhenger av enhetene, normaliserer vi til korrelasjonskoeffisienten $\rho_{XY}=\operatorname{Cov}(X,Y)/(\sigma_X\sigma_Y)$, som alltid ligger i $[-1,1]$. $\rho=\pm1$ betyr perfekt lineær sammenheng, $\rho=0$ betyr ingen lineær sammenheng. Korrelasjonen er invariant under positiv lineær skalering.

Eksempel 2 (kovarians og korrelasjon, kontinuerlig): Med $f(x,y)=x+y$ på $[0,1]^2$ er $E[XY]=\int_0^1\int_0^1 xy(x+y)\,dx\,dy=\tfrac16+\tfrac16=\tfrac13$. Da blir $\operatorname{Cov}(X,Y)=E[XY]-E[X]E[Y]=\tfrac13-\big(\tfrac{7}{12}\big)^2=\tfrac{48-49}{144}=-\tfrac{1}{144}$. Med $\operatorname{Var}(X)=\operatorname{Var}(Y)=\tfrac{11}{144}$ får vi $\rho_{XY}=\dfrac{-1/144}{11/144}=-\tfrac{1}{11}\approx-0{,}091$ — en svak negativ sammenheng.

Sum av variabler

Forventningen til en sum er alltid lineær: $E[aX+bY]=aE[X]+bE[Y]$, uavhengig av om variablene er avhengige. Variansen krever derimot et kovariansledd:

$$\operatorname{Var}(aX+bY)=a^2\operatorname{Var}(X)+b^2\operatorname{Var}(Y)+2ab\,\operatorname{Cov}(X,Y).$$

Spesielt: $\operatorname{Var}(X\pm Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)\pm 2\operatorname{Cov}(X,Y)$. Merk at for $X-Y$ ADDERES variansene, mens krysseleddet får minustegn. For et iid-utvalg er $\operatorname{Var}(\bar X)=\sigma^2/n$. Sum av uavhengige normalfordelte er normalfordelt: $N(\mu_1,\sigma_1^2)+N(\mu_2,\sigma_2^2)=N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$.

Uavhengige variabler

$X$ og $Y$ er uavhengige hvis og bare hvis $f(x,y)=f_X(x)f_Y(y)$ for alle $(x,y)$. Da gjelder $E[XY]=E[X]E[Y]$, $\operatorname{Cov}(X,Y)=0$ og $\rho=0$. For kontinuerlige variabler kreves i tillegg at støttet er et produktområde (rektangel). Viktig: $\operatorname{Cov}=0$ (ukorrelert) medfører IKKE uavhengighet — korrelasjon fanger kun lineær sammenheng. Et klassisk moteksempel er $Y=X^2$ med symmetrisk $X$, der $\operatorname{Cov}=0$ men $Y$ er fullstendig bestemt av $X$.

Studieguide: Simultanfordelinger og kovarians

Studieguide: Simultanfordelinger og kovarians