Universidad Técnica Federico Santa María
1
Universidad Técnica Federico Santa María
Departamento de Informática
ILI-280
Capítulo 6:Capítulo 6:Variables Aleatorias Variables Aleatorias MultivariadasMultivariadas
Estadística ComputacionalEstadística Computacional
I Semestre 2006I Semestre 2006
Prof. Carlos Valle
Página : www.inf.utfsm.cl/~cvalle
e-mail : [email protected]
2C. Valle
Sea X = (X1, X2,..., Xk) vector aleatorioPX : Bk R caracterizada por FX, fX (discreta, continua)
Caso k=2 :
: función de Distribución conjunta X=(X1,X2)
: función de densidad (cuantía)
: función de Distribución marginal de Xi, i=1,2
: función de densidad marginal i=1,2
),(f 21X xx
),(F 21X xx
Distribuciones Distribuciones MultivariantesMultivariantes
)( iX xFi
)( iX xfi
Universidad Técnica Federico Santa María
2
3C. Valle
02
2
21
221 2
2
>== )()(
),()/( xfsi
xf
xxfxXXf X
X
X
)()(),( 212121 21
xfxfxxfXX XXX ∗=⇔⊥
[ ] [ ] [ ]),( 21 XEXEXE =
[ ] [ ][ ])()( XEXXEXE T
X −−=∑
Distribuciones Distribuciones MultivariantesMultivariantes
4C. Valle
[ ] [ ][ ]))((),cov( 221121 XEXXEXEXX −−=
[ ] [ ])(
),cov(),(
21
2121
XVXV
XXXX
∗=ρ
⇒=⇒⊥ 02121 ),cov( XXXX
[ ] [ ] [ ]212121 0 XEXEXXEXX =⇒=),(ρ
Distribuciones Distribuciones MultivariantesMultivariantes
Universidad Técnica Federico Santa María
3
5C. Valle
Sea X = ( X1, X2) vector aleatorio discreto, con Xi variable aleatoria que representa el número de fallas del turno i. La siguiente tabla nos proporciona la función de cuantía conjunta:
0 1 2
0 0,1 0,2 0,2
1 0,04 0,08 0,08
2 0,06 0,12 0,12
2
1
X
X
Ejemplos de Vectores Aleatorios Ejemplos de Vectores Aleatorios DiscretosDiscretos
6C. Valle
1. Determinar las cuantías marginales
2. Determine las cuantías condicionales
)/( 212 =XXf)/( 121 =XXf
21 XX ff
Ejemplos de Vectores Aleatorios Ejemplos de Vectores Aleatorios DiscretosDiscretos
Universidad Técnica Federico Santa María
4
7C. Valle
1. Cuantías marginales1. Cuantías marginales
=
=
=
=
2;4,0
1;4,0
0;2,0
)(
1
1
1
11
x
x
x
xf X
=
=
=
=
230
120
050
2
2
2
22
x
x
x
xf X
;,
;,
;,
)(
SoluciónSolución
8C. Valle
2. Cuantías condicionales
=
=
=
==
==
2;2,0/08,0
1;2,0/08,0
0;2,0/04,0
)1(
),(
1
1
1
2
211/
2
21
x
x
x
xf
xxff
X
XX
=
=
=
==
==
240120
140080
04020
22
2
2
1
212
1
12
x
x
x
xf
xxff
X
XX
;,/,
;,/,
;,/,
)(
),(/
SoluciónSolución
Universidad Técnica Federico Santa María
5
9C. Valle
Obtenga además:Obtenga además:
1. 1.
2.2.
3.3.
[ ]1XE
),( 21 XXρ
[ ]212 =XXV /
NotaNota
10C. Valle
Sea X = (X1, X2) vector aleatorio continuo, con densidad:
Calcular:
[ ] ),()(3
2),( 211,0x2121
1 xxIexxxxfR
x
X+
−+=
),( 21 XXρ
Ejemplo de vectores aleatorios Ejemplo de vectores aleatorios continuoscontinuos
Universidad Técnica Federico Santa María
6
11C. Valle
[ ] ∫ ∫∞
− =+=0
1
0
1221
2
113
5)(
3
21 dxdxexxxXEx
[ ] ∫ ∫∞
− =+=0
1
0
122
2
1
3
1
2
13
14)(
3
21 dxdxexxxXEx
[ ] ∫ ∫∞
− =+=0
1
0
12
2
22129
5)(
3
21 dxdxexxxXEx
[ ] ∫ ∫∞
− =+=0
1
0
12
3
2
2
21
2
218
7)(
3
21 dxdxexxxXEx
SoluciónSolución
12C. Valle
[ ] ∫ ∫∞
− =+=0
1
0
12
2
212
2
1219
8)(
3
21 dxdxexxxxXXEx
[ ]162
132 =XV[ ]
9
171 =XV
[ ] [ ]0951,0
),cov(),(
21
2121 −==
XVXV
XXXXρ
SoluciónSolución
Universidad Técnica Federico Santa María
7
13C. Valle
Sea X vector aleatorio continuo con densidad conjunta , y sea con g: D ⊆⊆⊆⊆ R2 R2
función vectorial. Si se cumple:
♦D conjunto abierto:♦g es una transformación invertible con derivadas parciales continuas
♦Existe
Entonces
Xf )(xgy =
1=)(DP X
0),(
),(
21
21 ≠∧∂
∂= J
xx
ggJ
),(),(),( 21)(
1
2121 yyIJxxfyyf DgXy ∗∗=−
Teorema de Transformaciones Teorema de Transformaciones Vectores AleatoriosVectores Aleatorios
14C. Valle
Sea X = ( X1 , X2 ) vector aleatorio y seafunción de densidad marginal de X2.
Además, sea M = { x2 : } y sea g : D ⊂⊂⊂⊂ R R.
Consideremos ϕϕϕϕ : M R / ϕϕϕϕ (X2) = E[g(X1)/X2]. ϕϕϕϕ se llama función de regresión de g(X1) en X2.
)( 22xfX
022>)(xf X
Función de RegresiónFunción de Regresión
Universidad Técnica Federico Santa María
8
15C. Valle
Propiedades:
1.
2.
3.
Entonces:
2121 XXYYAC
ACρρ =
[ ][ ] [ ] [ ][ ] [ ]212121 XEXXEEXEXXEE == //
[ ] [ ][ ] [ ][ ]12122 XXEVXXVEXV // +=
RDCBADCXYBAXY ∈+=+= ,,,2211
Función de RegresiónFunción de Regresión
16C. Valle
Sean X1 , X2 v.a.c. y
sean también
Encontrar:
1.
2.
3.
4. ¿Es y1 ⊥⊥⊥⊥ y2?
212211 XXYXXY ,/ ==
),( 21 yyfY
)( 22yfY
21 YYf /
] [),(),(
, 21102121 24 xxIxxxxfX
=
Ejemplo de TransformacionesEjemplo de Transformaciones
Universidad Técnica Federico Santa María
9
17C. Valle
X1 , X2 ∈∈∈∈ ]0,1[ X12=Y1Y2 X2
2=Y2/Y1
Con Y1>0 ; Y2>0 ; Y1Y2<1 ; Y2/Y1<1
Sean Y1= g1(x1 , x2) Y2= g2(x1 , x2)X1= h1(y1 , y2) X2= h2(y1 , y2)
12212
2111
21
21
1
21
21
2
1
yyhyh
yhyh
yy
hh
xx
gg=
∂∂∂∂
∂∂∂∂=
∂
∂=
∂
∂−
),(),(
),(),(
SoluciónSolución
18C. Valle
1.
2.
3.
] [( ) ),(),(),(, 2110
1
2121 2 yyIJxxfyyfgXy
−=
),()( 21
1
22 yyIy
ySg=
∫∫ ==2
2
2
2
2
1
1
12
1
1212 2
y
y
y
y
YYy
dyydyyyfyf
//
),()(
104 2
1
22 <<=−
yyy ln
)(
),(/
2
21
2
21 yf
yyff
Y
YY =
SoluciónSolución
Universidad Técnica Federico Santa María
10
19C. Valle
4. ∫ ∫+=1 1
1
0
1
0
2
1
22
1
21 22
y y
Y dyy
ydy
y
yyf )(
[ ] [ [ )()( ,, 113
1
1101
1yI
yyIy ∞+=
ntesindependieson no ,
)()(),(
21
2121
YY
yfyfyyfComo ≠
SoluciónSolución
20C. Valle
Sean X , Y v.a. y αααα , C ∈∈∈∈ R
[ ] αα =XE )1
[ ] [ ]XEXEX αα = )2
[ ] [ ] [ ]YEXEYXE +=+ )3
[ ] [ ] [ ]YEXEXYE ≠ )4
Propiedades Esperanza y VarianzaPropiedades Esperanza y Varianza
Universidad Técnica Federico Santa María
11
21C. Valle
Sean X , Y v.a. y αααα , C ∈∈∈∈ R
[ ] 0 )1 =αV
[ ] [ ]XVXV 2 )2 αα =
[ ] [ ]XVCXV =+ )3
[ ] [ ] [ ] YXsiYVXVYXV ⊥+=+ )4
[ ] [ ] [ ] ),cov(2 )5 YXYVXVYXV ++=+
Propiedades Esperanza y VarianzaPropiedades Esperanza y Varianza
22C. Valle
Sean X1, X2, ..., Xn v.a. independientes:
En general para X1, X2, ..., Xn v.a. cualesquiera:
[ ]∏∏==
=
n
i
i
n
i
i XEXE11
)1 [ ]∑∑==
=
n
i
i
n
i
i XVXV11
)2
[ ]∏∏==
≠
n
i
i
n
i
i XEXE11
)3
[ ] ∑∑∑<==
+=
ji
jiji
n
i
ii
n
i
ii XXXEXV ),cov(2 )41
2
1
αααα
Propiedades Esperanza y VarianzaPropiedades Esperanza y Varianza
Universidad Técnica Federico Santa María
12
23C. Valle
Caso Discreto: Distribución (Binomial)n , p=p1 , q=1-p=p2
),(!!
!),( 2121
21
2121 xxIpp
xx
nxxf A
xx
X =
{ }∑ =∧≥= nxxxA ii 0:
Distribuciones Distribuciones MultivariadasMultivariadas
);,( 21 xx
fracasos : : 21 == xéxitosx
24C. Valle
Caso Polinomial: n, p1, p2,..., pk
),..,(...
!
!),...,,( 121
1
2121
kA
x
k
xx
k
i
i
kX xxIppp
x
nxxxf k
∏=
=
{ }∑ =∧≥= nxxxA ii 0: [ ] ),...,,( knpnpnpXE 21=
∑
−−
−−−
=
)(
)(
kkk
k
X
pnppnp
pnppnppnp
1
1
1
12111
Κ
ΜΟΜ
Κ
Distribuciones Distribuciones MultivariadasMultivariadas
),...,,( 21 kxxx
Universidad Técnica Federico Santa María
13
25C. Valle
Distribución Normal (Bivariada): X ∼∼∼∼ N(µµµµ,ΣΣΣΣ))()(
2
1
2121
1
2
1),( :
µµ
π
−Σ−− −
∑=
xx
X
T
exxfMatricial
−
−−
−+
−
−
−
−=
2
22
1
11
2
2
22
2
1
112
2)1(2
1
2
21 12
1)(
σ
µ
σ
µρ
σ
µ
σ
µ
ρ
ρσπσ
xxxx
exf
[ ] )( 21µµ=XE
=∑
2
221
21
2
1
σσρσ
σρσσX
Distribuciones Normal Distribuciones Normal MultivariadaMultivariada
26C. Valle
ρρ =),( 21 XX
),()( 2
1111σµNxf X =
),()( 2
2222σµNxf X =
))();(()/( 22
122
2
1121 1 ρσµ
σ
σρµ −−+= xNXXf
[ ]21 XXE / [ ]21 XXV /
Propiedades Normal Propiedades Normal BivariadaBivariada
Universidad Técnica Federico Santa María
14
27C. Valle
Análogamente se tiene que:
))();(()/( 22
211
1
2212 1 ρσµ
σ
σρµ −−+= xNXXf
[ ]12 XXE / [ ]12 XXV /
Propiedades Normal Propiedades Normal BivariadaBivariada
28C. Valle
Las probabilidades de que cierta lámpara de un modelo de proyector dure menos de 40 horas, entre 40 y 80 horas, y más de 80 horas de uso interrumpido son 0.3; 0.5 y 0.2 respectivamente. Calcular la probabilidad de que entre 8 de tales lámparas, 2 duren menos de 40 horas; cinco duren entre 40 y 80 horas, y una dure más de 80 horas.
Ejemplo 1Ejemplo 1
Universidad Técnica Federico Santa María
15
29C. Valle
n=8 ; p1=0,3 ; p2=0,5 ; p3=0,2x1=2 ; x2=5 ; x3=1
321
3213
1
332211
xxx
i
i
ppp
x
nxXxXxXP
∏=
====
!
!);;(
09450205030152
8 152 ,),(),(),(!!!
!==
Solución: Ejemplo 1Solución: Ejemplo 1
30C. Valle
Dos elementos (X,Y) se distribuyen como N ( µµµµ , ΣΣΣΣ ), siendo :
Al analizar un elemento se observa que contiene 6 gramos de X.
- ¿Cuál es el valor más probable de Y?
=
6
4µ
=Σ
2
801 .
Ejemplo 2Ejemplo 2
Universidad Técnica Federico Santa María
16
31C. Valle
La respuesta consiste en encontrar: [ ]6=xyE /
[ ] )( 6,7)(6/ 1
1
22 gramosxxyE =−+== µ
σ
σρµ
[ ] 28,1)1(6/ 22
2 =−== ρσxyV
Solución: Ejemplo 2Solución: Ejemplo 2
32C. Valle
Una línea eléctrica se avería cuando la tensión sobrepasa la capacidad de la línea. Si la tensión se distribuye como N ( 100 ; 20 ) y la capacidad como N ( 140 ; 10 ), calcular la probabilidad de avería, suponiendo independencia.
Tarea: RecomendableTarea: Recomendable
Universidad Técnica Federico Santa María
17
33C. Valle
Distribuciones normal: (d -multivariada)
La f.d.p. normal multidimensional.
• Forma funcional.
Σ : matriz de covarianza
| Σ | : determinante de Σ
Σ-1 : matriz inversa de Σ
(X - µ)T : vector traspuesto de (X- µ)
−−−
Σ= ∑
−1)()(
2
1exp
||)2(
1)( µµ
πXXxf T
d
34C. Valle
Función de densidad normal (bidimensional)
Representación de una fdp normal dibimensional
Universidad Técnica Federico Santa María
18
35C. Valle
Función de densidad normal
• Parámetros que especifican la distribución
- La fdp normal multivariante está completamente especificada
por los parámetros µ y Σ
- En la práctica, estos parámetros son desconocidos y deben
estimarse a partir de prototipos.
=
dµ
µ
µ
µΜ
2
1
=Σ
dddd
d
d
σσσ
σσσ
σσσ
Λ
ΜΟΜΜ
Λ
Λ
21
22221
11211
36C. Valle
Función de densidad normal
Estimadores no sesgados de µ y de Σ :
donde:
N es el número de prototipos.
Xl es el l-ésimo prototipo.
)5(1
ˆ1
∑=
=N
l
lXN
µ
)6()ˆ)(ˆ(1
1ˆ
1
∑=
−−−
=ΣN
l
Tll XXN
µµ
Universidad Técnica Federico Santa María
19
37C. Valle
Función de densidad normal
- Estimación alternativa (elemento a elemento):
para j, k = 1, 2, ..., d
donde:
* Xjl : componente j-ésima del prot. l-ésimo
* j: componente j-ésima del vector
)7()ˆ)(ˆ(1
1ˆ
1
∑=
−−−
=ΣN
l
l
k
l
j kjjkXX
Nµµ
µ̂
38C. Valle
Función de densidad normal
Propiedades de ΣΣΣΣ
1) Σ es simétrica. Como Σjk
= Σkj
, hay que calcular d (d + 1)/2
componentes.
2) Σ es (semi-definida positiva (|Σ|>0)
3) Σjk
es la covarianza entre las variables j y k (j,k = 1,2,...,d j ≠ k) y
se interpreta como la relación o dependencia entre estas dos variables.
4) Los valores de la diagonal de la matriz de covarianza son las
varianzas de las variables individuales, esto es, Σjj= σ2
j
5) Si Σjk
= 0, las variables j y k son estadísticamente independientes. Si
no, existe correlación entre ellas.
Universidad Técnica Federico Santa María
20
39C. Valle
Función de densidad normal
A) Vars. independientes B) Vars. correladas
40C. Valle
2.2 La f.d.p. normal multidimensional.
2.2.1 La distancia de Mahalanobis
• Los puntos para puntos para los que el valor de la fdp es
constante están situados en hiperelipsoides en las que la forma
cuadrática (X- µ)T Σ-1(X- µ) es constante: distancia de
Mahalanobis (al cuadrado) de X a µ.
Función de densidad normal
Universidad Técnica Federico Santa María
21
41C. Valle
Función de densidad normal
A) Dens. de prob B) Diagrama de dispersión
42C. Valle
Función de densidad normal
• Las direcciones de los ejes principales de estos
hiperelipsoides están determinadas por los autovectores de Σ y
sus longitudes por los autovalores correspondientes.
• Al estar ponderada por Σ, esta métrica considera la distinta
dispersión de las variables en el espacio.
Importante: con una métrica de este tipo, el concepto de
distancia es muy distinto al concepto de distancia en nuestro
mundo Euclídeo
Universidad Técnica Federico Santa María
22
43C. Valle
Función de densidad normal
Dos distribuciones normales con igual media y diferentes matrices de covarianza
∑∑ −−=−− −− )()()()( 11 µµµµ BBAA TT
44C. Valle
Función de densidad normal
La f.d.p. normal multidimensional.
Correlación de variables
A) Alta covarianza B) Baja covarianza. En ambos casos, σ21 =5.7 y σ2
2=7.1
Universidad Técnica Federico Santa María
23
45C. Valle
Función de densidad normal
• Coeficiente de correlación.
Medida normalizada del grado de relación entre las variables,
independiente de las unidades de medida.
Este coeficiente verifica que | ρij | ≤ 1
)8(ji
ij
ijσσ
ρ∑
=
46C. Valle
Función de densidad normal
• Relación entre covarianzas y correlaciones: Σ = Γ R Γ
=
=Γ
1
1
1
00
00
00
21
221
112
2
1
Λ
ΜΟΜΜ
Λ
Λ
Λ
ΜΟΜΜ
Λ
Λ
dd
d
d
d
R
ρρ
ρρ
ρρ
σ
σ
σ
=Γ
ddddd
d
d
R
σρσρσ
ρσρσρσ
ρσσρσ
ρσρσσ
Λ
ΜΟΜΜ
Λ
Λ
Λ
21
33323313
222212
1211211
Universidad Técnica Federico Santa María
24
47C. Valle
Función de densidad normal
Σ=
=ΓΓ
2
2211
3332321331
22
2
22121
111212
2
1
)(
ddddd
dd
dd
dd
R
σρσσρσσ
ρσσρσσρσσ
ρσσσρσσ
ρσσρσσσ
Λ
ΜΟΜΜ
Λ
Λ
Λ
- ρij= , entonces Σij = σj σi ρij . Además, como Σij = Σji,
entonces ρij = = = ρji
- Como ρii = = = 1. Σii = σi σi ρii = σi2 porque ρij
= 1
ji
ij
σσ
Σ
ji
ij
σσ
Σ
ji
ji
σσ
Σ
ii
ii
σσ
Σ
ii
i
σσ
σ 2
48C. Valle
• Interpretación del factor de correlación
Si proyectamos la nube de puntos sobre un plano definido por
los ejes (abscisas) y (ordenadas):
- Superficie: determinada por ΓΓΓΓ (desviaciones típicas).
- Forma: determinado por R (correlaciones).
Dado que | ρij | ≤1 (-1 ≤ ρij ≤1)
1. Si ρij = 0, la correlación es nula (son independientes): los
puntos se disponen aleatoriamente en un círculo (σ1 = σ2) o en
una elipse (σ1 ≠ σ2) cuyo centro es (µi,µj). Una correlación con
valor 0 indica que no existe relación lineal en absoluto.
Correlación
Universidad Técnica Federico Santa María
25
49C. Valle
CORRELACIÓN
Ejemplos de correlación nula
50C. Valle
2. Si 0 < ρij < 1 los puntos se disponen en una elipse centrada
en (µi,µj). El eje principal tiene una pendiente positiva y una
forma más o menos circular dependiendo de si ρij está más o
menos cercano a 0.
Función de densidad normal
Ejemplos de correlación positiva
Universidad Técnica Federico Santa María
26
51C. Valle
3. Si ρij = 1, la correlación el lineal y perfecta ( Xj depende
linealmente de Xi): los puntos se disponen a lo largo de una
línea recta con pendiente positiva
Función de densidad normal
Ejemplos de correlación lineal