1 EJERCICIOS RESUELTOSFORMULACION DE MODELOS DE MARKOV DE TIEMPO DISCRETO Pregunta N 1. Se quiere construir un modelo markoviano para estimar la dinmica de vida de un cultivo de ovas de salmn en la etapa de Maduracin de la ova. En un estanque con agua dulce, se ponen N ovas fecundadas.Despus de 8 das, las ovas que han sobrevivido se convierten en pequeossalmones,loscualessetraspasanaotrosestanquesparaseguirsuevolucin.En esteprocesodeMaduracin,algunasovassemueren.Sesabequeladistribucinde probabilidades de una ova en esta etapa de desarrollo, es exponencial con media .Sea nXel nmero de ovas vivas al inicio del da n. Se pide: a) Diga cual es el rango de la variable (2 puntos) b) Obtenga la regla de transicin (2 puntos) c) Obtenga la matriz P (2 puntos) Desarrollo Sea nX : nmero de ovas vivas al inicio del da n. Parten N ovas vivas, pero van muriendo da a da. a) { } N Xn,..., 2 , 1 , 0 = b) Sea p: probabilidad de que una ova que est viva al inicio del da n lo est al inicio de da n+1. Sea Ti : duracin o vida de la ova i-sima. ( ) = > =|.|

\|>+ >= e T Pn Tn TP piii1 11 luego si hay j ovas vivas al da siguiente pueden haber j o menos. Luego( ) p X Binomial Xn n,1 ~+ c) Matriz P: 012.N-1N 0 1 1 ( ) p 1p0000 2 ( )2102p ||.|

\| ( )1112p p ||.|

\| 2p000 . N-1 ( )1111||.|

\|NpNN( )2121||.|

\|Np pNN( )3 2131||.|

\|Np pNN . 1 Np0 N ( )Np 1( )111||.|

\|Np pNN ( )2 212||.|

\|Np pNN ( ) p 1 p 2 Pregunta N 2. Juan y Pedro tienen 2 monedas cada uno. Se disponen a enfrentar un juego en que,encadaoportunidad,cadajugadorlanzaunamonedadesusmonedas.Siambas coinciden,ganaJuanysequedaconlamonedadePedro.Encasocontrario,ganaPedro.El juego termina cuando uno de los jugadores gana las 4 monedas. a)Obtengala distribucinde probabilidadesdelnmero dejugadas necesariashastaque Juan logre tener 3 monedas por primera vez. b)Explique como obtendra la distribucin de probabilidades del nmero de jugadas hasta que el juego termina. Desarrollo: 1.- Sea nX : n de monedas de Juan. a.-Se debe encontrar( ) 3 , 2kFque corresponde a la probabilidad de que se vaya por primera vez del estado 2 a estado 3 en un nmero k de etapas. Por lo tanto : ( ) ?? 3 , 2 =kF Para obtener esta probabilidad se debe construir el modelo detalladamente, es decir encontrarel rango de nX , la matriz P y opcionalmente el grfico de red. Rango de la variable de estado nX : { } 4 , 3 , 2 , 1 , 0 = OnX, Matriz P P=1 0 0 0 0210210 002102100 0210210 0 0 0 1 Grfico de red de la matriz P Entonces volvamos de nuevo con( ) 3 , 2kF ( )213 , 21= F; ( ) 0 3 , 22= F; ( )812121213 , 223 12 21 3= = = p p p F; ( ) 0 3 , 24= F01423 0,5 0,50,50,51 1 0,50,5 3 ( )212121) ( 3 , 2223212 21 5|.|

\|= = p p p F Trmino general: ( ) ) ,...( 6 , 4 , 2 ; ) ( 3 , 22112 21par k p p Fkk= = ----------------------------------------------------------- b.- El juego termina cuando se llega a que Juan tiene 0 4 monedas.Lo que se pregunta entonces, es la probabilidad de que ocurra alguno de estos dos eventos, que son excluyentes. Adems Juan tiene al inicio del juego 2 monedas. Luego lo que se pregunta es: ( ) ( ) 4 , 2 0 , 22k kkF F += Del estado 2 al estado 0 y al estado 4 se puede llegar en etapas mltiplos de 2 solamente. Luego : ( ) ,... 6 , 4 , 2 ;4121210 , 2 =|.|

\|=|.|

\|= k Fk kk ( ) ,... 6 , 4 , 2 ;4121214 , 2 =|.|

\|=|.|

\|= k Fk kk ( ) ( )jj jj jj jjk kparkF F21 121 122 16116141414 , 2 0 , 2|.|

\|+|.|

\|=|.|

\|+|.|

\|= + ===== 15215115111516115161161111161114116116116100 00= += + = + =|.|

\||.|

\|+|.|

\||.|

\| ==jj jj Pregunta N 3. Considere un cultivo que contiene inicialmente un solo glbulo rojo. Despus de una cantidad de tiempo el glbulo rojo muere y es reemplazado por dos nuevos glbulos rojos o bienpordosglbulosblancos.Lasprobabilidadesdeestoseventosson 41y 43respectivamente.Subsecuentemente,cadaglbulorojosereproducedelamismaforma.Por otraparte,cadaglbuloblancomueredespusdeunaunidaddetiemposinreproducirse.Se desea calcular la probabilidad de que el cultivo se extinga en algn momento. 4 Formuleparatalefectounmodelodetalladoeindiqueconprecisincomoloutilizarapara obtener la probabilidad pedida. Desarrollo Sea nX : numero de glbulos rojos presentes en la etapa n. ( )( ) 2 loglog;411411jkkii Xj XPk i knn=|.|

\| |.|

\|||.|

\|=|.|

\|==+ Esta Cadena de Markoves tal que existen dos clases: { } 01 = Cy{ } ,... 4 , 3 , 22 = Cla clase 2Ces infinita. La clase recurrente 1Ces recurrente y la clase 2C es transiente. La clase 1Cest compuesta por un estadoaperiodico. Por lotanto, por laProposicin2vista enclases,se puedeasegurar queexistedistribucinestacionaria.Ademsporlamismaproposicinsepuedeasegurarque ,... 2 , 1 0 = = jjt esdecir 20 C jje = t y 10 C jje = t .Comolaclase 1C tiene unsolo elemento10 = t . Entonces la probabilidad de que el cultivo se extinga alguna vez es uno. Modelacin de problemas en Cadenas de Markov de tiempo discreto 1 2 0 4 8 6 5 Pregunta N 4.En la ciudad de Santiago diariamente se liberan contaminantes a la atmsfera, provenientes principalmente del uso de vehculos y de plantas industriales. La autoridad correspondiente monitorea diariamente la calidad del aire en la ciudad y segn la concentracin de contaminantes distingue 3 estados de alerta ambiental:Normal (N), Preemergencia (P), y Emergencia (E). Se ha podido determinar que la evolucin del estado de alerta obedece a una cadena de markov. Porsimplicidadasumiremosquelasprobabilidadesdetransicindependenslodel nmerodevehculosquecirculanporlascallesdeStgo.cadada(lasplantasindustriales pueden ser modeladas como un conjunto de vehculos). Si en un da Normal circulan por Santiagoyvehculos, entonces la probabilidad de que el da siguiente sea tambin Normal vale) ( 1 y F , y la probabilidad de que el da siguiente sea de Preemergencia es) ( y F . Si en un da de Preemergencia circulan y vehculos, entonces el da siguiente ser Normal con probabilidad) ( 1 y F o Emergencia con probabilidad) ( y F . Si en un da de Emergencia circulan y vehculos entonces el da siguiente puede repetirse el estado de Emergencia, lo que ocurre con probabilidad) ( y F , o bien pasar al estado de Preemergencia conprobabilidad) ( 1 y F .LafuncinF escontinua,estrictamentecreciente,. 1 ) ( , 0 ) 0 ( = = F FLa autoridad ha tomado las siguientes medidas para combatir la contaminacin:En los das de Preemergencia se prohbe circular a una fraccin 1-ode los vehculos de Santiago. En losdasdeEmergencialamedidasehacemsdrstica,prohibindoselacirculacindeuna fraccin 1- |de los vehculos de la ciudad ( | , el negocio es rentable para el inversionista por lo menos durante los siguientes 2 peridos de ejercicio. 17 Pregunta N 6 Una tienda vende un nico producto, del cual mantiene inventarios en una bodega, I. Al comenzar cada semana, el gerente observa el inventario disponible en bodega. Si Iss, entonces, el gerente pide T-I unidades al proveedor (00). La demanda insatisfecha se pierde. a.1)Muestrequeelniveldeinventarioalcomienzodecadasemana(antesde hacerelpedido)sepuedemodelarcomounacadenademarkov.Indique claramente cules son los estados que ha definido y calcule las probabilidades de transicin.(Todo lo anterior para el caso s=2, T=4). a.2Obtenga una relacin de recurrencia entre el inventario al comienzo del da n, y el inventario al inicio del da n+1. En lo siguiente considere 04 3 2 1 0 14-1=340 1 2 3 4 >4 3 2 1 0 24-240 1 2 3 4 >4 3 2 1 0 18 3030 1 2 >3 3 2 1 0 4040 1 2 3 4 >4 3 2 1 0 { } 4 , 3 , 2 , 1 , 0 =nXE{ } { } { } { }{ } { } { } { } { }{ } { } { } { } { }{ } { } { } { }{ } { } { } { } { }((((((((((((((((

=(((((((

= = = = >= = = >= = = = >= = = = >= = = = >======0 1 2 3200 1 2200 1 2 3300 1 2 3300 1 2 33010 11110 1 2 3 40 0 1 2 30 1 2 3 40 1 2 3 40 1 2 3 4o o o o oo o o oo o o o oo o o o oo o o o oiiiiiiiiiin n n n nn n n nn n n n nn n n n nn n n n nD P D P D P D P D PD P D P D P D PD P D P D P D P D PD P D P D P D P D PD P D P D P D P D PP a.2)=+1 nX b)Sea nX :cantidaddeinventariodisponiblealcomienzodelasemanan, antes dehacer el pedido. ) (a nXnQ) (d nXDemanda ) ( 1 a nX + 0T-0=0T0 1 2 .T-1 >T 4 3 2 1 1 0 1T-1=3T0 1 2 .T-1 >T T T-1 T-2 1 0 ... . . .Mximo ( 0 , 4nD ), Si2 snXMximo ( ) 0 ,n nD X , Si2 >nX19 . . . .s-1T-s+1T0 1 2 .T-1 >T T T-1 T-2 .1 0 sT-sT0 1 2 .T-1 >T T T-1 T-2 .1 0 s+10s+10 1 2 .s >s+1 s+1 s s-1 1 0 ..........T-10T-10 1 .1 >TT-1 T-2 0 T0T0 1 . T T T-1 .0 01

S-1SS+1 T-1T 20 .(((((((((((((((((((((

= == + = + =0 1100 1 2200 1 200 1 1 1 1100 1 1 1 11010 10 0 111o o oo o o o oo o o o oo o o o o o oo o o o o o o

. . . . . . . . . . . . . . . . . . TTiis T s T TTiissiis T s T s T TTiis T s T s T TTiii i i i i i i i ii i i i i i i i idem De acuerdo a Poisson:{ }jt ej t N Pj t) () (= = 01s- 1s s + 1.......T - 1T (((((((((((((((((((((

+ + += = = = + = + =! 0) ()! 1 () (!) (10! 0) ()! 1 () ()! () ()! 2 () (!) (10 0! 0) (! 1) (! 2) (!) (!) (1! 0) (! 1) ()! 1 () ()! () ()! 1 () ()! 1 () (!) (1! 0) (! 1) ()! 1 () ()! () ()! 1 () ()! 1 () (!) (1111100 1 100 1 2 200 200 1 1 1 1 100 1 1 1 1 10 eTeiees Tes TeTeiee e eseiei i i i i i i i ii i i i i i i i ii i i i i i i i ie es Tes Tes TeTeiee es Tes Tes TeTeieTTsssPT Tiis T s T T Tiis siis T s T s T T Tiis T s T s T T Tii

. . . . . . . . . ... c) 1 =nD(con prob=1) nX:Nmero de unidades de producto disponibles al comienzo de la semana n. ) (a nXnQ) (d nXnD) ( 1 a nX + 0TT1T-1 1T-1T1T-1 0 1 .S+1 S . T-1 T P = 21 2T-2T1T-1 . . . . .s-1T-s+1T1T-1 sT-sT1T-1 s+10s+11s . . . . .T-10T-11T-2 T0T1T-1 ((((((((((((((((

+=0 1 0 0 0 0 0 0 0 0 00 0 1 0 0 0 0 0 0 0 00 0 0 0 1 0 0 0 0 0 00 0 0 0 0 1 0 0 0 0 00 1 0 0 0 0 0 0 0 0 00 1 0 0 0 0 0 0 0 0 00 1 0 0 0 0 0 0 0 0 00 1 0 0 0 0 0 0 0 0 00 1 0 0 0 0 0 0 0 0 0111210

...TTsssP 012

s - 1ss + 1T - 1T 22 Pregynta N7 : Considerar la siguiente poltica (k,Q) de gestin de inventarios. Sean ,........, 2 1, D D las demandas en los peridos 1, 2,......, respectivamente. Si la demanda durante un perido excede el nmero de temes disponibles, la venta del producto se realiza como si existiera stock suficiente, pero se despacha solo el disponible. El resto es anotado como pendiente, de manera que se satisface cuando llega el siguiente pedido de reposicin del inventario. Denotemos por nZ(n=0,1,2,...) la cantidad de inventario disponible menos el nde unidades pendientes antes de efectuar un pedido de reposicin de inventario al final del perido n. El sistema parte vaco) 0 (0 = Z . Si nZes cero o positivo, no se dejan pedidos pendientes. Si nZ es negativo, entonces -nZrepresenta el nmero de unidades de demanda retrasada y no queda inventario disponible. El pedido de reposicin en general es Q. Pero, si al principio del perido n, nZ < 1, se efectaunpedidodereposicinde2m,dondemeselmenorenterotalque 1 2 > + m Zn. a)Obtenga P. b)Supongaqueelcostodeefectuarunpedidodereposicines(3+3m).El costo de mantenimiento del stock es nCsi nZ 0 > , cero en caso contrario. Elcostoderupturadelstockes-nC ,sinZ >(2 puntos) 2.- Sea nXel nmero de personas hospedadas en un cierto hotel al inicio del da n. Se sabe que pueden llegar 0,1,2 3 clientes en un da, con igual probabilidad. Adems se sabe que el tiempo de permanencia de un cliente en el hotel es exponencial con media . El hotel tiene capacidad solo para 4 personas y las que llegan cuando el hotel est lleno se van sin dejar reserva.Obtenga la matriz P. (2 puntos) Indicacin: Puede usar la siguiente aproximacind ed =124 3.- El ascensor de un edificio con tres pisos realiza viajes entre los pisos regularmente. Sea nXel piso en que para el ascensor en la etapa n. Se sabe que la mitad de los viajes que parten del piso 1 se dirigen a uno de los otros pisos con igual probabilidad. Si el ascensor parte en el piso 2 el25%delasvecesterminaenelpiso2.Porultimosisutrayectoempiezaeneltercerpiso siempre termina en el primer piso. a)Obtenga la matriz P y el rango de la variable. b)Obtenga |.|

\|== = =23 ; 1 ; 210 2 4XX X XPc)Diga si existe distribucin lmite y si es as, calclela. d)Diga si existe distribucin estacionaria y si es as calclela. 4.-UnagentecomercialrealizasutrabajoentresciudadesA,B,C.Paraevitargastostrabaja duranteundaencadaciudadyallisequedaenlanoche.Despusdeestar trabajandoenla ciudadClaprobabilidaddetenerqueseguirtrabajandoenellaaldasiguientees0,4;la probabilidaddeviajaraBes0,4.SielviajanteduermeunanocheenBconprobabilidad0,2 deber seguir trabajando en la misma ciudad al da siguiente y en el 60% de los casos viajar a C. Por ltimo, si el agente trabaja en A un da permanecer en esa ciudad con probabilidad 0,1 o ir a la ciudad B con probabilidad 0,3. a)Si hoy el viajante est en la ciudad C Cual es la probabilidad de que tenga que estar en la misma ciudad en 4 das ms? b)Cules son los porcentajes de das que el viajante se encuentra en cada ciudad? c)Cul es la probabilidad de que un viajante vuelva a la ciudad A? 5.- Los consumidores de caf en la VIII Regin usan tres marcas A, B, C. En Marzo de 2008 se hizo una encuesta en lo que entrevist a las 8450 personas que compran caf y los resultados fueron: Compra actual Marca A Marca B Marca CTotal Marca A = 1690 507 845 338 1690 Marca B = 3380 676 2028 676 3380 Marca C = 3380 845 845 1690 3380 TOTALES 2028 3718 2704 8450 a) Si las compras se hacen mensualmente, cul ser la distribucin del mercado de caf en la VIIIRegin en el mes de junio? b) A la larga, cmo se distribuirn los clientes de caf? c) En junio, cual es la proporcin de clientes leales a sus marcas de caf? 6.-Una agencia de arriendo de vehculos ha definido la variable aleatoria Xt como el nmero de automviles disponibles en la agencia al empezar la semana t+1. SeaDtunavariablealeatoriaquerepresentalademandaporautomvileslasemanat.La agencia utiliza una poltica de reorden (s,S) con s=1 y S=3.No se acepta demanda pendiente. Sea Xo = 3 y suponga que la variable aleatoria Dt tiene distribucin de Poisson con a)Obtenga los valores de la variable Xt b)Exprese a travs de una frmula de recurrencia la relacin entre xt y Xt+1 25 c)Encuentre la matriz P (valores nmericos) d)Suponga ahora que el costo incurrido esun valor fijo de $ 110.000 por orden ms un valor variable de $ 25.000 por automvil. Encuentre el costo esperado de inventario. 7.-Una empresa detransportesdebecontratar unseguroparasuflotadevehculos.Existen 4 posibles seguros con valores P1, P2, P3, y P4. De modo que : P1 > P2 > P3 > P4. El valor del seguro se paga al principio del ao y depende del tipo de seguro contratado el ao anterior y de los accidentes cobrados a la compaa de seguros durante el ao. Si durante elao,elsegurocontratadocostPiynosecobraronseguros,elsegurodelaosiguiente costar Pi + 1; en caso contrario (esto es si se cobraron seguros) el seguro costar P1. Si el ao anterior el seguro costo P4 y no hubo daos cobrados, el seguro costar este ao tambin P4. Laempresadetransportesdebedecidir,alfinaldelao,sicobraronolosdaos acumuladosporsusvehculosduranteelao.Silaempresadecidecobrarlosdaos,la compaa de seguros se hace cargo de stos, con excepcin de un deducible, que vale Ri para el seguro i. El dao total de la flota durante un ao cualquiera es una variable aleatoria con funcin de distribucin F y funcin de densidad f. Defina Xn como el tipo de seguro contratado en el ao n. a)Obtenga la matriz de P de este proceso. b)Obtenga una expresin explcita para el vector distribucin estacionaria [ de este proceso. c)Obtenga una expresin para el costo esperado anual de usar esta poltica en el largo plazo. Cmo podra encontrar la poltica ptima para este caso? 8.-En la etapa inicial un jugador tiene MM$ 2. En las etapas 1,2..... participa en un juego en el que apuesta MM$ 1. Gana el juego con probabilidad p, y lo pierde con probabilidad (1-p). Su meta es aumentar su capital a MM$ 4 y tan pronto como lo logre se retira. El juego tambin se suspende si el capital del jugador se reduce a $0 . a)Formule la matriz de probabilidades de transicin en una etapa. Si p=0.4 b)Calcule la probabilidad de que el jugador obtenga su objetivo de juntar MM$ 4 de capital.