Máxima Verossimilhança, Exercícios de Probabilidade

Baixe Máxima Verossimilhança e outras Exercícios em PDF para Probabilidade, somente na Docsity!

Máxima Verossimilhança

Prof. Wagner H. Bonat

Universidade Federal do Paraná

Departamento de Estatística

Laboratório de Estatística e Geoinformação

Notação e definições

Sumário

(^1) Notação e definições

(^2) Verossimilhança

Notação e definições

Definições

Uma estatística é uma variável aleatória T = t ( Y ), onde a função

t (·) não depende de θ.

Uma estatística T é um estimador para θ se o valor realizado

t = t ( y ) é usado como uma estimativa para o valor de θ.

A distribuição de probabilidade de T é chamada de distribuição

amostral do estimador t ( Y ).

O viés de um estimador T é a quantidade

B ( T ) = E ( T − θ ).

O estimador T é dito não viciado para θ se B ( T ) = 0, tal que

E ( T ) = θ.

O estimador T é assintóticamente não viciado para θ se E ( T ) → θ

quando n → ∞.

Notação e definições

Definições

A eficiência relativa entre dois estimadores T 1

e T 2

é a razão

er =

V ( T 1

)

V ( T 2

)

em que V (·) denota a variância.

O erro quadrático médio de um estimador T é a quantidade

EQM ( T ) = E (( T − θ )

2

) = V ( T ) + B ( T )

2

.

Um estimador T é médio quadrático consistente para θ se o

EQM ( T ) → 0 quando n → ∞.

O estimador T é consistente em probabilidade se ∀  > 0,

P (| T − θ | >  ) → 0, quando n → ∞.

Função de verossimilhança

Sejam dados y uma realização de um vetor aleatório Y com fp ou fdp

f ( Y , θ ). A função de verossimilhança L ( θ ) : Θ → [ 0 , ∞] para θ é a

função aleatória

L ( θ ) ≡ f ( Y , θ )

onde f ( y 1 ,... , yn | θ ) é a função de distribuição conjunta de Y.

1 Caso discreto não há ambiguidade então

L ( θ ) ≡ P θ [ Y = y ].

(^2) Caso contínuo em geral as observações são medidas com algum grau de

precisão em um intervalo ( y iI

≤ y i

≤ y iS

). Neste caso a verossimilhança

é dada por

L ( θ ) = P θ

[ y 1 I

≤ y 1

≤ y 1 S

, y 2 I

≤ y 2

≤ y 2 S

,... , y nI

≤ y n

≤ y nS

].

Função de verossimilhança

Suponha que as observações são independentes e medidas com o

mesmo grau de precisão.

Assim, cada dado é medido em um intervalo

( yi − δ/ 2 ≤ Yi ≤ yi + δ/ 2 ).

Com estas suposições a verossimilhança pode ser escrita como

L ( θ ) =

n ∏

i = 1

P

θ

[ y i

− δ/ 2 ≤ Y i

≤ y i

• δ/ 2 ]

n ∏

i = 1

∫ yi + δ/ 2

yi − δ/ 2

f ( y i

, θ ) d ( y i

Função de Log-Verossimilhança

A função de log-verossimilhança é a função estocástica l ( θ ) : Θ → <

definida por

l ( θ | y ) = log ( L ( θ | y )).

No caso iid, tem-se

l ( θ | y ) =

n ∑

i = 1

log ( L ( θ | yi )).

l ( θ | y ) = −∞ quando L ( θ ) = 0, mas isso ocorre quando

f ( y 1

,... , y n

| θ ) = 0 que tem probabilidade de ocorrência igual a zero.

Vetor escore

O vetor escore U ( θ | y ) : Θ → <

p é um vetor aleatório p × 1 definido

por

U ( θ | y ) =

∂l ( θ | y )

∂ θ









∂l ( θ | y )

∂θ 1

∂l ( θ | y )

∂θp









Notação popular em termos de gradiente

U ( θ | y ) = ∇ θ

l ( θ | y ).

Notação j -ésimo componente de U ( θ | y ) por U j

( θ | y ).

Matriz de informação observada

A matriz p × p definida por

I

O

( θ ) = −

2 l ( θ | y )

∂ θ ∂ θ

é chamada de informação observada.

As entradas j e k da matriz de informação observada é dada por

I Ojk ( θ ) = −

2 l ( θ | y )

∂θ j

∂θ k

Primeira igualdade de Bartlett E ( U ( θ | Y )) = 0.

Segunda igualdade de Bartlett

I E ( θ ) = E(I O ( θ )).

Estimador de máxima verossimilhança (EMV)

Estimativa de máxima verossimilhança: Seja L ( θ , y ) a função de

verossimilhança. O valor

θ =

θ ( y ) é a estimativa de máxima

verossimilhança para θ se L (

θ ) ≥ L ( θ ), ∀ θ.

Estimador de máxima verossimilhança: Se

θ ( y ) é a estimativa de

máxima verossimilhança, então

θ ( Y ) é o estimador de máxima

verossimilhança (EMV).

Em geral,

θ satisfaz a equação de verossimilhança

U ( θ | y ) = 0.

Um sistema com p equações e p incógnitas







U

1

( θ | y ) = 0

Up ( θ | y ) = 0







Estratégias para construir o intervalo de confiança

Verossimilhança relativa

L ( θ )

L (

ˆ θ )

≥ r.

Deviance D ( θ ) = − 2 [ l ( θ ) − l (ˆ θ )] ≤ −2 log( r ).

Após definir o valor c

∗ = − 2 log( r ), é necessário encontrar as raízes da

função de verossimilhança relativa ou da deviance.

0.5 1.0 1.5 2.0 2.5 3.

θ

RL

0.5 1.0 1.5 2.0 2.5 3.

0

2

4

6

8

θ

D

(

θ

)

Estratégias para construir o intervalo de confiança

De forma geral métodos numéricos serão necessários.

Alternativa: Expansão em séries de Taylor (segunda ordem) para l ( θ )

em torno de

θ

D ( θ ) = − 2 [ l ( θ ) − l (ˆ θ )]

{

l (ˆ θ ) − [ l (ˆ θ ) + ( θ −

θ ) l

′ (ˆ θ ) +

( θ −

θ )

2 l

′′ (ˆ θ )]

}

Eliminando termos, temos

D ( θ ) ≈ −( θ −

θ )

2 l

′′ (ˆ θ ) ≤ c

∗ .

Resolvendo em θ chegamos a intervalos da forma.

θ ±

√

c

∗

− l

′′ (

θ )

Condições de regularidade

O parâmetro θ é identificável. Isso significa que se f ( θ 1

| y ) = f ( θ 2

| y )

para quase todos y ∈ <, então θ 1 = θ 2.

O suporte de f ( θ | y ) é o mesmo para todo θ ∈ <.

O verdadeiro valor do parâmetro θ 0 pertence ao interior de Θ.

f ( θ | y ) é duas vezes continuamente diferenciável com relação aos

componentes de θ para quase todo y ∈ <.

∂

∂θ

e

∫

(caso contínuo), ou

∂

∂θ

e

∑

(caso discreto) podem ser

intercambiados.

Propriedades do Estimador de máxima verossimilhança

Sendo θ 0

o verdadeiro valor do vetor de parâmetros θ. Então

Consistência:

θ

P

→ θ 0

, ou seja,

P

(∥

∥

∥

θ − θ 0

∥

∥

∥ > 

)

→ 0 , quando n → ∞.

Normalidade assintótica:

θ

D

→ N p

( θ , I

− 1

E

( θ )) , quando n → ∞.

Qualquer termo assintoticamente equivalente a I E

( θ ) pode ser usado.

θ ∼ NMp ( θ , I

− 1

E

θ ))

θ ∼ NM p

( θ , I

− 1

O

( θ ))

θ ∼ NMp ( θ , I

− 1

O

θ )).