Classificação Naive Bayes: Um Algoritmo Probabilístico Simples, Notas de estudo de Probabilidade

Baixe Classificação Naive Bayes: Um Algoritmo Probabilístico Simples e outras Notas de estudo em PDF para Probabilidade, somente na Docsity!

Classifica¸c˜ao: Naive Bayes

Fabr´ıcio Olivetti de Fran¸ca

Universidade Federal do ABC

T´opicos

1. Naive Bayes

Aprendizado Probabil´ıstico

Foi mencionado anteriormente que o uso da fun¸c˜ao log´ıstica remetia a

probabilidade de certo exemplo pertencer a uma classe.

Por que ent˜ao n˜ao estimar diretamente uma fun¸c˜ao de probabilidade?

A ideia ´e estimar P(y = yi | xi )

Naive Bayes

O algoritmo Naive Bayes (que pode ser traduzido como Bayes

“Ingˆenuo”) ´e um classificador probabil´ıstico que utiliza o teorema de

Bayes assumindo independˆencia nos atributos do objeto.

Base de Dados

Pele Cor Tamanho Carne peludo marrom grande dura peludo verde grande dura liso vermelho grande macia peludo verde grande macia peludo vermelho pequeno dura liso vermelho pequeno dura liso marrom pequeno dura peludo verde pequeno macia liso verde pequeno dura peludo vermelho grande dura liso marrom grande macia liso verde pequeno macia peludo vermelho pequeno macia liso vermelho grande dura liso vermelho pequeno dura peludo verde pequeno dura

Probabilidade Condicional

Digamos que queremos saber se ´e seguro ou perigoso comer certo

animal, baseado em suas caracter´ısticas.

O primeiro passo ´e pr´e-classificar uma pequena amostra dos dados.

Probabilidade Condicional

Com uma base pr´e-classificada, devemos formular a seguinte quest˜ao:

Dado um pequeno animal que tem pele lisa de cor vermelha e carne dura.

E seguro come-lo?´

Probabilidade Condicional

Nosso animal pode ser representado por:

x = [pequeno, lisa, vermelho, dura]

E a pergunta, em forma de probabilidade condicional:

P(y = seguro | x)

Essa probabilidade deve ser lida como:

Qual a probabilidade de um animal ser seguro para comer dado que ele ´e:

pequeno, lisa, vermelho, dura?

Naive Bayes

Com essa f´ormula, e a tabela de exemplos podemos calcular a

probabilidade de cada animal n˜ao classificado pertencer a uma classe ou

outra.

Naive Bayes

Expandindo temos:

P(y = seguro | x) =

i P(xi^ |^ y^ = seguro) ∏^ ·^ P(y^ = seguro)

i P(xi^ )

Base de Dados

Pele Cor Tamanho Carne Classe peludo marrom grande dura seguro peludo verde grande dura seguro liso vermelho grande macia perigoso peludo verde grande macia seguro peludo vermelho pequeno dura seguro liso vermelho pequeno dura seguro liso marrom pequeno dura seguro peludo verde pequeno macia perigoso liso verde pequeno dura perigoso peludo vermelho grande dura seguro liso marrom grande macia seguro liso verde pequeno macia perigoso peludo vermelho pequeno macia seguro liso vermelho grande dura perigoso liso vermelho pequeno dura peludo verde pequeno dura

Naive Bayes

Dado x = [pequeno, lisa, vermelho, dura]:

P(pequeno) = 7/ 14

P(lisa) = 7/ 14

P(vermelho) = 5/ 14

P(dura) = 8/ 14

P(x) = 1960/38416 = 0. 05

Base de Dados

Pele Cor Tamanho Carne Classe peludo marrom grande dura seguro peludo verde grande dura seguro liso vermelho grande macia perigoso peludo verde grande macia seguro peludo vermelho pequeno dura seguro liso vermelho pequeno dura seguro liso marrom pequeno dura seguro peludo verde pequeno macia perigoso liso verde pequeno dura perigoso peludo vermelho grande dura seguro liso marrom grande macia seguro liso verde pequeno macia perigoso peludo vermelho pequeno macia seguro liso vermelho grande dura perigoso liso vermelho pequeno dura peludo verde pequeno dura

Naive Bayes

E, finalmente:

P(pequeno | y = seguro) = 4/ 9

P(lisa | y = seguro) = 3/ 9

P(vermelho | y = seguro) = 4/ 9

P(dura | y = seguro) = 6/ 9

P(x | y = seguro) = 288/6561 = 0. 04