Baixe Modelos de Aprendizagem Clássica: Hull, Rescorla-Wagner e Mackintosh e outras Notas de estudo em PDF para Psicologia, somente na Docsity!
Modelos Conexionistas para Aprendizagem Associativa Baseado no artigo de revisão de Vogel, Castro e Saavedra, Brain Res. Bull ., 63:173-202, 2004.
O principal paradigma experimental para o estudo dos mecanismos de aprendizagem é o chamado condicionamento clássico ou pavloviano. Nesse paradigma, um estímulo neutro do ponto de vista comportamental, o estímulo condicionado (EC ou CS, da sigla em inglês para conditioned stimulus ), é pareado repetidamente com um estímulo biologicamente significante, o estímulo incondicionado (EI ou US, da sigla em inglês para unconditioned stimulus ). Um exemplo de CS é um tom sonoro e um exemplo de US é uma porção de comida. Após o pareamento repetido, o CS passa a eliciar uma resposta observável, a chamada resposta condicionada (RC ou CR, da sigla em inglês para conditioned response ), que é similar à resposta para o US (chamada de resposta não-condicionada, RN ou UR da sigla em inglês para unconditioned response ). Um exemplo de UR é a salivação do animal ao ver a comida (veja a figura abaixo).
A partir dos anos 30 do século passado, modelos quantitativos para condicionamento, expressos em linguagem matemática, têm sido propostos, acompanhando a evolução dos estudos experimentais e teóricos sobre aprendizagem associativa.
Considera-se que a primeira teoria quantitativa para aprendizagem associativa foi desenvolvida por Hull em uma série de artigos e livros publicados entre 1939 e 1952 (veja a aula 2). O modelo matemático elaborado por Hull está centrado nas associações entre estímulos e respostas (CS – CR) e na idéia de que aprendizagem é fruto de relações entre estímulos e motivações ( drives ).
Segundo Hull, a associação entre um estímulo (CS) e uma resposta (CR) é formada quando a ocorrência da resposta na presença do estímulo é seguida por uma “redução na motivação” ( drive reduction ) que, no caso do condicionamento pavloviano, é provocada pelo reforço fornecido pelo US.
Na teoria de Hull, um CS produz um traço de memória de curta duração, de intensidade variável com o tempo, que ativa associações excitatórias ou inibitórias com múltiplas respostas. As associações excitatórias seguidas pela apresentação de um US satisfatório são fortificadas, enquanto que as outras não. Para Hull (1950), qualquer traço de memória de um CS pode se associar com a CR, independentemente das associações desta com outros estímulos condicionados.
O modelo teórico de Hull envolve muitas equações, mas uma de particular interesse é a que diz respeito à associação excitatória entre um CS e um CR. Segundo Hull, uma força de associação excitatória se estabelece entre um CS e um CR ao longo de ensaios reforçados repetidos. A variação da força de associação entre o CR e um dado CS (indicado por CS i aqui) a cada ensaio reforçado é expressa pela equação:
∆ Vi = α ( M − Vi ). (1)
Posteriormente, os animais do primeiro grupo foram submetidos a uma situação igual à do grupo controle em que ruído e luz foram apresentados antes do choque por 8 ensaios.
Após esses ensaios, Kamin submeteu os animais dos dois grupos a testes em que eles eram submetidos separadamente a luz ou a ruído. Os resultados de Kamin mostraram que os animais do grupo controle apresentavam a RC (redução de atividade, indicativa de condicionamento de medo) tanto para o ruído como para a luz, mas os animais do primeiro grupo apresentavam a RC apenas para o ruído e não para a luz.
A interpretação de Kamin para esse experimento é a de que o ruído já havia sido estabelecido como um previsor confiável do choque para os animais do primeiro grupo, de maneira que a informação fornecida pela luz na segunda parte do experimento era redundante. Portanto, apenas o ruído estabeleceu uma associação forte com o CR, mas não a luz. Esse experimento contraria a hipótese da continuidade porque os dois grupos de animais foram submetidos exatamente ao mesmo número de pareamentos da luz (8) com o choque.
O bloqueio é um caso típico do que se chama de fenômeno de “competição entre estímulos”, pois a associação de um dado CS com o US depende do grau com que o CS prevê a ocorrência do US e isso parece depender do grau com que outros CSs prevêem o mesmo US.
A teoria para condicionamento pavloviano de maior sucesso até o momento, capaz de explicar o fenômeno de bloqueio e muitos outros fenômenos de competição entre estímulos, foi a proposta pelos psicólogos estadunidenses Robert Rescorla (1940 – ) e Allan Wagner (1934 – ) em 1972 (veja a entrada sobre o modelo de Rescorla-Wagner na Scholarpedia, escrito pelo próprio Rescorla, em http://www.scholarpedia.org/article/Rescorla-Wagner_model).
Segundo Rescorla e Wagner (1972):
Os organismos só aprendem quando os eventos violam as suas expectativas. Quando um complexo de estímulos ocorre, certas expectativas são construídas sobre os eventos que se seguem a ele; as expectativas iniciadas pelo complexo e seus estímulos componentes só são modificadas quando os eventos consequentes não concordam com a expectativa composta.
O modelo de Rescorla-Wagner possui três conceitos quantitativos básicos:
- O primeiro é a “força de associação”, Vi , entre o CS i e o US. Esta grandeza controla o valor do condicionamento exibido pelo CS i.
- O segundo é o nível máximo, λ, que a força de associação com o US pode atingir. O modelo considera que λ depende do US, de maneira que USs mais fortes podem sustentar associações mais fortes.
- O terceiro é a taxa de aprendizagem, αι, que determina a rapidez com que a força de associação Vi entre o CS i e o US atinge o valor máximo λ. O parâmetro αι é chamado de associabilidade ou saliência do CS i.
Segundo o modelo de Rescorla-Wagner, a cada repetição de um ensaio de associação com um US em que mais de um CS podem estar presentes, a força de associação do CS i com o US muda conforme a regra:
CSs presentes
j ∈
Vi α i λ Vj (2)
A expressão acima é chamada de regra de aprendizado de Rescorla-Wagner. Ela diz que a força de associação entre o CS i e o US aumenta (a uma taxa α i ) quando a soma total das forças de associação dos estímulos presentes no ensaio for menor que
o nível máximo λ e que ela diminui (a uma taxa α i ) quando a soma total das forças de associação dos estímulos presentes no ensaio for maior que o nível máximo λ.
Um fato curioso, que só foi notado (pelo menos publicamente) pelos cientistas da computação estadunidenses Richard Sutton e Andrew Barto em um artigo de 1988^1 , é que a regra de aprendizado de Rescorla-Wagner é essencialmente idêntica à regra delta de Widrow-Hoff estudada na aula passada.
Para constatar isso, observem a figura abaixo.
Observem também as equações para as duas regras:
{ } i j
i d^ jxj x
∈ entradaspresentes
(regra de Widrow-Hoff)
j ∈ CSspresentes
Vi α i λ Vj (regra de Rescorla-Wagner)
A correspondência entre elas é feita tomando-se ω i = Vi ; d = λ quando o US está presente e d = 0 quando ela não está; e xi = 1 se o CS i estiver presente e xi = 0 se o CS i não estiver presente.
(^1) Sutton, R. S. and Barto, A. G., Toward a modern theory of adaptive networks: expectation and prediction. Psychological Review , 88: 135-170, 1988.
A tabela abaixo mostra as correspondências.
Rescorla-Wagner Widrow-Hoff
Ensaio Tempo
CS i xi
Vi wi
US Professor
λ z
Segundo Sutton e Barto, em seu artigo de 1988:
É surpreendente que esses dois modelos sejam, de fato, idênticos, pois eles foram construídos com propósitos bem diferentes. A regra de Widrow-Hoff foi formulada como um algoritmo para resolver sistemas de equações lineares e a sua teoria trata de propriedades de convergência. A teoria não apenas não discute efeitos do contexto dos estímulos, como a sua existência [do contexto] é puramente incidental. A teoria de Rescorla-Wagner foi proposta para descrever de forma compacta uma ampla variedade de efeitos observados em experimentos sobre aprendizado de animais. Que ela também forneça um importante algoritmo com forte conexão com áreas muito úteis da matmática aplicada é algo fortuito. Sentimos que a confluência dos fatos matemáticos e empíricos representados pelo que devemos chamar de regra de Rescorla-Wagner/Widrow-Hoff pode ter considerável significância para o entendimento do aprendizado associativo.
Segundo Vogel et al. (2004; ver referência no início desta aula),
O modelo de Rescorla-Wagner é o mais influente e bem sucedido modelo para condicionamento pavloviano. Ele dá conta de todos os fenômenos simples de condicionamento pavloviano, incluindo efeitos de seleção de estímulos, além de antecipar resultados de muitos estudos que foram feitos para testá-lo. É claro que o modelo possui várias limitações que estimularam a produção de novas teorias durante os últimos 32 anos. De fato, a história das teorias de aprendizado após 1972 pode ser contada, em parte, como a das tentativas de teóricos subsequentes em superar as limitações desse modelo.
Um modelo alternativo para o fenômeno de competição entre estímulos foi apresentado pelo psicólogo inglês Nicholas Mackintosh (1935 – ) em 1975. Nesse modelo, ao invés de considerar que os estímulos competem entre si pelo nível máximo λ de associação com o US (uma propriedade que depende apenas do US), considera-se que os CSs competem entre si pela atenção do organismo a cada um deles (uma propriedade que depende dos CSs). Pode-se dizer que o modelo de Mackintosh assume que o animal presta mais atenção ao CS que é melhor preditor do reforço e ignora os CSs que são preditores pobres do reforço. Por causa disso, o modelo de Mackintosh é chamado de “atencional”.
Para implementar a sua hipótese, o modelo de Mackintosh faz com que, quando vários CSs estão presentes, o CS que é relativamente o melhor previsor do US tenha a sua associabilidade α i aumentada enquanto que os demais CSs têm suas associabilidades diminuidas. Formalmente, durante um ensaio em que um conjunto
de CSs está presente a associabilidade α i do CS i aumenta se a magnitude da discrepância entre a sua força de associação e o nível máximo λ de associação com o
US, | λ – Vi |, for menor que | λ – Σ j ≠ iVj |, onde a somatória sobre j neste termo cobre todas as forças de associação dos estímulos presentes com exceção do CS i. Por outro lado, a associabilidade α i diminui se | λ – Vi | ≥ | λ – Σ j ≠ iVj |.
A magnitude do aumento ou diminuição de α i é proporcional à diferença entre | λ – Vi |
e | λ – Σ j ≠ iVj |. Para calcular a variação da força de associação do CS i , Mackintosh usa a mesma regra do modelo de Hull da equação (1).
Um terceiro modelo para competição entre estímulos foi proposto pelos psicólogos ingleses John Pearce e Geoffrey Hall em 1980. No modelo de Pearce-Hall, a atenção a um estímulo só é necessária enquanto o animal está aprendendo sobre sua significância, mas depois que o aprendizado atinge um estado estacionário ela não é mais necessária. Segundo eles, a associabilidade do estímulo CS i em em dado ensaio n é dada por:
noCSsensaiopresentesn- 1
1 1 ∑ ∈
= −^ − −
j
n j n n α (^) i λ V (3)
ou seja, a associabilidade do estímulo i no n -ésimo ensaio é determinada pela magnitude da discrepância entre o nível máximo λ e a soma total das forças de associação dos estímulos presentes no último ensaio anterior em que o estímulo i esteve presente. Segundo essa regra, a associabilidade de um estímulo será grande quando ele tiver sido apresentado com um US inesperado e será pequena quando ele tiver sido apresentado com um US esperado. No primeiro caso a magnitude da discrepância na equação (3) terá um valor alto e, no segundo caso, ela terá um valor baixo.
Segundo um artigo de revisão escrito por Pearce e Bouton em 2001^2 , há evidências experimentais que suportam tanto o modelo de Mackintosh como o de Pearce-Hall. A conclusão deles é a de que deve haver mais de um mecanismo capaz de alterar a associabilidade de um estímulo e que mecanismos diferentes devem ser governados por princípios diferentes, daí a existência de modelos diferentes.
(^2) Pearce, J. M. and Bouton, M. E., Theories of associative learning in animals. Ann. Rev. Psychol., 52:111-139, 2001.
US
CS 1 0 0 0
1 0 0 0 Ativação ui 1 0 0 0 Saída Si
Vamos supor que os pesos são modificáveis pela regra de Rescorla-Wagner/Widrow- Hoff,
quando^ =^1
∆ = ^ −
ω i α i λ ∑ j ω jx (^) j xi US
0 quando = 0
∆ = ^ −
ω (^) i α i ∑ j ω jx (^) j xi US.
Vamos fazer α i = α = 0,2 e λ = 1.
Portanto, após o primeiro ensaio de pareamento US – CS 1 como mostrado acima, os pesos são modificados para a configuração mostrada abaixo.
US CS 1 0 0 0
1 0,2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
O segundo ensaio de pareamento entre US – CS 1 produz então a seguinte situação. US CS 1 0 0 0
1 0,2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1,2 0 0 0 Ativação ui 1,2 0 0 0 Saída Si
E a nova configuração de pesos é a seguinte: US CS 1 0 0 0
1 0,36 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
Após mais um ensaio de pareamento US – CS 1 , a configuração de pesos fica: US CS 1 0 0 0
1 0,49 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
