Miguel Basto Pereira
Estimação da Sensibilidade,
da Especificidade e da curva ROC
Miguel Basto Pereira
Outubro de 2013
UMinho | 2013 Estimação da Sensibilidade,
da Especificidade e da curva ROC
Universidade do Minho
Escola de Ciências
Prepare-se para as provas
Estude fácil! Tem muito documento disponível na Docsity
Ganhe pontos para baixar
Ganhe pontos ajudando outros esrudantes ou compre um plano Premium
Guias e Dicas
Prepare-se para as provas
Estude fácil! Tem muito documento disponível na Docsity
Encontrar documentos
Prepare-se para as provas com trabalhos de outros alunos como você, aqui na Docsity
Pesquisar documentos Store
Os melhores documentos à venda: Trabalhos de alunos formados
Videoaulas
Prepare-se com as videoaulas e exercícios resolvidos criados a partir da grade da sua Universidade
Quiz
Responda perguntas de provas passadas e avalie sua preparação.
Ganhe pontos para baixar
Ganhe pontos ajudando outros esrudantes ou compre um plano Premium
Comunidade
Pergunte à comunidade
Peça ajuda à comunidade e tire suas dúvidas relacionadas ao estudo
Ranking universidades
Descubra as melhores universidades em seu país de acordo com os usuários da Docsity
Guias grátis
Os eBooks que salvam estudantes!
Baixe gratuitamente nossos guias de estudo, métodos para diminuir a ansiedade, dicas de TCC preparadas pelos professores da Docsity
Análise Estatística de Elasmoscopia: Bandas de Confiança Sens. e Espec., Exercícios de Probabilidade
Um script r que realiza análises estatísticas de elasmoscopia, incluindo a cálculo de bandas de confiança para a sensibilidade e especificidade usando métodos wald, score e bootstrap. O script também inclui gráficos para visualização dos resultados.
Tipologia: Exercícios
2022
1 / 140
Esta página não é visível na pré-visualização
Não perca as partes importantes!
Documentos relacionados
Pré-visualização parcial do texto
Baixe Análise Estatística de Elasmoscopia: Bandas de Confiança Sens. e Espec. e outras Exercícios em PDF para Probabilidade, somente na Docsity!
Miguel Basto Pereira
Estimação da Sensibilidade,
da Especificidade e da curva ROC
Miguel Basto Pereira
UMinho | 2013 Outubro de 2013
Estimação da Sensibilidade,da Especificidade e da curva ROC
Universidade do Minho
Escola de Ciências
iii
AgradecimentosAgradecimentosAgradecimentosAgradecimentos
Ao meu orientador, Professor Doutor Luís Filipe Meira Machado, pelo conhecimento partilhado, pela aprendizagem e sobretudo pela inteira disponibilidade demonstrada ao longo de todo o processo de planeamento e desenvolvimento da dissertação. Ao Professor Doutor Jaime Correia de Sousa, por ter possibilitado a conciliação do meu trabalho de investigação na Escola de Medicina da Universidade do Minho com o Mestrado em Estatística. Agradeço igualmente à minha atual casa profissional, a Faculdade de Psicologia e de Ciências da Educação da Universidade do Porto e à Doutora Mariana Martins, por terem também possibilitado a conciliação entre as minhas tarefas laborais e as minhas tarefas académicas. O mais especial agradecimento aos meus pais e também à minha irmã, por todo o apoio prestado aos mais diversos níveis e sem os quais esta experiência enriquecedora nunca teria sido possível. Aos colegas de Mestrado em Estatística, pelo companheirismo e pela ajuda prestada ao longo de dois anos de percurso. Em especial, um agradecimento aos colegas: Fernando Gomes, Cristiana Vieira, Celine Queirós, Daniela Catalão, Helena Piairo e Cristina Campelos. A quem me incentivou a entrar nesta aventura, tão diferente mas ao mesmo tempo tão complementar da minha profissão e da minha formação de base.
Obrigado a todos.
v
Estimação da Sensibilidade, da Especificidade e da curva ROCEstimação da Sensibilidade, da Especificidade e da curva ROCEstimação da Sensibilidade, da Especificidade e da curva ROCEstimação da Sensibilidade, da Especificidade e da curva ROC
Resumo:Resumo:Resumo:Resumo: A tomada de decisões é um processo complexo que surge frequentemente ligado ao problema da classificação de indivíduos em grupos a partir de um marcador ordinal ou contínuo associado. Neste contexto os testes diagnósticos assumem especial relevância. A escolha das provas de diagnóstico e do ponto de corte é geralmente realizada através da
avaliação da sensibilidade e especificidade e pela representação da curva ROC ( Receiver
Operating Characteristic), uma poderosa ferramenta estatística.
Na Medicina estas ferramentas assumem um papel central, ao estimar, comparar e calibrar o impacto de diferentes soluções, permitindo que a solução mais eficaz seja disponibilizada. Este trabalho pretendeu estudar e desenvolver estas ferramentas estatísticas e está estruturado, além da Introdução e Conclusão, em 5 secções que visam responder aos objetivos propostos. O segundo Capítulo é composto pela revisão bibliográfica e histórica sobre o tema, à medida que são apresentados os conceitos e fórmulas base sobre as curvas ROC. No Capítulo 3 é efetuada a caracterização e a análise descritiva de uma base de dados de cardiologia que será posteriormente utilizada para testar exemplificar as funções desenvolvidas. No Capítulo 4 programamos e aplicamos um conjunto de funções que têm por objetivo estimar e representar a sensibilidade, especificidade e a curva ROC, bem como as respetivas bandas de
confiança, através dos métodos: Wald, Score e Bootstrap.
O desempenho destes métodos é avaliado por meio de estudos de simulação. Realizou-se um estudo de simulação que será descrito no Capítulo 5. Pretendeu-se avaliar o nível de cobertura dos diferentes métodos e estudar qual é o melhor método sob diferentes condições.
Por fim, o Capítulo 6 é constituído pela programação e aplicação da função, slife. A função visa
avaliar o custo/retorno unitário esperado num rastreio populacional, a função foi exemplificada recorrendo à base de dados de cardiologia, de modo a aprofundar as suas funcionalidades. Nesta dissertação foram revistos e programados métodos de estimação da sensibilidade, especificidade e curvas ROC, e a relação destas com o custo e com o retorno esperado. Pretendeu-se disponibilizar informação e ferramentas estatísticas de apoio ao diagnóstico.
PalavrasPalavrasPalavrasPalavras----Chave:Chave:Chave: Curvas ROC; Sensibilidade; Especificidade; Custo e Retorno EsperadoChave:
vi
viii
ix
- CAPÍTULO 1. INTRODUÇCAPÍTULO 1. INTRODUÇCAPÍTULO 1. INTRODUÇCAPÍTULO 1. INTRODUÇÃOÃOÃOÃO........................................................................................................................................................................................................................................................................................................................................................................................................ ConteúdoConteúdoConteúdoConteúdo
- CAPÍTULO 2: REVISÃOCAPÍTULO 2: REVISÃOCAPÍTULO 2: REVISÃOCAPÍTULO 2: REVISÃO BIBLIOGRÁFICA E CONCBIBLIOGRÁFICA E CONCBIBLIOGRÁFICA E CONCEITOSBIBLIOGRÁFICA E CONCEITOSEITOSEITOS----CHAVECHAVECHAVE................................CHAVE................................................................................................................................................................
- 2.1. RESENHA HISTÓRIA
- 2.2 CONCEITOS BASE
- 2.2.1. Função de densidade e Discriminação dos Grupos
- 2.2.2. Sensibilidade e Especificidade
- 2.2.3. Curva ROC
- 2.3. APLICAÇÕES INFORMÁTICAS NO CÁLCULO E REPRESENTAÇÃO GRÁFICA DA CURVA ROC
- 2.3.1. Análise ROC no software estatístico R...................................................................
- 2.3.2. SPSS
- 2.3.3. EXCEL
- 2.3.4. Outros softwares
- CAPÍTULO 3: BASE DECAPÍTULO 3: BASE DECAPÍTULO 3: BASE DECAPÍTULO 3: BASE DE DADOS:DADOS:DADOS:DADOS:LEUKOCYTE ELASTASE DLEUKOCYTE ELASTASE DATA LEUKOCYTE ELASTASE DLEUKOCYTE ELASTASE DATAATAATA........................................................................................................................................................................................
- 3.1. ESCOLHA DA BASE DE DADOS
- 3.2. INFORMAÇÕES GERAIS SOBRE A BASE DE DADOS: “LEUKOCYTE ELASTASE DATA”
- 3.3. ANÁLISE DESCRITIVA BREVE DA BASE DE DADOS
- ROCROCROCROC........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................ CÁPITULO 4. MÉTODOSCÁPITULO 4. MÉTODOSCÁPITULO 4. MÉTODOSCÁPITULO 4. MÉTODOS DE ESTIMAÇÃO DA SENSDE ESTIMAÇÃO DA SENSDE ESTIMAÇÃO DA SENSDE ESTIMAÇÃO DA SENSIBILIDADE, DA ESPECIIBILIDADE, DA ESPECIIBILIDADE, DA ESPECIIBILIDADE, DA ESPECIFICIDADE E DA CURVAFICIDADE E DA CURVAFICIDADE E DA CURVAFICIDADE E DA CURVA
- 4.1. CURVA ROC
- 4.1.1 Função Programada: myroc
- 4.2. ÍNDICE DE YOUDEN E PRECISÃO
- 4.2.1 Função Programada: ypindex
- 4.3. ESTIMAÇÃO DOS INTERVALOS DE CONFIANÇA PARA A SENSIBILIDADE E ESPECIFICIDADE
- Especificidade 4.3.1. Método Wald para a estimação dos Intervalos de Confiança para a Sensibilidade e
- Especificidade 4.3.2. Método Score para a estimação dos Intervalos de Confiança para a Sensibilidade e
- 4.1. CURVA ROC
xi
CAPÍTULO 7. CONCLUSÕCAPÍTULO 7. CONCLUSÕCAPÍTULO 7. CONCLUSÕCAPÍTULO 7. CONCLUSÕES E PROJETOS FUTUROES E PROJETOS FUTUROES E PROJETOS FUTUROES E PROJETOS FUTUROSSS ................................S............................................................................................................................................................................................................ 69 696969
BIBLIOGRAFIABIBLIOGRAFIABIBLIOGRAFIABIBLIOGRAFIA ............................................................................................................................................................................................................................................................................................................................................................................................................................................................................ 71 717171
ANEXO A. CÓDIGO DE SANEXO A. CÓDIGO DE SANEXO A. CÓDIGO DE SANEXO A. CÓDIGO DE SINTAXE E PROGRAMAÇÃOINTAXE E PROGRAMAÇÃOINTAXE E PROGRAMAÇÃOINTAXE E PROGRAMAÇÃO ........................................................................................................................................................................................................................................................ 75 757575
ANEXO B. VERSÃO NÃOANEXO B. VERSÃO NÃOANEXO B. VERSÃO NÃOANEXO B. VERSÃO NÃO REDUZIDA DAS TABELASREDUZIDA DAS TABELASREDUZIDA DAS TABELASREDUZIDA DAS TABELAS COM OS VALORES DE SECOM OS VALORES DE SECOM OS VALORES DE SECOM OS VALORES DE SENSIBILIDADE,NSIBILIDADE,NSIBILIDADE,NSIBILIDADE,
ESPECIFICIDADE, LIMIESPECIFICIDADE, LIMIESPECIFICIDADE, LIMIESPECIFICIDADE, LIMITES DE CONFIANÇA E PTES DE CONFIANÇA E PTES DE CONFIANÇA E PTES DE CONFIANÇA E PONTOS DE CORTEONTOS DE CORTEONTOS DE CORTEONTOS DE CORTE............................................................................................................................................................109 109109109
ANEXO C. VERSÃO NÃOANEXO C. VERSÃO NÃOANEXO C. VERSÃO NÃOANEXO C. VERSÃO NÃO REDUZIDA DA TABELA CREDUZIDA DA TABELA CREDUZIDA DA TABELA CREDUZIDA DA TABELA COM OS VALORES DA PREOM OS VALORES DA PREOM OS VALORES DA PREOM OS VALORES DA PRECISÃO E DO ÍNDICECISÃO E DO ÍNDICECISÃO E DO ÍNDICECISÃO E DO ÍNDICE
DE YOUDENDE YOUDENDE YOUDENDE YOUDEN ....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................113 113113113
ANEXO D. VERSÃO NÃOANEXO D. VERSÃO NÃOANEXO D. VERSÃO NÃOANEXO D. VERSÃO NÃO REDUZIDA DA TABELA CREDUZIDA DA TABELA CREDUZIDA DA TABELA CREDUZIDA DA TABELA COM OS VALORES DO CUSOM OS VALORES DO CUSOM OS VALORES DO CUSOM OS VALORES DO CUSTO UNITÁRIOTO UNITÁRIOTO UNITÁRIOTO UNITÁRIO
ESPERADO E RETORNO UESPERADO E RETORNO UESPERADO E RETORNO UESPERADO E RETORNO UNITÁRIO ESPERADONITÁRIO ESPERADONITÁRIO ESPERADONITÁRIO ESPERADO ............................................................................................................................................................................................................................................................................117 117117117
xii
xiv
xv
Índice deÍndice deÍndice deÍndice de FiguraFiguraFiguraFigurassss
Figura 1. Árvore de decisão com o universo de eventos possíveis na análise ROC. ..................... 4 Figura 2. Distribuição estatística da variável contínua para cada um dos níveis da variável categórica (Grupo Doentes versus Grupo se a Doença). ............................................................. 7 Figura 3. Variação da sensibilidade e especificidade em função dos pontos de corte. ............... 10 Figura 4. Duas Curvas ROC, calculadas em R, cada uma associada a um teste de avaliação diferente. ................................................................................................................................ 11 Figura 5. Curva ROC, calculada com recurso ao R. No eixo dos “XX” encontra-se a taxa dos falsos positivos e no eixo dos “YY” o nível de especificidade. ................................................... 12 Figura 6. Representação gráfica da caixa de bigodes entre a variável Status e a variável Leukocyte Elastase Data para o sexo masculino e feminino. .................................................... 17 Figura 7. Curva ROC, no eixo dos “XX” os falsos positivos (1-Especificidade) e no eixo dos “YY” o valor da sensibilidade. ............................................................................................................ 22 Figura 8. Os gráficos 3D apresentam a relação entre 1-Especificidade, a Sensibilidade e a Precisão (Azul) / Índice de Youden (Amarelo). ......................................................................... 25 Figura 9. Curva ROC e bandas de confiança para a sensibilidade e especificidade/falsos positivos a 95%. ...................................................................................................................... 32 Figura 10. Representação gráfica das bandas de confiança para a sensibilidade através dos 3 métodos (score, bootstrap (nboot=500) e Wald). ..................................................................... 35 Figura 11. Representação gráfica das bandas de confiança para a especificidade através dos 3 métodos (Score, Bootstrap (nboot=500) e Wald). .................................................................... 38 Figura 12. Representação gráfica da curva ROC e das bandas de confiança ROC para o método
Wald, Score e Bootstrap na versão em 2 D e com a variável ponto de corte no gráfico 3 D. ....... 42
Figura 13. Níveis médios de cobertura por método e tamanho de amostra. ............................. 50 Figura 14. Níveis médios de cobertura por método e ponto de corte. ....................................... 51 Figura 15. Níveis médios de cobertura por tamanho de amostra e ponto de corte.................... 52 Figura 16. Níveis médios de cobertura por método e proporção. ............................................. 53
xvii
Índice de tabelasÍndice de tabelasÍndice de tabelasÍndice de tabelas
Tabela 1. Tabela de Contingência 2x2. ...................................................................................... 6 Tabela 2. Análise descritiva da base de dados Leukocyte Elastase Data ................................... 16 Tabela 3. Lista reduzida dos pares sensibilidade/especificidade da curva ROC. ....................... 21
Tabela 4. Esta tabela apresenta uma lista reduzida dos resultados da função ypindex. ............ 24
Tabela 5. Ponto de corte selecionado, respetiva Especificidade, Sensibilidade e limites de confiança (superior e inferior) para cada um dos métodos. ...................................................... 31 Tabela 6. Sensibilidade, limites de confiança para a sensibilidade em cada ponto de corte ...... 34 Tabela 7. Lista reduzida com valores da especificidade e limites de confiança, superior e inferior para a especificidade nos três métodos e pontos de corte associados. Calculou-se a amplitude. .............................................................................................................................................. 37 Tabela 8. Lista reduzida com valores da sensibilidade e especificidade e respetivos limites de confiança para os 3 métodos. ................................................................................................. 40 Tabela 9. Resultado do estudo de simulação para uma proporção de 0,2 e um nível de confiança de 0.95. ................................................................................................................................. 45 Tabela 10. Resultado do estudo de simulação para uma proporção de 0,4 e um nível de confiança de 0.95. ................................................................................................................. 46 Tabela 11. Resultado do estudo de simulação para uma proporção de 0,6 e um nível de confiança de 0.95. ................................................................................................................. 47 Tabela 12. Resultado do estudo de simulação para uma proporção de 0,8 e um nível de confiança de 0.95. ................................................................................................................. 48 Tabela 13. Tabela reduzida com o custo e retorno unitário esperado para cada ponto de corte.
xviii