[R-br] Índice de concordância Kappa

Segunda Novembro 9 23:45:29 BRST 2015

Prezado Cesar,

Depois de uma sugestão sua de duas linhas eu fiz uma réplica, e desde
então nossas mensagens têm sido cada vez mais longas. Além disso, a cada
mensagem tenho menos certeza de estarmos discutindo a mesma coisa, e
chego até mesmo a suspeitar que discutimos sobre algo sobre o que na
verdade concordamos.

Abraços,

Leonardo Ferreira Fontenelle[1]

Em Sáb 7 nov. 2015, às 11:52, Cesar Rabak escreveu:
> Leonardo,
>
> Grato pela resposta, espero que a discussão seja útil para outros que
> só nós dois!
>
> Uma primeira consideração, que é a razão porque eu insisto na questão
> da tautologia, é a seguinte: seu ponto «  . . . a importância da
> precisão da estimativa (ou do intervalo de confiança, que dá mais ou
> menos no mesmo) também vem da variabilidade amostral, . . .» é a
> demonstração de que a tentativa de transformar "macarrão em pão" só é
> possível porque ambos são feitos de farinha!
>
> Veja que tanto o IC como o valor-p para um determinado conjunto teste
> estatístico - estimador de IC são ligados funcionalmente por uma
> fórmula matemática, portanto um é apenas outra forma de escrever o
> outro. Ou para eu deixar bem clara minha posição: não se obtém nenhuma
> informação nova a respeito dos dados calculando um IC no lugar do valor-
> p, que no caso dos dados do OP ainda ensejam uma outra questão, que
> vou abordar mais abaixo.
>
> Sua consideração a respeito dos índices de concordância, como já
> postei acima, somente eu concordo em parte (s/trocadilho com a
> concordância!), pois o ponto basilar sobre esses índices Kappa e seus
> sucessores "melhorados" como o do Gwet, é que os julgadores
> (*raters*) poderiam estar acertando ao acaso, e por isso, essa parte
> da informação é descartada (muito mais severo no caso do Kappa do
> Cohen, onde a informação é descartada completamente); e minha
> discordância é exatamente essa: no caso dos dados do OP não há
> julgadores para "concordar" ou "discordar" que pode ser ao acaso, mas
> sim a co-ocorrência de atributos (*traits*), como é o caso nos dados
> de Snee, etc.
>
> Ou seja de novo, tanto para estimação como para um "teste estatístico"
> o modelo do problema, tem que anteceder os testes.
>
> No caso do Kappa do Cohen, o modelo (pode parecer uma caricatura, mas
> leiam o texto original dele se discordarem) dele é o mesmo de dois
> indivíduos que jogam cara e coroa e se faz uma tabela cruzada dos
> "acertos" e "desacertos", aí os "acertos" são atribuídos ao acaso e
> uma medida dos casos discordantes gera a medida do Kappa.
>
> No caso de uma tabela de contingência analisada pelos resíduos de
> Pearson, o modelo é que as distribuições marginais (linhas e colunas)
> representam a hipótese nula, e desvios numa coluna ou linha dessas
> distribuições geram resíduos que somados são testados usando-se uma
> distribuição qui². MAS, essa não a única hipótese nula possível de
> testar na tabela de contingência! Uma outra distribuição "teórica" de
> dados pode ser usada e os resíduos contra essa "tabela modelo" seria
> usada para calcular o qui², etc.
>
> Portanto, a questão ainda não respondida para poder dizer o que o valor-
> p obtido pelo OP inicialmente "significa" depende de o quê a tabela
> modela. Sem essa informação nada pode ser dito de concreto que não
> seja correto tecnicamente mas que não acrescenta informação (que é uma
> definição "macarrônica" de *tautologia*!).
>
> HTH
> --
> Cesar Rabak
>
>
>
> 2015-11-06 22:51 GMT-02:00 Leonardo Ferreira Fontenelle
> <leonardof em leonardof.med.br>:
>> __
>> Sim, a importância do teste estatístico vem da variabilidade
>> amostral. Mas a importância da precisão da estimativa (ou do
>> intervalo de confiança, que dá mais ou menos no mesmo) também vem da
>> variabilidade amostral, então eu não a desconsiderei.
>>
>> De qualquer forma, acho que concordamos com uma coisa. Se alguém tem
>> uma concordância de 0,1 (kappa ou AC1), com intervalo de confiança de
>> 95% entre 0,05 e 0,15, a pessoa pode até dizer que a concordância é
>> estatisticamente significativa, mas mesmo assim os dois métodos
>> concordam muito pouco.
>>
>> Com relação ao "diabo nos detalhes", eu não quis entrar nesse
>> "detalhe", porque já foi muito bem discutido anteriormente. Com
>> certeza não adianta ficar discutindo teste de hipótese versus
>> estimação se aquilo que se está testando/estimando não for
>> interpretável (ou bem interpretado).
>>
>> Att,
>>
>>
>> Leonardo Ferreira Fontenelle[2]
>>
>>
>>
>> Em Sex 6 nov. 2015, às 19:08, Cesar Rabak escreveu:
>>> Leonardo,
>>>
>>> É possível *quase* concordar como você!
>>>
>>> Mas para a concordância total, temos que colocar na mesa o seguinte:
>>>
>>> A hipótese nula é verdadeira ou falsa?
>>>
>>> No caso de uma tabela de contingência 2x2 (a do OP) a nula é que não
>>> há "associação" entre as duas variáveis categóricas, ou seja as
>>> proporções das colunas (ou linhas) espelham as proporções das
>>> margens.
>>>
>>> Como a tabela é uma amostragem do mundo ("a população sob estudo")
>>> espera-se variações nos valores das células que difiram das
>>> proporções "reais" e por isso faz-se o teste estatístico.
>>>
>>> No caso de o efeito ser forte e a hipótese nula ser falsa a
>>> afirmação acima não seria totalmente verdadeira...
>>>
>>> Quanto à proposição " Acho mais produtivo *estimar* a
>>> dis/concordância, sem perder de vista a precisão da estimativa." o
>>> problema, é que  "*the devil is in the detail*" como atestam as 'n'
>>> tentativas dos nossos antepassados (desde Yule na déc. dos dez do
>>> século passado, até o Gwet [de quem comprei o *librito* há um tempo
>>> atrás]), de definir a [medida da] "dis/concordância"!
>>>
>>> Só para ficar nas medidas citadas nesta "trédi": o Kappa de Cohen
>>> sofre do paradoxo citado pelo Pedro, o valor-p *per se* não é medida
>>> dessa natureza, o OR ou RR não está claro se se aplica ao caso do OP
>>> ou não (ele precisa nos dizer como os dados foram colhidos e qual a
>>> interpretação para a tabela), as medidas de associação, precisam ser
>>> interpretadas com cuidado, por isso passei os links...
>>>
>>> Ademais, uma questão de ordem aqui (que de novo _somente_ o OP
>>> poderia elucidar): o modelo para se usar o índice de concordância
>>> (dos quais o Kappa é um dos exemplos) só se aplicaria se uma das
>>> variáveis categóricas estivesse classificando o resultado da outra,
>>> o que me parece impossível para os micro-organismos (a menos que a
>>> tabela indique se eles preferem a companhia do outro, por exemplo),
>>> eu entendi a tabela como uma outra instância do famoso exemplo de
>>> Snee para associação entre cor de cabelo e cor dos olhos (os dados
>>> desse exemplo existem no R no *dataset* "HairEyeColor").
>>>
>>> HTH
>>> --
>>> Cesar Rabak
>>>
>>>
>>> 2015-11-06 17:36 GMT-02:00 Leonardo Ferreira Fontenelle
>>> <leonardof em leonardof.med.br>:
>>>> __
>>>> Dada uma amostra suficientemente pequena não haverá diferença
>>>> estatisticamente significativa, e dada uma amostra suficientemente
>>>> grande haverá diferença estatisticamente significativa, não importa
>>>> o quanto os métodos concordem ou discordem. Acho mais produtivo
>>>> *estimar* a dis/concordância, sem perder de vista a precisão da
>>>> estimativa.
>>>>
>>>>
>>>> Leonardo Ferreira Fontenelle[3]
>>>>
>>>>
>>>>
>>>> Em Sex 6 nov. 2015, às 16:01, Cesar Rabak escreveu:
>>>>> Embora tardiamente, gostaria de fazer um comentário sobre seu
>>>>> problema.
>>>>>
>>>>> Se a questão é a comparação da eficiência das técnicas, por que
>>>>> não simplesmente compará-las e ver se há significância estatística
>>>>> na diferença?
>>>>>
>>>>>
>>>>>
>>>>> 2015-10-28 11:17 GMT-02:00 André Lucas de Oliveira Moreira
>>>>> <andremoreirazoo em gmail.com>:
>>>>>> Obrigado Pedro, vou pesquisar mais sobre o  Gewtt AC1.
>>>>>>
>>>>>> Abraços, André
>>>>>>
>>>>>> Em 27 de outubro de 2015 14:13, Pedro Emmanuel Alvarenga
>>>>>> Americano do Brasil <emmanuel.brasil em gmail.com> escreveu:
>>>>>>> Andre,
>>>>>>>
>>>>>>> O Kappa para dois "raters" é muito simples.É a concordância das
>>>>>>> observações alem do acaso. Pessoalmente não gosto do Kappa por
>>>>>>> conta do paradoxo do Kappa.
>>>>>>>
>>>>>>> O cara que fez esse sitio fez o melhor livro que ja lia respeito
>>>>>>> de concordâncias. Ele sugere uma estatistica que não por acaso
>>>>>>> tem o nome dele. Gewtt AC1.
>>>>>>>
>>>>>>> http://www.agreestat.com/
>>>>>>>
>>>>>>> Mas se voce quiser conduzir um kappa o seguinta função é a
>>>>>>> melhor que já usei, inclusive consegue analisar dados de
>>>>>>> multirater multireader.
>>>>>>>
>>>>>>> epicalc::kap
>>>>>>>
>>>>>>> outras funções tambem legais. epiR::epi.kappa epibasix::epiKappa
>>>>>>>
>>>>>>> NO pacote irr também ha varias funções de kappa e outras
>>>>>>> estatisticas de concordância. Esse pacote é dedicado somente a
>>>>>>> estatísticas de concordância e confiabilidade.
>>>>>>>
>>>>>>> Abraço,
>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>> Pedro Brasil
>>>>>>>
>>>>>>> Em 26 de outubro de 2015 13:02, André Lucas de Oliveira Moreira
>>>>>>> <andremoreirazoo em gmail.com> escreveu:
>>>>>>>> Olá pessoal, tudo bem? Aqui no trabalho, pela primeira vez me
>>>>>>>> deparei com uma situação em que é necessário comparar a
>>>>>>>> eficiência de técnicas que detectam que uma mesma espécie de
>>>>>>>> parasita. A principio não sabia qual seria o melhor teste para
>>>>>>>> verificar isso, mas me falaram pela primeira vez do kappa.
>>>>>>>> Então tenho buscado sobre o assunto. Porém, nos livros que eu
>>>>>>>> tive acesso fala disso muito rapidamente e não me deram
>>>>>>>> segurança suficiente para executar no R e interpretar os
>>>>>>>> resultados.
>>>>>>>>
>>>>>>>> Pensando que tenho resultados categóricos (presença e ausência
>>>>>>>> dos parasitos para ambas técnicas), qual seria a melhor forma
>>>>>>>> de analisar isso, melhor pacote e função? Também preciso do
>>>>>>>> valor de p. Seria muito útil se alguém indicasse um tutorial e
>>>>>>>> também algum material teórico que me dê mais segurança no uso
>>>>>>>> desta técnica.
>>>>>>>>
>>>>>>>>
>>>>>>>> Agradecido, André
>>>>>>>>
>>>>>>>>
>>>>>>>>
>>>>>>>> --
>>>>>>>>
>>>>>>>> *MSc. André Lucas de O. Moreira*
>>>>>>>> http://lattes.cnpq.br/7258065668864153
>>>>>>>> http://www.wikiaves.com.br/perfil_andrelukinhas 79 8837-3562[4]
>>>>>>>> 79 9132-9093[5]
>>>>>>>>
>>>>>>>>
>>>>>>>> _______________________________________________
>>>>>>>>
R-br mailing list
>>>>>>>> R-br em listas.c3sl.ufpr.br
>>>>>>>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>>>>>>>>
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
código mínimo reproduzível.
>>>>>>>
>>>>>>>
>>>>>>> _______________________________________________
>>>>>>> R-br mailing list R-br em listas.c3sl.ufpr.br
>>>>>>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o
>>>>>>> guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
>>>>>>> código mínimo reproduzível.
>>>>>>
>>>>>>
>>>>>>
>>>>>> --
>>>>>>
>>>>>> *MSc. André Lucas de O. Moreira*
>>>>>> http://lattes.cnpq.br/7258065668864153
>>>>>> http://www.wikiaves.com.br/perfil_andrelukinhas 79 8837-3562 79
>>>>>> 9132-9093
>>>>>>
>>>>>>
>>>>>> _______________________________________________
>>>>>> R-br mailing list R-br em listas.c3sl.ufpr.br
>>>>>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o
>>>>>> guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
>>>>>> código mínimo reproduzível.
>>>>> _________________________________________________
>>>>> R-br mailing list R-br em listas.c3sl.ufpr.br
>>>>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o
>>>>> guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
>>>>> código mínimo reproduzível.
>>>>
>>>>
>>>> _______________________________________________
>>>> R-br mailing list R-br em listas.c3sl.ufpr.br
>>>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o
>>>> guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
>>>> código mínimo reproduzível.
>>> _________________________________________________
>>> R-br mailing list R-br em listas.c3sl.ufpr.br
>>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia
>>> de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código
>>> mínimo reproduzível.
>>
>>
>> _______________________________________________
>>
R-br mailing list
>> R-br em listas.c3sl.ufpr.br
>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>>
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
código mínimo reproduzível.
> _________________________________________________
> R-br mailing list R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia
> de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo
> reproduzível.

Links:

  1. http://lattes.cnpq.br/9234772336296638
  2. http://lattes.cnpq.br/9234772336296638
  3. http://lattes.cnpq.br/9234772336296638
  4. tel:79%208837-3562
  5. tel:79%209132-9093
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20151109/3a8b7e38/attachment.html>