[R-br] Índice de concordância Kappa

Sábado Novembro 7 11:52:40 BRST 2015

Leonardo,

Grato pela resposta, espero que a discussão seja útil para outros que só
nós dois!

Uma primeira consideração, que é a razão porque eu insisto na questão da
tautologia, é a seguinte: seu ponto «  . . . a importância da precisão da
estimativa (ou do intervalo de confiança, que dá mais ou menos no mesmo)
também vem da variabilidade amostral, . . .» é a demonstração de que a
tentativa de transformar "macarrão em pão" só é possível porque ambos são
feitos de farinha!

Veja que tanto o IC como o valor-p para um determinado conjunto teste
estatístico - estimador de IC são ligados funcionalmente por uma fórmula
matemática, portanto um é apenas outra forma de escrever o outro. Ou para
eu deixar bem clara minha posição: não se obtém nenhuma informação nova a
respeito dos dados calculando um IC no lugar do valor-p, que no caso dos
dados do OP ainda ensejam uma outra questão, que vou abordar mais abaixo.

Sua consideração a respeito dos índices de concordância, como já postei
acima, somente eu concordo em parte (s/trocadilho com a concordância!),
pois o ponto basilar sobre esses índices Kappa e seus sucessores
"melhorados" como o do Gwet, é que os julgadores (*raters*) poderiam estar
acertando ao acaso, e por isso, essa parte da informação é descartada
(muito mais severo no caso do Kappa do Cohen, onde a informação é
descartada completamente); e minha discordância é exatamente essa: no caso
dos dados do OP não há julgadores para "concordar" ou "discordar" que pode
ser ao acaso, mas sim a co-ocorrência de atributos (*traits*), como é o
caso nos dados de Snee, etc.

Ou seja de novo, tanto para estimação como para um "teste estatístico" o
modelo do problema, tem que anteceder os testes.

No caso do Kappa do Cohen, o modelo (pode parecer uma caricatura, mas leiam
o texto original dele se discordarem) dele é o mesmo de dois indivíduos que
jogam cara e coroa e se faz uma tabela cruzada dos "acertos" e
"desacertos", aí os "acertos" são atribuídos ao acaso e uma medida dos
casos discordantes gera a medida do Kappa.

No caso de uma tabela de contingência analisada pelos resíduos de Pearson,
o modelo é que as distribuições marginais (linhas e colunas) representam a
hipótese nula, e desvios numa coluna ou linha dessas distribuições geram
resíduos que somados são testados usando-se uma distribuição qui². MAS,
essa não a única hipótese nula possível de testar na tabela de
contingência! Uma outra distribuição "teórica" de dados pode ser usada e os
resíduos contra essa "tabela modelo" seria usada para calcular o qui², etc.

Portanto, a questão ainda não respondida para poder dizer o que o valor-p
obtido pelo OP inicialmente "significa" depende de o quê a tabela modela.
Sem essa informação nada pode ser dito de concreto que não seja correto
tecnicamente mas que não acrescenta informação (que é uma definição
"macarrônica" de *tautologia*!).

HTH
--
Cesar Rabak

2015-11-06 22:51 GMT-02:00 Leonardo Ferreira Fontenelle <
leonardof em leonardof.med.br>:

> Sim, a importância do teste estatístico vem da variabilidade amostral. Mas
> a importância da precisão da estimativa (ou do intervalo de confiança, que
> dá mais ou menos no mesmo) também vem da variabilidade amostral, então eu
> não a desconsiderei.
>
> De qualquer forma, acho que concordamos com uma coisa. Se alguém tem uma
> concordância de 0,1 (kappa ou AC1), com intervalo de confiança de 95% entre
> 0,05 e 0,15, a pessoa pode até dizer que a concordância é estatisticamente
> significativa, mas mesmo assim os dois métodos concordam muito pouco.
>
> Com relação ao "diabo nos detalhes", eu não quis entrar nesse "detalhe",
> porque já foi muito bem discutido anteriormente. Com certeza não adianta
> ficar discutindo teste de hipótese versus estimação se aquilo que se está
> testando/estimando não for interpretável (ou bem interpretado).
>
> Att,
>
> Leonardo Ferreira Fontenelle <http://lattes.cnpq.br/9234772336296638>
>
>
> Em Sex 6 nov. 2015, às 19:08, Cesar Rabak escreveu:
>
> Leonardo,
>
> É possível *quase* concordar como você!
>
> Mas para a concordância total, temos que colocar na mesa o seguinte:
>
> A hipótese nula é verdadeira ou falsa?
>
> No caso de uma tabela de contingência 2x2 (a do OP) a nula é que não há
> "associação" entre as duas variáveis categóricas, ou seja as proporções das
> colunas (ou linhas) espelham as proporções das margens.
>
> Como a tabela é uma amostragem do mundo ("a população sob estudo")
> espera-se variações nos valores das células que difiram das proporções
> "reais" e por isso faz-se o teste estatístico.
>
> No caso de o efeito ser forte e a hipótese nula ser falsa a afirmação
> acima não seria totalmente verdadeira...
>
> Quanto à proposição " Acho mais produtivo *estimar* a dis/concordância,
> sem perder de vista a precisão da estimativa." o problema, é que  "*the
> devil is in the detail*" como atestam as 'n' tentativas dos nossos
> antepassados (desde Yule na déc. dos dez do século passado, até o Gwet [de
> quem comprei o *librito* há um tempo atrás]), de definir a [medida da] "
> dis/concordância"!
>
> Só para ficar nas medidas citadas nesta "trédi": o Kappa de Cohen sofre do
> paradoxo citado pelo Pedro, o valor-p *per se* não é medida dessa
> natureza, o OR ou RR não está claro se se aplica ao caso do OP ou não (ele
> precisa nos dizer como os dados foram colhidos e qual a interpretação para
> a tabela), as medidas de associação, precisam ser interpretadas com
> cuidado, por isso passei os links...
>
> Ademais, uma questão de ordem aqui (que de novo *somente* o OP poderia
> elucidar): o modelo para se usar o índice de concordância (dos quais o
> Kappa é um dos exemplos) só se aplicaria se uma das variáveis categóricas
> estivesse classificando o resultado da outra, o que me parece impossível
> para os micro-organismos (a menos que a tabela indique se eles preferem a
> companhia do outro, por exemplo), eu entendi a tabela como uma outra
> instância do famoso exemplo de Snee para associação entre cor de cabelo e
> cor dos olhos (os dados desse exemplo existem no R no *dataset* "
> HairEyeColor").
>
>  HTH
> --
> Cesar Rabak
>
>
> 2015-11-06 17:36 GMT-02:00 Leonardo Ferreira Fontenelle <
> leonardof em leonardof.med.br>:
>
>
> Dada uma amostra suficientemente pequena não haverá diferença
> estatisticamente significativa, e dada uma amostra suficientemente grande
> haverá diferença estatisticamente significativa, não importa o quanto os
> métodos concordem ou discordem. Acho mais produtivo *estimar* a
> dis/concordância, sem perder de vista a precisão da estimativa.
>
>
> Leonardo Ferreira Fontenelle <http://lattes.cnpq.br/9234772336296638>
>
>
>
> Em Sex 6 nov. 2015, às 16:01, Cesar Rabak escreveu:
>
> Embora tardiamente, gostaria de fazer um comentário sobre seu problema.
>
> Se a questão é a comparação da eficiência das técnicas, por que não
> simplesmente compará-las e ver se há significância estatística na diferença?
>
>
>
> 2015-10-28 11:17 GMT-02:00 André Lucas de Oliveira Moreira <
> andremoreirazoo em gmail.com>:
>
> Obrigado Pedro, vou pesquisar mais sobre o  Gewtt AC1.
>
> Abraços,
> André
>
> Em 27 de outubro de 2015 14:13, Pedro Emmanuel Alvarenga Americano do
> Brasil <emmanuel.brasil em gmail.com> escreveu:
>
> Andre,
>
> O Kappa para dois "raters" é muito simples.É a concordância das
> observações alem do acaso. Pessoalmente não gosto do Kappa por conta do
> paradoxo do Kappa.
>
> O cara que fez esse sitio fez o melhor livro que ja lia respeito de
> concordâncias. Ele sugere uma estatistica que não por acaso tem o nome
> dele. Gewtt AC1.
>
> http://www.agreestat.com/
>
> Mas se voce quiser conduzir um kappa o seguinta função é a melhor que já
> usei, inclusive consegue analisar dados de multirater multireader.
>
> epicalc::kap
>
> outras funções tambem legais.
> epiR::epi.kappa
> epibasix::epiKappa
>
> NO pacote irr também ha varias funções de kappa e outras estatisticas de
> concordância. Esse pacote é dedicado somente a estatísticas de concordância
> e confiabilidade.
>
> Abraço,
>
>
>
>
>
> Pedro Brasil
>
> Em 26 de outubro de 2015 13:02, André Lucas de Oliveira Moreira <
> andremoreirazoo em gmail.com> escreveu:
>
> Olá pessoal, tudo bem?
> Aqui no trabalho, pela primeira vez me deparei com uma situação em que é
> necessário comparar a eficiência de técnicas que detectam que uma mesma
> espécie de parasita. A principio não sabia qual seria o melhor teste para
> verificar isso, mas me falaram pela primeira vez do kappa. Então tenho
> buscado sobre o assunto. Porém, nos livros que eu tive acesso fala disso
> muito rapidamente e não me deram segurança suficiente para executar no R e
> interpretar os resultados.
>
> Pensando que tenho resultados categóricos (presença e ausência dos
> parasitos para ambas técnicas), qual seria a melhor forma de analisar isso,
> melhor pacote e função? Também preciso do valor de p. Seria muito útil se
> alguém indicasse um tutorial e também algum material teórico que me dê mais
> segurança no uso desta técnica.
>
>
> Agradecido,
> André
>
>
>
> --
>
> *MSc. André Lucas de O. Moreira*
> http://lattes.cnpq.br/7258065668864153
> <http://www.wikiaves.com.br/perfil_andrelukinhas>
> http://www.wikiaves.com.br/perfil_andrelukinhas
> 79 8837-3562
> 79 9132-9093
>
>
> _______________________________________________
> R-br mailing list
> R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código mínimo reproduzível.
>
>
>
> _______________________________________________
> R-br mailing list
> R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código mínimo reproduzível.
>
>
>
>
> --
>
> *MSc. André Lucas de O. Moreira*
> http://lattes.cnpq.br/7258065668864153
> <http://www.wikiaves.com.br/perfil_andrelukinhas>
> http://www.wikiaves.com.br/perfil_andrelukinhas
> 79 8837-3562
> 79 9132-9093
>
>
> _______________________________________________
> R-br mailing list
> R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código mínimo reproduzível.
>
> *_______________________________________________*
> R-br mailing list
> R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código mínimo reproduzível.
>
>
>
> _______________________________________________
> R-br mailing list
> R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código mínimo reproduzível.
>
> *_______________________________________________*
> R-br mailing list
> R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código mínimo reproduzível.
>
>
>
> _______________________________________________
> R-br mailing list
> R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código mínimo reproduzível.
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20151107/487786b8/attachment.html>