Andre,
O Kappa para dois "raters" é muito simples.É a concordância das observações alem do acaso. Pessoalmente não gosto do Kappa por conta do paradoxo do Kappa.
O cara que fez esse sitio fez o melhor livro que ja lia respeito de concordâncias. Ele sugere uma estatistica que não por acaso tem o nome dele. Gewtt AC1.
Mas se voce quiser conduzir um kappa o seguinta função é a melhor que já usei, inclusive consegue analisar dados de multirater multireader.
epicalc::kap
outras funções tambem legais.
epiR::epi.kappa
epibasix::epiKappa
NO pacote irr também ha varias funções de kappa e outras estatisticas de concordância. Esse pacote é dedicado somente a estatísticas de concordância e confiabilidade.
Abraço,