Amigos de R,
Conceitualmente falando, a unica coisa que eu poderia comentar é essa ideia não é minha. Ha uma literatura extensa a respeito de modelos para predição.ou
Dentro de modelos de predição clinica ou ferramentas de suporte a decisão, ha conceitos como desenvolvimento ou ajuste de modelos, calibração ou penalização de modelos, validação interna, e validação externa. Essa ultima pode ser validação cruzada, temporal, ou simultanea propriamente dita.Imaginem que há um modelo em que estima a probabilidade de um sujeito ser portador de uma doença de transmissão aérea. Com esse modelo o médico pode decidir se o paciente ficará em isolamento respiratorio ou não na chegada do paciente no hospital. Mas percebam que o modelo foi desenvolvido em outros pacientes. O que interessa nesse momento é se para este paciente em particular o modelo funcionará razoavelmente. O que representa essa ideia é a validação externa, e isso vai alem representação da população pela amostra ou de características da amostra. Geralmente o desempenho dos modelos em validação externa é pior que o desempenho no ajuste inicial. Isso é o superajuste, que parece ser muito frequente em modelos para predição, e é por isso que se recomenda a calibração de modelos para uso em predição. Essas ideias possuem analogia com o aprendizado, validação e simulação de redes neurais.Mais uma vez a pergunta inicial. Eu encontrei funções que fazem a estimativa de desempenho de modelo em valores previstos pelos modelos em outros dados para logisticos e sobrevivencia, mas não encontrei para modelos lineares. Alguem poderia me indicar alguma forma de estimar o desempenho de um modelo linear a partir de valores previstos e outros dados?Abraço forte,
Dr. Pedro Emmanuel A. A. do BrasilCurriculum Lattes: http://lattes.cnpq.br/6597654894290806
Instituto de Pesquisa Clínica Evandro Chagas
Fundação Oswaldo Cruz
Rio de Janeiro - Brasil
Av. Brasil 4365,
CEP 21040-360,
Tel 55 21 3865-9648
email: pedro.brasil@ipec.fiocruz.br
email: emmanuel.brasil@gmail.com
---Apoio aos softwares livres
www.zotero.org - gerenciamento de referências bibliográficas.
www.broffice.org ou www.libreoffice.org - textos, planilhas ou apresentações.
www.epidata.dk - entrada de dados.
www.r-project.org - análise de dados.
www.ubuntu.com - sistema operacional
Em 8 de agosto de 2012 20:37, Fernando Colugnati <fcolugnati@gmail.com> escreveu:Pedro, me desculpe, mas conceitualmente isso não faz sentido do ponto de vista frequentista que vc está empregando. No máximo vc conseguirá bandas de confiança para extrapolações e interpolações a partir dos seus dados, e verificar se as "previsões com novos dados" (que não são previsões no sentido que vc está querendo) caem dentro destas bandas. o que isso significa, não sei ao certo. Na verdade técnicas como Análise Discriminante e modelos de clasificação utilizam este tipo de abordagem como validação do modelo, a chamada Crossvalidation, mas mesmo lá, são feitas apenas medidas de "acerto" nas classificações, dado que se sabe o estado real das observações desta nova amostra (eg: Doente e Não Doente)."quero e saber se a qualidade das previsoes no futuro sem mantem como no ajuste inicial" . Isso não vai acontecer, principalmente se seus novos dados estiverem em uma amplitude diferente de observação (algo que o Ivan já apontou no email dele).Este seu raciocínio me parece muito mais algo Bayesiano....aliás, modelos de regressão para prognóstico de pacientes é algo muito pouco preconizado, vide literatura (Bland, Altman, Greenland, Rothman, etc...).AbsEm 8 de agosto de 2012 18:52, Pedro Emmanuel Alvarenga Americano do Brasil <emmanuel.brasil@gmail.com> escreveu:
Ivan,
Entendi o seu comentario mas isso nao me serve. Eu nao quero outro modelo. O que eu quero e saber se a qualidade das previsoes no futuro sem mantem como no ajuste inicial.
Caso sejam piores, o modelo inicial necessita de calibracao.
No pacote rms ha as fucoes val.prob e val.surv que o fazem para modelos logisticos e para os modelos de sobrevivencia,mas mao encontrei para os mpdelos lineares.Se eu vou utilizar esses modelos para prever eventos em pacientes que serao avaliados no futuro eu gostaria de saber o quanto esse modelo e bom para esse fim. Por isso me interessa as previsoes no w2 muito mais o que as previsoes no w1 pelo mesmo modelo.
Pedro Brasil
via Android (:)=Em 08/08/2012 12:13, "Ivan Bezerra Allaman" <ivanalaman@yahoo.com.br> escreveu:_______________________________________________Bom dia Pedro!Tu concordas comigo que a partir do momento que ajustastes um modelo por meio de uma amostra, o modelo irá fazer uma estimativa da variável resposta independentemente de qual amostra você utilize (desde que os pontos estejam dentro do intervalo no qual o modelo foi ajustado é claro) com aquela precisão no qual foi construído o modelo. Se vc utilizar um modelo ajustado com a amostra w1 e depois usar o modelo para fazer estimativas com a amostra w2, estas estimativas foram estimadas com a precisão dada no primeiro ajuste. Se você realmente, quer avaliar o ajuste do modelo feito com a amostra w1 e depois com a amostra w2 é simples, basta ajustar um modelo feito com a amostra w1 e depois ajustar outro modelo feito com a amostra w2 e comparar os R2, embora não vejo muito sentido nisso, pois é claro, que os valores serão diferentes sempre, pois é aquela velha história, se retirarmos 'n' amostras de uma população e retirarmos de cada amostra a média, estas médias serão diferentes obviamente pelo simples processo de amostragem.Abraço!(S,f,P)Allaman
\begin{signature}<<>>=Prof. Dr. Ivan Bezerra AllamanUniversidade Estadual de Santa CruzDepartamento de Ciências Exatas e TecnológicasIlhéus/BA - BrasilFone: +55 73 3680-5596@\end{signature}
R-br mailing list
R-br@listas.c3sl.ufpr.br
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________
R-br mailing list
R-br@listas.c3sl.ufpr.br
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
--
Fernando A.B. Colugnati
_______________________________________________
R-br mailing list
R-br@listas.c3sl.ufpr.br
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________
R-br mailing list
R-br@listas.c3sl.ufpr.br
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.