Em problemas de classificação, eu prefiro ter classes desbalanceadas e do que duplicar dados e <span style="font-family:arial,sans-serif;font-size:12.727272033691406px">obter estimativas não con</span><span style="font-family:arial,sans-serif;font-size:12.727272033691406px">fiáveis.</span><div>
<span style="font-family:arial,sans-serif;font-size:12.727272033691406px"><br></span></div><div><span style="font-family:arial,sans-serif;font-size:12.727272033691406px">Se </span><span style="font-family:arial,sans-serif;font-size:12.727272033691406px">for extremamente desbalancedo (Y=1 em menos de 1% dos casos, p. ex.) você pode tentar usar um algoritmo de <i>anomaly detection</i> (machine learning). Aí você usa todos os casos Y=1 na validação cruzada. Mas sua amostra é grande o suficiente?</span></div>
<div><div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">Em 8 de novembro de 2012 17:15, Fernando Colugnati <span dir="ltr">&lt;<a href="mailto:fcolugnati@gmail.com" target="_blank">fcolugnati@gmail.com</a>&gt;</span> escreveu:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Na verdade eu não conheço muito sobre métodos de classificação, mas para utilização dos modelos logísticos não há qualquer suposição deste tipo...<div>
Abs</div><div class="gmail_extra"><br><br><div class="gmail_quote">Em 7 de novembro de 2012 00:22, Vinicius Brito Rocha <span dir="ltr">&lt;<a href="mailto:viniciusbritor@gmail.com" target="_blank">viniciusbritor@gmail.com</a>&gt;</span> escreveu:<div>
<div class="h5"><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><span style="color:rgb(34,34,34);font-size:12.727272033691406px;font-family:arial,sans-serif">Fernando,</span><div style="color:rgb(34,34,34);font-size:12.727272033691406px;font-family:arial,sans-serif">



<br></div><div style="color:rgb(34,34,34);font-size:12.727272033691406px;font-family:arial,sans-serif">sim. o modelo é para classificação. </div><div style="color:rgb(34,34,34);font-size:12.727272033691406px;font-family:arial,sans-serif">



<br></div><div style="color:rgb(34,34,34);font-size:12.727272033691406px;font-family:arial,sans-serif">O problema é que minhas classes são extremamente desbalanceadas. </div><div style="color:rgb(34,34,34);font-size:12.727272033691406px;font-family:arial,sans-serif">



<br></div><div style="color:rgb(34,34,34);font-size:12.727272033691406px;font-family:arial,sans-serif">Até onde sei recomenda-se ter classes balanceadas. E esse é exatamente o que estou trazendo a discussão. </div>

<div style="color:rgb(34,34,34);font-size:12.727272033691406px;font-family:arial,sans-serif"><br></div><div style="color:rgb(34,34,34);font-size:12.727272033691406px;font-family:arial,sans-serif">

Você discorda disso?</div><div style="color:rgb(34,34,34);font-size:12.727272033691406px;font-family:arial,sans-serif"><br></div><div style="color:rgb(34,34,34);font-size:12.727272033691406px;font-family:arial,sans-serif">



Abs.</div><div style="color:rgb(34,34,34);font-size:12.727272033691406px;font-family:arial,sans-serif"><br></div><div style="color:rgb(34,34,34);font-size:12.727272033691406px;font-family:arial,sans-serif">

Vinicius Brito Rocha</div><br></div><div class="gmail_quote"><div>Em 6 de novembro de 2012 22:58, Fernando Colugnati <span dir="ltr">&lt;<a href="mailto:fcolugnati@gmail.com" target="_blank">fcolugnati@gmail.com</a>&gt;</span> escreveu:<br>



</div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Desde quando vc precisa ter 50% de 1 e 50% de zeros para fazer uma regressão logística? Não entendi bem seu problema! Vc fala em treinamento...este modelo será para classificação?<div>

<div><div>

<br></div><div class="gmail_extra"><br>
<br><div class="gmail_quote">Em 6 de novembro de 2012 23:37, viniciusbritor <span dir="ltr">&lt;<a href="mailto:viniciusbritor@gmail.com" target="_blank">viniciusbritor@gmail.com</a>&gt;</span> escreveu:<div><div>

<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div><div>amostrar com reposição toda a informação da classe alvo  , Y=1 para que tenha o mesmo tamanho da classe Y=0. </div><div>apenas na amostra de treinamento</div><div><br></div><div><br></div><div><div style="font-size:75%;color:#575757">




Enviado por Samsung Mobile</div></div> <br>Leonard Mendonça de Assis &lt;<a href="mailto:assis.leonard@gmail.com" target="_blank">assis.leonard@gmail.com</a>&gt; escreveu:<div><div><br>
    <div>Vinícius<br>
      <br>
      o que você está chamando de reamostragem?<br>
      <pre cols="72">[]s
Leonard de Assis
<a href="http://about.me/ldeassis" target="_blank">http://about.me/ldeassis</a></pre>
      Em 06/11/2012 19:14, Vinicius Brito Rocha escreveu:<br>
    </div>
    <blockquote type="cite">Pessoal,
      <div><br>
      </div>
      <div>preciso tirar uma dúvida a respeito de regressão logistica.</div>
      <div><br>
      </div>
      <div>Tenho uma conjunto de dados, onde existe um grande
        desbalanceamento nas classes da variável resposta (meu evento
        Y=1 a ser modelado, possui poucas observações)</div>
      <div><br>
      </div>
      <div>O que fiz foi:</div>
      <div><br>
      </div>
      <div>separei 70% dos dados para amostra treino e 30% para teste.</div>
      <div><br>
      </div>
      <div>na amostra treino (70%):</div>
      <div><br>
      </div>
      <div>
        <ul>
          <li>utilizei uma re-amostragem, apenas na classe do evento
            (Y=1) e fiz com que as linhas desta  classe fossem
            re-amostradas até que a classe com resposta Y=1 possui-se a
            mesma quantidade de linhas da classe (Y=0)</li>
          <li>Com minha base de amostra treino balanceada ajustei um
            modelo de regressão logistica</li>
        </ul>
        <div><br>
        </div>
        <div>na amostra teste(30%):</div>
        <div>
          <ul>
            <li>calculei minhas probabilidades de respostas a partir das
              variáveis independentes da amostra teste.</li>
            <li>arbitrei um ponto de classificação de P_CHAP&gt;= 0,7
              para classificar meu evento como classe (Y_CHAP=1) e
               P_CHAP&lt;0,7 classificar meu evento como Y_CHAP=0</li>
            <li>Construi uma tabela de confusão comparando os resultados
              Y_CHAP e Y para comparar minha Sensitividade e
              1-Especificidade.</li>
          </ul>
          <div>Dúvidas:</div>
          <div><br>
          </div>
          <div>A questão é que meus resultados estão muito ruins.
            Acredito que é a estrutura de dados.</div>
          <div>
            <ul>
              <li>Estou sendo questionado a respeito da técnica de
                re-amostragem na amostra treino para equilibrar as
                classes. Pois o demandante acredita que é necessário
                algum tipo de correção do modelo(feito a re-amostragem
                no ajuste da amostra treino) ao aplica-lo no  conjunto
                teste, que não sofreu nenhuma alteração.</li>
            </ul>
            <div><br>
            </div>
          </div>
        </div>
        <div>Alguém tem algum material que justifique o uso de
          re-amostragem nos dados da amostra treino?</div>
        <div><br>
        </div>
        <div>Abs.</div>
        -- <br>
        <i>Vinicius Brito Rocha.</i><br>
        <i style="font-weight:bold">Estatístico e Atuário <font size="1">(IM / UFRJ)</font></i><i style="font-weight:bold"><br>
          Mestre em Pesquisa Operacional <font size="1">(COPPE / UFRJ)</font></i><br>
        <br>
        <a href="http://www.aplicademic.blogspot.com" target="_blank">www.aplicademic.blogspot.com</a><br>
        <a href="http://twitter.com/viniciusbritor" target="_blank">http://twitter.com/viniciusbritor</a><br>
        <br>
        &quot;Não se preocupe muito com as suas dificuldades em Matemática,
        posso assegurar-lhe que as minhas são ainda maiores.&quot; - Albert
        Einstein.<br>
        <br>
        <br>
      </div>
      <br>
      <fieldset></fieldset>
      <br>
      <pre>_______________________________________________
R-br mailing list
<a href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a>
Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.</pre>
    </blockquote>
    <br>
  

</div></div></div><br>_______________________________________________<br>
R-br mailing list<br>
<a href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a><br>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></blockquote></div></div></div><span><font color="#888888"><br>



<br clear="all"><div><br></div>-- <br>
Fernando A.B. Colugnati<br><br><br>
</font></span></div>
</div></div></blockquote></div><div><div><br><br clear="all"><div><br></div>-- <br><i>Vinicius Brito Rocha.</i><br><i style="font-weight:bold">Estatístico e Atuário <font size="1">(IM / UFRJ)</font></i><i style="font-weight:bold"><br>

Mestre em Pesquisa Operacional <font size="1">(COPPE / UFRJ)</font></i><br>

<br><a href="http://www.aplicademic.blogspot.com" target="_blank">www.aplicademic.blogspot.com</a><br><a href="http://twitter.com/viniciusbritor" target="_blank">http://twitter.com/viniciusbritor</a><br><br>&quot;Não se preocupe muito com as suas dificuldades em Matemática, posso assegurar-lhe que as minhas são ainda maiores.&quot; - Albert Einstein.<br>



<br><br>
</div></div></blockquote></div></div></div><span class="HOEnZb"><font color="#888888"><br><br clear="all"><div><br></div>-- <br>Fernando A.B. Colugnati<br><br><br>
</font></span></div>
<br>_______________________________________________<br>
R-br mailing list<br>
<a href="mailto:R-br@listas.c3sl.ufpr.br">R-br@listas.c3sl.ufpr.br</a><br>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></blockquote></div><br></div>