<div dir="ltr"><div>pctMaiorDepois2 <- rep(NA_real_, length(d))</div><div>for (i in (which(d[-length(d)] > 0)+1)){</div><div>    pctMaiorDepois2[i] <- mean(d[(i+1):(i+k)] > 0)</div><div>}</div><div><br></div><div>

(7 segundos num laptop q nao esta' otimizado p performance... e ainda deve ganhar 1s ao compilar o conjunto como uma funcao)</div><div><br></div><div>b</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">

Em 2 de setembro de 2013 12:01, Elias T Krainski <span dir="ltr"><<a href="mailto:eliaskrainski@yahoo.com.br" target="_blank">eliaskrainski@yahoo.com.br</a>></span> escreveu:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


  
    
  
  <div bgcolor="#FFFFFF" text="#000000">
    <div>Bem lembrado Rubem! A licao nisso e':
      E' mais eficiente alocar todo o vetor em memoria antes do que
      fazer realocacoes durante o preencimento do mesmo. <br>
      <br>
      Seque abaixo um teste que fiz fazendo em paralelo com mclapply().
      O codigo original demorou 11 segundos. com mclapply() (4 cores)
      demorou 9 segundos. Ou seja, a operacao nao e' tao complicada que
      justifique a execucao em paralelo.<br>
      <br>
      <br>
      vetor <- rnorm(1499855)<br>
      ###diferenças<div class="im"><br>
      d<-diff(vetor, lag=1)<br>
      <br>
      k<-140<br></div>
      marcacoes<-NA<br>
      progress<-seq(2,(length(vetor)-k), by=1000)<br>
      tam <- (length(vetor)-k)<br>
      <br>
      t1<-Sys.time()<br>
      <br>
      system.time({<br>
        pctMaiorDepois <- rep(NA, tam)<div class="im"><br>
        for (i in 2:tam){<br>
          if (d[i-1] > 0) {<br>
            subVetorD<-d[(i+1):(i+k)]<br>
            pctMaiorDepois[i]<-sum(subVetorD>0)/k<br>
          }<br>
        }<br></div>
      })<br>
      <br>
      require(parallel)<br>
      system.time({<br>
        res <- simplify2array(mclapply(<br>
          2:tam, function(j)<br>
          if (d[j-1]>0)<br>
          return(sum(d[(j+1):(j+k)]>0)/k)<br>
          else return(NA),<br>
          mc.cores=detectCores()))<br>
      })<br>
      <br>
      all.equal(pctMaiorDepois[-1],res)<br>
      <br>
      Att.<span class="HOEnZb"><font color="#888888"><br>
      Elias.</font></span><div><div class="h5"><br>
      <br>
      On 09/02/2013 03:44 PM, Rubem Kaipper Ceratti wrote:<br>
    </div></div></div><div><div class="h5">
    <blockquote type="cite">
      <div style="font-size:10pt;font-family:arial,helvetica,sans-serif">
        <div><span>Paulo,<br>
          </span></div>
        <div style="font-style:normal;font-size:13.33px;background-color:transparent;font-family:"Arial""><span><br>
          </span></div>
        <div style="font-style:normal;font-size:13.33px;background-color:transparent;font-family:"Arial""><span>Creio que o problema de performance
            do seu seu código se deva ao crescimento do objeto</span> <font face="Courier New, courier, monaco, monospace, sans-serif">pctMaiorDepois</font><span>.
            Substitua a linha<br>
          </span></div>
        <div style="font-style:normal;font-size:13.33px;background-color:transparent;font-family:"Arial""><span><br>
          </span></div>
        <div style="font-style:normal;font-size:13.33px;background-color:transparent;font-family:"Arial"">
          <font face="Courier New, courier, monaco, monospace,
            sans-serif">pctMaiorDepois<-NA
          </font><span><br>
          </span></div>
        <div style="font-style:normal;font-size:13.33px;background-color:transparent;font-family:"Arial""><br>
        </div>
        <div style="font-style:normal;font-size:13.33px;background-color:transparent;font-family:"Arial"">por</div>
        <div style="font-style:normal;font-size:13.33px;background-color:transparent;font-family:"Arial""><br>
        </div>
        <div style="font-style:normal;font-size:13.33px;background-color:transparent;font-family:"Arial""> <font face="Courier New, courier,
            monaco, monospace, sans-serif">pctMaiorDepois <-
            vector('numeric', tam) </font></div>
        <div><br>
        </div>
        <div style="font-style:normal;font-size:13.33px;background-color:transparent;font-family:"Arial""><br>
        </div>
        <div style="font-style:normal;font-size:13.33px;background-color:transparent;font-family:"Arial""><br>
        </div>
        <div style="font-style:normal;font-size:13.33px;background-color:transparent;font-family:"Arial"">Att.,</div>
        <div style="font-style:normal;font-size:13.33px;background-color:transparent;font-family:"Arial"">Rubem</div>
        <div style="font-style:normal;font-size:13.33px;background-color:transparent;font-family:"Arial""><br>
        </div>
        <div style="font-size:10pt;font-family:"arial","helvetica",sans-serif">
          <div>
            <div dir="ltr">
              <hr size="1"> <font face="Arial"> <b><span style="font-weight:bold">De:</span></b> Paulo
                Nogueira Starzynski <a href="mailto:paulons@gmail.com" target="_blank"><paulons@gmail.com></a><br>
                <b><span style="font-weight:bold">Para:</span></b>
                R-BR <a href="mailto:r-br@listas.c3sl.ufpr.br" target="_blank"><r-br@listas.c3sl.ufpr.br></a> <br>
                <b><span style="font-weight:bold">Enviadas:</span></b>
                Domingo, 1 de Setembro de 2013 12:22<br>
                <b><span style="font-weight:bold">Assunto:</span></b>
                [R-br] Questão de performance em processamento<br>
              </font> </div>
            <div><br>
              <div>
                <div dir="ltr">Senhores, <br>
                  <div>recorro a lista para buscar ajuda referente a uma
                    questão de tempo de processamento no R.</div>
                  <div>Escrevi um código para realizar, basicamente,
                    operação de contagem dentro de subvetores de um
                    vetor maior. O problema é que a performance vai
                    caindo conforme a tarefa é executada.</div>
                  <div><br>
                  </div>
                  <div>Tenho o vetor principal de dados: <b>vetor</b></div>
                  <div>Crio o vetor de diferenças vetor[i] -
                    vetor[(i-1)]: <b>d</b></div>
                  <div><br>
                  </div>
                  <div>A tarefa é simples e consiste em avaliar, a
                    partir da i-ésima posição do vetor principal, o
                    subvetor que vai de (i+1) até (i+k), calculando a
                    proporção de valores que são maiores que o valor
                    anterior dentro desse subvetor. Faço a tarefa
                    avaliando um subvetor de cada vez, reciclando o
                    mesmo objeto chamado subVetorD.</div>
                  <div>O ponto é que a cada subvetor avaliado o
                    processamento vai ficando mais lento e para vetores
                    muito longos a performance fica muito prejudicada.</div>
                  <div>A questão é: porque perde performance e o que
                    posso fazer a respeito?</div>
                  <div><br>
                  </div>
                  <div>Abaixo envio um CMR, que não o é de fato, porque
                    o vetor principal contém apenas alguns registros, a
                    caráter ilustrativo.</div>
                  <div>##########</div>
                  <div>length(vetor)<br>
                  </div>
                  <div>
                    <div>#[1] 1499855</div>
                    <div>head(vetor)<br>
                      #[1] 39.2738 39.5016 39.5299 39.4839 39.4614
                      39.6217<br>
                      summary(vetor)<br>
                      #   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. <br>
                      #  14.25   31.95   50.02   46.21   57.73   89.87 </div>
                    <div><span style="border-spacing:0px;line-height:16px;border-collapse:separate;font-size:14px;background-color:rgb(225,226,229);white-space:pre-wrap">
                        <pre style="outline:none;border:none;margin-top:0px;margin-bottom:0px;line-height:1.2;font-size:10.4pt!important;white-space:pre-wrap!important"></pre>
                      </span></div>
                    <div>#diferenças</div>
                    <div>d<-diff(vetor, lag=1)</div>
                    <div><br>
                    </div>
                    <div>k<-140</div>
                    <div>pctMaiorDepois<-NA</div>
                    <div>marcacoes<-NA</div>
                    <div>progress<-seq(2,(length(vetor)-k), by=10000)</div>
                    <div>tam<-(length(vetor)-k)</div>
                    <div>t1<-Sys.time()</div>
                    <div>for (i in 2:tam){</div>
                    <div>  if (d[i-1] > 0) {</div>
                    <div>    subVetorD<-d[(i+1):(i+k)]</div>
                    <div>    pctMaiorDepois[i]<-sum(subVetorD>0)/k</div>
                    <div>  }</div>
                    <div>  if (any(i==progress)) {</div>
                    <div>    t2<-Sys.time()</div>
                    <div>    print(paste(round(i/tam,2),
                      round(difftime(t2,t1,units="secs"),2)))</div>
                    <div>    t1<-t2</div>
                    <div>  }</div>
                    <div>}</div>
                  </div>
                  <div><br>
                  </div>
                  <div>A seguir está o resultado do print() acima, que
                    parei em 70% do processamento completo, para mostrar
                    como o tempo (em segundos) vai aumentando.<br>
                  </div>
                  <div>% processamento ; tempos em segundos </div>
                  <div>
                    <div>[1] "0 0.77"</div>
                    <div>[1] "0.01 0.24"</div>
                    <div>[1] "0.01 0.33"</div>
                    <div>[1] "0.02 0.42"</div>
                    <div>[1] "0.03 0.53"</div>
                    <div>[1] "0.03 0.64"</div>
                    <div>
                      [1] "0.04 0.73"</div>
                    <div>[1] "0.05 0.86"</div>
                    <div>[1] "0.05 0.94"</div>
                    <div>[1] "0.06 1.04"</div>
                    <div>[1] "0.07 1.21"</div>
                    <div>[1] "0.07 1.27"</div>
                    <div>[1] "0.08 1.38"</div>
                    <div>[1] "0.09 1.49"</div>
                    <div>[1] "0.09 1.61"</div>
                    <div>[1] "0.1 1.79"</div>
                    <div>[1] "0.11 1.92"</div>
                    <div>[1] "0.11 2.16"</div>
                    <div>[1] "0.12 2.5"</div>
                    <div>[1] "0.13 3.1"</div>
                    <div>[1] "0.13 3.14"</div>
                    <div>[1] "0.14 3.42"</div>
                    <div>[1] "0.15 3.53"</div>
                    <div>[1] "0.15 3.74"</div>
                    <div>[1] "0.16 3.88"</div>
                    <div>[1] "0.17 3.99"</div>
                    <div>
                      [1] "0.17 4.23"</div>
                    <div>[1] "0.18 4.45"</div>
                    <div>[1] "0.19 4.66"</div>
                    <div>[1] "0.19 4.96"</div>
                    <div>[1] "0.2 5.03"</div>
                    <div>[1] "0.21 5.06"</div>
                    <div>[1] "0.21 5.63"</div>
                    <div>[1] "0.22 6.23"</div>
                    <div>[1] "0.23 6.4"</div>
                    <div>[1] "0.23 6.2"</div>
                    <div>[1] "0.24 6.71"</div>
                    <div>[1] "0.25 6.76"</div>
                    <div>[1] "0.25 6.54"</div>
                    <div>[1] "0.26 6.5"</div>
                    <div>[1] "0.27 6.72"</div>
                    <div>[1] "0.27 6.67"</div>
                    <div>[1] "0.28 6.87"</div>
                    <div>[1] "0.29 7.04"</div>
                    <div>[1] "0.29 7.51"</div>
                    <div>[1] "0.3 7.69"</div>
                    <div>[1] "0.31 7.62"</div>
                    <div>[1] "0.31 7.54"</div>
                    <div>[1] "0.32 7.82"</div>
                    <div>[1] "0.33 8.16"</div>
                    <div>[1] "0.33 8.43"</div>
                    <div>[1] "0.34 8.99"</div>
                    <div>[1] "0.35 8.55"</div>
                    <div>
                      [1] "0.35 8.98"</div>
                    <div>[1] "0.36 8.99"</div>
                    <div>[1] "0.37 9.53"</div>
                    <div>[1] "0.37 10.09"</div>
                    <div>[1] "0.38 9.88"</div>
                    <div>[1] "0.39 9.78"</div>
                    <div>[1] "0.39 10.01"</div>
                    <div>[1] "0.4 9.66"</div>
                    <div>[1] "0.41 9.8"</div>
                    <div>[1] "0.41 10.14"</div>
                    <div>[1] "0.42 10.04"</div>
                    <div>[1] "0.43 10.81"</div>
                    <div>[1] "0.43 10.94"</div>
                    <div>
                      [1] "0.44 11.05"</div>
                    <div>[1] "0.45 11.64"</div>
                    <div>[1] "0.45 11.73"</div>
                    <div>[1] "0.46 11.7"</div>
                    <div>[1] "0.47 11.65"</div>
                    <div>[1] "0.47 11.63"</div>
                    <div>
                      [1] "0.48 11.68"</div>
                    <div>[1] "0.49 12.08"</div>
                    <div>[1] "0.49 12.34"</div>
                    <div>[1] "0.5 13.35"</div>
                    <div>[1] "0.51 13.66"</div>
                    <div>[1] "0.51 13.84"</div>
                    <div>
                      [1] "0.52 13.87"</div>
                    <div>[1] "0.53 14.94"</div>
                    <div>[1] "0.53 14.42"</div>
                    <div>[1] "0.54 14.71"</div>
                    <div>[1] "0.55 14.51"</div>
                    <div>[1] "0.55 13.72"</div>
                    <div>
                      [1] "0.56 14.7"</div>
                    <div>[1] "0.57 14.75"</div>
                    <div>[1] "0.57 13.83"</div>
                    <div>[1] "0.58 14.34"</div>
                    <div>[1] "0.59 15.11"</div>
                    <div>[1] "0.59 15.09"</div>
                    <div>
                      [1] "0.6 15.12"</div>
                    <div>[1] "0.61 16.49"</div>
                    <div>[1] "0.61 18.3"</div>
                    <div>[1] "0.62 17.77"</div>
                    <div>[1] "0.63 16.87"</div>
                    <div>[1] "0.63 16.17"</div>
                    <div>[1] "0.64 17.09"</div>
                    <div>[1] "0.65 17.04"</div>
                    <div>[1] "0.65 16.38"</div>
                    <div>[1] "0.66 15.84"</div>
                    <div>[1] "0.67 16.39"</div>
                    <div>[1] "0.67 16.6"</div>
                    <div>[1] "0.68 17.32"</div>
                    <div>[1] "0.69 17.05"</div>
                    <div>[1] "0.69 17.87"</div>
                    <div>[1] "0.7 18.27"</div>
                  </div>
                  <div><br>
                  </div>
                  <div><br>
                  </div>
                  <div>Abraços,</div>
                  <div>Paulo Nogueira Starzynski</div>
                  <div><br>
                  </div>
                  <div>
                    <br>
                  </div>
                </div>
              </div>
              <br>
              _______________________________________________<br>
              R-br mailing list<br>
              <a href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a><br>
              <a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
              Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>)
              e forneça código mínimo reproduzível.<br>
              <br>
            </div>
          </div>
        </div>
      </div>
      <br>
      <fieldset></fieldset>
      <br>
      <pre>_______________________________________________
R-br mailing list
<a href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a>
Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.</pre>
    </blockquote>
    <br>
  </div></div></div>

<br>_______________________________________________<br>
R-br mailing list<br>
<a href="mailto:R-br@listas.c3sl.ufpr.br">R-br@listas.c3sl.ufpr.br</a><br>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></blockquote></div><br></div>