<div dir="ltr"><div class="gmail_default" style="font-family:trebuchet ms,sans-serif;font-size:small;color:#333333">Se você tem muitos objetos na memória mas nao o utiliza simultaneamente recomendo fortemente ver o pacote SOAR.</div><div class="gmail_default" style="font-family:trebuchet ms,sans-serif;font-size:small;color:#333333"><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">Em 2 de junho de 2015 15:02, Leonardo Ferreira Fontenelle <span dir="ltr"><<a href="mailto:leonardof@leonardof.med.br" target="_blank">leonardof@leonardof.med.br</a>></span> escreveu:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><u></u>




<div><div>O R tem a mania de manter os objetos completamente na memória. Isso simplifica o código e agiliza as operações (depois dos dados terem sido lidos ao menos uma vez), mas por outro lado torna as operações com dados grandes propensas a estourar a memória. (Já ouvi dizer que é mais barato comprar RAM do que SAS, mas nunca me dei ao trabalho de conferir...) Se você não está recebendo mensagens sobre incapacidade de alocar memória, então talvez a memória não esteja limitando seu processamento. Ou talvez você esteja usando memória virtual (acho que é assim que se chama no Windows) no lugar de memória RAM.<br></div>
<div> </div>
<div>Quem vai saber lhe informar isso é o administrador do servidor. Ele também vai saber informar se o sistema operativo está impondo algum limite sobre a memória e a capacidade de processamento disponíveis para cada usuário e para cada programa.<br></div>
<div> </div>
<div>PS:<br></div>
<div> </div>
<div>Você pode usar a função <code><span>object.size</span></code>() para saber quanta memória um objeto ocupa. Você pode encontrar outras dicas em:<br></div>
<div> </div>
<ul><li><div><a href="http://stackoverflow.com/questions/1358003/tricks-to-manage-the-available-memory-in-an-r-session" target="_blank">http://stackoverflow.com/questions/1358003/tricks-to-manage-the-available-memory-in-an-r-session</a><br></div>
</li><li><div><a href="http://stackoverflow.com/questions/1358003/tricks-to-manage-the-available-memory-in-an-r-session" target="_blank">http://adv-r.had.co.nz/memory.html</a><span class="HOEnZb"><font color="#888888"><br></font></span></div><span class="HOEnZb"><font color="#888888">
</font></span></li></ul><span class="HOEnZb"><font color="#888888"><div> </div>
<div><div><a href="http://lattes.cnpq.br/9234772336296638" title="Currículo Lattes" target="_blank">Leonardo Ferreira Fontenelle</a><br></div>
</div></font></span><div><div class="h5">
<div> </div>
<div> </div>
<div>Em Ter 2 jun. 2015, às 14:23, Pedro Emmanuel Alvarenga Americano do Brasil escreveu:<br></div>
<blockquote type="cite"><div dir="ltr"><div style="font-family:courier new,monospace;color:rgb(0,0,102)">Ei Leonardo, <br></div>
<div style="font-family:courier new,monospace;color:rgb(0,0,102)"> </div>
<div style="font-family:courier new,monospace;color:rgb(0,0,102)">Duas dicas boas em que eu não tinha pensado. De fato eu já consigo carregar os dados, mas eu gostaria mesmo é de não ficar esperando 10 segundos pra fazer uma tabela. Assim uma edição em que eu preciso olhar varias tabelas pra verificar se o que eu estou fazendo está como esperado, eu acabo esperando horas ao longo do dia. Estou olhando o data.table agora e não me parece dificil.<br></div>
<div style="font-family:courier new,monospace;color:rgb(0,0,102)"> </div>
<div style="font-family:courier new,monospace;color:rgb(0,0,102)">Enquanto a ajustar o tamanho da memoria que o R pode usar, pode ser de alguma utilidade?<br></div>
<div style="font-family:courier new,monospace;color:rgb(0,0,102)"> </div>
<div style="font-family:courier new,monospace;color:rgb(0,0,102)">Queria olhar o pacote bigmemory mas parece que ele não está disponíel para a versão 3.1.3<br></div>
<div><div> </div>
<div><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><span style="background-color:rgb(255,255,255)">Pedro Brasil</span><br></div>
</div>
</div>
</div>
</div>
</div>
<div> </div>
<div><div>Em 2 de junho de 2015 12:03, Leonardo Ferreira Fontenelle <span dir="ltr"><<a href="mailto:leonardof@leonardof.med.br" target="_blank">leonardof@leonardof.med.br</a>></span> escreveu:<br></div>
<blockquote style="margin-top:0px;margin-right:0px;margin-bottom:0px;margin-left:0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div><u></u><br></div>
<div><div>A seguinte página deve lhe apresentar as ferramentas disponíveis: <a href="http://cran.r-project.org/web/views/HighPerformanceComputing.html" target="_blank">http://cran.r-project.org/web/views/HighPerformanceComputing.html</a><br></div>
<div> </div>
<div>Pelo que você está dizendo, parece que você já consegue carregar todos os dados na memória, o problema é o tempo de processamento. Talvez valha a pena começar usando uma <a>data.table</a> em vez de data.frame. Eu costumo utilizar sempre que possível os pacotes que já vêm instalados com o R, e mesmo assim eventualmente "me rendi" ao data.table. Uso para microdados de inquéritos do IBGE, e ocasionalmente até mesmo para dados "pequenos".<br></div>
<div> </div>
<div>Outra dica é utilizar apenas uma amostra de seus dados em procedimentos iniciais, como por exemplo testar se um determinado código funciona ou verificar a distribuição de uma variável.<br></div>
<div> </div>
<div>Boa sorte,<br></div>
<div> </div>
<div><div><a title="Currículo Lattes" href="http://lattes.cnpq.br/9234772336296638" target="_blank">Leonardo Ferreira Fontenelle</a><br></div>
</div>
<div><div><div> </div>
<div> </div>
<div>Em Ter 2 jun. 2015, às 11:47, Pedro Emmanuel Alvarenga Americano do Brasil escreveu:<br></div>
</div>
</div>
<blockquote type="cite"><div><div><div dir="ltr"><div style="font-family:"courier new",monospace;color:rgb(0,0,102)">Amigos de R,<br></div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)"> </div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)">Eu venho com um dúvida de iniciante, porque nunca trabalhei assim. Eu não entendo muito de informática por isso estou sem luz no caminho. Bom, a minha questão é que me envolvi num projeto em que os dado são na caso de centenas de milhares de linhas, com umas 150 colunas. <br></div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)"> </div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)">Estou trabalhando numa área de trabalho remota num servidor windows 2008. Eu não sei quais as especificaçõs do servidor, mas essa área esta servidor está servindo somente para esse fim. <br></div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)"> </div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)">Então gostaria de uma luz ou do que ler para otimizar o tempo de processamento nas ediçoes e nas análises. Algum tutorial ou alguma dica que aproveite melhor o meu tempo de espera. <br></div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)"> </div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)">O que ja fucei que é pouco... <br></div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)"> </div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)">> memory.size(max = FALSE)<br></div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)">[1] 1044.11<br></div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)">> memory.size(max = T)<br></div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)">[1] 1814.94<br></div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)">> memory.limit(size = NA)<br></div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)">[1] 4095<br></div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)">>  <br></div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)"> </div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)">Abraço,<br></div>
<div style="font-family:"courier new",monospace;color:rgb(0,0,102)"> </div>
<div><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><span style="background-color:rgb(255,255,255)">Pedro Brasil</span><br></div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<div><u>_______________________________________________</u><br></div>
<div>R-br mailing list<br></div>
<div><a href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a><br></div>
<div><a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br></div>
<div>Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></div>
</blockquote><div> </div>
</div>
<div> </div>
<div>_______________________________________________<br></div>
<div>
R-br mailing list<br></div>
<div> <a href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a><br></div>
<div> <a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br></div>
<div>
Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></div>
</blockquote></div>
<div> </div>
</div>
</div>
<div><u>_______________________________________________</u><br></div>
<div>R-br mailing list<br></div>
<div><a href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a><br></div>
<div><a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br></div>
<div>Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></div>
</blockquote><div> </div>
</div></div></div>

<br>_______________________________________________<br>
R-br mailing list<br>
<a href="mailto:R-br@listas.c3sl.ufpr.br">R-br@listas.c3sl.ufpr.br</a><br>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></blockquote></div><br></div>