
<!DOCTYPE html>

<html>

<head>

<title></title>

</head>

<body><ul style="color: rgb(0, 0, 0); font-family: "Times New Roman"; font-size: medium; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 1; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255);"><li>The<span class="Apple-converted-space"> </span><a style="color: blue; background: white;" href="https://cran.r-project.org/web/packages/bigmemory/index.html">bigmemory</a><span class="Apple-converted-space"> </span>package by Kane and Emerson permits storing large objects such as matrices in memory (as well as via files) and uses external pointer objects to refer to them. This permits transparent access from R without bumping against R's internal memory limits. Several R processes on the same computer can also share big memory objects.<br></li></ul><div> </div>

<div id="sig4487139"><div id="signature" class="signature"><a href="http://lattes.cnpq.br/9234772336296638" title="Currículo Lattes">Leonardo Ferreira Fontenelle</a><br></div>

</div>

<div> </div>

<div> </div>

<div>Em Ter 12 jul. 2016, às 16:33, Edimeire Alexandra Pinto escreveu:<br></div>

<blockquote type="cite"><div style="color:rgb(0, 0, 0);background-color:rgb(255, 255, 255);font-family:HelveticaNeue, "Helvetica Neue", Helvetica, Arial, "Lucida Grande", sans-serif;font-size:13px;"><div><span>OI, obrigada pela resposta.</span><br></div>

<div> </div>

<div dir="ltr"><span>Mas acredite, tenho de usar fora da memória RAM. Para manipular os dados, consegui com o pacote ffbase e Biglm, no entanto, no caso de análise discriminante e fatorial, o R não roda, ele trava e acusam excesso de tempo gasto para computar o que eu quero.</span><br></div>

<div dir="ltr"> </div>

<div dir="ltr"><span>Alguém conhece algum pacote?</span><br></div>

<div><div> </div>

</div>

<div style="display:block;"><div style="font-family:HelveticaNeue, "Helvetica Neue", Helvetica, Arial, "Lucida Grande", sans-serif;font-size:13px;"><div style="font-family:HelveticaNeue, "Helvetica Neue", Helvetica, Arial, "Lucida Grande", sans-serif;font-size:16px;"><div dir="ltr"><span class="font" style="font-family:Arial"><span class="size" style="font-size:small">Em Segunda-feira, 11 de Julho de 2016 18:07, Leonardo Fontenelle via R-br <r-br@listas.c3sl.ufpr.br> escreveu:</span></span><br></div>

<div> </div>

<div> </div>

<div><div><div><div>A <a href="https://cran.r-project.org/web/views/HighPerformanceComputing.html" shape="rect">CRAN Task View para High Performance Computing</a> pode lhe dar algumas opções. Este artigo sobre <a href="http://www.r-bloggers.com/five-ways-to-handle-big-data-in-r/" shape="rect">Big Data no R</a> também é muito citado.<br></div>

<div> <br></div>

<div>Você precisa mesmo de manter seus dados fora da RAM? Não é fácil estourar a memória RAM com dados de PNAD, embora eu nunca tenha tentado usar todos dados do Censo de uma só vez. Além disso, você frequentemente pode restringir-se apenas a um subconjunto de variáveis, o que facilita em muito a leitura dos dados e sua alocação na RAM.<br></div>

<div> <br></div>

<div>Se o motivo de você achar isso é o read.fwf travar, tente importar os dados com alguma alternativa antes de concluir isso. Uma opção é usar a função do pacote readr, e outra é converter para csv usando o fwf2csv do pacote descr e então importar com o fread do pacote data.table.<br></div>

<div> <br></div>

<div>Talvez a dificuldade maior seja com funções pouco otimizadas. Quando alguém se dá ao trabalho de escrever algo em C ou C++, o resultado costuma ser mais escalável do que código escrito. Além disso, é necessário tomar cuidado com laços <i>for</i> ou <i>apply</i> (que é um <i>for</i> disfarçado). Também sugiro considerar com carinho o uso de <a href="https://cran.r-project.org/web/packages/data.table/index.html" shape="rect">data.table</a> em vez de data.frame (outra alternativa parece ser o <a href="https://cran.r-project.org/web/packages/tibble/index.html" shape="rect">tibble</a>, mas não testei).<br></div>

<div> <br></div>

<div>Espero ter ajudado.<br></div>

<div> <br></div>

<div><div><a title="Currículo Lattes" href="http://lattes.cnpq.br/9234772336296638" shape="rect">Leonardo Ferreira Fontenelle</a><br></div>

</div>

<div> <br></div>

<div> <br></div>

<div>Em Seg 11 jul. 2016, às 12:24, Edimeire Alexandra Pinto via R-br escreveu:<br></div>

<blockquote type="cite"><div><div style="color:rgb(0, 0, 0);background-color:rgb(255, 255, 255);"><div>OI Gente.<br></div>

<div> <br></div>

<div>Eu descobri que para grandes conjuntos de dados, tipo Censo, Pnad, etc, existe o pacote ffbase, dplyr, sendo que para usar modelos lineares generalizados, podemos usar o pacote. biglm.<br></div>

<div> <br></div>

<div>No entanto, preciso usar técnicas multivariadas, tipo Análise Fatorial e Discriminante. Alguém sabe qual posso usar quando trabalhamos com dados que "explodem" a memória do R? <br></div>

<div> <br></div>

<div>Agradeço a todos.<br></div>

</div>

</div>

<div><u>_______________________________________________</u><br></div>

<div>R-br mailing list<br></div>

<div><a href="mailto:R-br@listas.c3sl.ufpr.br" shape="rect">R-br@listas.c3sl.ufpr.br</a><br></div>

<div><a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" shape="rect">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br></div>

<div>Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" shape="rect">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></div>

</blockquote><div> <br></div>

</div>

</div>

<div> </div>

<div><div>_______________________________________________<br></div>

<div>R-br mailing list<br></div>

<div><a href="mailto:R-br@listas.c3sl.ufpr.br" shape="rect">R-br@listas.c3sl.ufpr.br</a><br></div>

<div><a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" shape="rect">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br></div>

<div>Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" shape="rect">http://www.leg.ufpr.br/r-br-guia</a>) e forne� c�igo m�imo reproduz�el.<br></div>

</div>

<div> </div>

</div>

</div>

</div>

</div>

</div>

</blockquote><div> </div>

</body>

</html>