
<!DOCTYPE html>

<html>

<head>

<title></title>

</head>

<body><div>A <a href="https://cran.r-project.org/web/views/HighPerformanceComputing.html">CRAN Task View para High Performance Computing</a> pode lhe dar algumas opções. Este artigo sobre <a href="http://www.r-bloggers.com/five-ways-to-handle-big-data-in-r/">Big Data no R</a> também é muito citado.<br></div>

<div> </div>

<div>Você precisa mesmo de manter seus dados fora da RAM? Não é fácil estourar a memória RAM com dados de PNAD, embora eu nunca tenha tentado usar todos dados do Censo de uma só vez. Além disso, você frequentemente pode restringir-se apenas a um subconjunto de variáveis, o que facilita em muito a leitura dos dados e sua alocação na RAM.<br></div>

<div> </div>

<div>Se o motivo de você achar isso é o read.fwf travar, tente importar os dados com alguma alternativa antes de concluir isso. Uma opção é usar a função do pacote readr, e outra é converter para csv usando o fwf2csv do pacote descr e então importar com o fread do pacote data.table.<br></div>

<div> </div>

<div>Talvez a dificuldade maior seja com funções pouco otimizadas. Quando alguém se dá ao trabalho de escrever algo em C ou C++, o resultado costuma ser mais escalável do que código escrito. Além disso, é necessário tomar cuidado com laços <i>for</i> ou <i>apply</i> (que é um <i>for</i> disfarçado). Também sugiro considerar com carinho o uso de <a href="https://cran.r-project.org/web/packages/data.table/index.html">data.table</a> em vez de data.frame (outra alternativa parece ser o <a href="https://cran.r-project.org/web/packages/tibble/index.html">tibble</a>, mas não testei).<br></div>

<div> </div>

<div>Espero ter ajudado.<br></div>

<div> </div>

<div id="sig4487139"><div id="signature" class="signature"><a href="http://lattes.cnpq.br/9234772336296638" title="Currículo Lattes">Leonardo Ferreira Fontenelle</a><br></div>

</div>

<div> </div>

<div> </div>

<div>Em Seg 11 jul. 2016, às 12:24, Edimeire Alexandra Pinto via R-br escreveu:<br></div>

<blockquote type="cite"><div style="color:rgb(0, 0, 0);background-color:rgb(255, 255, 255);font-family:HelveticaNeue, "Helvetica Neue", Helvetica, Arial, "Lucida Grande", sans-serif;font-size:13px;"><div>OI Gente.<br></div>

<div> </div>

<div>Eu descobri que para grandes conjuntos de dados, tipo Censo, Pnad, etc, existe o pacote ffbase, dplyr, sendo que para usar modelos lineares generalizados, podemos usar o pacote. biglm.<br></div>

<div> </div>

<div>No entanto, preciso usar técnicas multivariadas, tipo Análise Fatorial e Discriminante. Alguém sabe qual posso usar quando trabalhamos com dados que "explodem" a memória do R? <br></div>

<div> </div>

<div>Agradeço a todos.<br></div>

</div>

<div><u>_______________________________________________</u><br></div>

<div>R-br mailing list<br></div>

<div><a href="mailto:R-br@listas.c3sl.ufpr.br">R-br@listas.c3sl.ufpr.br</a><br></div>

<div><a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br></div>

<div>Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></div>

</blockquote><div> </div>

</body>

</html>