[R-br] Bases Grandes

[Gerson R. Primo Jr]

Rodrigo e Benilton,

Os dados estão no formato .csv e o pacote sqldf foi bastante útil...  além
de diminuir ~10% no uso de minha memoria RAW, com ele faço alguns
agrupamento pelo GROUP BY, que não estava conseguindo pelo aggregate.

Um pacote interessante, que encontrei na internet foi o SOAR. Pelo pouco
que entendi, esse pacote guarda seus dados em cache no seu HD e deixa as
bases "pré-carregados", assim não ocupa a memoria quanto não estiver
usando. Para quem trabalha com varias bases ao mesmo tempo... é uma boa.
O uso dele é bastante simples. Veja o exemplo no link abaixo.
http://www.r-bloggers.com/memory-management-in-r-and-soar/

Obrigado a todos pela ajuda!! :)






*Att,Gerson R. Primo Jr*



2014-02-07 13:54 GMT-02:00 Benilton Carvalho <beniltoncarvalho em gmail.com>:

> pacotes ff ou bigmemory, dependendo do tipo dos dados. b
>
>
> Em 7 de fevereiro de 2014 13:18, Rodrigo Coster <rcoster em gmail.com>escreveu:
>
> Uma resposta mais precisa depende do formato original dos teus dados (são
>> CSV, largura fixa, ...). Eu tive sucesso lendo os microdados do ENEM (6gb)
>> com os pacotes sqldf e RSQLite.
>>
>> Talvez esses links te ajudem:
>>
>> http://metodologiapolitica.com/639/
>> http://metodologiapolitica.com/microdados-no-r/ e
>> http://metodologiapolitica.com/microdados-parte-2/
>>
>> http://stackoverflow.com/questions/18720036/reading-big-data-with-fixed-width
>>
>>
>>
>>
>> 2014-02-07 Jose Claudio Faria <joseclaudio.faria em gmail.com>:
>>
>> Bem interessante o link:
>>>
>>> http://www.revista.espiritolivre.org/a-ambiciosa-linguagem-de-programacao-que-quer-substituir-python-r-e-matlab
>>>
>>> Se funcionar bem (como promete) será um sonho!
>>> --
>>> ///\\\///\\\///\\\///\\\///\\\///\\\///\\\///\\\
>>> Jose Claudio Faria
>>> Estatistica
>>> UESC/DCET/Brasil
>>> joseclaudio.faria at gmail.com
>>> Telefones:
>>> 55(73)3680.5545 - UESC
>>> 55(73)9100.7351 - TIM
>>> 55(73)8817.6159 - OI
>>> ///\\\///\\\///\\\///\\\///\\\///\\\///\\\///\\\
>>> _______________________________________________
>>> R-br mailing list
>>> R-br em listas.c3sl.ufpr.br
>>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
>>> código mínimo reproduzível.
>>>
>>
>>
>> _______________________________________________
>> R-br mailing list
>> R-br em listas.c3sl.ufpr.br
>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
>> código mínimo reproduzível.
>>
>
>
> _______________________________________________
> R-br mailing list
> R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código mínimo reproduzível.
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20140211/6ad369c0/attachment.html>