[R-br] Otimizando desempenho do Servidor - dados grandes

[Leonardo Ferreira Fontenelle]

A seguinte página deve lhe apresentar as ferramentas disponíveis: http://cran.r-project.org/web/views/HighPerformanceComputing.html

Pelo que você está dizendo, parece que você já consegue carregar todos
os dados na memória, o problema é o tempo de processamento. Talvez valha
a pena começar usando uma data.table[1] em vez de data.frame. Eu costumo
utilizar sempre que possível os pacotes que já vêm instalados com o R, e
mesmo assim eventualmente "me rendi" ao data.table. Uso para microdados
de inquéritos do IBGE, e ocasionalmente até mesmo para dados "pequenos".

Outra dica é utilizar apenas uma amostra de seus dados em procedimentos
iniciais, como por exemplo testar se um determinado código funciona ou
verificar a distribuição de uma variável.

Boa sorte,

Leonardo Ferreira Fontenelle[2]


Em Ter 2 jun. 2015, às 11:47, Pedro Emmanuel Alvarenga Americano do
Brasil escreveu:
> Amigos de R,
>
> Eu venho com um dúvida de iniciante, porque nunca trabalhei assim. Eu
> não entendo muito de informática por isso estou sem luz no caminho.
> Bom, a minha questão é que me envolvi num projeto em que os dado são
> na caso de centenas de milhares de linhas, com umas 150 colunas.
>
> Estou trabalhando numa área de trabalho remota num servidor windows
> 2008. Eu não sei quais as especificaçõs do servidor, mas essa área
> esta servidor está servindo somente para esse fim.
>
> Então gostaria de uma luz ou do que ler para otimizar o tempo de
> processamento nas ediçoes e nas análises. Algum tutorial ou alguma
> dica que aproveite melhor o meu tempo de espera.
>
> O que ja fucei que é pouco...
>
> > memory.size(max = FALSE)
> [1] 1044.11
> > memory.size(max = T)
> [1] 1814.94
> > memory.limit(size = NA)
> [1] 4095
> >
>
> Abraço,
>
> Pedro Brasil
> _________________________________________________
> R-br mailing list R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia
> de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo
> reproduzível.



Links:

  1. data.table
     http://cran.r-project.org/web/packages/data.table/index.html
  2. http://lattes.cnpq.br/9234772336296638
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20150602/04b5b17e/attachment.html>