[R-br] Trabalhar com muitos dados

[Benilton Carvalho]

Ok... Comentários específicos  para suas perguntas:

1) experimente armazenar a saída do read.csv.sql numa variável... Ex

X = read.csv.sql(todos os seus argumentos)

Vc verá os warnings, são apenas mensagens de aviso, não erros.

Alternativamente, use o sqlite na linha de comando mesmo... E vc pode
importar o seu csv diretamente daqui, sem necessitar do sqldf.

para regressões, use biglm

2) evite mexer com swap. Use isso apenas como ultimo recurso

3 para auxiliar no garbage collection, ao trabalhar com grandes volumes de
dados, remova os objetos desnecessários e, em seguida, use gc(). O R não é
mau o suficiente para manter em memória objetos que vc já removeu. Esse
recurso é algo do seu sistema operacional, que mantém em cache objetos que
vc usou recentemente, para que não precise carregar novamente qdo vc tentar
trabalhar naqueles dados de  novo. O gc() vai avisar ao sistema operacional
que pode limpar a cache, etc etc etc.

4) na real, paralelismo não tem muito como te ajudar nessa tarefa.

b

On Wednesday, 17 October 2012, Roney Fraga wrote:

> Muito obrigado a todos pelas contribuições, já tenho material para estudar
> algumas semanas.
>
> Benilton, é 64 bit.
> > .Machine$sizeof.pointer
> [1] 8
>
> Abraço
> Roney
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20121017/bbb3e88e/attachment.html>