Sim, fazer SQLite via sqldf ou RSQLite ou o próprio sqlite3 na linha de comando dá o mesmo resultado final. A minha sugestão em usar o sqlite3 é que o overhead é bem menor, pois vc trabalha direto na fonte e vc consegue importar csv sem problemas. A solução em R é bonitinha, mas algumas vezes vc pode ter um ganho em fazer diretamente na ferramenta alvo (SQLite).<span></span><br>
<br>On Wednesday, 17 October 2012, Fred wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div bgcolor="#FFFFFF" text="#000000">
<div>Em 17-10-2012 11:01, Benilton Carvalho
escreveu:<br>
</div>
<blockquote type="cite">Ok... Comentários específicos para suas perguntas:
<div><br>
</div>
<div>1) experimente armazenar a saída do read.csv.sql numa
variável... Ex</div>
<div><br>
</div>
X = read.csv.sql(todos os seus argumentos)
<div><br>
</div>
<div>
Vc verá os warnings, são apenas mensagens de aviso, não erros.</div>
<div><br>
</div>
<div>Alternativamente, use o sqlite na linha de comando mesmo... E
vc pode importar o seu csv diretamente daqui, sem necessitar do
sqldf.</div>
<div><br>
</div>
<div>para regressões, use biglm</div>
<div><br>
</div>
<div>2) evite mexer com swap. Use isso apenas como ultimo recurso</div>
<div><br>
</div>
<div><span></span>3 para auxiliar no garbage collection, ao
trabalhar com grandes volumes de dados, remova os objetos
desnecessários e, em seguida, use gc(). O R não é mau o
suficiente para manter em memória objetos que vc já removeu.
Esse recurso é algo do seu sistema operacional, que mantém em
cache objetos que vc usou recentemente, para que não precise
carregar novamente qdo vc tentar trabalhar naqueles dados de
novo. O gc() vai avisar ao sistema operacional que pode limpar
a cache, etc etc etc.</div>
<div><br>
</div>
<div>4) na real, paralelismo não tem muito como te ajudar nessa
tarefa.</div>
<div><br>
</div>
<div>b<span></span><br>
<div><br>
On Wednesday, 17 October 2012, Roney Fraga wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Muito obrigado a todos pelas contribuições, já tenho
material para estudar algumas semanas.
<div><br>
</div>
<div>Benilton, é 64 bit.</div>
<div>> .Machine$sizeof.pointer </div>
<div>[1] 8</div>
<div><br>
</div>
<div>Abraço</div>
<div>Roney</div>
</blockquote>
</div>
</div>
<br>
<fieldset></fieldset>
<br>
<pre>_______________________________________________
R-br mailing list
<a href="javascript:_e({}, 'cvml', 'R-br@listas.c3sl.ufpr.br');" target="_blank">R-br@listas.c3sl.ufpr.br</a>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a>
Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.</pre>
</blockquote>
A forma que encontrei de resolver o problema para se trabalhar com
grande volumes de dados foi conectando a um banco de dados.<br>
No meu caso, estou usando o SQLite com o pacote sqldf.<br>
<br>
Pelo menos no meu caso, o ganho de desempenho foi incrível, uma vez
que não preciso mais ficar carregando dados, sem falar que a
capacidade agora está na casa dos TB.<br>
<br>
Saudações<br>
<br>
<pre cols="72">--
Frederico Steinmetz Alvarez
Engenheiro Eletricista e de Produção
Mestrando em Engenharia Eólica
Laboratório Didático Pedagógico - Mecânica dos Fluidos LDP-FLU
Grupo de Mecânica dos Fluidos Ambientais da UFPE
Homepage ( <a href="http://www.ufpe.br/mecfluamb/" target="_blank">www.ufpe.br/mecfluamb/</a> )
Universidade Federal de Pernambuco - UFPE
Departamento de Engenharia Mecânica
Fones: (48) 9143-5141 (VIVO)
(81) 8885-1105 (OI)</pre>
</div>
</blockquote>