Fabio,<div><br></div><div>vc usou esses pacotes que o Benilton mencionou?</div><div><br></div><div>abs</div><div class="gmail_extra"><br><br><div class="gmail_quote">2012/11/18 Fabio Mathias Corrêa <span dir="ltr"><<a href="mailto:fabio.ufla@yahoo.com.br" target="_blank">fabio.ufla@yahoo.com.br</a>></span><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div style="font-size:12pt;font-family:times new roman,new york,times,serif"><div><span>Eu já li arquivos .txt de 50Gb em meu laptop com 4 Gb de RAM e processador dual core.</span></div>
<div style="font-style:normal;font-size:16px;background-color:transparent;font-family:'times new roman','new york',times,serif"><span><br></span></div><div style="font-style:normal;font-size:16px;background-color:transparent;font-family:'times new roman','new york',times,serif">
Faça um teste.</div><div style="font-style:normal;font-size:16px;background-color:transparent;font-family:'times new roman','new york',times,serif"><br></div><div style="font-style:normal;font-size:16px;background-color:transparent;font-family:'times new roman','new york',times,serif">
Valeu!</div><div class="im"><div></div><div> </div><div> Fábio Mathias Corrêa<br><br></div><div> Universidade Estadual de Santa Cruz<br>Departamento de Ciências Exatas e da Terra - DCET</div><br><br><div>Campus Soane Nazaré de Andrade, km 16 Rodovia Ilhéus-Itabuna<br>
CEP 45662-900. Ilhéus-Bahia</div><div><br><br></div></div><div>Tel.: 73-3680-5076<br> <div style="font-family:'times new roman','new york',times,serif;font-size:12pt"> <div style="font-family:'times new roman','new york',times,serif;font-size:12pt">
<div dir="ltr"> <font face="Arial"><div class="im"> <hr size="1"> <b><span style="font-weight:bold">De:</span></b> Diogo Ferrari <<a href="mailto:diogoferrari@gmail.com" target="_blank">diogoferrari@gmail.com</a>><br>
</div><b><span style="font-weight:bold">Para:</span></b> <a href="mailto:r-br@listas.c3sl.ufpr.br" target="_blank">r-br@listas.c3sl.ufpr.br</a>; Fabio Mathias Corrêa <<a href="mailto:fabio.ufla@yahoo.com.br" target="_blank">fabio.ufla@yahoo.com.br</a>> <br>
<b><span style="font-weight:bold">Enviadas:</span></b> Domingo, 18 de Novembro de 2012 13:20<div><div class="h5"><br>
<b><span style="font-weight:bold">Assunto:</span></b> Re: [R-br] Cluster para r<br> </div></div></font> </div><div><div class="h5"> <br><div>Legal, não conhecia esse pacote. Mas no caso de bancos de 20 GB, a memória não basta.... <div>
<br><br><div>2012/11/18 Fabio Mathias Corrêa <span dir="ltr"><<a rel="nofollow" href="mailto:fabio.ufla@yahoo.com.br" target="_blank">fabio.ufla@yahoo.com.br</a>></span><br>
<blockquote style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div style="font-size:12pt;font-family:'times new roman','new york',times,serif"><div><span>O pacote bigmemory permite trabalhar com grandes bancos de dados sem sobrecarregar a memória.</span></div>
<div style="font-style:normal;font-size:16px;background-color:transparent"><span><br></span></div><div style="font-style:normal;font-size:16px;background-color:transparent">
<br></div><div></div><div> </div><div> Fábio Mathias Corrêa<br><br></div><div> Universidade Estadual de Santa Cruz<br>Departamento de Ciências Exatas e da Terra - DCET</div><br><br><div>Campus Soane Nazaré de Andrade, km 16 Rodovia Ilhéus-Itabuna<br>
CEP 45662-900. Ilhéus-Bahia</div><div><br><br></div><div>Tel.:
73-3680-5076<br><div> </div><div style="font-size:12pt"><div> </div><div style="font-size:12pt">
<div> <div dir="ltr"> <font face="Arial"> <hr size="1"> <b><span style="font-weight:bold">De:</span></b> Diogo Ferrari <<a rel="nofollow" href="mailto:diogoferrari@gmail.com" target="_blank">diogoferrari@gmail.com</a>><br>
<b><span style="font-weight:bold">Para:</span></b> <a rel="nofollow" href="mailto:r-br@listas.c3sl.ufpr.br" target="_blank">r-br@listas.c3sl.ufpr.br</a>; regis barros <<a rel="nofollow" href="mailto:regisgbarros@yahoo.com.br" target="_blank">regisgbarros@yahoo.com.br</a>> <br>
<b><span style="font-weight:bold">Enviadas:</span></b> Domingo, 18 de Novembro de 2012 12:07<br> <b><span style="font-weight:bold">Assunto:</span></b> Re: [R-br] Cluster para r<br> </font> </div></div><div><div>
<br><div>Ola Regis,<div><br></div><div>Já trabalhei, ou melhor, tentei trabalhar, com R operando em servidor linux. O principal problema é a divisão do processamento. Não é possível dividir o processamento entre os nós. é possível apenas dividir dentro
do próprio núcleo do processador. Eu trabalhei com bases na casa de 20x10^9. A melhor solução que encontrei foi o RevolutionR, fazer proc. paralelo local e converter os arquivos para .xdf (usado pelo revolution). Se o seu problema é computar sobre os dados, e não fazer simulações por exemplo, vc tem que encontrar uma solução que permita isso. É mais um problema de geranciamento e acesso aos dados do que capaciadade de processamento. O R tradicional carrega tudo na memória e, portanto, limita o uso de big data. O .xdf e o RevolutionR solucionam isso permitindo trabalhar com os dados sem carregá-los, além de dividir e indexar o banco, como se faz em SQL, por exemplo. Mas isso vai depender do que vc precisa fazer com os dados. As funções disponível para o RevolutionR são as mais simples.estão no pacote RevoscaleR.</div>
<div><br></div><div>abs</div><div><br><br><div>2012/11/18 regis barros <span dir="ltr"><<a rel="nofollow" href="mailto:regisgbarros@yahoo.com.br" target="_blank">regisgbarros@yahoo.com.br</a>></span><br>
<blockquote style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div style="font-size:12pt"><div>Bom dia Pessoal</div><div>Gostaria de saber de pessoas que trabalham com cluster para linux e usam o r para executar os cálculos e modelos que venho trabalhando. Li nos e-mails anteriores que pessoas que estavam usando uma base de dados de 1*10^9, todavia gostaria de trabalhar com mais do que isto alguém trabalha?</div>
<div>Grato</div><div>Regis Godoy Barros</div><div style="font-size:12pt"><div style="font-size:12pt">
</div> </div> </div></div><br>_______________________________________________<br>
R-br mailing list<br>
<a rel="nofollow" href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a><br>
<a rel="nofollow" href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a rel="nofollow" href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></blockquote></div><br><br clear="all"><div>
<br></div>-- <br>
Diogo Ferrari<div>University of San Paulo (USP)</div><div>Faculty of Philosophy, Languages, Literature and Human Sciences (FFLCH)</div><div>Department of Political Science (DCP)</div><div>San Paulo/SP - Brazil</div><div>
E-mail: <a rel="nofollow" href="mailto:diogo.ferrari@usp.br" target="_blank">diogo.ferrari@usp.br</a></div>
<div><br>Open Source! Use R! Use Linux!</div><div><br></div><div>"A vida é a arte de tirar conclusões suficientes de dados insuficientes"
</div><br>
</div>
</div><br>_______________________________________________<br>R-br mailing list<br><a rel="nofollow" href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a><br><a rel="nofollow" href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a rel="nofollow" href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br><br> </div></div></div> </div> </div></div>
</div><br>_______________________________________________<br>
R-br mailing list<br>
<a rel="nofollow" href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a><br>
<a rel="nofollow" href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a rel="nofollow" href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></blockquote></div><br><br clear="all"><div>
<br></div>-- <br>
Diogo Ferrari<div>University of San Paulo (USP)</div><div>Faculty of Philosophy, Languages, Literature and Human Sciences (FFLCH)</div><div>Department of Political Science (DCP)</div><div>San Paulo/SP - Brazil</div><div>
E-mail: <a rel="nofollow" href="mailto:diogo.ferrari@usp.br" target="_blank">diogo.ferrari@usp.br</a></div>
<div><br>Open Source! Use R! Use Linux!</div><div><br></div><div>"A vida é a arte de tirar conclusões suficientes de dados insuficientes"
</div><br>
</div>
</div><br><br> </div></div></div> </div> </div></div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br>Diogo Ferrari<div>University of San Paulo (USP)</div><div>Faculty of Philosophy, Languages, Literature and Human Sciences (FFLCH)</div>
<div>Department of Political Science (DCP)</div><div>San Paulo/SP - Brazil</div><div>E-mail: <a href="mailto:diogo.ferrari@usp.br" target="_blank">diogo.ferrari@usp.br</a></div><div><br>Open Source! Use R! Use Linux!</div>
<div><br></div><div>"A vida é a arte de tirar conclusões suficientes de dados insuficientes"
</div><br>
</div>