<html><body><div style="color:#000; background-color:#fff; font-family:times new roman, new york, times, serif;font-size:12pt"><div><span>Boa noite Pessoal</span></div><div style="color: rgb(0, 0, 0); font-size: 16px; font-family: 'times new roman', 'new york', times, serif; background-color: transparent; font-style: normal;"><span>Irei fazer uns testes com as idéias de vocês todavia tenho que fazer modelagens com os dados que disponho e como minha base de dados está próximo dos 20GB estou ficando preocupado com a questão do cluster. Outro ponto inicialmente irei usar duas máquinas depois extender para um total de 35 máquinas o cluster que estou construindo aqui.</span></div><div style="color: rgb(0, 0, 0); font-size: 16px; font-family: 'times new roman', 'new york', times, serif; background-color: transparent; font-style: normal;"><span>Regis</span></div><div><br></div> <div style="font-family: 'times new roman', 'new york', times, serif;
font-size: 12pt;"> <div style="font-family: 'times new roman', 'new york', times, serif; font-size: 12pt;"> <div dir="ltr"> <font size="2" face="Arial"> <hr size="1"> <b><span style="font-weight:bold;">De:</span></b> Benilton Carvalho <beniltoncarvalho@gmail.com><br> <b><span style="font-weight: bold;">Para:</span></b> r-br <r-br@listas.c3sl.ufpr.br> <br> <b><span style="font-weight: bold;">Enviadas:</span></b> Domingo, 18 de Novembro de 2012 18:58<br> <b><span style="font-weight: bold;">Assunto:</span></b> Re: [R-br] Cluster para r<br> </font> </div> <br><meta http-equiv="x-dns-prefetch-control" content="off"><div id="yiv1180098948">no 'R normal', vc deve usar HDF5 ou NetCDF combinado com Rmpi para trabalhar com volumes de dados maiores.<div class="yiv1180098948gmail_extra"><br><br><div class="yiv1180098948gmail_quote">2012/11/18 Diogo Ferrari <span dir="ltr"><<a rel="nofollow" ymailto="mailto:diogoferrari@gmail.com" target="_blank"
href="mailto:diogoferrari@gmail.com">diogoferrari@gmail.com</a>></span><br>
<blockquote class="yiv1180098948gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">Oi Benilton<div><br></div><div>Valeu pela dica. Eu me referia ao proc paralelo com o R revolution mesmo, não com o pacote rmpi. Fiz isso por causa do tamanho do banco que precisava utilizar, que com o R normal (carregando na memoria) seria muito problematico e impossível em certas tarefas.</div>
<div><br></div><div>abs</div><div class="yiv1180098948HOEnZb"><div class="yiv1180098948h5"><div class="yiv1180098948gmail_extra"><br><br><div class="yiv1180098948gmail_quote">2012/11/18 Benilton Carvalho <span dir="ltr"><<a rel="nofollow" ymailto="mailto:beniltoncarvalho@gmail.com" target="_blank" href="mailto:beniltoncarvalho@gmail.com">beniltoncarvalho@gmail.com</a>></span><br>
<blockquote class="yiv1180098948gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div dir="ltr">Diogo, sua afirmação é incorreta. Eu uso o R diariamente em cluster MPI sem problemas. Divido as tarefas sem problemas entre os nós.... Veja o pacote Rmpi... Depois disso, vc pode começar a ver os outros pacotes associados. b</div>
<div><div>
<div class="yiv1180098948gmail_quote">On 18 Nov 2012 14:07, "Diogo Ferrari" <<a rel="nofollow" ymailto="mailto:diogoferrari@gmail.com" target="_blank" href="mailto:diogoferrari@gmail.com">diogoferrari@gmail.com</a>> wrote:<br><blockquote class="yiv1180098948gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
Ola Regis,<div><br></div><div>Já trabalhei, ou melhor, tentei trabalhar, com R operando em servidor linux. O principal problema é a divisão do processamento. Não é possível dividir o processamento entre os nós. é possível apenas dividir dentro do próprio núcleo do processador. Eu trabalhei com bases na casa de 20x10^9. A melhor solução que encontrei foi o RevolutionR, fazer proc. paralelo local e converter os arquivos para .xdf (usado pelo revolution). Se o seu problema é computar sobre os dados, e não fazer simulações por exemplo, vc tem que encontrar uma solução que permita isso. É mais um problema de geranciamento e acesso aos dados do que capaciadade de processamento. O R tradicional carrega tudo na memória e, portanto, limita o uso de big data. O .xdf e o RevolutionR solucionam isso permitindo trabalhar com os dados sem carregá-los, além de dividir e indexar o banco, como se faz em SQL, por exemplo. Mas isso vai depender
do que vc precisa fazer com os dados. As funções disponível para o RevolutionR são as mais simples.estão no pacote RevoscaleR.</div>
<div><br></div><div>abs</div><div class="yiv1180098948gmail_extra"><br><br><div class="yiv1180098948gmail_quote">2012/11/18 regis barros <span dir="ltr"><<a rel="nofollow" ymailto="mailto:regisgbarros@yahoo.com.br" target="_blank" href="mailto:regisgbarros@yahoo.com.br">regisgbarros@yahoo.com.br</a>></span><br>
<blockquote class="yiv1180098948gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div><div style="font-size: 12pt; font-family: 'times new roman', 'new york', times, serif;"><div>Bom dia Pessoal</div><div>Gostaria de saber de pessoas que trabalham com cluster para linux e usam o r para executar os cálculos e modelos que venho trabalhando. Li nos e-mails anteriores que pessoas que estavam usando uma base de dados de 1*10^9, todavia gostaria de trabalhar com mais do que isto alguém trabalha?</div>
<div>Grato</div><div>Regis Godoy Barros</div><div style="font-size:12pt;"><div style="font-size:12pt;">
</div> </div> </div></div><br>_______________________________________________<br>
R-br mailing list<br>
<a rel="nofollow" ymailto="mailto:R-br@listas.c3sl.ufpr.br" target="_blank" href="mailto:R-br@listas.c3sl.ufpr.br">R-br@listas.c3sl.ufpr.br</a><br>
<a rel="nofollow" target="_blank" href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a rel="nofollow" target="_blank" href="http://www.leg.ufpr.br/r-br-guia">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></blockquote></div><br><br clear="all"><div><br></div>-- <br>
Diogo Ferrari<div>University of San Paulo (USP)</div><div>Faculty of Philosophy, Languages, Literature and Human Sciences (FFLCH)</div><div>Department of Political Science (DCP)</div><div>San Paulo/SP - Brazil</div><div>
E-mail: <a rel="nofollow" ymailto="mailto:diogo.ferrari@usp.br" target="_blank" href="mailto:diogo.ferrari@usp.br">diogo.ferrari@usp.br</a></div>
<div><br>Open Source! Use R! Use Linux!</div><div><br></div><div>"A vida é a arte de tirar conclusões suficientes de dados insuficientes"
</div><br>
</div>
<br>_______________________________________________<br>
R-br mailing list<br>
<a rel="nofollow" ymailto="mailto:R-br@listas.c3sl.ufpr.br" target="_blank" href="mailto:R-br@listas.c3sl.ufpr.br">R-br@listas.c3sl.ufpr.br</a><br>
<a rel="nofollow" target="_blank" href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a rel="nofollow" target="_blank" href="http://www.leg.ufpr.br/r-br-guia">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></blockquote></div>
</div></div><br>_______________________________________________<br>
R-br mailing list<br>
<a rel="nofollow" ymailto="mailto:R-br@listas.c3sl.ufpr.br" target="_blank" href="mailto:R-br@listas.c3sl.ufpr.br">R-br@listas.c3sl.ufpr.br</a><br>
<a rel="nofollow" target="_blank" href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a rel="nofollow" target="_blank" href="http://www.leg.ufpr.br/r-br-guia">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></blockquote></div><br><br clear="all"><div><br></div>-- <br>
Diogo Ferrari<div>University of San Paulo (USP)</div><div>Faculty of Philosophy, Languages, Literature and Human Sciences (FFLCH)</div><div>Department of Political Science (DCP)</div><div>San Paulo/SP - Brazil</div><div>
E-mail: <a rel="nofollow" ymailto="mailto:diogo.ferrari@usp.br" target="_blank" href="mailto:diogo.ferrari@usp.br">diogo.ferrari@usp.br</a></div>
<div><br>Open Source! Use R! Use Linux!</div><div><br></div><div>"A vida é a arte de tirar conclusões suficientes de dados insuficientes"
</div><br>
</div>
</div></div><br>_______________________________________________<br>
R-br mailing list<br>
<a rel="nofollow" ymailto="mailto:R-br@listas.c3sl.ufpr.br" target="_blank" href="mailto:R-br@listas.c3sl.ufpr.br">R-br@listas.c3sl.ufpr.br</a><br>
<a rel="nofollow" target="_blank" href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a rel="nofollow" target="_blank" href="http://www.leg.ufpr.br/r-br-guia">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></blockquote></div><br></div>
</div><meta http-equiv="x-dns-prefetch-control" content="on"><br>_______________________________________________<br>R-br mailing list<br><a ymailto="mailto:R-br@listas.c3sl.ufpr.br" href="mailto:R-br@listas.c3sl.ufpr.br">R-br@listas.c3sl.ufpr.br</a><br><a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br><br> </div> </div> </div></body></html>