De: Diogo Ferrari <diogoferrari@gmail.com>
Para: r-br@listas.c3sl.ufpr.br; regis barros <regisgbarros@yahoo.com.br>
Enviadas: Domingo, 18 de Novembro de 2012 12:07
Assunto: Re: [R-br] Cluster para r
Ola Regis,
Já trabalhei, ou melhor, tentei trabalhar, com R operando em servidor linux. O principal problema é a divisão do processamento. Não é possível dividir o processamento entre os nós. é possível apenas dividir dentro
do próprio núcleo do processador. Eu trabalhei com bases na casa de 20x10^9. A melhor solução que encontrei foi o RevolutionR, fazer proc. paralelo local e converter os arquivos para .xdf (usado pelo revolution). Se o seu problema é computar sobre os dados, e não fazer simulações por exemplo, vc tem que encontrar uma solução que permita isso. É mais um problema de geranciamento e acesso aos dados do que capaciadade de processamento. O R tradicional carrega tudo na memória e, portanto, limita o uso de big data. O .xdf e o RevolutionR solucionam isso permitindo trabalhar com os dados sem carregá-los, além de dividir e indexar o banco, como se faz em SQL, por exemplo. Mas isso vai depender do que vc precisa fazer com os dados. As funções disponível para o RevolutionR são as mais simples.estão no pacote RevoscaleR.
abs
_______________________________________________
R-br mailing list
R-br@listas.c3sl.ufpr.brhttps://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-brLeia o guia de postagem (
http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.