O R existe na forma que conhecemos hoje gracas a contribuicoes de muitos desenvolvedores que, na maior parte das partes, "funcionam apenas pelo entusiasmo" (nao sao pagos para isso). Por isso, existem itens que acabam sendo tratados de forma secundaria quando comparados a outras aplicacoes. Isso ainda fica mais grave quando voce observa a numero de aplicacoes em que podemos usar o R (por exemplo, se ele fosse apenas para lidar com DBF, tenho certeza que mais opcoes estariam disponiveis). Projetos como ff, bigmemory, ncdf tentam prover uma solucao para o problema que voce descreve, mas ainda com limitacoes. A R Foundation entende que a manipulacao de bases de dados grandes e' um problema relevante (o ff e o bigmemory foram premiados por suas solucoes), mas as restricoes nesses produtos ainda sao significativas o suficiente para evitar que elas sejam embutidas no R-base para funcionamento transparente. Tenho certeza que uma vez que elas produzam os resultados esperados, as mesmas serao trazidas para o R-base e todos poderao beneficiar-se usando modelos de programacao mais naturais. Outras propostas tambem podem ser feitas e e' comum apresenta-las em projetos como o Google Summer of Code. Sobre o uso de CUDA, se voce estiver mesmo disposto a tentar algo como, veja os pacotes 'rgpu' e 'gputools'. E tambem lembre-se da existencia de restricoes na distribuicao do codigo (dependendo das ferramentas que vc usar, vide as opcoes de licenca do CULA). Por enquanto, nao sao todos os hardwares da NVIDIA que permitem calculos em precisao dupla... Em contrapartida, uma opcao que "permite cobranca" eh o uso de ferramentas como a implementacao do R provida pela Revolution Analytics... b 2011/3/27 Pedro Rafael <pedro.rafael.marinho@gmail.com>:
Tura,
mas mesmo assim isso é um grande problema. Você leu uma base de 12 gb. Se tivesse lido uma de 1 tera. O R iria tentar colocar tudo na RAM? Era pra existir algum gerenciamente automático de memória. Se agrava ainda mais quando estou no Windows. Eu trabalho na secretaria de saúde com dados do SIM, SINAN e SINASC e na verdade não tenho grandes problemas mas tava pensando como seria trabalhar com uma base de dados 50 vezes maior como seria usando o R....? Acho que vou montar um bom computador com memória RAM lá em cima e comprar uma placa de vídeo da nvidia e programar em Cuda para fazer as contas diretamente na placa de video que é mais rápido kkkkkkkkkkkkkkkkkkkkkkkk Sim Tura ajudou as dicas, como você falou para as base de dados os comandos que você me passou em que não trasformam em fatores algumas variaveis melhorou um pouco o problema.
-- Saudações, Pedro Rafael Diniz Marinho - Estatístico SES-PB Currículo Lattes: http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4250792T6 ---------- Mensagem encaminhada ---------- De: Bernardo Rangel Tura [via R-br] <ml-node+3404314-1098973867-223914@n4.nabble.com> Data: 24 de março de 2011 23:45 Assunto: Re: [R-br] [Dúvida] Ler dados direto no HD Para: Pedro Rafael Diniz Marinho <pedro.rafael.marinho@gmail.com>
On Thu, 2011-03-24 at 09:16 -0300, Leandro Marino wrote:
Tura,
sou usuário assíduo do SOAR, mas em alguns casos não recomendo. Supondo que o Pedro esteja com o R sem nenhum outro objeto salvo na memoria e o sistema não está suportando, o SOAR nada mais vai fazer do que retirar os objetos da RAM e colocar no HD, mas todas as vezes que você precisar utilizá-lo ele colocará de novo o objeto na RAM. Portanto, não vejo justificativa para o uso do SOAR em alguns casos.
Por favor, me corrija se estiver errado
um abraço, Leandro
Atenciosamente, Leandro Marino Leandro,
Usei o SOAR uma ou duas vezes.
Na imensa maioria das vezes não tenho problema com memoria no R.
Tive muitos problemas até outubro de 2006 quando abandonei o Windows e mudei para o Linux (uso Ubuntu); depois disso quase não ocorreram...
Atualmente uso um R compilado para 64 bits otimizado para o meu Phenom (processador de 64 bits) com 16 Gb de RAM e esta semana utilizei um banco de 12 Gb sem problema.
A princípio sua observação é verdade mas com não temos outros detalhes dei algumas sugestões genéricas -- []s Tura
_______________________________________________ R-br mailing list [hidden email] https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
________________________________ If you reply to this email, your message will be added to the discussion below: http://r-br.2285057.n4.nabble.com/Duvida-Ler-dados-direto-no-HD-tp3400886p34... To unsubscribe from R-br, click here.
-- Saudações, Pedro Rafael Diniz Marinho - Estatístico SES-PB Currículo Lattes: http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4250792T6
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br