[R-br] Fwd: [Dúvida] Ler dados direto no HD

[Benilton Carvalho]

O R existe na forma que conhecemos hoje gracas a contribuicoes de
muitos desenvolvedores que, na maior parte das partes, "funcionam
apenas pelo entusiasmo" (nao sao pagos para isso). Por isso, existem
itens que acabam sendo tratados de forma secundaria quando comparados
a outras aplicacoes. Isso ainda fica mais grave quando voce observa a
numero de aplicacoes em que podemos usar o R (por exemplo, se ele
fosse apenas para lidar com DBF, tenho certeza que mais opcoes
estariam disponiveis).

Projetos como ff, bigmemory, ncdf tentam prover uma solucao para o
problema que voce descreve, mas ainda com limitacoes. A R Foundation
entende que a manipulacao de bases de dados grandes e' um problema
relevante (o ff e o bigmemory foram premiados por suas solucoes), mas
as restricoes nesses produtos ainda sao significativas o suficiente
para evitar que elas sejam embutidas no R-base para funcionamento
transparente. Tenho certeza que uma vez que elas produzam os
resultados esperados, as mesmas serao trazidas para o R-base e todos
poderao beneficiar-se usando modelos de programacao mais naturais.

Outras propostas tambem podem ser feitas e e' comum apresenta-las em
projetos como o Google Summer of Code.

Sobre o uso de CUDA, se voce estiver mesmo disposto a tentar algo
como, veja os pacotes 'rgpu' e 'gputools'. E tambem lembre-se da
existencia de restricoes na distribuicao do codigo (dependendo das
ferramentas que vc usar, vide as opcoes de licenca do CULA). Por
enquanto, nao sao todos os hardwares da NVIDIA que permitem calculos
em precisao dupla...

Em contrapartida, uma opcao que "permite cobranca" eh o uso de
ferramentas como a implementacao do R provida pela Revolution
Analytics...

b

2011/3/27 Pedro Rafael <pedro.rafael.marinho em gmail.com>:
> Tura,
>
> mas mesmo assim isso é um grande problema. Você leu uma base de 12 gb. Se
> tivesse lido uma de 1 tera. O R iria tentar colocar tudo na RAM? Era pra
> existir algum gerenciamente automático de memória. Se agrava ainda mais
> quando estou no Windows. Eu trabalho na secretaria de saúde com dados do
> SIM, SINAN e SINASC e na verdade não tenho grandes problemas mas tava
> pensando como seria trabalhar com uma base de dados 50 vezes maior como
> seria usando o R....? Acho que vou montar um bom computador com memória RAM
> lá em cima e comprar uma placa de vídeo da nvidia e programar em Cuda para
> fazer as contas diretamente na placa de video que é mais rápido
> kkkkkkkkkkkkkkkkkkkkkkkk
> Sim Tura ajudou as dicas, como você falou para as base de dados os comandos
> que você me passou em que não trasformam em fatores algumas variaveis
> melhorou um pouco o problema.
>
> --
> Saudações,
> Pedro Rafael Diniz Marinho - Estatístico SES-PB
> Currículo Lattes:
> http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4250792T6
> ---------- Mensagem encaminhada ----------
> De: Bernardo Rangel Tura [via R-br]
> <ml-node+3404314-1098973867-223914 em n4.nabble.com>
> Data: 24 de março de 2011 23:45
> Assunto: Re: [R-br] [Dúvida] Ler dados direto no HD
> Para: Pedro Rafael Diniz Marinho <pedro.rafael.marinho em gmail.com>
>
>
> On Thu, 2011-03-24 at 09:16 -0300, Leandro Marino wrote:
>> Tura,
>>
>> sou usuário assíduo do SOAR, mas em alguns casos não recomendo.
>> Supondo que o Pedro esteja com o R sem nenhum outro objeto salvo na
>> memoria e o sistema não está suportando, o SOAR nada mais vai fazer do
>> que retirar os objetos da RAM e colocar no HD, mas todas as vezes que
>> você precisar utilizá-lo ele colocará de novo o objeto na RAM.
>> Portanto, não vejo justificativa para o uso do SOAR em alguns casos.
>>
>> Por favor, me corrija se estiver errado
>>
>> um abraço,
>> Leandro
>>
>> Atenciosamente,
>> Leandro Marino
> Leandro,
>
> Usei o SOAR uma ou duas vezes.
>
> Na imensa maioria das vezes não tenho problema com memoria no R.
>
> Tive muitos problemas até outubro de 2006 quando abandonei o Windows e
> mudei para o Linux (uso Ubuntu); depois disso quase não ocorreram...
>
> Atualmente uso um R compilado para 64 bits otimizado para o meu Phenom
> (processador de 64 bits)  com 16 Gb de RAM e esta semana utilizei um
> banco de 12 Gb sem problema.
>
> A princípio sua observação é verdade mas com não temos outros detalhes
> dei algumas sugestões genéricas
> --
> []s
> Tura
>
> _______________________________________________
> R-br mailing list
> [hidden email]
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>
>
> ________________________________
> If you reply to this email, your message will be added to the discussion
> below:
> http://r-br.2285057.n4.nabble.com/Duvida-Ler-dados-direto-no-HD-tp3400886p3404314.html
> To unsubscribe from R-br, click here.
>
>
> --
> Saudações,
> Pedro Rafael Diniz Marinho - Estatístico SES-PB
> Currículo
> Lattes: http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4250792T6
>
> _______________________________________________
> R-br mailing list
> R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>
>