[R-br] Fwd: Fwd: Fwd: [Dúvida] Ler dados direto no HD

Segunda Março 28 10:33:40 BRT 2011

Se sua máquina é 64 bits você deve baixar o Ubuntu 64 para que o processador
trabalha em toda sua capacidade.

Pedro

---------- Mensagem encaminhada ----------
De: Leonard Assis [via R-br] <
ml-node+3411684-1335277275-223914 em n4.nabble.com>
Data: 28 de março de 2011 10:17
Assunto: Re: [R-br] Fwd: Fwd: [Dúvida] Ler dados direto no HD
Para: Pedro Rafael Diniz Marinho <pedro.rafael.marinho em gmail.com>

64 bits, desde que seu processador suporte 64 bits
On 28/03/2011, at 09:25, Luis Iván Ortiz Valencia wrote:

> Pegando a linha, desculpem o OFF TOPIC, recomendam o UBUNTU 32 ou o UBUNTU

> 64 bits?
>
> Luis Ivan.
>
> Em 28 de março de 2011 08:54, Pedro Rafael
> <[hidden email]<http://user/SendEmail.jtp?type=node&node=3411684&i=0&by-user=t>>escreveu:

>
>> É Tura, vou voltar ao Free BSD ou mesmo o Linux devido estes gerenciar de

>> uma melhor forma a memória. Vou investir alguns reais em uma CPU. Meu
>> problema eu já resolvi filtrando as variáveis de interesse o que reduziu
 e
>> muito em MB a o tamanho da base de dados. Estou agora tentando entender e
me
>> pondo em uma situação que tenho uma base de dados enorme e como tratar
esse
>> problema no R. Estou percebendo que caso o que eu precise trabalha em uma

>> base de dados que seja realmente grande, ou seja, se mesmo depois de
filtrar
>> meus interesses no banco o a base continua com vários GB tenho que ter
uma
>> memória RAM elevada. Vou olhar com mais carinho o pacote bigmemory e o
SOAR.
>>
>> Pedro
>>
>> ---------- Mensagem encaminhada ----------
>> De: Bernardo Rangel Tura [via R-br] <
>> [hidden email]<http://user/SendEmail.jtp?type=node&node=3411684&i=1&by-user=t>>

>> Data: 28 de março de 2011 06:21
>> Assunto: Re: [R-br] Fwd: [Dúvida] Ler dados direto no HD
>>
>> Para: Pedro Rafael Diniz Marinho <[hidden email]<http://user/SendEmail.jtp?type=node&node=3411684&i=2&by-user=t>>

>>
>>
>> On Sun, 2011-03-27 at 15:20 -0300, Pedro Rafael wrote:
>>
>>> Tura,
>>>
>>> mas mesmo assim isso é um grande problema. Você leu uma base de 12 gb.
>>> Se tivesse lido uma de 1 tera. O R iria tentar colocar tudo na RAM?
>>> Era pra existir algum gerenciamente automático de memória. Se agrava
>>> ainda mais quando estou no Windows. Eu trabalho na secretaria de saúde
>>> com dados do SIM, SINAN e SINASC e na verdade não tenho grandes
>>> problemas mas tava pensando como seria trabalhar com uma base de dados
>>> 50 vezes maior como seria usando o R....? Acho que vou montar um bom
>>> computador com memória RAM lá em cima e comprar uma placa de vídeo da
>>> nvidia e programar em Cuda para fazer as contas diretamente na placa
>>> de video que é mais rápido kkkkkkkkkkkkkkkkkkkkkkkk
>>> Sim Tura ajudou as dicas, como você falou para as base de dados os
>>> comandos que você me passou em que não trasformam em fatores algumas
>>> variaveis melhorou um pouco o problema.
>>>
>>> --
>>> Saudações,
>>> Pedro Rafael Diniz Marinho - Estatístico SES-PB
>>
>> Rafael,
>>
>> Acho que você não entende o problema ...
>>
>> Se você precisa realmente manipular X Gb de dados você tem que ter mais
>> de X Gg de RAM. Volto a repetir nenhum programa do mundo pode trabalhar
>> com dados fora da RAM. Se você usar o dado ele tem que estar na RAM.
>>
>> Acho que você está confundindo o tamanho da base de dados com quanto de
>> RAm você precisa para trabalhar. Recentemente para uma demanda precisei
>> avaliar todas as internações no Brasil em 2008. Ao todo são 324 arquivos
>> totalizando 4,8 Gb logo a maior parte das pessoa dirão preciso de 6 Gb
>> ou mais para mexer nesta base. Porém o conjunto de dados que preciso
>> para a análise totalizava 141 Mb.
>>
>> Desta form fiz um script que li cada base de dados em um diretório
>> selecionava o conjunto de dados (subset) num arquivo temporário e
>> escrevia em csv no disco. Após isto lia todos os arquivos csv de uma vez
>> só e os unificava com rbind em um único arquivo que utilizando save se
>> transformou em 1 arquivo .RData de 141 mb.
>>
>> Este script pode se rodado num computador com 2 Gb de RAM! Afinal o
>> maior arquivo tem menos de 100 Mb.
>>
>> Vou te dar um conselho de alguém que mexe com bases DATASUS faz tempo.
>> larga o windows, os paciente com demência gerenciam suas memorias melhor
>> que ele em 2006 larguei o windows justamente por isso.
>>
>> Se quiser comprar um computador escolha um com vários núcleos (Phenom X6
>> por exemplo)  e compre RAM. Na minha experiência usar CUDA não vale a
>> pena para isto. CUDA é bom para situações onde vc tem uma quantidade
>> enorme de cálculos e não manipulação de dados
>>
>>
>>
>> --
>> []s
>> Tura
>>
>> _______________________________________________
>> R-br mailing list
>> [hidden email]<
http://user/SendEmail.jtp?type=node&node=3411136&i=0&by-user=t>

>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>>
>>
>> ------------------------------
>> If you reply to this email, your message will be added to the discussion
>> below:
>>
>>
http://r-br.2285057.n4.nabble.com/Duvida-Ler-dados-direto-no-HD-tp3400886p3411136.html<http://r-br.2285057.n4.nabble.com/Duvida-Ler-dados-direto-no-HD-tp3400886p3411136.html?by-user=t>
>>
>>
>>
>>
>>
>> --
>> Saudações,
>> Pedro Rafael Diniz Marinho - Estatístico SES-PB
>> Currículo Lattes:
>> http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4250792T6
>>
>>
>> _______________________________________________
>> R-br mailing list
>> [hidden email]<http://user/SendEmail.jtp?type=node&node=3411684&i=3&by-user=t>
>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>>
>>
>
>
> --
> Luis Iván Ortiz Valencia
> Doutorando Saúde Pública - Epidemiologia, IESC, UFRJ
> Estatístico Msc.
> Spatial Analyst Msc.
> ...............................................
> Curriculum Lattes
>
> http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4778724J3
> ...............................................
> Aquarela Cusco Hostel Perú
>
> http://www.aquarelacuscohostel.com/
> ...............................................
> _______________________________________________
> R-br mailing list
> [hidden email]<http://user/SendEmail.jtp?type=node&node=3411684&i=4&by-user=t>
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br

_______________________________________________
R-br mailing list
[hidden email]<http://user/SendEmail.jtp?type=node&node=3411684&i=5&by-user=t>
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br

------------------------------
 If you reply to this email, your message will be added to the discussion
below:
http://r-br.2285057.n4.nabble.com/Duvida-Ler-dados-direto-no-HD-tp3400886p3411684.html
 To unsubscribe from R-br, click
here<http://r-br.2285057.n4.nabble.com/template/NamlServlet.jtp?macro=unsubscribe_by_code&node=3357982&code=cGVkcm8ucmFmYWVsLm1hcmluaG9AZ21haWwuY29tfDMzNTc5ODJ8NTAyMjI0MDYw>.

-- 
Saudações,
Pedro Rafael Diniz Marinho - Estatístico SES-PB
Currículo Lattes:
http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4250792T6
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20110328/30e0e3a1/attachment-0001.html>