obrigado pelas dicas...desculpe Benilton.<br><br><div class="gmail_quote">Em 28 de março de 2011 11:51, Bernardo Rangel Tura <span dir="ltr"><<a href="mailto:tura@centroin.com.br">tura@centroin.com.br</a>></span> escreveu:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
<div bgcolor="#ffffff">
<font size="2">Luiz,
<br>
<br>se você for trabalhar com mais de 4Gb de RAM use tudo 64-bits (processador e sistema) senão use tudo 32-bits
<br>
<br>[]s
<br>Tura
<br><div class="im">
<br><b>---------- Original Message
-----------</b>
<br>
From: Luis Iván Ortiz Valencia <<a href="mailto:liov2067@gmail.com" target="_blank">liov2067@gmail.com</a>>
<br>
To: <a href="mailto:r-br@listas.c3sl.ufpr.br" target="_blank">r-br@listas.c3sl.ufpr.br</a>
<br></div><div><div></div><div class="h5">
Sent: Mon, 28 Mar 2011 09:25:42 -0300
<br>
Subject: Re: [R-br] Fwd: Fwd: [Dúvida] Ler dados direto no HD
<br>
<br>> Pegando a linha, desculpem o OFF TOPIC, recomendam o UBUNTU 32 ou o
UBUNTU 64 bits?
<br>>
<br>> Luis Ivan.
<br>>
<br>> Em 28 de março de
2011 08:54, Pedro Rafael <span dir="ltr"><<a href="mailto:pedro.rafael.marinho@gmail.com" target="_blank">pedro.rafael.marinho@gmail.com</a>></span>
escreveu:
<br>>
<blockquote style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;" class="gmail_quote">É Tura, vou voltar ao Free BSD
ou mesmo o Linux devido estes gerenciar de uma melhor forma a memória. Vou
investir alguns reais em uma CPU. Meu problema eu já resolvi filtrando as
variáveis de interesse o que reduziu e muito em MB a o tamanho da base de
dados. Estou agora tentando entender e me pondo em uma situação que tenho uma
base de dados enorme e como tratar esse problema no R. Estou percebendo que caso
o que eu precise trabalha em uma base de dados que seja realmente grande, ou
seja, se mesmo depois de filtrar meus interesses no banco o a base continua com
vários GB tenho que ter uma memória RAM elevada. Vou olhar com mais carinho o
pacote bigmemory e o SOAR.
<br>>
<br>> Pedro
<br>>
<br>> ----------
Mensagem encaminhada ----------
<br>> De: <b class="gmail_sendername">Bernardo
Rangel Tura [via R-br]</b> <span dir="ltr"><<a href="mailto:ml-node%2B3411136-758674982-223914@n4.nabble.com" target="_blank">ml-node+3411136-758674982-223914@n4.nabble.com</a>></span>
<br>>
Data: 28 de março de 2011 06:21
<br>> Assunto: Re: [R-br] Fwd: [Dúvida] Ler
dados direto no HD
<br>>
<br>> Para: Pedro Rafael Diniz Marinho <<a href="mailto:pedro.rafael.marinho@gmail.com" target="_blank">pedro.rafael.marinho@gmail.com</a>>
<br>>
<br>>
On Sun, 2011-03-27 at 15:20 -0300, Pedro Rafael
wrote:
<br>>
<br>> >
Tura,
<br>> >
<br>> > mas mesmo assim isso é um grande problema. Você leu uma base de 12
gb.
<br>> > Se tivesse lido uma de 1 tera. O R iria tentar colocar tudo na
RAM?
<br>> > Era pra existir algum gerenciamente automático de memória. Se
agrava
<br>> > ainda mais quando estou no Windows. Eu trabalho na secretaria de
saúde
<br>> > com dados do SIM, SINAN e SINASC e na verdade não tenho
grandes
<br>> > problemas mas tava pensando como seria trabalhar com uma base de
dados
<br>> > 50 vezes maior como seria usando o R....? Acho que vou montar um
bom
<br>> > computador com memória RAM lá em cima e comprar uma placa de vídeo
da
<br>> > nvidia e programar em Cuda para fazer as contas diretamente na
placa
<br>> > de video que é mais rápido
kkkkkkkkkkkkkkkkkkkkkkkk
<br>> > Sim Tura ajudou as dicas, como você falou para as base de dados
os
<br>> > comandos que você me passou em que não trasformam em fatores
algumas
<br>> > variaveis melhorou um pouco o
problema.
<br>> >
<br>> > --
<br>> >
Saudações,
<br>> > Pedro Rafael Diniz Marinho - Estatístico
SES-PB
<br>>
Rafael,
<br>>
<br>> Acho que você não entende o problema
...
<br>>
<br>> Se você precisa realmente manipular X Gb de dados você tem que
ter
mais
<br>> de X Gg de RAM. Volto a repetir nenhum programa do mundo pode
trabalhar
<br>> com dados fora da RAM. Se você usar o dado ele tem que estar na
RAM.
<br>>
<br>> Acho que você está confundindo o tamanho da base de dados com
quanto
de
<br>> RAm você precisa para trabalhar. Recentemente para uma demanda
precisei
<br>> avaliar todas as internações no Brasil em 2008. Ao todo são 324
arquivos
<br>> totalizando 4,8 Gb logo a maior parte das pessoa dirão preciso de 6
Gb
<br>> ou mais para mexer nesta base. Porém o conjunto de dados que
preciso
<br>> para a análise totalizava 141 Mb.
<br>>
<br>> Desta form fiz um script que li cada base de dados em um
diretório
<br>> selecionava o conjunto de dados (subset) num arquivo temporário
e
<br>> escrevia em csv no disco. Após isto lia todos os arquivos csv de uma
vez
<br>> só e os unificava com rbind em um único arquivo que utilizando save
se
<br>> transformou em 1 arquivo .RData de 141
mb.
<br>>
<br>> Este script pode se rodado num computador com 2 Gb de RAM!
Afinal
o
<br>> maior arquivo tem menos de 100
Mb.
<br>>
<br>> Vou te dar um conselho de alguém que mexe com bases DATASUS
faz
tempo.
<br>> larga o windows, os paciente com demência gerenciam suas memorias
melhor
<br>> que ele em 2006 larguei o windows justamente por
isso.
<br>>
<br>> Se quiser comprar um computador escolha um com vários núcleos
(Phenom
X6
<br>> por exemplo) e compre RAM. Na minha experiência usar CUDA não vale
a
<br>> pena para isto. CUDA é bom para situações onde vc tem uma
quantidade
<br>> enorme de cálculos e não manipulação de
dados
<br>>
<br>> --
<br>>
[]s
<br>>
Tura
<br>>
<br>>
_______________________________________________
<br>> R-br mailing
list
<br>> <a link="external" rel="nofollow" href="http://user/SendEmail.jtp?type=node&node=3411136&i=0&by-user=t" target="_blank">[hidden
email]</a>
<br>>
<br>> <a link="external" rel="nofollow" href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a>
<br>>
<br>>
<hr color="#cccccc" noshade size="1">
<br>>
<br>> If you reply to this email, your message will be added to the
discussion
below:
<a href="http://r-br.2285057.n4.nabble.com/Duvida-Ler-dados-direto-no-HD-tp3400886p3411136.html" target="_blank">http://r-br.2285057.n4.nabble.com/Duvida-Ler-dados-direto-no-HD-tp3400886p3411136.html</a>
<br>>
<br>>
To unsubscribe from R-br, <a href="http://r-br.2285057.n4.nabble.com/template/NamlServlet.jtp?macro=unsubscribe_by_code&node=3357982&code=cGVkcm8ucmFmYWVsLm1hcmluaG9AZ21haWwuY29tfDMzNTc5ODJ8NTAyMjI0MDYw" target="_blank">click
here</a>.
<br>>
<br clear="all">
<br>> --
<br>>
<br>> Saudações,
<br>> Pedro
Rafael Diniz Marinho - Estatístico SES-PB
<br>>
<br>> Currículo Lattes: <a href="http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4250792T6" target="_blank">http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4250792T6</a>
<br>>
<br>> _______________________________________________
<br>>
R-br mailing list
<br>>
<a href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a>
<br>>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a>
<br>>
<br>> </blockquote>
<br>>
<br clear="all">
<br>> --
<br>> Luis Iván
Ortiz Valencia
<br>> Doutorando Saúde Pública - Epidemiologia, IESC,
UFRJ
<br>> Estatístico Msc.
<br>> Spatial Analyst Msc.
<br>>
...............................................
<br>>
Curriculum Lattes
<br>>
<br>> <a href="http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4778724J3" target="_blank">http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4778724J3</a>
<br>>
...............................................
<br>>
Aquarela Cusco Hostel Perú
<br>>
<br>> <a href="http://www.aquarelacuscohostel.com/" target="_blank">http://www.aquarelacuscohostel.com/</a>
<br>>
...............................................
<br></div></div><b>------- End of Original
Message
-------</b>
<br>
</font>
</div>
<br>_______________________________________________<br>
R-br mailing list<br>
<a href="mailto:R-br@listas.c3sl.ufpr.br">R-br@listas.c3sl.ufpr.br</a><br>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br>Luis Iván Ortiz Valencia<br>Doutorando Saúde Pública - Epidemiologia, IESC, UFRJ<br>Estatístico Msc.<br>Spatial Analyst Msc.<br>...............................................<br>
Curriculum Lattes<br><br><a href="http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4778724J3" target="_blank">http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4778724J3</a><br>...............................................<br>
Aquarela Cusco Hostel Perú<br><br><a href="http://www.aquarelacuscohostel.com/" target="_blank">http://www.aquarelacuscohostel.com/</a><br>...............................................<br>