Pegando a linha, desculpem o OFF TOPIC, recomendam o UBUNTU 32 ou o UBUNTU 64 bits?<br><br>Luis Ivan.<br><br><div class="gmail_quote">Em 28 de março de 2011 08:54, Pedro Rafael <span dir="ltr"><<a href="mailto:pedro.rafael.marinho@gmail.com">pedro.rafael.marinho@gmail.com</a>></span> escreveu:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">É Tura, vou voltar ao Free BSD ou mesmo o Linux devido estes gerenciar de uma melhor forma a memória. Vou investir alguns reais em uma CPU. Meu problema eu já resolvi filtrando as variáveis de interesse o que reduziu e muito em MB a o tamanho da base de dados. Estou agora tentando entender e me pondo em uma situação que tenho uma base de dados enorme e como tratar esse problema no R. Estou percebendo que caso o que eu precise trabalha em uma base de dados que seja realmente grande, ou seja, se mesmo depois de filtrar meus interesses no banco o a base continua com vários GB tenho que ter uma memória RAM elevada. Vou olhar com mais carinho o pacote bigmemory e o SOAR.<div>
<br></div><div>Pedro<br><br><div class="gmail_quote">---------- Mensagem encaminhada ----------<br>De: <b class="gmail_sendername">Bernardo Rangel Tura [via R-br]</b> <span dir="ltr"><<a href="mailto:ml-node%2B3411136-758674982-223914@n4.nabble.com" target="_blank">ml-node+3411136-758674982-223914@n4.nabble.com</a>></span><br>
Data: 28 de março de 2011 06:21<br>Assunto: Re: [R-br] Fwd: [Dúvida] Ler dados direto no HD<div class="im"><br>Para: Pedro Rafael Diniz Marinho <<a href="mailto:pedro.rafael.marinho@gmail.com" target="_blank">pedro.rafael.marinho@gmail.com</a>><br>
<br><br></div><div><div></div><div class="h5"><div>
On Sun, 2011-03-27 at 15:20 -0300, Pedro Rafael wrote:
<div><br>> Tura,
<br>>
<br>> mas mesmo assim isso é um grande problema. Você leu uma base de 12 gb.
<br>> Se tivesse lido uma de 1 tera. O R iria tentar colocar tudo na RAM?
<br>> Era pra existir algum gerenciamente automático de memória. Se agrava
<br>> ainda mais quando estou no Windows. Eu trabalho na secretaria de saúde
<br>> com dados do SIM, SINAN e SINASC e na verdade não tenho grandes
<br>> problemas mas tava pensando como seria trabalhar com uma base de dados
<br>> 50 vezes maior como seria usando o R....? Acho que vou montar um bom
<br>> computador com memória RAM lá em cima e comprar uma placa de vídeo da
<br>> nvidia e programar em Cuda para fazer as contas diretamente na placa
<br>> de video que é mais rápido kkkkkkkkkkkkkkkkkkkkkkkk
<br>> Sim Tura ajudou as dicas, como você falou para as base de dados os
<br>> comandos que você me passou em que não trasformam em fatores algumas
<br>> variaveis melhorou um pouco o problema.
<br>>
<br>> --
<br>> Saudações,
<br>> Pedro Rafael Diniz Marinho - Estatístico SES-PB
</div><br></div>Rafael,
<br><br>Acho que você não entende o problema ...
<br><br>Se você precisa realmente manipular X Gb de dados você tem que ter mais
<br>de X Gg de RAM. Volto a repetir nenhum programa do mundo pode trabalhar
<br>com dados fora da RAM. Se você usar o dado ele tem que estar na RAM.
<br><br>Acho que você está confundindo o tamanho da base de dados com quanto de
<br>RAm você precisa para trabalhar. Recentemente para uma demanda precisei
<br>avaliar todas as internações no Brasil em 2008. Ao todo são 324 arquivos
<br>totalizando 4,8 Gb logo a maior parte das pessoa dirão preciso de 6 Gb
<br>ou mais para mexer nesta base. Porém o conjunto de dados que preciso
<br>para a análise totalizava 141 Mb.
<br><br>Desta form fiz um script que li cada base de dados em um diretório
<br>selecionava o conjunto de dados (subset) num arquivo temporário e
<br>escrevia em csv no disco. Após isto lia todos os arquivos csv de uma vez
<br>só e os unificava com rbind em um único arquivo que utilizando save se
<br>transformou em 1 arquivo .RData de 141 mb.
<br><br>Este script pode se rodado num computador com 2 Gb de RAM! Afinal o
<br>maior arquivo tem menos de 100 Mb.
<br><br>Vou te dar um conselho de alguém que mexe com bases DATASUS faz tempo.
<br>larga o windows, os paciente com demência gerenciam suas memorias melhor
<br>que ele em 2006 larguei o windows justamente por isso.
<br><br>Se quiser comprar um computador escolha um com vários núcleos (Phenom X6
<br>por exemplo) e compre RAM. Na minha experiência usar CUDA não vale a
<br>pena para isto. CUDA é bom para situações onde vc tem uma quantidade
<br>enorme de cálculos e não manipulação de dados
<br></div></div><div><div><div></div><div class="h5"><br><br><br>--
<br>[]s
<br>Tura
<br><br>_______________________________________________
<br>R-br mailing list
<br></div></div><a href="http://user/SendEmail.jtp?type=node&node=3411136&i=0&by-user=t" rel="nofollow" link="external" target="_blank">[hidden email]</a>
<br><div class="im"><a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" rel="nofollow" link="external" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
<br>
<br>
</div><hr color="#cccccc" noshade size="1">
</div><div style="color: rgb(68, 68, 68); font: 12px tahoma,geneva,helvetica,arial,sans-serif;"><div class="im"><div>
<div style="font-weight: bold;">If you reply to this email, your message will be added to the discussion below:</div>
</div></div><a href="http://r-br.2285057.n4.nabble.com/Duvida-Ler-dados-direto-no-HD-tp3400886p3411136.html" target="_blank">http://r-br.2285057.n4.nabble.com/Duvida-Ler-dados-direto-no-HD-tp3400886p3411136.html</a>
</div><div class="im"><div><div></div><div>
<div style="color: rgb(102, 102, 102); font: 11px tahoma,geneva,helvetica,arial,sans-serif; margin-top: 0.4em;">
To unsubscribe from R-br, <a href="http://r-br.2285057.n4.nabble.com/template/NamlServlet.jtp?macro=unsubscribe_by_code&node=3357982&code=cGVkcm8ucmFmYWVsLm1hcmluaG9AZ21haWwuY29tfDMzNTc5ODJ8NTAyMjI0MDYw" target="_blank">click here</a>.
</div></div></div></div></div><br><br clear="all"><br>-- <br><div class="im">Saudações,<div>Pedro Rafael Diniz Marinho - Estatístico SES-PB</div></div><div class="im"><div>Currículo Lattes: <a href="http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4250792T6" target="_blank">http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4250792T6</a></div>
<br>
</div></div>
<br>_______________________________________________<br>
R-br mailing list<br>
<a href="mailto:R-br@listas.c3sl.ufpr.br">R-br@listas.c3sl.ufpr.br</a><br>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br>Luis Iván Ortiz Valencia<br>Doutorando Saúde Pública - Epidemiologia, IESC, UFRJ<br>Estatístico Msc.<br>Spatial Analyst Msc.<br>...............................................<br>
Curriculum Lattes<br><br><a href="http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4778724J3" target="_blank">http://buscatextual.cnpq.br/buscatextual/visualizacv.jsp?id=K4778724J3</a><br>...............................................<br>
Aquarela Cusco Hostel Perú<br><br><a href="http://www.aquarelacuscohostel.com/" target="_blank">http://www.aquarelacuscohostel.com/</a><br>...............................................<br>