[R-br] Banco de dados muito grande

Raphael Saldanha rfsaldanha em outlook.com
Terça Setembro 17 08:37:28 BRT 2013




Seguindo a sugestão do pessoal, tendo o arquivo em TXT, você pode usar o read.fwf, ou o read.csv (read.csv2 para ponto-e-virgula) para arquivos CSV.

Havendo necessidade de permanecer no Excel, faça um teste com um arquivo menor, com apenas uma dezena de linhas, para ver se há algum problema/incompatibilidade no pacote que faz a leitura, ou no cabeçalho do arquivo, ou alguma outra coisa.

---
Atenciosamente,Raphael Saldanha
rfsaldanha em outlook.com

From: sznelwar em uol.com.br
To: r-br em listas.c3sl.ufpr.br
Date: Tue, 17 Sep 2013 08:31:53 -0300
Subject: Re: [R-br] Banco de dados muito grande









On 09/16/2013 06:11 PM, Edson Lira wrote:
> Caros amigos, boa 
noite, tenho um banco de dados com 10 mb e 176 mil
> linhas com 11 
colunas.
>
> Estou usando:
>
> 
tra<-read.xlsx("/Users/edsonlira/Minuza/Dados_geral.xlsx",1,header=T,encoding=
> 
"UTF-8")
>
> Me mostra o seguinte erro:
> Erro em 
.jcall("RJavaTools", "Ljava/lang/Object;", "invokeMethod", cl,  
:
>    java.lang.OutOfMemoryError: Java heap 
space
>
> O que devo fazer?
>
> [ ]'s.
> Edson 
Lira
> Estatístico
> Manaus-Amazonas


Edson,

Não 
acho este banco em si grande. Já trabalhei com bancos na ordem de 
milhões de 
linhas sem problema.

Observe algumas coisas:

1- Pela mensagem de 
erro, o problema está ocorrendo no Java 
(java.lang.OutOfMemoryError: Java 
heap space)

2- Sempre trabalhe com tipos de arquivos mais simples, o csv 
por 
exemplo. Assim você não depende de outros pacotes 
....

[]s
Tura


Aproveitando a 
sugestão do Tura. seria talvez conveniente transformar em .txt e 
experimentar.

_______________________________________________
R-br mailing list
R-br em listas.c3sl.ufpr.br
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forne�a c�digo m�nimo reproduz�vel.
 		 	   		  
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20130917/a4decb94/attachment.html>


Mais detalhes sobre a lista de discussão R-br