[R-br] eficiência de mem?==?UTF-8?Q?ória no R

[Thiago V. dos Santos]

Fátima,


A minha sugestão é o comando fread do pacote data.table. Em um arquivo meu com cerca de cinco milhões de linhas e 15 colunas, ele reduziu o tempo de leitura de 14s para pouco mais de 1s em comparação com o comando base do R. A sintaxe do comando é basicamente a mesma do read.table.


Se ele ainda não ajudar a ler o seu arquivo rápido o suficiente para as suas necessidades, ou se você tiver que ler vários desses arquivos programaticamente, a minha sugestão seria considerar usar algum pacote de banco de dados como o RODBC ou sqldf.


Quanto à lentidão no seu computador, quanta memória RAM ele tem? Ler um arquivo de 3GB exige um mínimo de 4GB, sendo que 6GB ou 8GB seria ainda melhor. 


Saudações,

Thiago. 

Sent from Yahoo Mail on Android

From:"Fatima do Nascimento Silva" <fatima em ccet.ufrn.br>
Date:Thu, May 14, 2015 at 7:35 PM
Subject:[R-br] eficiência de mem?==?UTF-8?Q?ória no R

prezados, boa noite.

Venho por meio deste solicitar uma dica de como fazer a 
leitura(importação) de uma base de dados em formato txt, com caracteres 
separados por ; e com 29 colunas e 1.520.171 linhas no R, de uma maneira 
que não perca eficiência de memória.

estou fazendo a leitura usando o comando:

(dados <- read.table("SAJ_WIN1252.txt",header=T,dec=",",sep=";"))

Como o arquivo tem 3Gb, o R demora uns 10 min para abri-lo, mas não 
consigo fazer mais nada porque o programa trava.
Alguém teria dicas de como me ajudar?

agradeço a atenção. 



Atenciosamente,

Fátima Nascimento
Estatística - UFRN
Mestre em Ciência e Engª de Petróleo-PPGCEP/UFRN
Doutoranda no Programa de Pós-Graduação em Ciência e Engª de Petróleo-
PPGCEP/UFRN

_______________________________________________
R-br mailing list
R-br em listas.c3sl.ufpr.br
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.

-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20150514/c4adc84e/attachment-0001.html>