[R-br] RES: [OFF-topic] Processar uma base de dados grande - ENEM 2012 - 6 milhões de registros - só 40 segundos

[Mauro Sznelwar]

Existe este pacote para o Windows? Tentei baixar e disse que não está
disponível para a versão R 3.1

 

 

 

Pessoal, eu fiz um teste com o MonetDB importando um arquivo csv do censo
demográfico 2010 do estado de São Paulo, que tem 2.2 gb, 224 colunas e
4038218 linhas. Importou em 109.1149 segundos.

 

Meu computador (MacBook Pro) tem processador i7 da primeira geração, 16 gb
de ram e ssd.

 

##------------------------------------------------------

library(MonetDB.R) 

 

#criando um banco de dados

startscript <- monetdb.server.setup(  

                                    database.directory = paste0( getwd() ,
"/MonetDB" ) ,

                                    "", 

                                    dbname = "db1", 

                                    dbport = 50002 

                                    )

pid <- monetdb.server.start(startscript) 

conn <- dbConnect(MonetDB.R(), "monetdb://localhost:50002/db1")

 

# 224 colunas

# 4038218 linhas

# arquivo com 2.2 GB

# 109.149 segundos

system.time({

    monetdb.read.csv(conn, 'censo00sp1.csv', "censo00sp", 4038218)

})

##------------------------------------------------------

 

Att

Roney



---
Este email está limpo de vírus e malwares porque a proteção do avast! Antivírus está ativa.
http://www.avast.com
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20141026/f602d3aa/attachment.html>