[R-br] RES: [OFF-topic] Processar uma base de dados grande - ENEM 2012 - 6 milhões de registros - só 40 segundos

[Manoel Galdino]

Se você tiver memória ram suficiente, experimente o fread do data.table.

abçs
M

2014-10-27 10:19 GMT-02:00 Edson Lira <edinhoestat em yahoo.com.br>:

> Experimenta o pacote ff
>
> Edson Lira
> Estatístico
> Manaus-Amazonas
>
>
>   Em Domingo, 26 de Outubro de 2014 16:22, Mauro Sznelwar <
> sznelwar em uol.com.br> escreveu:
>
>
>   Existe este pacote para o Windows? Tentei baixar e disse que não está
> disponível para a versão R 3.1
>
>
>
> Pessoal, eu fiz um teste com o MonetDB importando um arquivo csv do censo
> demográfico 2010 do estado de São Paulo, que tem 2.2 gb, 224 colunas e
> 4038218 linhas. Importou em 109.1149 segundos.
>
>  Meu computador (MacBook Pro) tem processador i7 da primeira geração, 16
> gb de ram e ssd.
>
>  ##------------------------------------------------------
>   library(MonetDB.R)
>
>  #criando um banco de dados
>  startscript <- monetdb.server.setup(
>                                      database.directory = paste0( getwd()
> , "/MonetDB" ) ,
>                                      "",
>                                      dbname = "db1",
>                                      dbport = 50002
>                                      )
>  pid <- monetdb.server.start(startscript)
>  conn <- dbConnect(MonetDB.R(), "monetdb://localhost:50002/db1")
>
>  # 224 colunas
>  # 4038218 linhas
>  # arquivo com 2.2 GB
>  # 109.149 segundos
>  system.time({
>      monetdb.read.csv(conn, 'censo00sp1.csv', "censo00sp", 4038218)
>  })
>   ##------------------------------------------------------
>
>  Att
>  Roney
>
>
> ------------------------------
>    <http://www.avast.com/>
> Este email está limpo de vírus e malwares porque a proteção do avast!
> Antivírus <http://www.avast.com/> está ativa.
>
>
> _______________________________________________
> R-br mailing list
> R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código mínimo reproduzível.
>
>
> _______________________________________________
> R-br mailing list
> R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código mínimo reproduzível.
>



-- 
Manoel Galdino
https://sites.google.com/site/galdinomcz/
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20141027/9e112bad/attachment.html>