[R-br] RES: [OFF-topic] Processar uma base de dados grande - ENEM 2012 - 6 milhões de registros - só 40 segundos

[Edson Lira]

Experimenta o pacote ff
 Edson Lira
Estatístico
Manaus-Amazonas 

     Em Domingo, 26 de Outubro de 2014 16:22, Mauro Sznelwar <sznelwar em uol.com.br> escreveu:
   

  <!--#yiv1316119439 _filtered #yiv1316119439 {font-family:Calibri;panose-1:2 15 5 2 2 2 4 3 2 4;}#yiv1316119439 #yiv1316119439 p.yiv1316119439MsoNormal, #yiv1316119439 li.yiv1316119439MsoNormal, #yiv1316119439 div.yiv1316119439MsoNormal {margin:0cm;margin-bottom:.0001pt;font-size:12.0pt;font-family:"Times New Roman", "serif";}#yiv1316119439 a:link, #yiv1316119439 span.yiv1316119439MsoHyperlink {color:blue;text-decoration:underline;}#yiv1316119439 a:visited, #yiv1316119439 span.yiv1316119439MsoHyperlinkFollowed {color:purple;text-decoration:underline;}#yiv1316119439 span.yiv1316119439EstiloDeEmail17 {font-family:"Calibri", "sans-serif";color:#1F497D;}#yiv1316119439 .yiv1316119439MsoChpDefault {font-size:10.0pt;} _filtered #yiv1316119439 {margin:70.85pt 3.0cm 70.85pt 3.0cm;}#yiv1316119439 div.yiv1316119439Section1 {}-->Existeeste pacote para o Windows? Tentei baixar e disse que não está disponível paraa versão R 3.1          Pessoal, eu fiz um teste com o MonetDB importando um arquivocsv do censo demográfico 2010 do estado de São Paulo, que tem 2.2 gb, 224colunas e 4038218 linhas. Importou em 109.1149 segundos.    Meu computador (MacBook Pro) tem processador i7 da primeirageração, 16 gb de ram e ssd.    ##------------------------------------------------------ library(MonetDB.R)     #criando um banco de dados startscript <- monetdb.server.setup(                                     database.directory = paste0( getwd() , "/MonetDB" ) ,                                   "",                                     dbname ="db1",                                     dbport =50002                                     ) pid <- monetdb.server.start(startscript)  conn <- dbConnect(MonetDB.R(), "monetdb://localhost:50002/db1")    # 224 colunas # 4038218 linhas # arquivo com 2.2 GB # 109.149 segundos system.time({     monetdb.read.csv(conn, 'censo00sp1.csv',"censo00sp", 4038218) }) ##------------------------------------------------------    Att Roney 


|      |   Este email está limpo de vírus e malwares porque a proteção do avast! Antivírus está ativa.   |



_______________________________________________
R-br mailing list
R-br em listas.c3sl.ufpr.br
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.

   
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20141027/f7646230/attachment.html>