Re: [R-br] Digest R-br, volume 70, assunto 3rrrregghtgrgfffdf

8ttgdftfese Em 02/10/2016 12:00, <r-br-request@listas.c3sl.ufpr.br> escreveu:
Enviar submissões para a lista de discussão R-br para r-br@listas.c3sl.ufpr.br
Para se cadastrar ou descadastrar via WWW, visite o endereço https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br ou, via email, envie uma mensagem com a palavra 'help' no assunto ou corpo da mensagem para r-br-request@listas.c3sl.ufpr.br
Você poderá entrar em contato com a pessoa que gerencia a lista pelo endereço r-br-owner@listas.c3sl.ufpr.br
Quando responder, por favor edite sua linha Assunto assim ela será mais específica que "Re: Contents of R-br digest..."
Tópicos de Hoje:
1. Re: Bando de dado .txt (Andre Oliveira)
----------------------------------------------------------------------
Message: 1 Date: Sun, 2 Oct 2016 12:03:27 +0000 (UTC) From: Andre Oliveira <andreolsouza@yahoo.com.br> To: Marcos Silva <marcosfs2006@gmail.com> Cc: "r-br@listas.c3sl.ufpr.br" <r-br@listas.c3sl.ufpr.br> Subject: Re: [R-br] Bando de dado .txt Message-ID: <1862678262.297135.1475409807537@mail.yahoo.com> Content-Type: text/plain; charset="utf-8"
Oi Marcos,obrigado pelas sugestões. Eu estava indo muito bem com a data.table, tentei library(ff) e library(ffbase), mas sem sucesso.
André Oliveira Souza. Graduação em Matemática, mestrado em estatística aplicada.Instituto Federal de Educação, Ciência e Tecnologia do Espirito Santo. IFES
Em Domingo, 2 de Outubro de 2016 9:00, Marcos Silva < marcosfs2006@gmail.com> escreveu:
Dá uma olhada nesse post: http://rcoster.blogspot.com.br/2014/02/lendo-grandes-bancos-de-dados.html
Em 2 de outubro de 2016 08:36, Marcos Silva <marcosfs2006@gmail.com> escreveu:
André, Este tipo de arquivo não tem um caractere delimitador, tal como virgula, ponto e virgula, pipe ("|"), Você não vai conseguir importar com read.table() e derivações (read.csv(), read.csv2()) ou mesmo com fread(). Mas para vc "ler" esse arquivo, vc precisa saber qual o comprimento de cada variável (quantidade de caracteres que ocupa no arquivo), informação essa que deveria estar no dicionário de variáveis.
Este tipo de arquivo vc importa com read.fwf() ou read_fwf() do pacote readr. Mas como essa base é muito grande, recomendo utilizar algum pacote, a exemplo do pacote LaF. Existem outras possibilidades talvez melhores.
Em 2 de outubro de 2016 03:13, Andre Oliveira <andreolsouza@yahoo.com.br> escreveu:
Oi Marcos,neste dicionário fala que é formato em formato ASCII. Não tem mais instruções pelo que percebi. Descreve os nomes da varáveis também! André Oliveira Souza. Graduação em Matemática, mestrado em estatística aplicada.Instituto Federal de Educação, Ciência e Tecnologia do Espirito Santo. IFES
Em Domingo, 2 de Outubro de 2016 0:13, Marcos Silva < marcosfs2006@gmail.com> escreveu:
Acho que este e um arquivo de formato fixo. Vc vai precisar do dicionario de dados para importar. Normalmente este dicionario e disponibilizado com os dados pelo inep. Em 01/10/2016 22:31, "Andre Oliveira via R-br" <r-br@listas.c3sl.ufpr.br> escreveu:
Boa noite,não estou conseguindo identificar o motivo de não abrir este arquivo .txt corretamente, ele tem em torno de 6.3 GBAlguém teria uma dica para compartilhar? Acredito que não estou trabalhando corretamente!
library(data.table) readLines("DADOS_ENEM_2011. TXT", n = 1)
[1] "3000000000012011 2803548708SAO BERNARDO DO CAMPO
SP110000000000000000000011 . .
...3548708SAO BERNARDO DO CAMPO
SP1111 577.10 576.00 575.50 737. 10CEBDCACBEAABBAABAEBDCABDCDEA AADCBBEBADDBEBECDDEECABABEBDDE BAEADCACABCBBECADDAADBADDAABAB CAEEAEAEDDDAAEEBDECADCEABDDBAE CAAABDAEBCCACBAECBAEBECCAAEBAB ECECCDDAACDADADBACCBAADCAECCCE DD1241201251290CECDDACBCAEBEBB ACEEDCAEBDAEDADBEBBDDADCBCBACD DEECEBABAADDEBAECDCACEDCBBEBCD CAADBADDDBAEACAEEDBDBDDCAEDDDA CDEBBECAACDABADBAECCEADDCEBCBA CBAEEBAEEECCEEEBCBECEBADCBDBEA DCDBDCCCBADCAECCCCDDP 140.00 140.00 140.00 140.00 60.00 620.000 . . .
require(bit64) enem2011<- fread("DADOS_ENEM_2011.TXT", nrow = 1, header = TRUE, sep=";") head(enem2011)
3000000000012011 2803548708SAO BERNARDO DO CAMPO
SP110000000000000000000011 . .
...3548708SAO BERNARDO DO CAMPO
SP1111 577.10 576.00 575.50 737. 10CEBDCACBEAABBAABAEBDCABDCDEA AADCBBEBADDBEBECDDEECABABEBDDE BAEADCACABCBBECADDAADBADDAABAB CAEEAEAEDDDAAEEBDECADCEABDDBAE CAAABDAEBCCACBAECBAEBECCAAEBAB ECECCDDAACDADADBACCBAADCAECCCE DD1241201251290CECDDACBCAEBEBB ACEEDCAEBDAEDADBEBBDDADCBCBACD DEECEBABAADDEBAECDCACEDCBBEBCD CAADBADDDBAEACAEEDBDBDDCAEDDDA CDEBBECAACDABADBAECCEADDCEBCBA CBAEEBAEEECCEEEBCBECEBADCBDBEA DCDBDCCCBADCAECCCCDDP 140.00 140.00 140.00 140.00 60.00 620.000 . . .
... 1: 3000000000022011 2214125506SAO JOSE DOS PINHAIS
PR110000000000000000000011 . .
...4125506SAO JOSE DOS PINHAIS
PR0000 . . . .
1211171251290DCEACDBECBCAEBACB EAECEDEDAABDBEDBBDDDCABCBDCAED EBCEAEDBDAACACECDBBCACEDCDCBAE ADADBBDDEAABAEEDBDBDDCAEDDDACD EBBECAACDABADBAECCEADDCEBCBACB AEEBAEEECCEEEBCBECEBADCBDBEADC DBDCCCBADCAECCCCDDF 0.00 0.00 0.00 0.00 0.00 0.000 . . . obrigado.
André Oliveira Souza. Graduação em Matemática, mestrado em estatística aplicada.Instituto Federal de Educação, Ciência e Tecnologia do Espirito Santo. IFES ______________________________ _________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/ cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br- guia) e forneça código mínimo reproduzível.
-- Marcos F. Silva http://sites.google.com/site/ marcosfs2006
-- Marcos F. Silva http://sites.google.com/site/marcosfs2006
-------------- Próxima Parte ---------- Um anexo em HTML foi limpo... URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/ 20161002/24cbb345/attachment-0001.html>
------------------------------
Subject: Legenda do Digest
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
------------------------------
Fim da Digest R-br, volume 70, assunto 3 ****************************************
participantes (1)
-
Josmar Mazucheli