- R-br - DINF UFPR

[OFF-topic] Processar uma base de dados grande - ENEM 2012 - 6 milhões de registros - só 40 segundos
by walmes . 27 Out '14

27 Out '14

Saudações, Essa mensagem é apenas para compartilhar uma experiência que tive e considero que o problema aqui discutido não seja tão particular. Fui procurado por alguém que precisava processar um arquivo com resultados da prova do ENEM 2012 para aplicar teoria de resposta ao item. Precisava-se processar o arquivo original para chegar em um que tivesse apenas 5 das 80 colunas (notas para as competências sobre a redação) e somente às linhas que tivessem o conteúdo "P" (de presente) para a coluna "IN_STATUS_REDACAO". O arquivo é um csv, delimitador vírgula, aspas nas strings, 5791066 de linhas, 3.8 GB. Fiz o que me veio na cabeça de primeira: "dividir para conquistar". Lia porções de 30 mil linhas do arquivo (usando na read.table() o skip= e nrow=), separava as 5 colunas, mantinha só as linhas com registro P e escrevia para um arquivo com write.table(..., append=TRUE). Isso dentro de um for(). Na minha implementação, um tanto ingenua e corrida porque fiz enquanto era assistido a programar, quanto apliquei ao arquivo alvo levou 3h40. Esperava que fosse demorar mas não tanto. Minha máquina tem 16 GB de RAM. Sabendo que o bash do linux é muito eficiente para tarefas como operações em arquivos texto, eu fui buscar na internet como fazer o mesmo. Resultado é que tudo se resolveu com 37 segundos!!! É por isso que achei interessante compartilhar com a lista, inclusive para saber se alguem tem meios alternativos para solucionar o problema. Seguem os comandos que apliquei no terminal do Linux. Os dados fornecidos no exemplo são apenas as 10 mil primeiras linhas do arquivo original. ##----------------------------------------------------------------------------- ## 0. Aquisição dos dados. Apenas 10000 registros dos 5791066 do arquivo ## original. wget http://www.leg.ufpr.br/~walmes/data/DADOS_ENEM_2012_10millinhas.csv -O DADOS_ENEM_2012.csv ls wc -l DADOS_ENEM_2012.csv ##----------------------------------------------------------------------------- ## 1. Filtrar só às colunas de interesse. Da 74 à 79. Na 74 tem-se os ## valores P, F e outros. cut -d , -f 74-79 DADOS_ENEM_2012.csv > file.csv head -10 file.csv wc -l file.csv ##----------------------------------------------------------------------------- ## 2. Manter só as linhas com ocorrência do P. grep "P" file.csv > fileP.csv wc -l fileP.csv head -10 fileP.csv ##----------------------------------------------------------------------------- ## 3. Remover à colunas com P, ou seja, manter da 2 à 6. cut -d , -f 2-6 fileP.csv > file.csv head -10 file.csv wc -l file.csv ##----------------------------------------------------------------------------- ## 4. Remover as aspas para salvar espaço em disco. sed 's/\"//g' file.csv > fileP.csv head -10 fileP.csv ##----------------------------------------------------------------------------- ## 5. Como contar o número de linhas repetidas. Gerar tabela de frequência dos ## padrões de resposta. Economiza espaço e é a informação mínima ## necessária para ajustar TRI. Remover o cabeçalho. sed 1d fileP.csv > file.csv sort file.csv | uniq --count > fileP.csv head -10 fileP.csv tail -10 fileP.csv ##----------------------------------------------------------------------------- ## 6. Eliminar espaços no ínicio e colocar uma vírgula entre a ## frequência e o primeiro registro para que todos os campos sejam ## separados por `,`. sed -e 's/^ *//;s/ /,/' fileP.csv > fileFreq.csv head -10 fileFreq.csv wc -l fileFreq.csv ##----------------------------------------------------------------------------- À disposição. Walmes. ========================================================================== Walmes Marques Zeviani LEG (Laboratório de Estatística e Geoinformação, 25.450418 S, 49.231759 W) Departamento de Estatística - Universidade Federal do Paraná fone: (+55) 41 3361 3573 skype: walmeszeviani homepage: http://www.leg.ufpr.br/~walmes linux user number: 531218 ==========================================================================

8 9

Tabela 2 x 2
by Taynãna César Simões 27 Out '14

27 Out '14

Bom dia, pessoal. Gostaria de identificar os labels em uma tabela 2x2, através de uma condição. Em uma tabela comum, consigo usar: names(tabela)[condicao] Por exemplo: names(tabela)[sum(tabela)>1] Não consigo usar a mesma ideia com uma tabela 2x2: names(table(variável1,variável2))[condicao] Já tentei colnames e rownames, sem sucesso. Alguma ideia? Grata, Taynãna FIOCRUZ-Minas

3 5

hclust nested
by David Feitosa 25 Out '14

25 Out '14

Caríssimos, boa noite. Consegui fazer um código que gera objetos hclust e os ploto como dendrograma. Procurei na net por código que pudesse usar como na figura do link abaixo: http://www.cs.jhu.edu/~razvanm/fs-expedition/hclust-example.png Plotar como a imagem da esquerda eu consigo tranquilo, mas como a da direita, não achei nenhuma referência. Alguém saberia qual pacote ou função eu devo usar para conseguir esse resultado em forma de círculos/elipses? Atenciosamente, David Feitosa (\_(\ (=°;°) (("")("")

1 0

Re: [R-br] skater e deldir
by Rafael Tieppo 25 Out '14

25 Out '14

Hélio, Após dividir sua área em polígonos, vc terá um conjunto de coordenadas, onde cada conjunto será um polígono. Com esse objeto pronto em forma de lista: Passo 1: Formar "Polygons" POLS <- lapply(1:length(AREAS), function(x) Polygons(list(Polygon(AREAS[[x]])), ID = paste("reg", x, sep = ""))) Passo 2:Converter em "SpatialPolygons" POLS <- as.SpatialPolygons.PolygonsList(POLS, proj4string=CRS(as.character(NA))) Agora vc já pode usar a função poly2nb() poly2nb(POLS) Tem um tutorial bem detalhado do professor: Classes para dados espaciais: o pacote sp Classes para dados espaciais: o pacote sp [next] [prev] [prev-tail] [tail] [up] 31 Classes para dados espaciais: o pacote sp View on www.leg.ufpr.br Preview by Yahoo Rafael Tieppo On Sunday, October 19, 2014 7:52 PM, "r-br-request(a)listas.c3sl.ufpr.br" <r-br-request(a)listas.c3sl.ufpr.br> wrote: Enviar submissões para a lista de discussão R-br para r-br(a)listas.c3sl.ufpr.br Para se cadastrar ou descadastrar via WWW, visite o endereço https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br ou, via email, envie uma mensagem com a palavra 'help' no assunto ou corpo da mensagem para r-br-request(a)listas.c3sl.ufpr.br Você poderá entrar em contato com a pessoa que gerencia a lista pelo endereço r-br-owner(a)listas.c3sl.ufpr.br Quando responder, por favor edite sua linha Assunto assim ela será mais específica que "Re: Contents of R-br digest..." Tópicos de Hoje: 1. Integral (andrebvs(a)bol.com.br) 2. skater e deldir (Hélio Gallo Rocha) 3. Re: Integral (walmes .) 4. Re: Integral (Diogo Ferrari) ---------------------------------------------------------------------- Message: 1 Date: Sun, 19 Oct 2014 17:23:19 -0200 From: andrebvs(a)bol.com.br To: "r-br(a)listas.c3sl.ufpr.br" <r-br(a)listas.c3sl.ufpr.br> Subject: [R-br] Integral Message-ID: <54440fa757983_6ecd6f8283895160(a)a4-winter16.mail> Content-Type: text/plain; charset="iso-8859-1" Um anexo em HTML foi limpo... URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20141019/d7d3470d/atta…> -------------- Próxima Parte ---------- Um anexo não-texto foi limpo... Nome: Integral.jpg Tipo: image/jpeg Tamanho: 38510 bytes Descrição: não disponível URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20141019/d7d3470d/atta…> ------------------------------ Message: 2 Date: Sun, 19 Oct 2014 18:29:49 -0200 From: Hélio Gallo Rocha <heliogallorocha(a)gmail.com> To: r-br <r-br(a)listas.c3sl.ufpr.br> Subject: [R-br] skater e deldir Message-ID: <CA+ppPW4iTRziJQf191Xjd_vpHgaW2E5eTyxxs4_pDAOfKX23Kg(a)mail.gmail.com> Content-Type: text/plain; charset="utf-8" Caros da lista, Estou tentando implementar o uso de SKATER do pacote spdep. Gostaria de contar com a boa vontade dos listeiros para resolver esta dificuldade. Para iniciar o skater tenho de dividir minha área em poligonos. Para tal estou usando o pacote deldir. Abaixo um exemplo da própria página CRAN. require(deldir) set.seed(42) x <- runif(20) y <- runif(20) d <- deldir(x,y) (ttt <- triang.list(d) ) plot(ttt,border="red",showrect=TRUE) (sss <- tile.list(d)) plot(sss) plot(ttt,add=TRUE,border="blue") O objeto ttt lista os conjuntos de três pontos que formam o poligono Teria uma forma automatizada para gerar estes poligonos no formato shape, pois o CRM do skater que tenho utiliza o comando "readShapePoly" do spdep. Tentei exportar para o formato XLS, mas não foi possível pois o objeto ttt não é um data.frame Agradeço desde já -- Hélio Gallo Rocha IFSULDEMINAS - Câmpus Muzambinho -------------- Próxima Parte ---------- Um anexo em HTML foi limpo... URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20141019/e658abd9/atta…> ------------------------------ Message: 3 Date: Sun, 19 Oct 2014 19:40:44 -0200 From: "walmes ." <walmeszeviani(a)gmail.com> To: r-br(a)listas.c3sl.ufpr.br Subject: Re: [R-br] Integral Message-ID: <CAFU=EkZ_E8hLAgXoUk79T7u6qpi4LLtbqrNAvjCXx+rwjT6Fdw(a)mail.gmail.com> Content-Type: text/plain; charset="utf-8" ? Eu gosto muito de desafios de cálculo mas aprecio muito mais o desafio quando sei do que se trata, quando tem contexto. Você não forneceu nenhum. Meu julgamento adivinhatório de imprecisão acha que tem a ver com estatísticas de ordem. Essa lista tem a prerrogativa de não resolver problemas de sala de aula para não tirar do aluno o privilégio do conhecimento a se adquirir em resolvê-lo. Espero que não seja esse o caso. A lista também pede para não encaminhar conteúdo em anexo. Como se trata de uma sequência de desenvolvimento matemático, um opção seria fazer no eqneditor (http://www.codecogs.com/latex/eqneditor.php) e colar o código latex correspondente, como por exemplo esse código \begin{align*} f(x) &= \theta_y+\theta_2 (x-\theta_x)^2 \\ &= \theta_y+\theta_2 (x^2-2\theta_x x+\theta_x^2)\\ &= \underbrace{(\theta_y+\theta_2\theta_x^2)}_{\beta_0}-\underbrace{2\theta_2\theta_x}_{-\beta_1} x+\underbrace{\theta_2}_{\beta_2} x^2\\ &= \beta_0+\beta_1 x+\beta_2 x^2 \end{align*} Aí a coisa funciona como CMR, onde o código é latex. É só recortar esse código e colar no eqneditor. O mais experts em latex podem editar sem precisar renderizar, inclusive. À disposição. Walmes. -------------- Próxima Parte ---------- Um anexo em HTML foi limpo... URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20141019/587e8e00/atta…> ------------------------------ Message: 4 Date: Sun, 19 Oct 2014 17:52:04 -0400 From: Diogo Ferrari <diogoferrari(a)gmail.com> To: r-br(a)listas.c3sl.ufpr.br Subject: Re: [R-br] Integral Message-ID: <9324409F-1A97-4147-874B-B711B15C4E3F(a)gmail.com> Content-Type: text/plain; charset="iso-8859-1" Caro Andre Segue abaixo a resposta. Acho porem que existem alguns fóruns mais apropriados para perguntas desse tipo. Procure fóruns sobre matemática, ou calculo especificamente. Acho que essa lista e mais adequada para questões envolvendo programação estatística. Use integração por partes (no exemplo q estou enviando, não inclui a constante na integral indefinida pq vc tem uma integral definida. Portanto, apenas inclua os limites de integração no exemplo). Abracos -- Diogo Ferrari PhD Student University of Michigan, Ann Arbor Department of Political Science E-mail: dferrari(a)umich.edu <mailto:dferrari@umich.edu> Open Source! Use R! Use Linux! "A vida é a arte de tirar conclusões suficientes de dados insuficientes" > On Oct 19, 2014, at 3:23 PM, andrebvs(a)bol.com.br wrote: > > Aonde estou errando nessa integral, o caminho não seria esse? > > Att. > André > <Integral.jpg>_______________________________________________ > R-br mailing list > R-br(a)listas.c3sl.ufpr.br > https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br > Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível. -------------- Próxima Parte ---------- Um anexo em HTML foi limpo... URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20141019/f9144d27/atta…> -------------- Próxima Parte ---------- Um anexo não-texto foi limpo... Nome: latexit-drag.pdf Tipo: application/pdf Tamanho: 59430 bytes Descrição: não disponível URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20141019/f9144d27/atta…> -------------- Próxima Parte ---------- Um anexo em HTML foi limpo... URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20141019/f9144d27/atta…> ------------------------------ Subject: Legenda do Digest _______________________________________________ R-br mailing list R-br(a)listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br ------------------------------ Fim da Digest R-br, volume 46, assunto 20 *****************************************

9 10

Pontos médio da classes de um histograma.
by Andre Oliveira 24 Out '14

24 Out '14

Boa tarde,alguém pode ajudar nesta questão? x=rnorm(3000,50,3) a=hist(x)xi<-c(10, 11, 12, 13) # Pontos médios das classes do histograma apenas exemplo! Freq<-c(5, 8, 10, 6) # Frequências de cada classe do histograma apenas exemplo! med2=sum(xi*Freq)/sum(Freq) med2 André Oliveira Souza. Graduação em Matemática, mestrado em estatística aplicada.Instituto Federal de Educação, Ciência e Tecnologia do Espirito Santo. IFES

4 5

retornar os valores originais de SP1 no modelo offset
by Humberto Hazin 24 Out '14

24 Out '14

Prezados, Gostaria de tirar uma dúvida Como faço para retornar os valores originais de SP1 em um modelo no qual utilizo o offset(): exemplo Set1= <https://www.dropbox.com/s/7cv6zr76zn6i733/set1.csv?dl=0> https://www.dropbox.com/s/7cv6zr76zn6i733/set1.csv?dl=0 infile2<-"set1.csv" setS<-read.csv(infile2, header = TRUE, sep = ",", quote="\"", dec=".",fill = TRUE) # Criar Fatores myfile$S<-factor(myfile$group) myfile$M<-factor(myfile$mes) myfile$Y<-factor(myfile$ano) library(mgcv) library(MASS) mod<-gam(SP1~s(lon,lat)+ s(mes)+Y+log(offset(effort), family=negbin,data=setS) no mais agradeço desde já Humberto ___ Humberto Gomes Hazin Coordenador do curso Engenharia de Pesca Departamento de Ciências Animais DCAn Universidade Federal Rural do Semi-Árido Av. Francisco Mota, n° 572, Km 47, BR 110, Costa e Silva. Mossoró/RN - CEP: 59625-900 - Rio Grande do Norte E-mail: <mailto:coordenacaopesca@ufersa.edu.br> coordenacaopesca(a)ufersa.edu.br

2 1

retornar os valores originais de SP1 no modelo offset
by Humberto Vazio 24 Out '14

24 Out '14

PrezaEnviado do meu iPhone

1 0

(sem assunto)
by Ari Clecius 24 Out '14

24 Out '14

Caros colegas, uso alguns modelos de isotermas de adsorção, para o modelo de Langmuir existem algumas linearizações, como faço para avaliar no R se o modelo não linear é melhor que o modelo linearizado? Att, Ari Clecius Alves de Lima Engenheiro Químico Me. Engenharia Civil (085)88412345 (085)33669042 #CRM ce=c(0.66450,0.92395,1.22510,1.53040,12.89600,32.44400,70.93000,135.54800) qe=c(0.65864,0.83815,1.09135,1.42049,11.57060,15.42198,16.41500,20.42020) #########Modelo linear#################### ce_inv=1/ce qe_inv=1/qe Langmuir_Linear=lm(qe_inv~ce_inv) summary(Langmuir_Linear) names(Langmuir_Linear) Langmuir_Linear$coefficients Langmuir_Linear$coefficients[1] qmax_L=1/Langmuir_Linear$coefficients[1] qmax_L kl_L=1/qmax*Langmuir_Linear$coefficients[2] kl_L qe_est_L=qmax_L* kl_L*ce/(1+ kl_L *ce) plot(ce,qe) lines(ce,qe_est_L,col="blue") ########################################## library(nlstools) adsorption=list(ce,qe) langmuir<-nls(qe~qmax*kl*ce/(1+kl*ce),adsorption,start=list(qmax=30,kl=0.02)) summary(langmuir) qe_Est_NL=21.40602* 0.07498 *ce/(1+ 0.07498 *ce) qe_Est_NL plot(ce,qe) lines(ce,qe_Est_NL,col="red") legend("top",legend=c("LangmuirExp","Langmuir_Est_NL"), lty=c(NA,1), col=c("black","red"),pch=c(3,NA),cex=0.6) ######################################## ############################################# plot(ce,qe) lines(ce,qe_est_L,col="blue") lines(ce,qe_Est_NL,col="red") legend("topleft",legend=c("LangmuirExp","Langmuir_Est_L","Langmuir_Est_NL"), lty=c(NA,1,1), col=c("black","blue","red"),pch=c(3,NA,NA),cex=0.6) #####################################################

2 1

ggplot2, círculos e setas
by Roney Fraga Souza 24 Out '14

24 Out '14

Pessoal, Estou fazendo um gráfico no ggplot2() com o seguinte código: #———————————— # inicio do código #———————————— library(ggplot2) library(grid) mydf <- read.csv(file='http://dpaste.com/24KGSW9.txt', sep=',') head(mydf) g <- ggplot(data=mydf, aes( x=t.ano, y=nn.t.grupo, size=t.ttgrupo)) + geom_point(shape=21) + scale_size_area(max_size=12) + scale_x_continuous(limits=c(min(mydf[,'t.ano']), max(mydf[,'t.ano'])), breaks = seq(min(mydf[,'t.ano']), max(mydf[,'t.ano']),by=1)) + scale_y_continuous(limits=c(min(mydf[,'nn.t.grupo']), max(mydf[,'nn.t.grupo'])), breaks = seq(min(mydf[,'nn.t.grupo']), max(mydf[,'nn.t.grupo']),by=1)) + geom_segment( data=mydf, aes( x = xbeg, y = ybeg, xend = xend, yend = yend), arrow = arrow(length = unit(0.30,"cm"), type='closed'), size=0.5, color='black') + theme(legend.position='none') print(g) #———————————— # fim do código #———————————— O link do gráfico esta aqui. http://i.imgur.com/o0nyYzA.png <http://i.imgur.com/o0nyYzA.png> Eu preciso que as setas iniciem e parem nas bordas dos círculos, considerando o tamanho dos círculos depende da variável mydf$t.ttgrupo. Ou seja, eu teria que saber o raio dos círculos para desconta-los nas variáveis mydf$xbeg e mydf$xend. Alguma dica de como fazer isso? Att Roney

1 0

converter UTM para graus
by Aline Lipsky 24 Out '14

24 Out '14

Boa tarde, Eu tenho um shapefile em UTM. Gostaria de saber se existe uma função que possa plotar o mapa em graus. Grata desde já pela atenção Aline

2 1