- R-br - DINF UFPR

Identificando divergências entre nomes
by Paulo Dick 25 Ago '17

25 Ago '17

Prezados, Gostaria de sugestões para encarar o seguinte problema: Estou uma base que contém um código identificador e o nome da pessoa. Teoricamente, cada código é único e representa uma única pessoa, mas posso ter falhas. Além disso, posso ter problema de digitação. Segue exemplo: id nome 1 100 JOAO SILVA 2 100 SILVA JOAO 3 101 MARIA DA SILVA 4 101 MARIA SOARES DA SILVA 5 102 JOSE CANCIO 6 102 LEONORA FURTADO 7 102 LEONORA FURTADO 8 103 JOSE TRINDADE 9 103 JOSE TRINDDE 10 104 PAULO SILVA 11 105 LUIZ COSTA 12 106 ISABEL CHAGAS 13 106 CHAGAS ISABEL 14 107 VANIA VALERIA 15 107 SANDRA SANTOS Nesse caso, no id 100 tenho problema de digitação, mas se trata da mesma pessoa. O mesmo ocorre nos ids 101, 103 e 106. No id 103 tenho um erro de digitação. No id 102 tenho duas pessoas diferentes, assim como no 107. Como eu poderia automatizar a avaliação de quais ids tenho pessoas diferentes? > dput(teste) structure(list(id = c(100, 100, 101, 101, 102, 102, 102, 103, 103, 104, 105, 106, 106, 107, 107), nome = structure(c(3L, 13L, 9L, 10L, 4L, 7L, 7L, 5L, 6L, 11L, 8L, 2L, 1L, 14L, 12L), .Label = c("CHAGAS ISABEL", "ISABEL CHAGAS", "JOAO SILVA", "JOSE CANCIO", "JOSE TRINDADE", "JOSE TRINDDE", "LEONORA FURTADO", "LUIZ COSTA", "MARIA DA SILVA", "MARIA SOARES DA SILVA", "PAULO SILVA", "SANDRA SANTOS", "SILVA JOAO", "VANIA VALERIA"), class = "factor")), .Names = c("id", "nome" ), row.names = c(NA, -15L), class = "data.frame") Obrigado e abraços *Paulo Dick* Estatístico / Epidemiologia em Saúde Pública Tel.: (55 21) 99591-2716

2 1

Erro de memória importando objeto pequeno de SQL
by Pedro Emmanuel Alvarenga Americano do Brasil 25 Ago '17

25 Ago '17

Amigos de R, Estou envolvido numa tarefa que importo um banco SQL de um servidor, faço uma modelagem, salvo o modelo no SQL através de uma seriliazação, e depois carrego esse modelo do SQL para fazer previsões em novos dados. Estou seguindo um exemplo disponível nessa página: https://docs.microsoft.com/pt-br/sql/advanced-analytics/tutorials/walkthrou… Sei que esse exemplo não é reproduzível porque depende da conexão com o servidor e credenciais que não posso divulgar. Mas se alguem já passou por esse problema poderia pelo menos indicar aonde está o problema que não estou sabendo identificar? Acho que muito provavelmente seria uma configuração do SQL no servidor... library(RODBC) # define database connection string dbconn <- 'Driver={SQL Server};Server=BLABLABLA;Database=BLABLABLA;Trusted_Connection=yes;' # define a connection conn <- odbcDriverConnect(connection = dbconn) # Estou fazendo o exemplo com o objeto LETTERS só pra ter certeza que é um objeto pequeno e que não deveria ser um problema de memória do R. > LETTERS [1] "A" "B" "C" "D" "E" "F" "G" "H" "I" "J" "K" "L" "M" "N" "O" "P" "Q" "R" "S" "T" "U" "V" "W" "X" [25] "Y" "Z" > teste_pequeno <- serialize(LETTERS, connection = NULL) > teste_pequeno <- paste(teste_pequeno, collapse = "") # o EXEC PersistModel faz # insert into [tempo_permanencia_models] (model, [description]) values (convert(varbinary(max),@m,2), @description) # insere o modelo e uma descricao > p <- paste("EXEC PersistModel @m='", teste_pequeno,"', @description = 'Teste de serialização objeto pequeno'", sep = "") > sqlQuery(conn, p) character(0) > rm(teste_pequeno) > p <- "SELECT model FROM [tempo_permanencia_models] WHERE id_model = 1022" > mod.teste.peq <- sqlQuery(conn, p) Error in odbcQuery(channel, query, rows_at_time) : 'Calloc' could not allocate memory (214748364800 of 1 bytes) > p <- paste0("SELECT id_model, description FROM [tempo_permanencia_models] WHERE id_model = 1022") > sqlQuery(conn, p) # id_model description 1 1022 Teste de serialização objeto pequeno Reparem que o objeto está salvo no servidor. Foi salvo a partir do R, mas não retorna para o R por conta do erro de memoria. Eu não estou sabendo nem por onde começar. Que a força esteja sempre com vocês e abraço forte. Pedro Brasil

5 14

Dúvidas
by Rosane Viana 24 Ago '17

24 Ago '17

Prezados Colegas, Boa noite! Para ler no software R um conjunto de dados espaciais que variam no tempo é necessário um comando específico? Caso afirmativo, qual é o comando? Desde já agradeço, Rosane Viana Enviado do Email para Windows 10

6 6

Teste t para amostras independentes
by ana paula coelho madeira 22 Ago '17

22 Ago '17

Prezados colegas , Boa tarde! Preciso de uma ajuda no que se refere ao teste de comparação de médias de duas amostras. Tenho duas amostras independentes. Sei que para normalidade em ambas as amostras posso usar o t e se não for normal, uso não paramétrica. Mas como proceder diante ao fato de uma amostra ter distribuição normal e a outra não. Desde já agradeço Ana Paula

3 2

Re: [R-br] Digest R-br, volume 80, assunto 9
by Antonio Moita 17 Ago '17

17 Ago '17

Caro Colegas, em especial ao FERNANDO E LEONANDO o meu muito obrigado. Realmente a solução de vcs foi ótima, resolveu o problema. df.c1<-cast(df.m, cultivar + bloco ~ variable, subset=variable %in% c("ninfa","pulpa"), sum) > df.c1 cultivar bloco ninfa pulpa 1 A 1 0 2 2 A 2 3 2 3 B 1 0 0 4 B 2 6 0 5 C 1 3 3 6 C 2 1 4 > df.c<-cast(df.m, cultivar + bloco ~ variable, sum, na.rm=TRUE ) > df.c cultivar bloco ninfa pulpa ovos 1 A 1 0 2 4 2 A 2 3 2 3 3 B 1 0 0 4 4 B 2 6 0 0 5 C 1 3 3 2 6 C 2 1 4 0 Em Quinta-feira, 17 de Agosto de 2017 11:58, "r-br-request(a)listas.c3sl.ufpr.br" <r-br-request(a)listas.c3sl.ufpr.br> escreveu: Enviar submissões para a lista de discussão R-br para r-br(a)listas.c3sl.ufpr.br Para se cadastrar ou descadastrar via WWW, visite o endereço https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br ou, via email, envie uma mensagem com a palavra 'help' no assunto ou corpo da mensagem para r-br-request(a)listas.c3sl.ufpr.br Você poderá entrar em contato com a pessoa que gerencia a lista pelo endereço r-br-owner(a)listas.c3sl.ufpr.br Quando responder, por favor edite sua linha Assunto assim ela será mais específica que "Re: Contents of R-br digest..." Tópicos de Hoje: 1. reshape (Antonio Moita) 2. Re: reshape (FHRB Toledo) 3. Re: reshape (Leonard Assis) ---------------------------------------------------------------------- Message: 1 Date: Wed, 16 Aug 2017 17:11:53 +0000 (UTC) From: Antonio Moita <awmoita(a)yahoo.com.br> To: "r-br(a)listas.c3sl.ufpr.br" <r-br(a)listas.c3sl.ufpr.br> Subject: [R-br] reshape Message-ID: <1964560431.3030326.1502903513335(a)mail.yahoo.com> Content-Type: text/plain; charset="utf-8" # Suponha o sequinte experimento em blocos ao acaso # com tamanho da parcela experimental de 4 plantas # no qual se conta o número pulpas ninfas e ovos. # GOSTARIA DE OBTER O CONJUNTO DE DADOS QUE FOSSE A SOMA DE PLANTAS POR CULTIVAR BLOCOS, # QUANDO USO TODO CONJUNTO DE DADOS FUNCIONA BEM require(reshape) x<-factor(LETTERS[1:3]) cultivar<-rep(x, each=6) bloco<-rep(1:2,each=3) planta<-rep(1:3) ninfa<-c(0,0,0,1,1,1,0,0,0,1,2,3,0,1,2,0,0,1) pulpa<-c(1,0,1,1,0,1,0,0,0,0,0,0,0,2,1,0,0,4) ovos<-c(2,2,0,3,0,0,0,0,4,0,0,0,0,2,0,0,0,0) df<-data.frame(cultivar, bloco, planta, ninfa, pulpa, ovos) df.m<-melt(df, id=c("cultivar","bloco","planta")) df.m df.c<-cast(df.m, cultivar + bloco ~ variable, sum, na.rm=TRUE ) df.c # MAS QUANDO SELECIONO SÓ UMA PARTE # OS VALORES NÃO BATEM COM O QUADRO ANTERIOR, ALGUEM SABERIA EXPLICAR ???? df.c1<-cast(df.m, cultivar + bloco ~ variable, subset=variable==c("ninfa","pulpa"), sum) df.c1 # a SOMA DE ninfa e pulpa tambem esta errada df.c0<-cast(df.m, cultivar + bloco ~ ., subset=variable==c("ninfa","pulpa"), sum) df.c0 AttAntonio W MoitaEmbrapa Hortaliças -------------- Próxima Parte ---------- Um anexo em HTML foi limpo... URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20170816/74b1c99a/atta…> ------------------------------ Message: 2 Date: Wed, 16 Aug 2017 17:34:15 -0500 From: FHRB Toledo <fernandohtoledo(a)gmail.com> To: Antonio Moita <awmoita(a)yahoo.com.br>, a lista Brasileira oficial de discussão do programa R. <r-br(a)listas.c3sl.ufpr.br> Subject: Re: [R-br] reshape Message-ID: <CAN55XP40mug6NwvjcQSqYUa2Z4NMPvQD0aiP59k9DgPb_1umnQ(a)mail.gmail.com> Content-Type: text/plain; charset="utf-8" Antonio, Seu subset não está definido corretamente... deve ser: variable %in% c("ninfa", "pulpa"). att, FH 2017-08-16 12:11 GMT-05:00 Antonio Moita via R-br <r-br(a)listas.c3sl.ufpr.br> : > # Suponha o sequinte experimento em blocos ao acaso > # com tamanho da parcela experimental de 4 plantas > # no qual se conta o número pulpas ninfas e ovos. > > # GOSTARIA DE OBTER O CONJUNTO DE DADOS QUE FOSSE A SOMA DE PLANTAS POR > CULTIVAR BLOCOS, > # QUANDO USO TODO CONJUNTO DE DADOS FUNCIONA BEM > > > > require(reshape) > > > x<-factor(LETTERS[1:3]) > cultivar<-rep(x, each=6) > bloco<-rep(1:2,each=3) > planta<-rep(1:3) > > ninfa<-c(0,0,0,1,1,1,0,0,0,1,2,3,0,1,2,0,0,1) > pulpa<-c(1,0,1,1,0,1,0,0,0,0,0,0,0,2,1,0,0,4) > ovos<-c(2,2,0,3,0,0,0,0,4,0,0,0,0,2,0,0,0,0) > > df<-data.frame(cultivar, bloco, planta, ninfa, pulpa, ovos) > > > df.m<-melt(df, id=c("cultivar","bloco","planta")) > df.m > > df.c<-cast(df.m, cultivar + bloco ~ variable, sum, na.rm=TRUE ) > df.c > > # MAS QUANDO SELECIONO SÓ UMA PARTE > # OS VALORES NÃO BATEM COM O QUADRO ANTERIOR, ALGUEM SABERIA EXPLICAR > ???? > df.c1<-cast(df.m, cultivar + bloco ~ variable, subset=variable==c("ninfa","pulpa"), > sum) > df.c1 > > # a SOMA DE ninfa e pulpa tambem esta errada > df.c0<-cast(df.m, cultivar + bloco ~ ., subset=variable==c("ninfa","pulpa"), > sum) > df.c0 > > > Att > Antonio W Moita > Embrapa Hortaliças > > _______________________________________________ > R-br mailing list > R-br(a)listas.c3sl.ufpr.br > https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br > Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça > código mínimo reproduzível. > -------------- Próxima Parte ---------- Um anexo em HTML foi limpo... URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20170816/e6b8ce83/atta…> ------------------------------ Message: 3 Date: Thu, 17 Aug 2017 07:14:05 -0300 From: Leonard Assis <assis.leonard(a)gmail.com> To: a lista Brasileira oficial de discussão do programa R. <r-br(a)listas.c3sl.ufpr.br> Subject: Re: [R-br] reshape Message-ID: <CAEG0FK_sr9FK1QGSQnn04KzwTGrFifh9-yVA-U=bSc6u=DiY-g(a)mail.gmail.com> Content-Type: text/plain; charset="utf-8" Antônio, No subset, onde você informou variable==c("ninfa","pulpa"), tende a dar muito errado. O que este trecho está falando é "selecione todas as linhas onde variable seja igual a o conteúdo após o símbolo '=='". Pelo que eu entendi de seu desejo, é que você está querendo é "selecionar todas as linhas onde variable contenha 'ninfa' OU 'pulpa'". Existem varias construções lógicas que retornam de maneira correta, o que você supostamente deseja. A que menos dá erro de avaliação é a construção semelhante ao que fazemos quando usamos a instrução 'for', que seria usar variable %in% c('ninfa','pulpa'). Leonard Em 16 de ago de 2017 2:12 PM, "Antonio Moita via R-br" < r-br(a)listas.c3sl.ufpr.br> escreveu: # Suponha o sequinte experimento em blocos ao acaso # com tamanho da parcela experimental de 4 plantas # no qual se conta o número pulpas ninfas e ovos. # GOSTARIA DE OBTER O CONJUNTO DE DADOS QUE FOSSE A SOMA DE PLANTAS POR CULTIVAR BLOCOS, # QUANDO USO TODO CONJUNTO DE DADOS FUNCIONA BEM require(reshape) x<-factor(LETTERS[1:3]) cultivar<-rep(x, each=6) bloco<-rep(1:2,each=3) planta<-rep(1:3) ninfa<-c(0,0,0,1,1,1,0,0,0,1,2,3,0,1,2,0,0,1) pulpa<-c(1,0,1,1,0,1,0,0,0,0,0,0,0,2,1,0,0,4) ovos<-c(2,2,0,3,0,0,0,0,4,0,0,0,0,2,0,0,0,0) df<-data.frame(cultivar, bloco, planta, ninfa, pulpa, ovos) df.m<-melt(df, id=c("cultivar","bloco","planta")) df.m df.c<-cast(df.m, cultivar + bloco ~ variable, sum, na.rm=TRUE ) df.c # MAS QUANDO SELECIONO SÓ UMA PARTE # OS VALORES NÃO BATEM COM O QUADRO ANTERIOR, ALGUEM SABERIA EXPLICAR ???? df.c1<-cast(df.m, cultivar + bloco ~ variable, subset=variable==c("ninfa","pulpa"), sum) df.c1 # a SOMA DE ninfa e pulpa tambem esta errada df.c0<-cast(df.m, cultivar + bloco ~ ., subset=variable==c("ninfa","pulpa"), sum) df.c0 Att Antonio W Moita Embrapa Hortaliças _______________________________________________ R-br mailing list R-br(a)listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível. -------------- Próxima Parte ---------- Um anexo em HTML foi limpo... URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20170817/37afb183/atta…> ------------------------------ Subject: Legenda do Digest _______________________________________________ R-br mailing list R-br(a)listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br ------------------------------ Fim da Digest R-br, volume 80, assunto 9 ****************************************

1 0

reshape
by Antonio Moita 17 Ago '17

17 Ago '17

# Suponha o sequinte experimento em blocos ao acaso # com tamanho da parcela experimental de 4 plantas # no qual se conta o número pulpas ninfas e ovos. # GOSTARIA DE OBTER O CONJUNTO DE DADOS QUE FOSSE A SOMA DE PLANTAS POR CULTIVAR BLOCOS, # QUANDO USO TODO CONJUNTO DE DADOS FUNCIONA BEM require(reshape) x<-factor(LETTERS[1:3]) cultivar<-rep(x, each=6) bloco<-rep(1:2,each=3) planta<-rep(1:3) ninfa<-c(0,0,0,1,1,1,0,0,0,1,2,3,0,1,2,0,0,1) pulpa<-c(1,0,1,1,0,1,0,0,0,0,0,0,0,2,1,0,0,4) ovos<-c(2,2,0,3,0,0,0,0,4,0,0,0,0,2,0,0,0,0) df<-data.frame(cultivar, bloco, planta, ninfa, pulpa, ovos) df.m<-melt(df, id=c("cultivar","bloco","planta")) df.m df.c<-cast(df.m, cultivar + bloco ~ variable, sum, na.rm=TRUE ) df.c # MAS QUANDO SELECIONO SÓ UMA PARTE # OS VALORES NÃO BATEM COM O QUADRO ANTERIOR, ALGUEM SABERIA EXPLICAR ???? df.c1<-cast(df.m, cultivar + bloco ~ variable, subset=variable==c("ninfa","pulpa"), sum) df.c1 # a SOMA DE ninfa e pulpa tambem esta errada df.c0<-cast(df.m, cultivar + bloco ~ ., subset=variable==c("ninfa","pulpa"), sum) df.c0 AttAntonio W MoitaEmbrapa Hortaliças

3 2

Salvar saídas de um loop
by Yury Duarte 10 Ago '17

10 Ago '17

Boa tarde colegas listeiros! Estou tendo um pequeno problema para salvar as saídas de um loop que fiz para preencher uma matriz com dados de diferentes arquivos. Meus arquivos base possuem informações anuais de produtividade (colunas) de 15 locais (linhas) para um determinado mês. Construí o loop com intenção de gerar um arquivo por local, contemplando as produtividades de cada mês (nas linhas) e de cada ano (nas colunas). Conferi o output do único arquivo salvo pelo script e os valores correspondem ao arranjo desejado, então acredito que a lógica para o preenchimento da matriz esteja correta. Os arquivos para executar a simulação estão em anexo e o script está no corpo do email. Desde já, agradeço pela colaboração de todos! rm(list = ls()) raiz = 'C:\\Users\\Yury\\Desktop\\Mestrado\\1_TESE\\Model_Data\\ Maize\\PREVISAO\\PA\\' estrategia = c('E1', 'E2', 'E3', 'E4', 'E5') meses = c('setembro', 'outubro', 'novembro', 'dezembro', 'janeiro', 'fevereiro', 'marco', 'abril') cidade = c("abelardoluz", "altamira", "brasilia", "caarapo", "catalao", "lagarto", "machado", "mateiros", "muitoscapoes", "piracicaba", "pontagrossa", "primaveradoleste", "srmangab", "sdesiderio", "urucui") anos = c(1980:2012) previsao = matrix(NA, nrow = length(meses), ncol = length(1980:2012)) colnames(previsao) = 1980:2012 #for(e in 1:length(estrategias)){ for(m in 1:length(meses)){ a = read.table(paste0(raiz, 'E1\\', meses[m],'\\', 'final.txt'), header = T, sep = '\t') for(city in 1:length(cidade)){ for(i in 1:length(anos)){ previsao[m,i] = a[city,i] } } write.table(previsao, paste0(raiz, 'E1\\', cidade[city],'.txt'), row.names = F, col.names = T, sep = '\t') } #} Yury Duarte Engenheiro Agrônomo - ESALQ/USP

4 9

Re: [R-br] Salvar saídas de um loop
by sznelwar＠uol.com.br 10 Ago '17

10 Ago '17

1 0

Re: [R-br] Salvar saídas de um loop
by sznelwar＠uol.com.br 09 Ago '17

09 Ago '17

1 0

Modelo de regressão envolvendo rasters e vetores numéricos
by Jefferson Ferreira-Ferreira 09 Ago '17

09 Ago '17

Pessoal, Estou tentando ajustar a Estimativa de Máxima Máxima Penalizada de Firth para a regressão logística implementada no pacote logistf para um conjunto de rasters (imagens), mas estou com problemas para implementá-lo usando rasters e vetores numéricos. Para ilustrar o problema: library(raster) library(logistf) # Criando 2 rasters para reproduzir o que estou enfrentando r <- raster(nrow=10, ncol=10) # Variável-raster resposta (binária) com 9 bandas/layers s1 <- lapply(1:9, function(i) setValues(r, sample(0:1,ncell(r),replace = T))) s1 <- stack(s1) # um raster-variável preditora val <- sample(0:60,ncell(r),replace = T) s2 <- raster(nrow=10, ncol=10,vals=val) plot(s1) plot(s2) # Uma segunda variável preditora armazenada como vetor numérico: 9 valores assim como existem 9 bandas/layres em s1 (não é coincidência) exp_2 <- c(27.00,30.02,31.07,32.72,33.73,35.12,35.65,36.06,38.32) Agora, eu quero ajustar o modelo usando o logistf (eu tenho motivos estatísticos para isso, não reproduzido aqui) usando a função calc do pacote raster. É aí que o mistério mora. O raciocínio na formulação do problema é que cada célula/pixel seguiria a segunite fórmula glm: s1/layer1 ~ 27.00 + pixel correspondente em s2 + 27.00:pixel correspondente em s2 s1/layer2 ~ 30.02 + pixel correspondente em s2 + 30.02:pixel correspondente em s2 s1/layer3 ~ 31.07 + pixel correspondente em s2 + 31.07:pixel correspondente em s2 ... e assim por diante para todas as 9 bandas/layers do meu raster-variável resposta s1, que são pareadas com valores de exp_2. Eu tentei algo assim: fun <- function (x) { logistf (x ~ exp_2 + s2 + exp_2:s2)$coeficients } coefs <- calc(s1, fun) Mas estava claro que não funcionaria. A parte complicada é infomar ao script que eu quero que cada valor de exp_2 seja usado com cada camada raster de s1 para este modelo. Qualquer idéia será muito útil. Idéias? Obrigado e abraços. *Jefferson Ferreira-Ferreira, **PhD (abd)* *Geographer* *Ecosystem Dynamics Observatory <http://tscanada.wix.com/ecodyn> - EcoDyn/UNESP* *Department of **Geography * *Institute of Geosciences and Exact Sciences** (IGCE)* *São Paulo State University (UNESP)* *Rio Claro, SP - Brazil*

1 1