<div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif">Senhores, bom dia!<br><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">Embora a sugestão do colega Jônatan já deva solucionar o problema, deixo um código que utilizava para consulta. Testei no Ubuntu 16.04 e ainda funciona. Basicamente vai fazer o download dos dados em uma pasta 'Downloads' criada no diretório de trabalho. São criados 2 arquivos para cada estação: um arquivo "bruto" (iniciado por "raw_") e a table (iniciado por "dat_") resultante da importação.<br><br></div><div class="gmail_default"><span style="font-family:monospace,monospace">> sessionInfo()<br>R version 3.2.3 (2015-12-10)<br>Platform: x86_64-pc-linux-gnu (64-bit)<br>Running under: Ubuntu 16.04 LTS<br><br>locale:<br> [1] LC_CTYPE=en_US.UTF-8 LC_NUMERIC=C LC_TIME=en_US.UTF-8 LC_COLLATE=en_US.UTF-8 <br> [5] LC_MONETARY=en_US.UTF-8 LC_MESSAGES=en_US.UTF-8 LC_PAPER=en_US.UTF-8 LC_NAME=C <br> [9] LC_ADDRESS=C LC_TELEPHONE=C LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C <br><br>attached base packages:<br>[1] stats graphics grDevices utils datasets methods base <br><br>other attached packages:<br>[1] XML_3.98-1.4 RCurl_1.95-4.8 bitops_1.0-6 <br><br>loaded via a namespace (and not attached):<br>[1] tools_3.2.3<br></span></div><div class="gmail_default"><span style="font-family:monospace,monospace"><br>### <code r><br># ---------------------------------------------------------------------------- #<br># INMET/BDMEP - Download Dados DIÁRIOS<br># Eder Comunello - 2013.11.08<br># ---------------------------------------------------------------------------- #<br>library(RCurl); library(XML)<br>setwd('~/LAB/DATCLIMA'); getwd()<br>if (!file.exists('Download')) dir.create('Download'); dir(incl=T)<br><br># Login ---------------------------------------------------------------------- #<br>myData <- scan(text=readLines('BDMEP1.dat')[1], what=character(), sep=';')<br>myParams=list(mCod = myData[1], mSenha = myData[2], btnProcesso = " Acessar ")<br>myCurl <- getCurlHandle()<br>myURL1 <- "<a href="http://www.inmet.gov.br/projetos/rede/pesquisa/inicio.php">http://www.inmet.gov.br/projetos/rede/pesquisa/inicio.php</a>"<br>curlSetOpt(cookiejar="cookies.txt", useragent="Mozilla/5.0", followlocation=TRUE, curl=myCurl)<br>myLogin <- postForm(myURL1, .params=myParams, curl=myCurl)<br><br># Downloads ------------------------------------------------------------------ #<br>dError <- dSucess <- as.character(NULL)<br><br>dINMET <- function(code=83264, dINI='01/01/1980', dFIM='31/12/1985') {<br> myURL <- paste0("<a href="http://www.inmet.gov.br/projetos/rede/pesquisa/">http://www.inmet.gov.br/projetos/rede/pesquisa/</a>", <br> "gera_serie_txt.php?&mRelEstacao=", code, <br> "&btnProcesso=serie&mRelDtInicio=", dINI,<br> "&mRelDtFim=",dFIM, "&mAtributos=,,1,1,,,,,,1,1,,1,1,1,1,")<br> <br> page <- getURLContent(myURL, curl=myCurl, .encoding="UTF-8")<br> hParse <- htmlParse(page)<br> ver1 <- as.character(substr(page,1,20))<br> ver2 <- substr(xpathSApply(hParse,'//*/pre', xmlValue, encoding='UTF-8'),1,17)<br> <br> if (ver1=="Registro Inexistente" | ver2=="Não existem dados") {<br> print(paste0(code,': Dados não encontrados!'))<br> dError <<- c(dError, code)}<br> else {<br> print(paste0(code, ': OK!')); dSucess <<- c(dSucess, code)<br> hPart <- xpathSApply(hParse,'//*/pre', xmlValue)<br> fileNam1 <- paste0('Download/raw_',code,'.txt')<br> cat(hPart, file=fileNam1)<br> dLines <- unlist(strsplit(hPart, "\n"))<br> dHead <- dLines[grep("^Estacao;", dLines)]<br> dText <- append(dHead, dLines[grep("^[0-9]{5,};", dLines)])<br> dFrame <- read.table(text=dText, dec=".", sep=";", head=T)<br> fileNam2 <- paste0('Download/dat_',code,'.txt')<br> write.table(dFrame, fileNam2, row.names=F)}<br>}<br><br>codEst <- c(83264, 83267, 83270, 83319, 83332, 83358)<br>dError <- dSucess <- as.character(NULL)<br><br>tryCatch({<br> sapply(codEst, function(x) dINMET(x, dINI='01/01/1980', dFIM='31/12/1985'))<br> }, error=function(...)"ERROR!")<br># [1] "83264: OK!"<br># [1] "83267: Dados não encontrados!"<br># [1] "83270: Dados não encontrados!"<br># [1] "83319: Dados não encontrados!"<br># [1] "83332: OK!"<br># [1] "83358: OK!"<br><br>paste(length(dSucess), 'estações baixadas com sucesso!')<br># [1] "3 estações baixadas com sucesso!"<br><br>paste(length(dError), 'estações não baixadas!')<br># [1] "3 estações não baixadas!"<br><br>dir(path="Download")<br># [1] "dat_83264.txt" "dat_83332.txt" "dat_83358.txt" "raw_83264.txt" "raw_83332.txt" "raw_83358.txt"<br><br>### </code><br></span></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><span><br>================================================<br>Éder Comunello<br>Researcher at Brazilian Agricultural Research Corporation (Embrapa)<br>DSc in Agricultural Systems Engineering (USP/Esalq)<br>MSc in Environ. Sciences (UEM), <span>Agronomist (UEM)</span><br>---<br>Embrapa Agropecuária Oeste, Dourados, MS, Brazil |<O>|<br>================================================<br>GEO, -22.2752, -54.8182, 408m<br>UTC-04:00 / DST: UTC-03:00</span><div><div><div><br></div><div><br></div></div><div style="font-size:small"><br></div></div></div></div></div></div></div></div></div></div></div></div></div>
<br><div class="gmail_quote">Em 8 de julho de 2016 23:22, Paulo Henrique Pimenta via R-br <span dir="ltr"><<a href="mailto:r-br@listas.c3sl.ufpr.br" target="_blank">r-br@listas.c3sl.ufpr.br</a>></span> escreveu:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div link="blue" vlink="#954F72" lang="EN-US">
<div>
<p class="MsoNormal"><span lang="PT-BR">Jônatan,<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="PT-BR"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="PT-BR">Dentro do que eu fiz vc aconselharia e pensaria em modificar o que para melhorar?
<u></u><u></u></span></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><span lang="PT-BR">Um grande abraço!</span></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Paulo Henrique de A. S. Pimenta<br>
Cel/WhatsApp/Telegram: <a href="tel:%2B5511981318435" value="+5511981318435" target="_blank">+5511981318435</a><span class=""><br>
<br>
Sent from Mail for Windows 10</span></p><span class="">
<p class="MsoNormal"><span style="font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></span></p>
<div style="border-width:1pt medium medium;border-style:solid none none;border-color:rgb(225,225,225) -moz-use-text-color -moz-use-text-color;padding:3pt 0in 0in">
<p class="MsoNormal" style="border:medium none;padding:0in"><b>From: </b><a href="mailto:jdtatsch@gmail.com" target="_blank">Jônatan</a><br>
<b>Sent: </b>Friday, July 8, 2016 5:27 PM<br>
<b>To: </b><a href="mailto:paulopimenta6@hotmail.com" target="_blank">Paulo Henrique Pimenta</a>;
<a href="mailto:r-br@listas.c3sl.ufpr.br" target="_blank">a lista Brasileira oficial de discussão do programa R.</a><br>
<b>Subject: </b>Re: [R-br] Baixando dados do INMET com a biblioteca RCurl e bitops/Salvando arquivos em .txt</p>
</div>
<p class="MsoNormal"><span style="font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></span></p>
</span></div>
<div><span class="">
<div dir="ltr">
<div>Nesse<a href="https://github.com/jdtatsch/inmetr/blob/master/README.md" target="_blank"> link</a> disponibilizo umas funções que fiz para importar os dados do site do inmet-bdmep para o R. O readme inclui exemplo de uso das funções. O script é baseado no post citado
no e-mail Paulo e nas instruções dadas no <a href="https://www.youtube.com/watch?v=o2fFUw8aSHE" target="_blank">vídeo </a>do Meetup R São Paulo (<i>Web scraping usando o R</i> por Julio Trecenti).</div>
<div>Testado no linux ubuntu somente. Em breve devo empacotar isso.<br>
</div>
<div>Qualquer problema, me avisem por gentileza.</div>
<div>Att.</div>
</div>
</span><div><br>
<div><span class="">2016-07-08 13:03 GMT-03:00 Paulo Henrique Pimenta via R-br
<span dir="ltr"><<a href="mailto:r-br@listas.c3sl.ufpr.br" target="_blank">r-br@listas.c3sl.ufpr.br</a>></span>:<br>
</span><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div lang="EN-US">
<div><div><div class="h5">
<p><span lang="PT-BR">Olá Listeiros!</span></p>
<p><u></u> <u></u></p>
<p><span lang="PT-BR">Estou com um grande problema e acho que vcs podem me ajudar! Estou usando um script criado por mim a partir das dicas da própria lista:
<a href="http://r-br.2285057.n4.nabble.com/R-br-r-baixando-dados-inmet-td4660459.html" target="_blank">
http://r-br.2285057.n4.nabble.com/R-br-r-baixando-dados-inmet-td4660459.html</a> na qual usei o código como template para automatizar o download dos dados do inmet. Infelizmente estou com alguns problemas, um deles é que só consigo usar o código no Windows,
ou seja, no R do Windows e não do Linux (possuo o Windows 10 e o Ubuntu 16.04 no meu notebook).<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR">Os erros no meu Linux são referentes a biblioteca RCurl que mesmo reinstalado várias vezes e usado com a biblioteca bitops continuam a não funcionar. Outro problema que tenho é o não conhecimento sobre como salvar os
arquivos baixados em um .txt ao invés de alocar em variáveis como estou fazendo. Caso algum de vcs se interesse em mexer e melhorar o código segue ele abaixo:<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR">####################################################################################################################<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR">### <begin><u></u><u></u></span></p>
<p><span lang="PT-BR">library(bitops)<u></u><u></u></span></p>
<p><span lang="PT-BR">library(RCurl)<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR">####################################################################<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR">dados_1 <- read.table(<u></u><u></u></span></p>
<p><span lang="PT-BR"> "E:/inmet/estacoes_2.txt",<u></u><u></u></span></p>
<p><span lang="PT-BR"> header=F,<u></u><u></u></span></p>
<p><span lang="PT-BR"> sep="\t")<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR">dados_1 <- data.frame(dados_1)<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR">#names(dados_1) <- c("cidades", "estacoes")<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR">######################################################################<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR"># Links para login e dados<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR">myURL1 <- "<a href="http://www.inmet.gov.br/projetos/rede/pesquisa/inicio.php" target="_blank">http://www.inmet.gov.br/projetos/rede/pesquisa/inicio.php</a>"<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR">for (NUM in 1:length(dados_1[,2])){<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR"> myURL2[NUM] <- "<a href="http://www.inmet.gov.br/projetos/rede/pesquisa/gera_serie_txt.php?&mRelEstacao=dados_1[,2][NUM]&btnProcesso=serie&mRelDtInicio=01/01/2002&mRelDtFim=01/01/2013&mAtributos=1,,,,1,1,,1,1,,,1,,,,," target="_blank">http://www.inmet.gov.br/projetos/rede/pesquisa/gera_serie_txt.php?&mRelEstacao=dados_1[,2][NUM]&btnProcesso=serie&mRelDtInicio=01/01/2002&mRelDtFim=01/01/2013&mAtributos=1,,,,1,1,,1,1,,,1,,,,,</a>"<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR"># Dados para acesso<u></u><u></u></span></p>
<p><span lang="PT-BR">myParams=list(<u></u><u></u></span></p>
<p><span lang="PT-BR"> mCod="SEU EMAIL",<u></u><u></u></span></p>
<p><span lang="PT-BR"> mSenha="SUA SENHA",<u></u><u></u></span></p>
<p><span lang="PT-BR"> btnProcesso = " Acessar ")<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR"> myCurl <- getCurlHandle()<u></u><u></u></span></p>
<p><span lang="PT-BR"> curlSetOpt(cookiejar="cookies.txt", useragent="Mozilla/5.0", followlocation=TRUE, curl=myCurl)<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR"> login <- postForm(myURL1, .params=myParams, curl=myCurl)<u></u><u></u></span></p>
<p><span lang="PT-BR"> dados[NUM] <- getURLContent(myURL2[NUM], curl=myCurl)<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR"> exemplo[NUM] <- head(strwrap(dados[NUM], 70), 10000)<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR"> }
<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR">### <end> </span><u></u><u></u></p>
<p><u></u> <u></u></p>
<p><span lang="PT-BR">###################################################################################################################</span></p>
<p><u></u> <u></u></p>
<p><span lang="PT-BR">O arquivo estacoes_2.txt esta aqui: </span>
<a href="http://s000.tinyupload.com/index.php?file_id=66921456922777880817" target="_blank"><span style="font-size:9pt;font-family:"Verdana",sans-serif;color:rgb(161,215,0)">http://s000.tinyupload.com/?file_id=66921456922777880817</span></a><u></u><u></u></p>
<p><u></u> <u></u></p>
</div></div><p><span lang="PT-BR">Se alguém tiver interesse em modificar para melhorar o código fique a vontade!</span><u></u><u></u></p><span class="">
<p><u></u> <u></u></p>
<p><span lang="PT-BR">Um grande abraço a todos vcs!<u></u><u></u></span></p>
<p><span lang="PT-BR"><u></u> <u></u></span></p>
<p><span lang="PT-BR">Paulo.</span></p>
<p><u></u> <u></u></p>
</span><p>Sent from <a href="https://go.microsoft.com/fwlink/?LinkId=550986" target="_blank">
Mail</a> for Windows 10</p>
<p><span style="font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></span></p>
</div>
</div>
<br>
_______________________________________________<br>
R-br mailing list<br>
<a href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a><br>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" rel="noreferrer" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><span class=""><br>
Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" rel="noreferrer" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br>
</span></blockquote>
</div><span class="">
<br>
<br clear="all">
<div><br>
</div>
-- <br>
<div>
<div dir="ltr">
<div>
<div dir="ltr">
<div>
<div dir="ltr">
<div><font style="font-family:arial" size="2">###############################################################</font><br>
<span style="font-family:arial;font-size:small">## </span><span style="font-size:11px;text-align:center;background-color:rgb(239,239,239);color:rgb(150,150,150);font-family:Verdana,Arial,Helvetica,sans-serif;line-height:13px">Jônatan Dupont Tatsch</span></div>
<div><span style="font-family:arial;font-size:small">## </span><span style="color:rgb(150,150,150);font-family:Verdana,Arial,Helvetica,sans-serif;font-size:10.9091px;line-height:12.9972px;text-align:center;background-color:rgb(239,239,239)">Professor
do Departamento de Física</span></div>
<div><span style="font-size:small;font-family:arial">## </span><span style="color:rgb(150,150,150);font-family:Verdana,Arial,Helvetica,sans-serif;font-size:10.9091px;line-height:12.9972px;text-align:center;background-color:rgb(239,239,239)">Centro
de Ciências Exatas e Naturais (CCNE)</span><br>
</div>
<div><span style="font-size:small;font-family:arial">## </span><span style="color:rgb(150,150,150);font-family:Verdana,Arial,Helvetica,sans-serif;font-size:10.9091px;line-height:12.9972px;text-align:center;background-color:rgb(239,239,239)">Universidade
Federal de Santa Maria - UFSM</span></div>
<div><span style="font-family:arial;font-size:small">## </span><span style="font-size:11px;text-align:center;background-color:rgb(239,239,239);color:rgb(150,150,150);font-family:Verdana,Arial,Helvetica,sans-serif;line-height:13px">Faixa de Camobi, Prédio
13 - Campus UFSM - </span><span style="font-size:11px;text-align:center;background-color:rgb(239,239,239);color:rgb(150,150,150);font-family:Verdana,Arial,Helvetica,sans-serif;line-height:13px">Santa Maria, RS, Brasil - 97105-900</span><br>
</div>
<div style="font-family:arial;font-size:small">## <span style="font-size:11px;text-align:center;background-color:rgb(239,239,239);color:rgb(150,150,150);font-family:Verdana,Arial,Helvetica,sans-serif;line-height:13px">Telefone: <a href="tel:%2B55%2855%2933012083" value="+555533012083" target="_blank">+55(55)33012083</a></span><br>
</div>
<div style="font-family:arial;font-size:small">## <span style="font-size:11px;text-align:center;background-color:rgb(239,239,239);color:rgb(150,150,150);font-family:Verdana,Arial,Helvetica,sans-serif;line-height:13px"><a href="http://www.ufsm.br/meteorologia" target="_blank">www.ufsm.br/meteorologia</a></span></div>
<div style="font-family:arial;font-size:small">###############################################################</div>
</div>
</div>
</div>
</div>
</div>
</div>
</span></div>
</div>
</div>
<br>_______________________________________________<br>
R-br mailing list<br>
<a href="mailto:R-br@listas.c3sl.ufpr.br">R-br@listas.c3sl.ufpr.br</a><br>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" rel="noreferrer" target="_blank">https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" rel="noreferrer" target="_blank">http://www.leg.ufpr.br/r-br-guia</a>) e forneça código mínimo reproduzível.<br></blockquote></div><br></div></div>