[R-br] Selecionar e copiar conteúdo de página usando apenas o terminal linux
walmes .
walmeszeviani em gmail.com
Quarta Abril 30 15:32:38 BRT 2014
Saudações,
Preciso ler os dados de uma página mas da forma tradicional, usando XML
para o exame e retenção dos dados eu não consigo. Os dados são de altura,
idade, peso, enfim, de jogadores de futebol do campeonato brasileiro. Estão
disponíveis nessa página, por exemplo, para o Fluminense
*http://www.whoscored.com/Teams/1232 <http://www.whoscored.com/Teams/1232>*
O que me interessa é a tabela com o nome dos jogadores, dados biométricos e
esportivos. Um selecionar e copiar dessa porção que me interessa traz esse
conteúdo.
R Name Pos Age cm kg Apps Goal A
Yel Red SpG PS% AW MoM Rt
1 Rafael Sóbis AM(LR),FW 28 172 67 2 2 -
- - 3.5 78.8 1.5 - 7.82
2 Carlinhos D(L) 27 176 72 2 - - - -
1 81.1 1 1 7.57
3 Gum D(C) 28 189 86 2 - - - - 0.5
75.2 2.5 1 7.51
4 Wagner AM(C) 29 172 71 2 - - 1 -
3 90 - - 7.43
5 Bruno Vieira D(R) 28 178 69 2 - - -
- - 85.9 1.5 - 7.23
6 Darío Conca M 30 167 58 2 - - 1 -
3 85.9 - - 7.21
7 Fred FW 30 185 75 2 1 2 - - 3
75.6 1.5 - 7.19
8 Diguinho DM(C) 31 171 70 2 - - - -
0.5 84.7 1.5 - 7.14
9 Elivelton D 21 179 81 2 - - - - -
74.6 0.5 - 6.86
10 Diego Cavalieri GK 31 191 86 2 - - -
- - 46.2 - - 6.69
11 Jean DM(C) 27 170 70 2 - - - - 1
88.6 - - 6.61
12 Biro Biro AM(L) 19 164 55 0(1) - - -
- 1 60 - - 6.47
13 Edwin Valencia M 29 181 85 0(2) - - -
- - 81.8 1 - 6.31
14 Rafinha M(R) 20 177 74 0(1) - - - -
- 50 - - 6
15 Walter FW 24 178 88 0(1) - - - -
- 60 - - 5.95
16 Felipe GK 26 193 90 - - - - - -
- - - -
17 Chiquinho AM(C) 24 170 69 - - - - -
- - - - -
18 Kenedy FW 18 182 77 - - - - - -
- - - -
19 Wellington Carvalho D 21 185 84 - - -
- - - - - - -
20 Wellington Silva D 26 177 64 - - - -
- - - - - -
Quando eu peço o código fonte da página (acesso pelo botão direito do mouse
no navegador firefox), não aparecem esses valores lá. Se aparecessem dava
para usar o XML. Pelo jeito os dados são trazidos por uma consulta à uma
base de dados on the fly para colocar na página. A única forma que eu sei
de pegar é copiando para área de transferência.
Eu tenho feito assim:
1. Abro a página de cada time no navegador e dou ctrol+a para selecionar
todo o conteúdo;
2. Dou ctrol+c para copiar o conteúdo para área de transferência;
3. Dou control+v dentro de um arquivo texto;
4. Leio o arquivo texto no R, elimino a sujeira, organizo em colunas até
chegar um data.frame.
O que eu quero é substituir passos gráficos de 1 à 3 por algum comando do
teminal linux que pudesse pegar a URL que eu passar e salvar o conteúdo em
um aquivo que eu der o nome. Com isso elimino intervenção humana e
rapidamente baixo todos os times, de todos os torneios para ter excelentes
dados para trabalhar em aula. Se alguém se interessar, os dados da liga
européia (56 times) que peguei no braço estão em
*http://www.leg.ufpr.br/~walmes/data/euro_football_players.txt
<http://www.leg.ufpr.br/~walmes/data/euro_football_players.txt>*
Dei umas googladas e vi alguns comandos que, infelizmente, ainda não trazem
o que eu preciso, como
*sudo apt-get install lynx*
*lynx -dump http://www.whoscored.com/Teams/1232
<http://www.whoscored.com/Teams/1232>*
O recorte do resultado do comando está abaixo.
View:
[41]Overall
[42]Home
[43]Away
R Name Pos Age cm kg Apps Goal A Yel Red SpG PS% AW MoM Rt
<------ a tabela que eu queria era pra estar
*Players shaded are players who are not currently active in team.
<------ entre essas duas linhas, mas não.
(Loaned, sold, etc..)
Tournaments:
[44]Brasileirão
View:
[45]Overall
[46]Home
[47]Away
Caso alguém tenha algum caminho a apontar, fico grato.
Walmes.
==========================================================================
Walmes Marques Zeviani
LEG (Laboratório de Estatística e Geoinformação, 25.450418 S, 49.231759 W)
Departamento de Estatística - Universidade Federal do Paraná
fone: (+55) 41 3361 3573
skype: walmeszeviani
homepage: http://www.leg.ufpr.br/~walmes
linux user number: 531218
==========================================================================
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20140430/6a062bcd/attachment.html>
Mais detalhes sobre a lista de discussão R-br