Lucas, por favor, nao mando anexos para a lista... e muito menos para enderecos pessoais sem previa confirmacao (ao ler minhas msgs em dispositivos moveis, eu nem sempre tenho a opcao de nao baixar os anexos, que no seu caso resumem-se a 10MB). as sugestoes que enviei anteriormente continuam validas: 64 bits e mais RAM. boa sorte, b 2012/3/26 Lucas Fernandes de Souza <luc.souza@usp.br>:
tenho o windows 7 de 32 bits e 3G de memória ram.
Segue em anexo as duas planilhas que quero unir. Já tentei separar por tratamentos, ou seja, primeiro escolho um tratamento e faço o merge. Com isso, já consegui fazer o merge, porém, os dados aparecem repetidos. Como coluna em comum (para o merge) já usei o "year", "doy" e continua aparecendo linhas repetidas... na verdade, o que me interessa é o "comprimento" da planilha "growth", ou seja, tenho que adequar os dados da planilha "weatherobs" com o da planilha "growth". Não consegui fazer um scrip que resolva isso...se puderem me ajudar, agradeço.
Citando Benilton Carvalho <beniltoncarvalho@gmail.com>:
As sugestoes, ja listadas aqui algumas vezes, sao:
0) De um exemplo reproduzivel 1) Instale um SO de 64 bits e o R com 64 bits 2) Aumente a RAM disponivel no seu computador
No entremeio, vc pode tentar trabalhar apenas com segmentos do seu arquivo... ou ate' jogar tudo num banco de dados SQL e fazer o merge por la... (que muito possivelmente se resumira a um INNER JOIN).
O que eh necessario para sugestoes mais uteis eh que vc descreva com detalhe o volume de dados e sua estrutura (novamente, encapsulada num exemplo reproduzivel) e tambem nos informe informacoes sobre o equipamento que voce usa, incluindo RAM e sistema operacional.
b _______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
-- Lucas F. de Souza Eng. Agrícola - CONAB M.Sc. Produção Vegetal - UENF Doutorando Engenharia de Sistemas Agrícolas - ESALQ/USP tel: (19) 8160-7068
ok..desculpe e obrigado pela dica. Citando Benilton Carvalho <beniltoncarvalho@gmail.com>:
Lucas, por favor, nao mando anexos para a lista... e muito menos para enderecos pessoais sem previa confirmacao (ao ler minhas msgs em dispositivos moveis, eu nem sempre tenho a opcao de nao baixar os anexos, que no seu caso resumem-se a 10MB).
as sugestoes que enviei anteriormente continuam validas: 64 bits e mais RAM.
boa sorte,
b
2012/3/26 Lucas Fernandes de Souza <luc.souza@usp.br>:
tenho o windows 7 de 32 bits e 3G de memória ram.
Segue em anexo as duas planilhas que quero unir. Já tentei separar por tratamentos, ou seja, primeiro escolho um tratamento e faço o merge. Com isso, já consegui fazer o merge, porém, os dados aparecem repetidos. Como coluna em comum (para o merge) já usei o "year", "doy" e continua aparecendo linhas repetidas... na verdade, o que me interessa é o "comprimento" da planilha "growth", ou seja, tenho que adequar os dados da planilha "weatherobs" com o da planilha "growth". Não consegui fazer um scrip que resolva isso...se puderem me ajudar, agradeço.
Citando Benilton Carvalho <beniltoncarvalho@gmail.com>:
As sugestoes, ja listadas aqui algumas vezes, sao:
0) De um exemplo reproduzivel 1) Instale um SO de 64 bits e o R com 64 bits 2) Aumente a RAM disponivel no seu computador
No entremeio, vc pode tentar trabalhar apenas com segmentos do seu arquivo... ou ate' jogar tudo num banco de dados SQL e fazer o merge por la... (que muito possivelmente se resumira a um INNER JOIN).
O que eh necessario para sugestoes mais uteis eh que vc descreva com detalhe o volume de dados e sua estrutura (novamente, encapsulada num exemplo reproduzivel) e tambem nos informe informacoes sobre o equipamento que voce usa, incluindo RAM e sistema operacional.
b _______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
-- Lucas F. de Souza Eng. Agrícola - CONAB M.Sc. Produção Vegetal - UENF Doutorando Engenharia de Sistemas Agrícolas - ESALQ/USP tel: (19) 8160-7068
-- Lucas F. de Souza Eng. Agrícola - CONAB M.Sc. Produção Vegetal - UENF Doutorando Engenharia de Sistemas Agrícolas - ESALQ/USP tel: (19) 8160-7068
diga-se de passagem, se os seus arquivos forem mesmo esses q vc passou, eh sinal de q vc tem varias outras coisas abertas ou outros objectos na sua sessao do R...
x = read.csv('growth.csv', header=T, stringsAsFactors=FALSE) y = read.csv('weatherobs.csv', header=T, stringsAsFactors=FALSE) object.size(x)/(1024^2) 7.49672698974609 bytes object.size(y)/(1024^2) 10.6303634643555 bytes xy = merge(x, y) object.size(xy)/(1024^2) 9.74518585205078 bytes
se o R usar 4x mais RAM do q o reportado acima para gerenciar o overhead... vc precisaria de 120MB de RAM para concluir a tarefa. b
A questão da memória, resolvi dividindo a planilha por tratamentos. Porém, quando faço o merge, reparo que ocorre repetição de várias linhas. Abaixo um exemplo das planilhas que quero unir: p1 - dim: 3326 10 TRAT RUN year DOY das dap laid yield CWAD DTTD 14144 5 125 1979 32 216 0 0 0 0 14.78 14145 5 125 1979 33 217 1 0 0 0 15.94 14146 5 125 1979 34 218 2 0 0 0 16.24 14147 5 125 1979 35 219 3 0 0 0 17.57 14148 5 125 1979 36 220 4 0 0 0 15.94 14149 5 125 1979 37 221 5 0 0 0 17.47 p2 - dim: 9999 6 RUN PRED SRAD PARD TMXD TMND 55840 125 0.0 16.2 32.4 26.6 6.7 55841 125 0.0 15.7 31.4 25.9 7.2 55842 125 0.2 14.6 29.2 25.9 9.9 55843 125 0.0 15.2 30.4 27.2 9.9 55844 125 0.0 15.5 31.0 27.4 9.6 55845 125 0.0 15.3 30.6 27.1 9.7 Como resultado deveria vir uma nova planilha com dim: 3326 15, porém, o resultado é uma planilha gigantesca, com várias linhas repetidas: p3 - dim: 1073748 15 RUN TRAT year DOY das dap laid yield CWAD DTTD PRED SRAD PARD TMXD TMND 1 125 5 1979 32 216 0 0 0 0 14.78 0.0 16.2 32.4 26.6 6.7 2 125 5 1979 32 216 0 0 0 0 14.78 0.0 15.7 31.4 25.9 7.2 3 125 5 1979 32 216 0 0 0 0 14.78 0.2 14.6 29.2 25.9 9.9 4 125 5 1979 32 216 0 0 0 0 14.78 0.0 15.2 30.4 27.2 9.9 5 125 5 1979 32 216 0 0 0 0 14.78 0.0 15.5 31.0 27.4 9.6 6 125 5 1979 32 216 0 0 0 0 14.78 0.0 15.3 30.6 27.1 9.7 Alguma sugestão? obrigado Lucas Citando Benilton Carvalho <beniltoncarvalho@gmail.com>:
diga-se de passagem, se os seus arquivos forem mesmo esses q vc passou, eh sinal de q vc tem varias outras coisas abertas ou outros objectos na sua sessao do R...
x = read.csv('growth.csv', header=T, stringsAsFactors=FALSE) y = read.csv('weatherobs.csv', header=T, stringsAsFactors=FALSE) object.size(x)/(1024^2) 7.49672698974609 bytes object.size(y)/(1024^2) 10.6303634643555 bytes xy = merge(x, y) object.size(xy)/(1024^2) 9.74518585205078 bytes
se o R usar 4x mais RAM do q o reportado acima para gerenciar o overhead... vc precisaria de 120MB de RAM para concluir a tarefa.
b
-- Lucas F. de Souza Eng. Agrícola - CONAB M.Sc. Produção Vegetal - UENF Doutorando Engenharia de Sistemas Agrícolas - ESALQ/USP tel: (19) 8160-7068
participantes (2)
-
Benilton Carvalho -
Lucas Fernandes de Souza