<div dir="ltr"><b>Elias,</b><div><b><br></b></div><div><b>Agradeço muitíssimo seus 2 e-mails.</b></div><div><b><br></b></div><div><b>Vou rodar e te darei retorno.</b></div><div><b><br></b></div><div><b>Abraços,</b></div><div>
<b><br></b></div><div><b>Luiz Roberto</b></div></div><div class="gmail_extra"><br clear="all"><div><div>Luiz Roberto Martins Pinto<br>Prof. Pleno/DCET/UESC</div><div>Laboratório de Estatística Computacional</div><div>Universidade Estadual de Santa Cruz</div>
<div>Ilhéus-Bahia<br><br><a href="mailto:luizroberto.uesc@gmail.com" target="_blank">luizroberto.uesc@gmail.com</a><br>skype: lrmpinto</div>
<div><a href="http://lattes.cnpq.br/2732314327604831" target="_blank">http://lattes.cnpq.br/2732314327604831</a> <br><br><br></div></div>
<br><br><div class="gmail_quote">Em 23 de outubro de 2013 07:35, Elias T Krainski <span dir="ltr"><<a href="mailto:eliaskrainski@yahoo.com.br" target="_blank">eliaskrainski@yahoo.com.br</a>></span> escreveu:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Oi Luiz,<br>
<br>
O problema e' que vc tem 1000 niveis em cada um de dois fatores. Como a funcao aov() usa a funcao lm(), esta monta a matriz de delineamento, ne neste caso tem dimensao de um milhao por 1999. Para armazenar essa matriz vc precisa de 14.9Gb<br>
<br>
print(object.size(double(1999)<u></u>)*1e6, unit='Gb')<br>
<br>
Se seu computador tivesse 16Gb de memoria vc conseguiria fazer calculando as estatistica suficientes X'X e X'y. Foi o que eu fiz e enviei X'X e X'y no seu e-mail. Mas isso ainda nao 'e a melhor solucao nesse caso particular.<br>
<br>
Como vc nao tem fator continuo, e' muito barato computacionalmente fazer o quadro de anova calculando as expressoes de soma de quadrados.<br>
Dessa forma vc consegue montar um quadro de anova facilmente num computador com pouca memoria. Note que seu dado consiste em apenas dois fatores e uma resposta continua, cada um com 1 milhao de registros. Isso ocupa apenas 19.2Mb em memoria<br>
<br>
print(object.size(Data), un='Mb')<br>
<br>
Veja como montar o quadro de anova:<br>
<br>
attach(Data)<br>
n <- length(y)<br>
ntr <- c(length(levels(block)), length(levels(Treat)))<br>
gltot <- n-1<br>
gltra <- ntr - 1<br>
glres <- n - sum(ntr)<br>
<br>
correcao <- (sum(y)^2)/n<br>
sqtot <- sum(y^2)-correcao<br>
bltot <- tapply(y, block, sum)<br>
trtot <- tapply(y, Treat, sum)<br>
<br>
sqbl <- sum(bltot^2)/ntr[2] - correcao<br>
sqtr <- sum(trtot^2)/ntr[1] - correcao<br>
sqres <- sqtot - sqbl - sqtr<br>
<br>
qmbl <- sqbl/gltra[1]<br>
qmtr <- sqtr/gltra[2]<br>
qmres <- sqres/glres<br>
<br>
fval <- c(qmbl, qmtr)/qmres<br>
pval <- pf(fval, gltra, glres, lower.tail=FALSE)<br>
<br>
data.frame(gl=c(gltra, glres, gltot),<br>
sqt=c(sqbl, sqtr, sqres, sqtot),<br>
qm=c(qmbl, qmtr, qmres, NA),<br>
fval=c(fval, NA, NA),<br>
pval=c(pval, NA, NA))<div><div class="h5"><br>
<br>
<br>
On 10/22/2013 08:13 PM, Luiz Roberto Martins Pinto wrote:<br>
</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5">
Caros companheiros da R-BR.<br>
<br>
Não consigo fazer uma ANOVA com arquivo com 1e+06 registros.<br>
Então... preciso de ajuda!!!<br>
<br>
Dados:<br>
<br>
<a href="http://www1.datafilehost.com/d/c0d31775" target="_blank">http://www1.datafilehost.com/<u></u>d/c0d31775</a><br>
<br>
Meu pc<br>
R for windows 2.15.1(x64)<br>
8 Gb de Memo<br>
<br>
load('RCBD_Data.Rdata') # Arquivo com 1e+06 registros<br>
<br>
m=aov(y~Treat+block,data=Data)<br>
summary(m)<br>
<br>
Mensagem de erro:<br>
<br>
Erro: não é possível alocar vetor de tamanho 14.9 Gb<br>
Além disso: Mensagens de aviso perdidas:<br>
1: In model.matrix.default(mt, mf, contrasts) :<br>
Reached total allocation of 8086Mb: see help(memory.size)<br>
2: In model.matrix.default(mt, mf, contrasts) :<br>
Reached total allocation of 8086Mb: see help(memory.size)<br>
3: In model.matrix.default(mt, mf, contrasts) :<br>
Reached total allocation of 8086Mb: see help(memory.size)<br>
4: In model.matrix.default(mt, mf, contrasts) :<br>
Reached total allocation of 8086Mb: see help(memory.size)<br>
<br>
<br>
Luiz Roberto Martins Pinto<br>
Prof. Pleno/DCET/UESC<br>
Laboratório de Estatística Computacional<br>
Universidade Estadual de Santa Cruz<br>
Ilhéus-Bahia<br>
<br>
</div></div><a href="mailto:luizroberto.uesc@gmail.com" target="_blank">luizroberto.uesc@gmail.com</a> <mailto:<a href="mailto:luizroberto.uesc@gmail.com" target="_blank">luizroberto.uesc@<u></u>gmail.com</a>><br>
skype: lrmpinto<br>
<a href="http://lattes.cnpq.br/2732314327604831" target="_blank">http://lattes.cnpq.br/<u></u>2732314327604831</a><br>
<br>
<br>
<br>
<br>
______________________________<u></u>_________________<br>
R-br mailing list<br>
<a href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a><br>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/<u></u>cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-<u></u>guia</a>) e forneça código mínimo reproduzível.<br>
<br>
</blockquote>
______________________________<u></u>_________________<br>
R-br mailing list<br>
<a href="mailto:R-br@listas.c3sl.ufpr.br" target="_blank">R-br@listas.c3sl.ufpr.br</a><br>
<a href="https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br" target="_blank">https://listas.inf.ufpr.br/<u></u>cgi-bin/mailman/listinfo/r-br</a><br>
Leia o guia de postagem (<a href="http://www.leg.ufpr.br/r-br-guia" target="_blank">http://www.leg.ufpr.br/r-br-<u></u>guia</a>) e forneça código mínimo reproduzível.<br>
</blockquote></div><br></div>