Não sou expert no assunto, mas acho que há dois tipos de paralelização - baixo nível: paralelização em contas matriciais (feitas em fortran) - alto nível: paralelização de loops de scripts em R (mclapply do multicore) A sua conta (calculo de distancia) poderia ser paralelizada em baixo nivel (mas eu nao sei como fazer) Mesmo fazendo paralelização, o uso de memoria e' o problema principal no seu caso.Ai vale a dica do Benilton. Att. Elias T. Krainski
________________________________ De: Antonio Silva <aolinto.lst@gmail.com> Para: r-br@listas.c3sl.ufpr.br Enviadas: Quarta-feira, 7 de Março de 2012 11:09 Assunto: Re: [R-br] sobre a utilização de processamento em vários núcleos
Benilton, obrigado. Vou ler sobre o pacote Rclusterpp.
Elias, não sei o que é "CMR", desculpe me. Caso seja algum exemplo que se possa reproduzir, o que estou fazendo é a continuação de outra mensagem que escrevi e que você me deu uma ótima dica.
dis<-vegdist(dados,"bray") clu<-hclust(dis,"ward")
A matriz de dados que estou utilizando 20 mil linhas e 31 colunas. Para fazer a linha do hclust estou gastando mais que três horas. Tenho matrizes maiores que não rodaram por falta de memória, mas isto já é outro tópico, certo?
Abraços,
Antônio
Em 7 de março de 2012 09:43, Elias T. Krainski <eliaskrainski@yahoo.com.br> escreveu:
com um CMR seria mais facil postar uma dica :)
Elias T. Krainski
________________________________ De: Antonio Silva <aolinto.lst@gmail.com> Para: R-br <r-br@listas.c3sl.ufpr.br> Enviadas: Quarta-feira, 7 de Março de 2012 9:20 Assunto: [R-br] sobre a utilização de processamento em vários núcleos
Olá,
Rodo o R 64-bit no Ubuntu 10.04 em uma máquina com processador Core i7 e 8 Gb de RAM.
Nesta semana começei a fazer uma análise de cluster, utilizando basicamente o pacote vegan, sobre uma matriz grande.
O cálculo das ligações (hclust) levou três hora e meia para ser efetuado (!!!). Vi que apenas um núcleo do processador estava sendo utilizado.
Começei então a procurar alternativas que permitissem o aceleramento dos cálculos e a utilização dos outros núcleos, que estão sub-utilizados.
Li sobre o pacote multicore e outros, inclusive em mensagens nesta lista. Muitas coisas não ficaram claras para mim e, no final, não compreendi como proceder sua utilização no meu caso (ou mesmo se é possível).
É possivel rodar uma análise de cluster fazendo utilização dos diversos núcleos?
Agradeço qualquer orientação e/ou indicação de documentação.
Abraços,
Antônio
-- Antônio Olinto Ávila da Silva Biólogo / Oceanógrafo Instituto de Pesca
São Paulo, Brasil
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
-- Antônio Olinto Ávila da Silva Biólogo / Oceanógrafo Instituto de Pesca (Fisheries Institute) São Paulo, Brasil
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.