[R-br] sobre a utilização de processamento em vários núcleos

[Elias T. Krainski]

Não sou expert no assunto, mas acho que há dois tipos de paralelização 

 - baixo nível: paralelização em contas matriciais (feitas em fortran) 

 - alto nível: paralelização de loops de scripts em R (mclapply do multicore)
A sua conta (calculo de distancia) poderia ser paralelizada em baixo nivel (mas eu nao sei como fazer)

Mesmo fazendo paralelização, o uso de memoria e' o problema principal no seu caso.Ai vale a dica do Benilton.


Att.

Elias T. Krainski


>________________________________
> De: Antonio Silva <aolinto.lst em gmail.com>
>Para: r-br em listas.c3sl.ufpr.br 
>Enviadas: Quarta-feira, 7 de Março de 2012 11:09
>Assunto: Re: [R-br] sobre a utilização de processamento em vários núcleos
> 
>
>Benilton, obrigado. Vou ler sobre o pacote Rclusterpp. 
>
>Elias, não sei o que é "CMR", desculpe me. Caso seja algum exemplo que se possa reproduzir, o que estou fazendo é a continuação de outra mensagem que escrevi e que você me deu uma ótima dica.
>
>dis<-vegdist(dados,"bray")
>clu<-hclust(dis,"ward")
>
>A matriz de dados que estou utilizando 20 mil linhas e 31 colunas. Para fazer a linha do hclust estou gastando mais que três horas. Tenho matrizes maiores que não rodaram por falta de memória, mas isto já é outro tópico, certo?
>
>Abraços,
>
>Antônio
>
>
>
>
>
>
>
>Em 7 de março de 2012 09:43, Elias T. Krainski <eliaskrainski em yahoo.com.br> escreveu:
>
>com um CMR seria mais facil postar uma dica :)
>> 
>>Elias T. Krainski
>>
>>
>>>________________________________
>>> De: Antonio Silva <aolinto.lst em gmail.com>
>>>Para: R-br <r-br em listas.c3sl.ufpr.br> 
>>>Enviadas: Quarta-feira, 7 de Março de 2012 9:20
>>>Assunto: [R-br] sobre a utilização de processamento em vários núcleos
>>> 
>>>
>>>
>>>Olá,
>>>
>>>Rodo o R 64-bit no Ubuntu 10.04 em uma máquina com processador Core i7 e 8 Gb de RAM.
>>>
>>>Nesta semana começei a fazer uma análise de cluster, utilizando basicamente o pacote vegan, sobre uma matriz grande.
>>>
>>>O cálculo das ligações (hclust) levou três hora e meia para ser efetuado (!!!). Vi que apenas um núcleo do processador estava sendo utilizado.
>>>
>>>Começei então a procurar alternativas que permitissem o aceleramento dos cálculos e a utilização dos outros núcleos, que estão sub-utilizados.
>>>
>>>Li sobre o pacote multicore e outros, inclusive em mensagens nesta lista. Muitas coisas não ficaram claras para mim e, no final, não compreendi como proceder sua utilização no meu caso (ou mesmo se é possível).
>>>
>>>É possivel rodar uma análise de cluster fazendo utilização dos diversos núcleos?
>>>
>>>Agradeço qualquer orientação e/ou indicação de documentação.
>>>
>>>Abraços,
>>>
>>>Antônio
>>>
>>>-- 
>>>Antônio Olinto Ávila da Silva
>>>Biólogo / Oceanógrafo
>>>Instituto de Pesca
>>>
>>>São Paulo, Brasil
>>>
>>>
>>>_______________________________________________
>>>R-br mailing list
>>>R-br em listas.c3sl.ufpr.br
>>>https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>>>Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
>>>
>>>
>>_______________________________________________
>>R-br mailing list
>>R-br em listas.c3sl.ufpr.br
>>https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>>Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
>>
>
>
>-- 
>Antônio Olinto Ávila da Silva
>Biólogo / Oceanógrafo
>Instituto de Pesca (Fisheries Institute)
>São Paulo, Brasil
>
>_______________________________________________
>R-br mailing list
>R-br em listas.c3sl.ufpr.br
>https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
>
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20120307/fc0042d6/attachment.html>