[R-br] Abrir conexões com os nós de um sock cluster

[Lucas Barbosa]

Estranho... agora uma das funções que eu tinha feito pra testar tá
funcionando:

> func <- function(){
+ pag <- readLines("http://maplink.com.br/transito/brasilia-df", warn=F,
encoding='UTF-8')
+ pag <- gsub("\\xA0|[ \t\n\r\f\v]", "", pag)
+ return(pag[ grep("[0-9]km", pag) ])
+ }
>
> library(parallel)
> cl <- makeCluster(2)
> clusterExport(cl, 'func')
> clusterEvalQ(cl, func())
[[1]]
[1] "7km"

[[2]]
[1] "7km"
>
> func()
[1] "7km"


Em 13 de março de 2012 20:47, Benilton Carvalho
<beniltoncarvalho em gmail.com>escreveu:

> Bom, esses testes mostram que o seu cluster usando SOCK funciona e tem
> acesso normal a internet... entao  o problema deve estar na funcao
> executada no cluster e o ideal e' voce dar um exemplo reproduzivel
> para que tentemos.
>
> b
>
> 2012/3/13 Lucas Barbosa <lucasbcr em gmail.com>:
> > Ah, esqueci de falar que eu fiz testei com as funções do snow no
> parallel e
> > no snow também.
> >
> > Tá aí, Benilton:
> >
> >> clusterEvalQ(cl, system('ping -c 3 www.uol.com.br'))
> > PING www.uol.com.br (200.147.67.142) 56(84) bytes of data.
> > PING www.uol.com.br (200.221.2.45) 56(84) bytes of data.
> > 64 bytes from home.uol.com.br (200.221.2.45): icmp_req=1 ttl=56
> time=28.6 ms
> > 64 bytes from 200-147-67-142.static.uol.com.br (200.147.67.142):
> icmp_req=1
> > ttl=56 time=28.0 ms
> > 64 bytes from 200-147-67-142.static.uol.com.br (200.147.67.142):
> icmp_req=2
> > ttl=56 time=28.1 ms
> > 64 bytes from home.uol.com.br (200.221.2.45): icmp_req=2 ttl=56
> time=28.4 ms
> > 64 bytes from 200-147-67-142.static.uol.com.br (200.147.67.142):
> icmp_req=3
> > ttl=56 time=26.6 ms
> >
> > --- www.uol.com.br ping statistics ---
> > 3 packets transmitted, 3 received, 0% packet loss, time 2002ms
> > rtt min/avg/max/mdev = 26.657/27.624/28.149/0.684 ms
> > 64 bytes from home.uol.com.br (200.221.2.45): icmp_req=3 ttl=56
> time=27.9 ms
> >
> > --- www.uol.com.br ping statistics ---
> > 3 packets transmitted, 3 received, 0% packet loss, time 2002ms
> > rtt min/avg/max/mdev = 27.906/28.339/28.638/0.313 ms
> > [[1]]
> > [1] 0
> >
> > [[2]]
> > [1] 0
> >
> >
> > E na outra sessão:
> >
> >> clusterEvalQ(cl, rnorm(1))
> > [[1]]
> > [1] -0.4334245
> >
> > [[2]]
> > [1] 0.2534649
> >
> >
> >
> > Em 13 de março de 2012 19:10, Benilton Carvalho <
> beniltoncarvalho em gmail.com>
> > escreveu:
> >
> >> Os nós sao tbm *NIX e todos tem acesso à internet?
> >>
> >> Se vc fizer uma chamada do tipo
> >>
> >> clusterEvalQ(seuClusterAqui, system('ping -c 3 www.uol.com.br'))
> >>
> >> vc obtem o que?
> >>
> >> Similarmente, numa sessao nova do R, o q vc obtem com
> >>
> >> clusterEvalQ(seuClusterAqui, rnorm(1))
> >>
> >> ?
> >>
> >> b
> >>
> >> 2012/3/13 Lucas Barbosa <lucasbcr em gmail.com>:
> >> > Boa noite pessoal,
> >> >
> >> > Eu estava tentando executar em paralelo uma função -- distancia() --
> que
> >> > baixa certas informações de páginas (html) e retorna alguns valores de
> >> > meu
> >> > interesse. Eu tentei fazer usando o snow em uma só máquina (sock
> >> > cluster),
> >> > mas todas as vezes que eu tento acessar a internet a partir de um
> "snow
> >> > worker" resulta nesse erro:
> >> >
> >> > Erro em checkForRemoteErrors(val) :
> >> >   4 nodes produced errors; first error: não é possível abrir a conexão
> >> >
> >> > Já deu tudo certo usando o multicore em uma máquina com linux, mas eu
> >> > pretendo usar esse tipo de função em um cluster com várias máquinas e
> >> > isso o
> >> > multicore não resolve.
> >> >
> >> > Há algum tipo de opção que eu devo usar na makeCluster() para poder
> >> > abrir
> >> > esse tipo de conexão a partir dos nós do cluster?
> >> >
> >> > _______________________________________________
> >> > R-br mailing list
> >> > R-br em listas.c3sl.ufpr.br
> >> > https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> >> > Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> >> > código
> >> > mínimo reproduzível.
> >> _______________________________________________
> >> R-br mailing list
> >> R-br em listas.c3sl.ufpr.br
> >> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> >> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> >> código mínimo reproduzível.
> >
> >
> >
> > _______________________________________________
> > R-br mailing list
> > R-br em listas.c3sl.ufpr.br
> > https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> > Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código
> > mínimo reproduzível.
> _______________________________________________
> R-br mailing list
> R-br em listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código mínimo reproduzível.
>
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20120313/612793d9/attachment.html>