Abrir conexões com os nós de um sock cluster
Boa noite pessoal, Eu estava tentando executar em paralelo uma função -- distancia() -- que baixa certas informações de páginas (html) e retorna alguns valores de meu interesse. Eu tentei fazer usando o snow em uma só máquina (sock cluster), mas todas as vezes que eu tento acessar a internet a partir de um "snow worker" resulta nesse erro: *Erro em checkForRemoteErrors(val) : 4 nodes produced errors; first error: não é possível abrir a conexão *Já deu tudo certo usando o multicore em uma máquina com linux, mas eu pretendo usar esse tipo de função em um cluster com várias máquinas e isso o multicore não resolve. Há algum tipo de opção que eu devo usar na makeCluster() para poder abrir esse tipo de conexão a partir dos nós do cluster?
Os nós sao tbm *NIX e todos tem acesso à internet? Se vc fizer uma chamada do tipo clusterEvalQ(seuClusterAqui, system('ping -c 3 www.uol.com.br')) vc obtem o que? Similarmente, numa sessao nova do R, o q vc obtem com clusterEvalQ(seuClusterAqui, rnorm(1)) ? b 2012/3/13 Lucas Barbosa <lucasbcr@gmail.com>:
Boa noite pessoal,
Eu estava tentando executar em paralelo uma função -- distancia() -- que baixa certas informações de páginas (html) e retorna alguns valores de meu interesse. Eu tentei fazer usando o snow em uma só máquina (sock cluster), mas todas as vezes que eu tento acessar a internet a partir de um "snow worker" resulta nesse erro:
Erro em checkForRemoteErrors(val) : 4 nodes produced errors; first error: não é possível abrir a conexão
Já deu tudo certo usando o multicore em uma máquina com linux, mas eu pretendo usar esse tipo de função em um cluster com várias máquinas e isso o multicore não resolve.
Há algum tipo de opção que eu devo usar na makeCluster() para poder abrir esse tipo de conexão a partir dos nós do cluster?
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Ah, esqueci de falar que eu fiz testei com as funções do snow no parallel e no snow também. Tá aí, Benilton:
clusterEvalQ(cl, system('ping -c 3 www.uol.com.br')) PING www.uol.com.br (200.147.67.142) 56(84) bytes of data. PING www.uol.com.br (200.221.2.45) 56(84) bytes of data. 64 bytes from home.uol.com.br (200.221.2.45): icmp_req=1 ttl=56 time=28.6 ms 64 bytes from 200-147-67-142.static.uol.com.br (200.147.67.142): icmp_req=1 ttl=56 time=28.0 ms 64 bytes from 200-147-67-142.static.uol.com.br (200.147.67.142): icmp_req=2 ttl=56 time=28.1 ms 64 bytes from home.uol.com.br (200.221.2.45): icmp_req=2 ttl=56 time=28.4 ms 64 bytes from 200-147-67-142.static.uol.com.br (200.147.67.142): icmp_req=3 ttl=56 time=26.6 ms
--- www.uol.com.br ping statistics --- 3 packets transmitted, 3 received, 0% packet loss, time 2002ms rtt min/avg/max/mdev = 26.657/27.624/28.149/0.684 ms 64 bytes from home.uol.com.br (200.221.2.45): icmp_req=3 ttl=56 time=27.9 ms --- www.uol.com.br ping statistics --- 3 packets transmitted, 3 received, 0% packet loss, time 2002ms rtt min/avg/max/mdev = 27.906/28.339/28.638/0.313 ms [[1]] [1] 0 [[2]] [1] 0 * E na outra sessão: *
clusterEvalQ(cl, rnorm(1)) [[1]] [1] -0.4334245
[[2]] [1] 0.2534649 Em 13 de março de 2012 19:10, Benilton Carvalho <beniltoncarvalho@gmail.com>escreveu:
Os nós sao tbm *NIX e todos tem acesso à internet?
Se vc fizer uma chamada do tipo
clusterEvalQ(seuClusterAqui, system('ping -c 3 www.uol.com.br'))
vc obtem o que?
Similarmente, numa sessao nova do R, o q vc obtem com
clusterEvalQ(seuClusterAqui, rnorm(1))
?
b
2012/3/13 Lucas Barbosa <lucasbcr@gmail.com>:
Boa noite pessoal,
Eu estava tentando executar em paralelo uma função -- distancia() -- que baixa certas informações de páginas (html) e retorna alguns valores de meu interesse. Eu tentei fazer usando o snow em uma só máquina (sock cluster), mas todas as vezes que eu tento acessar a internet a partir de um "snow worker" resulta nesse erro:
Erro em checkForRemoteErrors(val) : 4 nodes produced errors; first error: não é possível abrir a conexão
Já deu tudo certo usando o multicore em uma máquina com linux, mas eu pretendo usar esse tipo de função em um cluster com várias máquinas e isso o multicore não resolve.
Há algum tipo de opção que eu devo usar na makeCluster() para poder abrir esse tipo de conexão a partir dos nós do cluster?
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Boa noite, estou tentando estimar um modelo Tobit com o vetor Y com valores truncados à esquerda em 1. No entanto, aparece o seguinte erro: fit = tobit(Y ~ Z,left = 1, data = dados) Mensagens de aviso perdidas: In survreg.fit(X, Y, weights, offset, init = init, controlvals = control, : Ran out of iterations and did not converge Consequentemente, os valores estimados resulttantes aparecem estranhos sendo eles muitas vezes negativos e menores do que 1. Por ser uma regressão truncada em 1 à esquerda, se espera que esses valores fossem todos acima de 1. Alguem sabe a solução deste problema e pode me ajudar? Abs Fernando Cunha
Bom, esses testes mostram que o seu cluster usando SOCK funciona e tem acesso normal a internet... entao o problema deve estar na funcao executada no cluster e o ideal e' voce dar um exemplo reproduzivel para que tentemos. b 2012/3/13 Lucas Barbosa <lucasbcr@gmail.com>:
Ah, esqueci de falar que eu fiz testei com as funções do snow no parallel e no snow também.
Tá aí, Benilton:
clusterEvalQ(cl, system('ping -c 3 www.uol.com.br')) PING www.uol.com.br (200.147.67.142) 56(84) bytes of data. PING www.uol.com.br (200.221.2.45) 56(84) bytes of data. 64 bytes from home.uol.com.br (200.221.2.45): icmp_req=1 ttl=56 time=28.6 ms 64 bytes from 200-147-67-142.static.uol.com.br (200.147.67.142): icmp_req=1 ttl=56 time=28.0 ms 64 bytes from 200-147-67-142.static.uol.com.br (200.147.67.142): icmp_req=2 ttl=56 time=28.1 ms 64 bytes from home.uol.com.br (200.221.2.45): icmp_req=2 ttl=56 time=28.4 ms 64 bytes from 200-147-67-142.static.uol.com.br (200.147.67.142): icmp_req=3 ttl=56 time=26.6 ms
--- www.uol.com.br ping statistics --- 3 packets transmitted, 3 received, 0% packet loss, time 2002ms rtt min/avg/max/mdev = 26.657/27.624/28.149/0.684 ms 64 bytes from home.uol.com.br (200.221.2.45): icmp_req=3 ttl=56 time=27.9 ms
--- www.uol.com.br ping statistics --- 3 packets transmitted, 3 received, 0% packet loss, time 2002ms rtt min/avg/max/mdev = 27.906/28.339/28.638/0.313 ms [[1]] [1] 0
[[2]] [1] 0
E na outra sessão:
clusterEvalQ(cl, rnorm(1)) [[1]] [1] -0.4334245
[[2]] [1] 0.2534649
Em 13 de março de 2012 19:10, Benilton Carvalho <beniltoncarvalho@gmail.com> escreveu:
Os nós sao tbm *NIX e todos tem acesso à internet?
Se vc fizer uma chamada do tipo
clusterEvalQ(seuClusterAqui, system('ping -c 3 www.uol.com.br'))
vc obtem o que?
Similarmente, numa sessao nova do R, o q vc obtem com
clusterEvalQ(seuClusterAqui, rnorm(1))
?
b
2012/3/13 Lucas Barbosa <lucasbcr@gmail.com>:
Boa noite pessoal,
Eu estava tentando executar em paralelo uma função -- distancia() -- que baixa certas informações de páginas (html) e retorna alguns valores de meu interesse. Eu tentei fazer usando o snow em uma só máquina (sock cluster), mas todas as vezes que eu tento acessar a internet a partir de um "snow worker" resulta nesse erro:
Erro em checkForRemoteErrors(val) : 4 nodes produced errors; first error: não é possível abrir a conexão
Já deu tudo certo usando o multicore em uma máquina com linux, mas eu pretendo usar esse tipo de função em um cluster com várias máquinas e isso o multicore não resolve.
Há algum tipo de opção que eu devo usar na makeCluster() para poder abrir esse tipo de conexão a partir dos nós do cluster?
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
_______________________________________________ R-br mailing list R-br@listas.c3sl.ufpr.br https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
Estranho... agora uma das funções que eu tinha feito pra testar tá
funcionando:
> func <- function(){
+ pag <- readLines("http://maplink.com.br/transito/brasilia-df", warn=F,
encoding='UTF-8')
+ pag <- gsub("\\xA0|[ \t\n\r\f\v]", "", pag)
+ return(pag[ grep("[0-9]km", pag) ])
+ }
>
> library(parallel)
> cl <- makeCluster(2)
> clusterExport(cl, 'func')
> clusterEvalQ(cl, func())
[[1]]
[1] "7km"
[[2]]
[1] "7km"
>
> func()
[1] "7km"
Em 13 de março de 2012 20:47, Benilton Carvalho
<beniltoncarvalho@gmail.com>escreveu:
> Bom, esses testes mostram que o seu cluster usando SOCK funciona e tem
> acesso normal a internet... entao o problema deve estar na funcao
> executada no cluster e o ideal e' voce dar um exemplo reproduzivel
> para que tentemos.
>
> b
>
> 2012/3/13 Lucas Barbosa <lucasbcr@gmail.com>:
> > Ah, esqueci de falar que eu fiz testei com as funções do snow no
> parallel e
> > no snow também.
> >
> > Tá aí, Benilton:
> >
> >> clusterEvalQ(cl, system('ping -c 3 www.uol.com.br'))
> > PING www.uol.com.br (200.147.67.142) 56(84) bytes of data.
> > PING www.uol.com.br (200.221.2.45) 56(84) bytes of data.
> > 64 bytes from home.uol.com.br (200.221.2.45): icmp_req=1 ttl=56
> time=28.6 ms
> > 64 bytes from 200-147-67-142.static.uol.com.br (200.147.67.142):
> icmp_req=1
> > ttl=56 time=28.0 ms
> > 64 bytes from 200-147-67-142.static.uol.com.br (200.147.67.142):
> icmp_req=2
> > ttl=56 time=28.1 ms
> > 64 bytes from home.uol.com.br (200.221.2.45): icmp_req=2 ttl=56
> time=28.4 ms
> > 64 bytes from 200-147-67-142.static.uol.com.br (200.147.67.142):
> icmp_req=3
> > ttl=56 time=26.6 ms
> >
> > --- www.uol.com.br ping statistics ---
> > 3 packets transmitted, 3 received, 0% packet loss, time 2002ms
> > rtt min/avg/max/mdev = 26.657/27.624/28.149/0.684 ms
> > 64 bytes from home.uol.com.br (200.221.2.45): icmp_req=3 ttl=56
> time=27.9 ms
> >
> > --- www.uol.com.br ping statistics ---
> > 3 packets transmitted, 3 received, 0% packet loss, time 2002ms
> > rtt min/avg/max/mdev = 27.906/28.339/28.638/0.313 ms
> > [[1]]
> > [1] 0
> >
> > [[2]]
> > [1] 0
> >
> >
> > E na outra sessão:
> >
> >> clusterEvalQ(cl, rnorm(1))
> > [[1]]
> > [1] -0.4334245
> >
> > [[2]]
> > [1] 0.2534649
> >
> >
> >
> > Em 13 de março de 2012 19:10, Benilton Carvalho <
> beniltoncarvalho@gmail.com>
> > escreveu:
> >
> >> Os nós sao tbm *NIX e todos tem acesso à internet?
> >>
> >> Se vc fizer uma chamada do tipo
> >>
> >> clusterEvalQ(seuClusterAqui, system('ping -c 3 www.uol.com.br'))
> >>
> >> vc obtem o que?
> >>
> >> Similarmente, numa sessao nova do R, o q vc obtem com
> >>
> >> clusterEvalQ(seuClusterAqui, rnorm(1))
> >>
> >> ?
> >>
> >> b
> >>
> >> 2012/3/13 Lucas Barbosa <lucasbcr@gmail.com>:
> >> > Boa noite pessoal,
> >> >
> >> > Eu estava tentando executar em paralelo uma função -- distancia() --
> que
> >> > baixa certas informações de páginas (html) e retorna alguns valores de
> >> > meu
> >> > interesse. Eu tentei fazer usando o snow em uma só máquina (sock
> >> > cluster),
> >> > mas todas as vezes que eu tento acessar a internet a partir de um
> "snow
> >> > worker" resulta nesse erro:
> >> >
> >> > Erro em checkForRemoteErrors(val) :
> >> > 4 nodes produced errors; first error: não é possível abrir a conexão
> >> >
> >> > Já deu tudo certo usando o multicore em uma máquina com linux, mas eu
> >> > pretendo usar esse tipo de função em um cluster com várias máquinas e
> >> > isso o
> >> > multicore não resolve.
> >> >
> >> > Há algum tipo de opção que eu devo usar na makeCluster() para poder
> >> > abrir
> >> > esse tipo de conexão a partir dos nós do cluster?
> >> >
> >> > _______________________________________________
> >> > R-br mailing list
> >> > R-br@listas.c3sl.ufpr.br
> >> > https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> >> > Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> >> > código
> >> > mínimo reproduzível.
> >> _______________________________________________
> >> R-br mailing list
> >> R-br@listas.c3sl.ufpr.br
> >> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> >> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> >> código mínimo reproduzível.
> >
> >
> >
> > _______________________________________________
> > R-br mailing list
> > R-br@listas.c3sl.ufpr.br
> > https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> > Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código
> > mínimo reproduzível.
> _______________________________________________
> R-br mailing list
> R-br@listas.c3sl.ufpr.br
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
> código mínimo reproduzível.
>
participantes (3)
-
Benilton Carvalho -
Fernando Cunha -
Lucas Barbosa