Re: [R-br] RES: Digest R-br, volume 85, assunto 6

11 Jan 2018


      Neste caso você precisaria prever todas ao mesmo tempo.
Já viu alguma coisa sobre modelos para séries temporais multivariadas?

Wagner


Em 10 de janeiro de 2018 15:07, João Pedro Domingues via R-br <
r-br@listas.c3sl.ufpr.br> escreveu:
...
Edmar e colegas,
O problema é exatamente isso que você citou. Eu quero prever *amanhã* da
variável dependente y a partir de *amanhã* das variáveis independente x,
todas que eu não tenho. Então eu tentei estimar por holtwinters as
variáveis independentes x para achar y, mas eu levei o erro da previsão
anterior e não ficou boa.
Se eu tento defasar o x para ter os reais e prever o y que eu não tenho,
eu vou prever o y de *amanhã*  com os dados de *hoje* de x, o que
acredito não fazer muito sentido. Meu dados são de vendas de um
supermercado, e as vendas de um dia não alteram no outro dia seguinte, a
relação entre as variáveis acontece dentro do mesmo dia.
Então eu não tenho ideia de como resolver isso. O ajuste (training set)
com o lasso fica muito bom, porém preciso da previsão, que é o que
realmente importa.
Grande abraço
*João Pedro Araujo Domingues*
*De:* R-br [mailto:r-br-bounces@listas.c3sl.ufpr.br] *Em nome de *Edmar
Caldas via R-br
*Enviada em:* Wednesday, January 10, 2018 12:06 PM
*Para:* r-br@listas.c3sl.ufpr.br
*Assunto:* Re: [R-br] Digest R-br, volume 85, assunto 6
Eu entendi assim,
Vamos supor que as suas variáveis (dependentes e independentes) tem
valores até 12/2017. e vc quer fazer previsão para 12/2018. as suas
variáveis independentes terão que ter valores até 12/2018 senão não vai
fazer a previsão.
Edmar
Em quarta-feira, 10 de janeiro de 2018 12:00:33 BRST, <
r-br-request@listas.c3sl.ufpr.br> escreveu:
Enviar submissões para a lista de discussão R-br para
r-br@listas.c3sl.ufpr.br
Para se cadastrar ou descadastrar via WWW, visite o endereço
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
ou, via email, envie uma mensagem com a palavra 'help' no assunto ou
corpo da mensagem para
r-br-request@listas.c3sl.ufpr.br
Você poderá entrar em contato com a pessoa que gerencia a lista pelo
endereço
r-br-owner@listas.c3sl.ufpr.br
Quando responder, por favor edite sua linha Assunto assim ela será
mais específica que "Re: Contents of R-br digest..."
Tópicos de Hoje:
1. previsão utilizando o lasso (João Pedro Domingues)
2. Re: Distribuição de probabilidade (Wagner Bonat)
3. Re: Distribuição de probabilidade (Wagner Bonat)
----------------------------------------------------------------------
Message: 1
Date: Tue, 9 Jan 2018 20:04:49 +0000
From: João Pedro Domingues <J__P@hotmail.com>
To: a lista Brasileira oficial de discussão do programa R.
<r-br@listas.c3sl.ufpr.br>
Subject: [R-br] previsão utilizando o lasso
Message-ID:
<BN6PR2001MB16668FB0A072A2FC1AD8D6B0D5100@BN6PR2001MB1666.
namprd20.prod.outlook.com>
Content-Type: text/plain; charset="iso-8859-1"
Boa tarde colegas,
Estou tentando realizar uma previsão de vendas utilizando o algoritimo
LASSO pelo pacote HDeconometrics. Alguém com experiência neste pacote
poderia me ajudar por gentileza? Só preciso resolver isso para finalizar
minha dissertação. Muito obrigado a todos!
Data é uma matriz de series temporais com 158 observações (diarias) e 13
produtos (colunas).
Eu inicialmente separo a primeira coluna como sendo o produto focal para
analisar e o coloco como y, sendo a variável dependente. Já as outras
colunas eu coloco como x, variáveis independentes. Então o LASSO me informa
quais são relevantes.
Com isso, eu separo as primeiras 148 observações para ser o training set,
e as últimas 10 observações para o test set, e ver se o modelo realmente
funciona. Até aqui ok.
O problema: quando eu realizo o ajuste da série com o comando
(lasso=ic.glmnet(x.in,y.in,crit = "bic")) ele ajusta o modelo para a
série sem problemas, utilizando as variáveis que o lasso identificou como
relevantes para o training set.
Porém, quando eu vou executar a previsão real utilizando a última linha
(previsao.lasso=predict(lasso,newdata=x.out)), ele não faz a previsão,
ele simplesmente faz um ajuste igual o training set.
Alguém tem alguma ideia de como resolver essa questão e conseguir prever
corretamente?
Grande abraço
Segue abaixo os comandos utilizados:
library(HDeconometrics)
library(forecast)
## Inicio
i = 0
y = as.matrix(Data[,i+1])              #variável dependente
primeira coluna
x = (Data)                                            #cópia
da base toda
x[,i + 1] <- NULL                                #retira a
variável y e fica com todas as outras variáveis
x = as.matrix(x)                                # transforma
em matriz
### separa a série em training e test set de x e y
y.in=y[1:148]                    #training set
y.out=y[-c(1:148)]          #test set
x.in=x[1:148,]                    #training set
x.out=x[-c(1:148),]          #test set
## ajuste do modelo e previsão LASSO
lasso=ic.glmnet(x.in,y.in,crit = "bic")
  #ajuste do modelo com o training set
previsao.lasso=predict(lasso,newdata=x.out)    #previsão
com o test set
João Pedro Domingues
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/
20180109/580bb5da/attachment-0001.html>
------------------------------
Message: 2
Date: Tue, 9 Jan 2018 22:25:09 -0200
From: Wagner Bonat <wbonat@gmail.com>
To: Wagner Wolff <wwolff@usp.br>
Cc: a lista Brasileira oficial de discussão do programa R.
<r-br@listas.c3sl.ufpr.br>
Subject: Re: [R-br] Distribuição de probabilidade
Message-ID:
<CANt=4Mi4E58a3ikPDH2V9aN36b3d6D2M7HJ0V9u0W8yRHko=9w@mail.gmail.com>
Content-Type: text/plain; charset="utf-8"
Olá
Essas distribuições como a Weibul, Gumbel e similares são interessantes.
Porém, nem sempre elas tem a tradicional parametrização de esperança e
dispersão como a Tweedie e as distribuições mais clássicas (normal, gamma,
normal inversa) tem. Muitas vezes a esperança ou é desconhecida ou uma
função complicada de mais de um parâmetro.
Eu penso que ao invés de tentar ajustar várias distribuições é mais
interessante você procurar aspectos relevantes sobre o seu conjunto de
dados, como por exemplo,
excesso de zeros, forte assimetria, caudas pesadas, etc e verificar se a
distribuição que você ajustando é capaz de descrever estes aspectos. No
caso a Tweedie pode lidar com todos estes aspectos, o que significa que ela
deve ajustar bem para uma grande quantidade de dados reais.
O que eu quero dizer é que essa idéia de ficar comparando várias
distribuições pode não ser realmente necessário.
Eu exploro um pouco destas idéias em dois artigos. Eu mostro que a Tweedie
ajusta muito bem, mesmo para
distribuições que não fazem parte da familia, como a t e a slash. Talvez vc
possa explorar idéias similares para a weibul, gumbel e similares.
http://www.tandfonline.com/doi/abs/10.1080/00949655.2017.
1318876?journalCode=gscs20
http://journals.sagepub.com/doi/abs/10.1177/1471082X17715718
Att
Wagner
Em 9 de janeiro de 2018 01:11, Wagner Wolff <wwolff@usp.br> escreveu:
...
Olá Wagner
...
...
Gostei da sua ideia sobre a familia de destribuição Tweedie. Além dessa
...
família você poderia indicar outras que englobem distribuições como por
...
exemplo, Weibull, Gumbel, Burr ...
...
...
Ab
...
...
2018-01-08 18:18 GMT-02:00 Wagner Bonat via R-br <
r-br@listas.c3sl.ufpr.br
...
...
:
...
...
...
Quais distribuições vc tem interesse?
...
...
A distribuição Tweedie tem como casos particulares algumas das mais
...
...
populares distribuições como a normal, gamma e inversa normal.
...
...
Assim, ao invés de ajustar um monte de distribuições basta ajustar uma
...
...
que tem as outras como casos particulares.
...
...
...
...
Att
...
...
Wagner
...
...
...
...
Em 8 de janeiro de 2018 10:38, Rodrigo Campos via R-br <
...
...
r-br@listas.c3sl.ufpr.br> escreveu:
...
...
...
...
...
Bom dia Felipe,
...
...
...
Talvez o pacote "fitdistrplus" possa te ajudar!
...
...
...
Att.
...
...
...
...
...
...
2018-01-08 10:21 GMT-02:00 Felipe Felix Costa via R-br <
...
...
...
r-br@listas.c3sl.ufpr.br>:
...
...
...
...
...
...
...
olá,
...
...
...
...
...
...
...
...
gostaria de saber se existe alguma forma para rodar todas as possíveis
...
...
...
...
distribuições sobre um determinado conjunto de dados com variáveis
...
...
...
...
continuas!?
...
...
...
...
...
...
...
...
pois estou procurando e não achei nada pela internet falando dessa
...
...
...
...
possibilidade.
...
...
...
...
...
...
...
...
meu objetivo é verificar qual melhor a distribuição para os meus dados
...
...
...
...
e, a partir dessa "melhor", estabelecer um modelo geral com todos os
dados
...
...
...
...
e comparar com modelos individuais de áreas isoladas.
...
...
...
...
...
...
...
...
...
...
...
...
HELP
...
...
...
...
...
...
...
...
Att.,
...
...
...
...
--
...
...
...
...
*Felipe Felix Costa*
...
...
...
...
Tel. 96-98122-3077
...
...
...
...
...
...
...
...
...
...
...
...
_______________________________________________
...
...
...
...
R-br mailing list
...
...
...
...
R-br@listas.c3sl.ufpr.br
...
...
...
...
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
...
...
...
...
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
...
...
...
...
código mínimo reproduzível.
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
--
...
...
...
Rodrigo Campos
...
...
...
...
...
...
...
...
...
...
...
...
_______________________________________________
...
...
...
R-br mailing list
...
...
...
R-br@listas.c3sl.ufpr.br
...
...
...
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
...
...
...
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
...
...
...
código mínimo reproduzível.
...
...
...
...
...
...
...
...
...
...
...
--
...
...
Wagner Hugo Bonat
...
...
------------------------------------------------------------
...
...
----------------------------------
...
...
Department of Mathematics and Computer Science (IMADA)
...
...
University of Southern Denmark (SDU) and
...
...
Laboratório de Estatística e Geoinformação (LEG)
...
...
Universidade Federal do Paraná (UFPR)
...
...
...
...
...
...
_______________________________________________
...
...
R-br mailing list
...
...
R-br@listas.c3sl.ufpr.br
...
...
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
...
...
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
...
...
código mínimo reproduzível.
...
...
...
...
...
...
--
...
*Wagner Wolff, **PhD*
...
"*Luiz de Queiroz**" College of Agriculture,*
...
University of São Paulo
...
Pádua Dias avenue11 | 13418-900| Piracicaba-SP| Brazil
...
Phone:  +55 19 982385582 <+55%2019%2098238-5582> <+55%2019%2098238-5582>
...
http://orcid.org/0000-0003-3426-308X
...
https://github.com/wwolff7
...
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4463141A1
...
--
Wagner Hugo Bonat
------------------------------------------------------------
----------------------------------
Department of Mathematics and Computer Science (IMADA)
University of Southern Denmark (SDU) and
Laboratório de Estatística e Geoinformação (LEG)
Universidade Federal do Paraná (UFPR)
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/
20180109/86d7063c/attachment-0001.html>
------------------------------
Message: 3
Date: Tue, 9 Jan 2018 22:28:25 -0200
From: Wagner Bonat <wbonat@gmail.com>
To: Wagner Wolff <wwolff@usp.br>
Cc: a lista Brasileira oficial de discussão do programa R.
<r-br@listas.c3sl.ufpr.br>
Subject: Re: [R-br] Distribuição de probabilidade
Message-ID:
<CANt=4Mj3Tk41SVoGUVAPTpA0h_TZCCQVyLjrYkYGWFpSHsCdHA@mail.gmail.com>
Content-Type: text/plain; charset="utf-8"
Olá
Essas distribuições como a Weibul, Gumbel e similares são interessantes.
Porém, nem sempre elas tem a tradicional parametrização de esperança e
dispersão como a Tweedie e as distribuições mais clássicas (normal, gamma,
normal inversa) tem. Muitas vezes a esperança ou é desconhecida ou uma
função complicada de mais de um parâmetro.
Eu penso que ao invés de tentar ajustar várias distribuições é mais
interessante você procurar aspectos relevantes sobre o seu conjunto de
dados, como por exemplo,
excesso de zeros, forte assimetria, caudas pesadas, etc e verificar se a
distribuição que você ajustando é capaz de descrever estes aspectos. No
caso a Tweedie pode lidar com todos estes aspectos, o que significa que ela
deve ajustar bem para uma grande quantidade de dados reais.
O que eu quero dizer é que essa idéia de ficar comparando várias
distribuições pode não ser realmente necessário.
Eu exploro um pouco destas idéias em dois artigos. Eu mostro que a Tweedie
ajusta muito bem, mesmo para
distribuições que não fazem parte da familia, como a t e a slash. Talvez vc
possa explorar idéias similares para a weibul, gumbel e similares.
http://www.tandfonline.com/doi/abs/10.1080/00949655.2017.
1318876?journalCode=gscs20
http://journals.sagepub.com/doi/abs/10.1177/1471082X17715718
Att
Wagner
Em 9 de janeiro de 2018 01:11, Wagner Wolff <wwolff@usp.br> escreveu:
...
Olá Wagner
...
...
Gostei da sua ideia sobre a familia de destribuição Tweedie. Além dessa
...
família você poderia indicar outras que englobem distribuições como por
...
exemplo, Weibull, Gumbel, Burr ...
...
...
Ab
...
...
2018-01-08 18:18 GMT-02:00 Wagner Bonat via R-br <
r-br@listas.c3sl.ufpr.br
...
...
:
...
...
...
Quais distribuições vc tem interesse?
...
...
A distribuição Tweedie tem como casos particulares algumas das mais
...
...
populares distribuições como a normal, gamma e inversa normal.
...
...
Assim, ao invés de ajustar um monte de distribuições basta ajustar uma
...
...
que tem as outras como casos particulares.
...
...
...
...
Att
...
...
Wagner
...
...
...
...
Em 8 de janeiro de 2018 10:38, Rodrigo Campos via R-br <
...
...
r-br@listas.c3sl.ufpr.br> escreveu:
...
...
...
...
...
Bom dia Felipe,
...
...
...
Talvez o pacote "fitdistrplus" possa te ajudar!
...
...
...
Att.
...
...
...
...
...
...
2018-01-08 10:21 GMT-02:00 Felipe Felix Costa via R-br <
...
...
...
r-br@listas.c3sl.ufpr.br>:
...
...
...
...
...
...
...
olá,
...
...
...
...
...
...
...
...
gostaria de saber se existe alguma forma para rodar todas as possíveis
...
...
...
...
distribuições sobre um determinado conjunto de dados com variáveis
...
...
...
...
continuas!?
...
...
...
...
...
...
...
...
pois estou procurando e não achei nada pela internet falando dessa
...
...
...
...
possibilidade.
...
...
...
...
...
...
...
...
meu objetivo é verificar qual melhor a distribuição para os meus dados
...
...
...
...
e, a partir dessa "melhor", estabelecer um modelo geral com todos os
dados
...
...
...
...
e comparar com modelos individuais de áreas isoladas.
...
...
...
...
...
...
...
...
...
...
...
...
HELP
...
...
...
...
...
...
...
...
Att.,
...
...
...
...
--
...
...
...
...
*Felipe Felix Costa*
...
...
...
...
Tel. 96-98122-3077
...
...
...
...
...
...
...
...
...
...
...
...
_______________________________________________
...
...
...
...
R-br mailing list
...
...
...
...
R-br@listas.c3sl.ufpr.br
...
...
...
...
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
...
...
...
...
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
...
...
...
...
código mínimo reproduzível.
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
--
...
...
...
Rodrigo Campos
...
...
...
...
...
...
...
...
...
...
...
...
_______________________________________________
...
...
...
R-br mailing list
...
...
...
R-br@listas.c3sl.ufpr.br
...
...
...
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
...
...
...
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
...
...
...
código mínimo reproduzível.
...
...
...
...
...
...
...
...
...
...
...
--
...
...
Wagner Hugo Bonat
...
...
------------------------------------------------------------
...
...
----------------------------------
...
...
Department of Mathematics and Computer Science (IMADA)
...
...
University of Southern Denmark (SDU) and
...
...
Laboratório de Estatística e Geoinformação (LEG)
...
...
Universidade Federal do Paraná (UFPR)
...
...
...
...
...
...
_______________________________________________
...
...
R-br mailing list
...
...
R-br@listas.c3sl.ufpr.br
...
...
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
...
...
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
...
...
código mínimo reproduzível.
...
...
...
...
...
...
--
...
*Wagner Wolff, **PhD*
...
"*Luiz de Queiroz**" College of Agriculture,*
...
University of São Paulo
...
Pádua Dias avenue11 | 13418-900| Piracicaba-SP| Brazil
...
Phone:  +55 19 982385582 <+55%2019%2098238-5582> <+55%2019%2098238-5582>
...
http://orcid.org/0000-0003-3426-308X
...
https://github.com/wwolff7
...
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4463141A1
...
--
Wagner Hugo Bonat
------------------------------------------------------------
----------------------------------
Department of Mathematics and Computer Science (IMADA)
University of Southern Denmark (SDU) and
Laboratório de Estatística e Geoinformação (LEG)
Universidade Federal do Paraná (UFPR)
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/
20180109/e6dfd363/attachment-0001.html>
------------------------------
Subject: Legenda do Digest
_______________________________________________
R-br mailing list
R-br@listas.c3sl.ufpr.br
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
------------------------------
Fim da Digest R-br, volume 85, assunto 6
****************************************
_______________________________________________
R-br mailing list
R-br@listas.c3sl.ufpr.br
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
código mínimo reproduzível.
-- 
Wagner Hugo Bonat
----------------------------------------------------------------------------------------------
Department of Mathematics and Computer Science (IMADA)
University of Southern Denmark (SDU) and
Laboratório de Estatística e Geoinformação (LEG)
Universidade Federal do Paraná (UFPR)