O problema é exatamente isso que você citou. Eu quero prever amanhã da variável dependente y a partir de amanhã das variáveis independente x, todas que eu não tenho. Então eu tentei estimar por holtwinters as variáveis independentes x para achar y, mas eu levei o erro da previsão anterior e não ficou boa.
Se eu tento defasar o x para ter os reais e prever o y que eu não tenho, eu vou prever o y de amanhã com os dados de hoje de x, o que acredito não fazer muito sentido. Meu dados são de vendas de um supermercado, e as vendas de um dia não alteram no outro dia seguinte, a relação entre as variáveis acontece dentro do mesmo dia.
Então eu não tenho ideia de como resolver isso. O ajuste (training set) com o lasso fica muito bom, porém preciso da previsão, que é o que realmente importa.
Grande abraço
João Pedro Araujo Domingues
De: R-br [mailto:r-br-bounces@listas.
c3sl.ufpr.br ] Em nome de Edmar Caldas via R-br
Enviada em: Wednesday, January 10, 2018 12:06 PM
Para: r-br@listas.c3sl.ufpr.br
Assunto: Re: [R-br] Digest R-br, volume 85, assunto 6
Eu entendi assim,
Vamos supor que as suas variáveis (dependentes e independentes) tem valores até 12/2017. e vc quer fazer previsão para 12/2018. as suas variáveis independentes terão que ter valores até 12/2018 senão não vai fazer a previsão.
Edmar
Em quarta-feira, 10 de janeiro de 2018 12:00:33 BRST, <r-br-request@listas.c3sl.
ufpr.br > escreveu:
Enviar submissões para a lista de discussão R-br para
Para se cadastrar ou descadastrar via WWW, visite o endereço
ou, via email, envie uma mensagem com a palavra 'help' no assunto ou
corpo da mensagem para
Você poderá entrar em contato com a pessoa que gerencia a lista pelo
endereço
Quando responder, por favor edite sua linha Assunto assim ela será
mais específica que "Re: Contents of R-br digest..."
Tópicos de Hoje:
1. previsão utilizando o lasso (João Pedro Domingues)
2. Re: Distribuição de probabilidade (Wagner Bonat)
3. Re: Distribuição de probabilidade (Wagner Bonat)
------------------------------
------------------------------ ----------
Message: 1
Date: Tue, 9 Jan 2018 20:04:49 +0000
From: João Pedro Domingues <J__P@hotmail.com>
To: a lista Brasileira oficial de discussão do programa R.
Subject: [R-br] previsão utilizando o lasso
Message-ID:
Content-Type: text/plain; charset="iso-8859-1"
Boa tarde colegas,
Estou tentando realizar uma previsão de vendas utilizando o algoritimo LASSO pelo pacote HDeconometrics. Alguém com experiência neste pacote poderia me ajudar por gentileza? Só preciso resolver isso para finalizar minha dissertação. Muito obrigado a todos!
Data é uma matriz de series temporais com 158 observações (diarias) e 13 produtos (colunas).
Eu inicialmente separo a primeira coluna como sendo o produto focal para analisar e o coloco como y, sendo a variável dependente. Já as outras colunas eu coloco como x, variáveis independentes. Então o LASSO me informa quais são relevantes.
Com isso, eu separo as primeiras 148 observações para ser o training set, e as últimas 10 observações para o test set, e ver se o modelo realmente funciona. Até aqui ok.
O problema: quando eu realizo o ajuste da série com o comando (lasso=ic.glmnet(x.in,y.in,
crit = "bic")) ele ajusta o modelo para a série sem problemas, utilizando as variáveis que o lasso identificou como relevantes para o training set. Porém, quando eu vou executar a previsão real utilizando a última linha (previsao.lasso=predict(lasso,
newdata=x.out)), ele não faz a previsão, ele simplesmente faz um ajuste igual o training set. Alguém tem alguma ideia de como resolver essa questão e conseguir prever corretamente?
Grande abraço
Segue abaixo os comandos utilizados:
library(HDeconometrics)
library(forecast)
## Inicio
i = 0
y = as.matrix(Data[,i+1]) #variável dependente primeira coluna
x = (Data) #cópia da base toda
x[,i + 1] <- NULL #retira a variável y e fica com todas as outras variáveis
x = as.matrix(x) # transforma em matriz
### separa a série em training e test set de x e y
y.in=y[1:148] #training set
y.out=y[-c(1:148)] #test set
x.in=x[1:148,] #training set
x.out=x[-c(1:148),] #test set
## ajuste do modelo e previsão LASSO
previsao.lasso=predict(lasso,
newdata=x.out) #previsão com o test set
João Pedro Domingues
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
------------------------------
Message: 2
Date: Tue, 9 Jan 2018 22:25:09 -0200
From: Wagner Bonat <wbonat@gmail.com>
To: Wagner Wolff <wwolff@usp.br>
Cc: a lista Brasileira oficial de discussão do programa R.
Subject: Re: [R-br] Distribuição de probabilidade
Message-ID:
<CANt=
4Mi4E58a3ikPDH2V9aN36b3d6D2M7H J0V9u0W8yRHko=9w@mail.gmail. com >Content-Type: text/plain; charset="utf-8"
Olá
Essas distribuições como a Weibul, Gumbel e similares são interessantes.
Porém, nem sempre elas tem a tradicional parametrização de esperança e
dispersão como a Tweedie e as distribuições mais clássicas (normal, gamma,
normal inversa) tem. Muitas vezes a esperança ou é desconhecida ou uma
função complicada de mais de um parâmetro.
Eu penso que ao invés de tentar ajustar várias distribuições é mais
interessante você procurar aspectos relevantes sobre o seu conjunto de
dados, como por exemplo,
excesso de zeros, forte assimetria, caudas pesadas, etc e verificar se a
distribuição que você ajustando é capaz de descrever estes aspectos. No
caso a Tweedie pode lidar com todos estes aspectos, o que significa que ela
deve ajustar bem para uma grande quantidade de dados reais.
O que eu quero dizer é que essa idéia de ficar comparando várias
distribuições pode não ser realmente necessário.
Eu exploro um pouco destas idéias em dois artigos. Eu mostro que a Tweedie
ajusta muito bem, mesmo para
distribuições que não fazem parte da familia, como a t e a slash. Talvez vc
possa explorar idéias similares para a weibul, gumbel e similares.
Att
Wagner
Em 9 de janeiro de 2018 01:11, Wagner Wolff <wwolff@usp.br> escreveu:
> Olá Wagner
>
> Gostei da sua ideia sobre a familia de destribuição Tweedie. Além dessa
> família você poderia indicar outras que englobem distribuições como por
> exemplo, Weibull, Gumbel, Burr ...
>
> Ab
>
> 2018-01-08 18:18 GMT-02:00 Wagner Bonat via R-br <r-br@listas.c3sl.ufpr.br
> >:
>
>> Quais distribuições vc tem interesse?
>> A distribuição Tweedie tem como casos particulares algumas das mais
>> populares distribuições como a normal, gamma e inversa normal.
>> Assim, ao invés de ajustar um monte de distribuições basta ajustar uma
>> que tem as outras como casos particulares.
>>
>> Att
>> Wagner
>>
>> Em 8 de janeiro de 2018 10:38, Rodrigo Campos via R-br <
>> r-br@listas.c3sl.ufpr.br> escreveu:
>>
>>> Bom dia Felipe,
>>> Talvez o pacote "fitdistrplus" possa te ajudar!
>>> Att.
>>>
>>> 2018-01-08 10:21 GMT-02:00 Felipe Felix Costa via R-br <
>>> r-br@listas.c3sl.ufpr.br>:
>>>
>>>> olá,
>>>>
>>>> gostaria de saber se existe alguma forma para rodar todas as possíveis
>>>> distribuições sobre um determinado conjunto de dados com variáveis
>>>> continuas!?
>>>>
>>>> pois estou procurando e não achei nada pela internet falando dessa
>>>> possibilidade.
>>>>
>>>> meu objetivo é verificar qual melhor a distribuição para os meus dados
>>>> e, a partir dessa "melhor", estabelecer um modelo geral com todos os dados
>>>> e comparar com modelos individuais de áreas isoladas.
>>>>
>>>>
>>>> HELP
>>>>
>>>> Att.,
>>>> --
>>>> *Felipe Felix Costa*
>>>> Tel. 96-98122-3077
>>>>
>>>>
>>>> ______________________________
_________________ >>>> R-br mailing list
>>>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-
guia ) e forneça>>>> código mínimo reproduzível.
>>>>
>>>
>>>
>>>
>>> --
>>> Rodrigo Campos
>>>
>>>
>>>
>>> ______________________________
_________________ >>> R-br mailing list
>>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-
guia ) e forneça>>> código mínimo reproduzível.
>>>
>>
>>
>>
>> --
>> Wagner Hugo Bonat
>> ------------------------------
------------------------------ >> ------------------------------
---- >> Department of Mathematics and Computer Science (IMADA)
>> University of Southern Denmark (SDU) and
>> Laboratório de Estatística e Geoinformação (LEG)
>> Universidade Federal do Paraná (UFPR)
>>
>>
>> ______________________________
_________________ >> R-br mailing list
>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-
guia ) e forneça>> código mínimo reproduzível.
>>
>
>
>
> --
> *Wagner Wolff, **PhD*
> "*Luiz de Queiroz**" College of Agriculture,*
> University of São Paulo
> Pádua Dias avenue11 | 13418-900| Piracicaba-SP| Brazil
> Phone: +55 19 982385582 <+55%2019%2098238-5582>
>
--
Wagner Hugo Bonat
------------------------------
------------------------------ ------------------------------ ---- Department of Mathematics and Computer Science (IMADA)
University of Southern Denmark (SDU) and
Laboratório de Estatística e Geoinformação (LEG)
Universidade Federal do Paraná (UFPR)
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
------------------------------
Message: 3
Date: Tue, 9 Jan 2018 22:28:25 -0200
From: Wagner Bonat <wbonat@gmail.com>
To: Wagner Wolff <wwolff@usp.br>
Cc: a lista Brasileira oficial de discussão do programa R.
Subject: Re: [R-br] Distribuição de probabilidade
Message-ID:
Content-Type: text/plain; charset="utf-8"
Olá
Essas distribuições como a Weibul, Gumbel e similares são interessantes.
Porém, nem sempre elas tem a tradicional parametrização de esperança e
dispersão como a Tweedie e as distribuições mais clássicas (normal, gamma,
normal inversa) tem. Muitas vezes a esperança ou é desconhecida ou uma
função complicada de mais de um parâmetro.
Eu penso que ao invés de tentar ajustar várias distribuições é mais
interessante você procurar aspectos relevantes sobre o seu conjunto de
dados, como por exemplo,
excesso de zeros, forte assimetria, caudas pesadas, etc e verificar se a
distribuição que você ajustando é capaz de descrever estes aspectos. No
caso a Tweedie pode lidar com todos estes aspectos, o que significa que ela
deve ajustar bem para uma grande quantidade de dados reais.
O que eu quero dizer é que essa idéia de ficar comparando várias
distribuições pode não ser realmente necessário.
Eu exploro um pouco destas idéias em dois artigos. Eu mostro que a Tweedie
ajusta muito bem, mesmo para
distribuições que não fazem parte da familia, como a t e a slash. Talvez vc
possa explorar idéias similares para a weibul, gumbel e similares.
1318876?journalCode=gscs20
Att
Wagner
Em 9 de janeiro de 2018 01:11, Wagner Wolff <wwolff@usp.br> escreveu:
> Olá Wagner
>
> Gostei da sua ideia sobre a familia de destribuição Tweedie. Além dessa
> família você poderia indicar outras que englobem distribuições como por
> exemplo, Weibull, Gumbel, Burr ...
>
> Ab
>
> 2018-01-08 18:18 GMT-02:00 Wagner Bonat via R-br <r-br@listas.c3sl.ufpr.br
> >:
>
>> Quais distribuições vc tem interesse?
>> A distribuição Tweedie tem como casos particulares algumas das mais
>> populares distribuições como a normal, gamma e inversa normal.
>> Assim, ao invés de ajustar um monte de distribuições basta ajustar uma
>> que tem as outras como casos particulares.
>>
>> Att
>> Wagner
>>
>> Em 8 de janeiro de 2018 10:38, Rodrigo Campos via R-br <
>> r-br@listas.c3sl.ufpr.br> escreveu:
>>
>>> Bom dia Felipe,
>>> Talvez o pacote "fitdistrplus" possa te ajudar!
>>> Att.
>>>
>>> 2018-01-08 10:21 GMT-02:00 Felipe Felix Costa via R-br <
>>> r-br@listas.c3sl.ufpr.br>:
>>>
>>>> olá,
>>>>
>>>> gostaria de saber se existe alguma forma para rodar todas as possíveis
>>>> distribuições sobre um determinado conjunto de dados com variáveis
>>>> continuas!?
>>>>
>>>> pois estou procurando e não achei nada pela internet falando dessa
>>>> possibilidade.
>>>>
>>>> meu objetivo é verificar qual melhor a distribuição para os meus dados
>>>> e, a partir dessa "melhor", estabelecer um modelo geral com todos os dados
>>>> e comparar com modelos individuais de áreas isoladas.
>>>>
>>>>
>>>> HELP
>>>>
>>>> Att.,
>>>> --
>>>> *Felipe Felix Costa*
>>>> Tel. 96-98122-3077
>>>>
>>>>
>>>> ______________________________
_________________ >>>> R-br mailing list
>>>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-
guia ) e forneça>>>> código mínimo reproduzível.
>>>>
>>>
>>>
>>>
>>> --
>>> Rodrigo Campos
>>>
>>>
>>>
>>> ______________________________
_________________ >>> R-br mailing list
>>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-
guia ) e forneça>>> código mínimo reproduzível.
>>>
>>
>>
>>
>> --
>> Wagner Hugo Bonat
>> ------------------------------
------------------------------ >> ------------------------------
---- >> Department of Mathematics and Computer Science (IMADA)
>> University of Southern Denmark (SDU) and
>> Laboratório de Estatística e Geoinformação (LEG)
>> Universidade Federal do Paraná (UFPR)
>>
>>
>> ______________________________
_________________ >> R-br mailing list
>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-
guia ) e forneça>> código mínimo reproduzível.
>>
>
>
>
> --
> *Wagner Wolff, **PhD*
> "*Luiz de Queiroz**" College of Agriculture,*
> University of São Paulo
> Pádua Dias avenue11 | 13418-900| Piracicaba-SP| Brazil
> Phone: +55 19 982385582 <+55%2019%2098238-5582>
>
--
Wagner Hugo Bonat
------------------------------
------------------------------ ------------------------------ ---- Department of Mathematics and Computer Science (IMADA)
University of Southern Denmark (SDU) and
Laboratório de Estatística e Geoinformação (LEG)
Universidade Federal do Paraná (UFPR)
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
------------------------------
Subject: Legenda do Digest
______________________________
_________________ R-br mailing list
------------------------------
Fim da Digest R-br, volume 85, assunto 6
******************************
**********
_______________________________________________
R-br mailing list
R-br@listas.c3sl.ufpr.br
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia ) e forneça código mínimo reproduzível.