[R-br] RES: Digest R-br, volume 85, assunto 6

João Pedro Domingues J__P em hotmail.com
Quarta Janeiro 10 15:07:56 -02 2018


Edmar e colegas,

O problema é exatamente isso que você citou. Eu quero prever amanhã da variável dependente y a partir de amanhã das variáveis independente x, todas que eu não tenho. Então eu tentei estimar por holtwinters as variáveis independentes x para achar y, mas eu levei o erro da previsão anterior e não ficou boa.

Se eu tento defasar o x para ter os reais e prever o y que eu não tenho, eu vou prever o y de amanhã  com os dados de hoje de x, o que acredito não fazer muito sentido. Meu dados são de vendas de um supermercado, e as vendas de um dia não alteram no outro dia seguinte, a relação entre as variáveis acontece dentro do mesmo dia.

Então eu não tenho ideia de como resolver isso. O ajuste (training set) com o lasso fica muito bom, porém preciso da previsão, que é o que realmente importa.

Grande abraço

João Pedro Araujo Domingues

De: R-br [mailto:r-br-bounces em listas.c3sl.ufpr.br] Em nome de Edmar Caldas via R-br
Enviada em: Wednesday, January 10, 2018 12:06 PM
Para: r-br em listas.c3sl.ufpr.br
Assunto: Re: [R-br] Digest R-br, volume 85, assunto 6

Eu entendi assim,

Vamos supor que as suas variáveis (dependentes e independentes) tem valores até 12/2017. e vc quer fazer previsão para 12/2018. as suas variáveis independentes terão que ter valores até 12/2018 senão não vai fazer a previsão.
Edmar


Em quarta-feira, 10 de janeiro de 2018 12:00:33 BRST, <r-br-request em listas.c3sl.ufpr.br<mailto:r-br-request em listas.c3sl.ufpr.br>> escreveu:


Enviar submissões para a lista de discussão R-br para
    r-br em listas.c3sl.ufpr.br<mailto:r-br em listas.c3sl.ufpr.br>

Para se cadastrar ou descadastrar via WWW, visite o endereço
    https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
ou, via email, envie uma mensagem com a palavra 'help' no assunto ou
corpo da mensagem para
    r-br-request em listas.c3sl.ufpr.br<mailto:r-br-request em listas.c3sl.ufpr.br>

Você poderá entrar em contato com a pessoa que gerencia a lista pelo
endereço
    r-br-owner em listas.c3sl.ufpr.br<mailto:r-br-owner em listas.c3sl.ufpr.br>

Quando responder, por favor edite sua linha Assunto assim ela será
mais específica que "Re: Contents of R-br digest..."


Tópicos de Hoje:

  1. previsão utilizando o lasso (João Pedro Domingues)
  2. Re: Distribuição de probabilidade (Wagner Bonat)
  3. Re: Distribuição de probabilidade (Wagner Bonat)


----------------------------------------------------------------------

Message: 1
Date: Tue, 9 Jan 2018 20:04:49 +0000
From: João Pedro Domingues <J__P em hotmail.com<mailto:J__P em hotmail.com>>
To: a lista Brasileira oficial de discussão do programa R.
    <r-br em listas.c3sl.ufpr.br<mailto:r-br em listas.c3sl.ufpr.br>>
Subject: [R-br] previsão utilizando o lasso
Message-ID:
    <BN6PR2001MB16668FB0A072A2FC1AD8D6B0D5100 em BN6PR2001MB1666.namprd20.prod.outlook.com<mailto:BN6PR2001MB16668FB0A072A2FC1AD8D6B0D5100 em BN6PR2001MB1666.namprd20.prod.outlook.com>>

Content-Type: text/plain; charset="iso-8859-1"

Boa tarde colegas,

Estou tentando realizar uma previsão de vendas utilizando o algoritimo LASSO pelo pacote HDeconometrics. Alguém com experiência neste pacote poderia me ajudar por gentileza? Só preciso resolver isso para finalizar minha dissertação. Muito obrigado a todos!


Data é uma matriz de series temporais com 158 observações (diarias) e 13 produtos (colunas).
Eu inicialmente separo a primeira coluna como sendo o produto focal para analisar e o coloco como y, sendo a variável dependente. Já as outras colunas eu coloco como x, variáveis independentes. Então o LASSO me informa quais são relevantes.
Com isso, eu separo as primeiras 148 observações para ser o training set, e as últimas 10 observações para o test set, e ver se o modelo realmente funciona. Até aqui ok.

O problema: quando eu realizo o ajuste da série com o comando (lasso=ic.glmnet(x.in,y.in,crit = "bic")) ele ajusta o modelo para a série sem problemas, utilizando as variáveis que o lasso identificou como relevantes para o training set.
Porém, quando eu vou executar a previsão real utilizando a última linha (previsao.lasso=predict(lasso,newdata=x.out)), ele não faz a previsão, ele simplesmente faz um ajuste igual o training set.
Alguém tem alguma ideia de como resolver essa questão e conseguir prever corretamente?
Grande abraço


Segue abaixo os comandos utilizados:


                library(HDeconometrics)
                library(forecast)
                ## Inicio
i = 0
              y = as.matrix(Data[,i+1])              #variável dependente primeira coluna
              x = (Data)                                            #cópia da base toda
              x[,i + 1] <- NULL                                #retira a variável y e fica com todas as outras variáveis
              x = as.matrix(x)                                # transforma em matriz

              ### separa a série em training e test set de x e y
              y.in=y[1:148]                    #training set
              y.out=y[-c(1:148)]          #test set

              x.in=x[1:148,]                    #training set
              x.out=x[-c(1:148),]          #test set

              ## ajuste do modelo e previsão LASSO
              lasso=ic.glmnet(x.in,y.in,crit = "bic")                      #ajuste do modelo com o training set
              previsao.lasso=predict(lasso,newdata=x.out)    #previsão com o test set

João Pedro Domingues

-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20180109/580bb5da/attachment-0001.html>

------------------------------

Message: 2
Date: Tue, 9 Jan 2018 22:25:09 -0200
From: Wagner Bonat <wbonat em gmail.com<mailto:wbonat em gmail.com>>
To: Wagner Wolff <wwolff em usp.br<mailto:wwolff em usp.br>>
Cc: a lista Brasileira oficial de discussão do programa R.
    <r-br em listas.c3sl.ufpr.br<mailto:r-br em listas.c3sl.ufpr.br>>
Subject: Re: [R-br] Distribuição de probabilidade
Message-ID:
    <CANt=4Mi4E58a3ikPDH2V9aN36b3d6D2M7HJ0V9u0W8yRHko=9w em mail.gmail.com<mailto:9w em mail.gmail.com>>
Content-Type: text/plain; charset="utf-8"

Olá

Essas distribuições como a Weibul, Gumbel e similares são interessantes.
Porém, nem sempre elas tem a tradicional parametrização de esperança e
dispersão como a Tweedie e as distribuições mais clássicas (normal, gamma,
normal inversa) tem. Muitas vezes a esperança ou é desconhecida ou uma
função complicada de mais de um parâmetro.

Eu penso que ao invés de tentar ajustar várias distribuições é mais
interessante você procurar aspectos relevantes sobre o seu conjunto de
dados, como por exemplo,
excesso de zeros, forte assimetria, caudas pesadas, etc e verificar se a
distribuição que você ajustando é capaz de descrever estes aspectos. No
caso a Tweedie pode lidar com todos estes aspectos, o que significa que ela
deve ajustar bem para uma grande quantidade de dados reais.

O que eu quero dizer é que essa idéia de ficar comparando várias
distribuições pode não ser realmente necessário.
Eu exploro um pouco destas idéias em dois artigos. Eu mostro que a Tweedie
ajusta muito bem, mesmo para
distribuições que não fazem parte da familia, como a t e a slash. Talvez vc
possa explorar idéias similares para a weibul, gumbel e similares.

http://www.tandfonline.com/doi/abs/10.1080/00949655.2017.1318876?journalCode=gscs20

http://journals.sagepub.com/doi/abs/10.1177/1471082X17715718

Att
Wagner

Em 9 de janeiro de 2018 01:11, Wagner Wolff <wwolff em usp.br<mailto:wwolff em usp.br>> escreveu:

> Olá Wagner
>
> Gostei da sua ideia sobre a familia de destribuição Tweedie. Além dessa
> família você poderia indicar outras que englobem distribuições como por
> exemplo, Weibull, Gumbel, Burr ...
>
> Ab
>
> 2018-01-08 18:18 GMT-02:00 Wagner Bonat via R-br <r-br em listas.c3sl.ufpr.br<mailto:r-br em listas.c3sl.ufpr.br>
> >:
>
>> Quais distribuições vc tem interesse?
>> A distribuição Tweedie tem como casos particulares algumas das mais
>> populares distribuições como a normal, gamma e inversa normal.
>> Assim, ao invés de ajustar um monte de distribuições basta ajustar uma
>> que tem as outras como casos particulares.
>>
>> Att
>> Wagner
>>
>> Em 8 de janeiro de 2018 10:38, Rodrigo Campos via R-br <
>> r-br em listas.c3sl.ufpr.br<mailto:r-br em listas.c3sl.ufpr.br>> escreveu:
>>
>>> Bom dia Felipe,
>>> Talvez o pacote "fitdistrplus" possa te ajudar!
>>> Att.
>>>
>>> 2018-01-08 10:21 GMT-02:00 Felipe Felix Costa via R-br <
>>> r-br em listas.c3sl.ufpr.br<mailto:r-br em listas.c3sl.ufpr.br>>:
>>>
>>>> olá,
>>>>
>>>> gostaria de saber se existe alguma forma para rodar todas as possíveis
>>>> distribuições sobre um determinado conjunto de dados com variáveis
>>>> continuas!?
>>>>
>>>> pois estou procurando e não achei nada pela internet falando dessa
>>>> possibilidade.
>>>>
>>>> meu objetivo é verificar qual melhor a distribuição para os meus dados
>>>> e, a partir dessa "melhor", estabelecer um modelo geral com todos os dados
>>>> e comparar com modelos individuais de áreas isoladas.
>>>>
>>>>
>>>> HELP
>>>>
>>>> Att.,
>>>> --
>>>> *Felipe Felix Costa*
>>>> Tel. 96-98122-3077
>>>>
>>>>
>>>> _______________________________________________
>>>> R-br mailing list
>>>> R-br em listas.c3sl.ufpr.br<mailto:R-br em listas.c3sl.ufpr.br>
>>>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>>>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
>>>> código mínimo reproduzível.
>>>>
>>>
>>>
>>>
>>> --
>>> Rodrigo Campos
>>>
>>>
>>>
>>> _______________________________________________
>>> R-br mailing list
>>> R-br em listas.c3sl.ufpr.br<mailto:R-br em listas.c3sl.ufpr.br>
>>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
>>> código mínimo reproduzível.
>>>
>>
>>
>>
>> --
>> Wagner Hugo Bonat
>> ------------------------------------------------------------
>> ----------------------------------
>> Department of Mathematics and Computer Science (IMADA)
>> University of Southern Denmark (SDU) and
>> Laboratório de Estatística e Geoinformação (LEG)
>> Universidade Federal do Paraná (UFPR)
>>
>>
>> _______________________________________________
>> R-br mailing list
>> R-br em listas.c3sl.ufpr.br<mailto:R-br em listas.c3sl.ufpr.br>
>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
>> código mínimo reproduzível.
>>
>
>
>
> --
> *Wagner Wolff, **PhD*
> "*Luiz de Queiroz**" College of Agriculture,*
> University of São Paulo
> Pádua Dias avenue11 | 13418-900| Piracicaba-SP| Brazil
> Phone:  +55 19 982385582 <+55%2019%2098238-5582>
> http://orcid.org/0000-0003-3426-308X
> https://github.com/wwolff7
> http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4463141A1
>



--
Wagner Hugo Bonat
----------------------------------------------------------------------------------------------
Department of Mathematics and Computer Science (IMADA)
University of Southern Denmark (SDU) and
Laboratório de Estatística e Geoinformação (LEG)
Universidade Federal do Paraná (UFPR)
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20180109/86d7063c/attachment-0001.html>

------------------------------

Message: 3
Date: Tue, 9 Jan 2018 22:28:25 -0200
From: Wagner Bonat <wbonat em gmail.com<mailto:wbonat em gmail.com>>
To: Wagner Wolff <wwolff em usp.br<mailto:wwolff em usp.br>>
Cc: a lista Brasileira oficial de discussão do programa R.
    <r-br em listas.c3sl.ufpr.br<mailto:r-br em listas.c3sl.ufpr.br>>
Subject: Re: [R-br] Distribuição de probabilidade
Message-ID:
    <CANt=4Mj3Tk41SVoGUVAPTpA0h_TZCCQVyLjrYkYGWFpSHsCdHA em mail.gmail.com<mailto:4Mj3Tk41SVoGUVAPTpA0h_TZCCQVyLjrYkYGWFpSHsCdHA em mail.gmail.com>>
Content-Type: text/plain; charset="utf-8"

Olá

Essas distribuições como a Weibul, Gumbel e similares são interessantes.
Porém, nem sempre elas tem a tradicional parametrização de esperança e
dispersão como a Tweedie e as distribuições mais clássicas (normal, gamma,
normal inversa) tem. Muitas vezes a esperança ou é desconhecida ou uma
função complicada de mais de um parâmetro.

Eu penso que ao invés de tentar ajustar várias distribuições é mais
interessante você procurar aspectos relevantes sobre o seu conjunto de
dados, como por exemplo,
excesso de zeros, forte assimetria, caudas pesadas, etc e verificar se a
distribuição que você ajustando é capaz de descrever estes aspectos. No
caso a Tweedie pode lidar com todos estes aspectos, o que significa que ela
deve ajustar bem para uma grande quantidade de dados reais.

O que eu quero dizer é que essa idéia de ficar comparando várias
distribuições pode não ser realmente necessário.
Eu exploro um pouco destas idéias em dois artigos. Eu mostro que a Tweedie
ajusta muito bem, mesmo para
distribuições que não fazem parte da familia, como a t e a slash. Talvez vc
possa explorar idéias similares para a weibul, gumbel e similares.

http://www.tandfonline.com/doi/abs/10.1080/00949655.2017.
1318876?journalCode=gscs20

http://journals.sagepub.com/doi/abs/10.1177/1471082X17715718

Att
Wagner

Em 9 de janeiro de 2018 01:11, Wagner Wolff <wwolff em usp.br<mailto:wwolff em usp.br>> escreveu:

> Olá Wagner
>
> Gostei da sua ideia sobre a familia de destribuição Tweedie. Além dessa
> família você poderia indicar outras que englobem distribuições como por
> exemplo, Weibull, Gumbel, Burr ...
>
> Ab
>
> 2018-01-08 18:18 GMT-02:00 Wagner Bonat via R-br <r-br em listas.c3sl.ufpr.br<mailto:r-br em listas.c3sl.ufpr.br>
> >:
>
>> Quais distribuições vc tem interesse?
>> A distribuição Tweedie tem como casos particulares algumas das mais
>> populares distribuições como a normal, gamma e inversa normal.
>> Assim, ao invés de ajustar um monte de distribuições basta ajustar uma
>> que tem as outras como casos particulares.
>>
>> Att
>> Wagner
>>
>> Em 8 de janeiro de 2018 10:38, Rodrigo Campos via R-br <
>> r-br em listas.c3sl.ufpr.br<mailto:r-br em listas.c3sl.ufpr.br>> escreveu:
>>
>>> Bom dia Felipe,
>>> Talvez o pacote "fitdistrplus" possa te ajudar!
>>> Att.
>>>
>>> 2018-01-08 10:21 GMT-02:00 Felipe Felix Costa via R-br <
>>> r-br em listas.c3sl.ufpr.br<mailto:r-br em listas.c3sl.ufpr.br>>:
>>>
>>>> olá,
>>>>
>>>> gostaria de saber se existe alguma forma para rodar todas as possíveis
>>>> distribuições sobre um determinado conjunto de dados com variáveis
>>>> continuas!?
>>>>
>>>> pois estou procurando e não achei nada pela internet falando dessa
>>>> possibilidade.
>>>>
>>>> meu objetivo é verificar qual melhor a distribuição para os meus dados
>>>> e, a partir dessa "melhor", estabelecer um modelo geral com todos os dados
>>>> e comparar com modelos individuais de áreas isoladas.
>>>>
>>>>
>>>> HELP
>>>>
>>>> Att.,
>>>> --
>>>> *Felipe Felix Costa*
>>>> Tel. 96-98122-3077
>>>>
>>>>
>>>> _______________________________________________
>>>> R-br mailing list
>>>> R-br em listas.c3sl.ufpr.br<mailto:R-br em listas.c3sl.ufpr.br>
>>>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>>>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
>>>> código mínimo reproduzível.
>>>>
>>>
>>>
>>>
>>> --
>>> Rodrigo Campos
>>>
>>>
>>>
>>> _______________________________________________
>>> R-br mailing list
>>> R-br em listas.c3sl.ufpr.br<mailto:R-br em listas.c3sl.ufpr.br>
>>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
>>> código mínimo reproduzível.
>>>
>>
>>
>>
>> --
>> Wagner Hugo Bonat
>> ------------------------------------------------------------
>> ----------------------------------
>> Department of Mathematics and Computer Science (IMADA)
>> University of Southern Denmark (SDU) and
>> Laboratório de Estatística e Geoinformação (LEG)
>> Universidade Federal do Paraná (UFPR)
>>
>>
>> _______________________________________________
>> R-br mailing list
>> R-br em listas.c3sl.ufpr.br<mailto:R-br em listas.c3sl.ufpr.br>
>> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
>> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça
>> código mínimo reproduzível.
>>
>
>
>
> --
> *Wagner Wolff, **PhD*
> "*Luiz de Queiroz**" College of Agriculture,*
> University of São Paulo
> Pádua Dias avenue11 | 13418-900| Piracicaba-SP| Brazil
> Phone:  +55 19 982385582 <+55%2019%2098238-5582>
> http://orcid.org/0000-0003-3426-308X
> https://github.com/wwolff7
> http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4463141A1
>



--
Wagner Hugo Bonat
----------------------------------------------------------------------------------------------
Department of Mathematics and Computer Science (IMADA)
University of Southern Denmark (SDU) and
Laboratório de Estatística e Geoinformação (LEG)
Universidade Federal do Paraná (UFPR)
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20180109/e6dfd363/attachment-0001.html>

------------------------------

Subject: Legenda do Digest

_______________________________________________
R-br mailing list
R-br em listas.c3sl.ufpr.br<mailto:R-br em listas.c3sl.ufpr.br>
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br


------------------------------

Fim da Digest R-br, volume 85, assunto 6
****************************************
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://listas.inf.ufpr.br/pipermail/r-br/attachments/20180110/fd89c306/attachment-0001.html>


Mais detalhes sobre a lista de discussão R-br