
Amigos, tenho um arquivo com milhões de registro. Uso a rotina abaixo. require(RODBC) channel<-odbcConnect("saddw",uid="saddw",case="tolower") #SOROLOGIA GERAL channel<-odbcConnect("saddw",uid="saddw",case="tolower")
soro<- sqlQuery(channel, "select doador_dw.sexo,doador_dw.idade,doador_dw.qtde_doacoes, + doador_dw.numerogente,doacao_dw.numerogente,sorologias_dw.numerogente, + sorologias_dw.exame,sorologias_dw.patologia,sorologias_dw.resultado,doacao_dw.tipodoacao, + sorologias_dw.metodo,sorologias_dw.basicasorologia,sorologias_dw.dataexamesorologia + from saddw.doador_dw, saddw.doacao_dw,saddw.sorologias_dw + where doador_dw.numerogente=sorologias_dw.numerogente + and doacao_dw.numerogente=doador_dw.numerogente + and to_char(sorologias_dw.dataexamesorologia,'DD/MM/YYYY') >= to_date('01/01/2010','DD/MM/YYYY') + and to_char(sorologias_dw.dataexamesorologia,'DD/MM/YYYY') <= to_date('31/12/2011','DD/MM/YYYY')")
tenho esse erro, como resolver? Erro: não é possível alocar vetor de tamanho 26.8 Mb Meu computador tem 2 giga de ram. Uso o windows 7 32 bits. A versão do R é a 2.14 Edson Lira Estatístico Manaus-Amazonas

Um grande erro está no seu SO. Vejo grandes problemas no seu computador, o primeiro que você está usando um sistema 32 bits e possivelmente seu processador é 64 bits. No que diz respeito a alocação de memória boa parcela do seu problema se deve ao SO, só para inicializar seu sistema operacional sem rodar nada o windows toma mais de 50% de sua memória, ou seja, não tem 2 GB livre para o R. Você necessita ler realmente todo o conjunto de dados. Não dar para ler uma parte dos dados, fazer as contas que você precisa e depois ler o restante dos dados? Dê uma lida no manual do pacote bigmemory. Em 4 de janeiro de 2012 12:22, Edson Lira [via R-br] <ml-node+s2285057n4261636h93@n4.nabble.com> escreveu: > Amigos, tenho um arquivo com milhões de registro. Uso a rotina abaixo. > require(RODBC) > > channel<-odbcConnect("saddw",uid="saddw",case="tolower") > > #SOROLOGIA GERAL > channel<-odbcConnect("saddw",uid="saddw",case="tolower") > > >> soro<- sqlQuery(channel, "select >> doador_dw.sexo,doador_dw.idade,doador_dw.qtde_doacoes, > + > doador_dw.numerogente,doacao_dw.numerogente,sorologias_dw.numerogente, > + > sorologias_dw.exame,sorologias_dw.patologia,sorologias_dw.resultado,doacao_dw.tipodoacao, > + > sorologias_dw.metodo,sorologias_dw.basicasorologia,sorologias_dw.dataexamesorologia > + from saddw.doador_dw, saddw.doacao_dw,saddw.sorologias_dw > + where doador_dw.numerogente=sorologias_dw.numerogente > + and doacao_dw.numerogente=doador_dw.numerogente > + and to_char(sorologias_dw.dataexamesorologia,'DD/MM/YYYY') >= > to_date('01/01/2010','DD/MM/YYYY') > + and to_char(sorologias_dw.dataexamesorologia,'DD/MM/YYYY') <= > to_date('31/12/2011','DD/MM/YYYY')") > > tenho esse erro, como resolver? > > Erro: não é possível alocar vetor de tamanho 26.8 Mb > Meu computador tem 2 giga de ram. > > Uso o windows 7 32 bits. A versão do R é a 2.14 > > Edson Lira > Estatístico > Manaus-Amazonas > > _______________________________________________ > R-br mailing list > [hidden email] > https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br > Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código > mínimo reproduzível. > > ________________________________ > If you reply to this email, your message will be added to the discussion > below: > http://r-br.2285057.n4.nabble.com/R-br-Alocacao-de-Memoria-tp4261636p4261636.html > To unsubscribe from R-br, click here. > NAML -- Saudações, Pedro Rafael Diniz Marinho. Estatístico - Secretaria de Estado da Saúde - PB.

Lira, com 2 GB de RAM e Windows 32 bits será quase impossível ler uma quantidade decente desses dados via SQL no R. Uma saída seria exportar para csv e adotar pacotes como bigmemory, soar, ff ou similares. Mesmo assim, quando você for executar qualquer tipo de análise, memória pode vir a chiar. []s Leonard de Assis assis <dot> leonard <at> gmail <dot> com Em 04/01/2012 13:22, Edson Lira escreveu: > Amigos, tenho um arquivo com milhões de registro. Uso a rotina abaixo. > require(RODBC) > > channel<-odbcConnect("saddw",uid="saddw",case="tolower") > > #SOROLOGIA GERAL > channel<-odbcConnect("saddw",uid="saddw",case="tolower") > > > > soro<- sqlQuery(channel, "select > doador_dw.sexo,doador_dw.idade,doador_dw.qtde_doacoes, > + > doador_dw.numerogente,doacao_dw.numerogente,sorologias_dw.numerogente, > + > sorologias_dw.exame,sorologias_dw.patologia,sorologias_dw.resultado,doacao_dw.tipodoacao, > + > sorologias_dw.metodo,sorologias_dw.basicasorologia,sorologias_dw.dataexamesorologia > + from saddw.doador_dw, saddw.doacao_dw,saddw.sorologias_dw > + where doador_dw.numerogente=sorologias_dw.numerogente > + and doacao_dw.numerogente=doador_dw.numerogente > + and to_char(sorologias_dw.dataexamesorologia,'DD/MM/YYYY') >= > to_date('01/01/2010','DD/MM/YYYY') > + and to_char(sorologias_dw.dataexamesorologia,'DD/MM/YYYY') <= > to_date('31/12/2011','DD/MM/YYYY')") > > tenho esse erro, como resolver? > > Erro: não é possível alocar vetor de tamanho 26.8 Mb > Meu computador tem 2 giga de ram. > > Uso o windows 7 32 bits. A versão do R é a 2.14 > > Edson Lira > Estatístico > Manaus-Amazonas > > > _______________________________________________ > R-br mailing list > R-br@listas.c3sl.ufpr.br > https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br > Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.
participantes (3)
-
Edson Lira
-
Leonard de Assis
-
Pedro Rafael