Não sei se ajuda, mas relacionei os pontos que eu particularmente considero no gerenciamento da memória do R. É baseado em minha experiência pessoal limitada e restrita ao R no Windows.
Incremento de memória livre no R:
1) em máquinas com arquitetura 64-bits, utilizar software 64-bits:
- 32-bit R no 32-bit Windows: 2Gb (3Gb*).
- 32-bit R no 64-bit Windows: 4Gb.
- 64-bit R no 64-bit Windows: 8Tb.
2) verificar se memory.limit() corresponde à memória física instalada (64-bits)
- o upgrade de memória posterior a instalação do R pode não ser detectado - reinstalar
3) instalar mais memória física (considerando limites do item 1) - reinstalar
4) verificar a possiblidade de selecionar somente parte dos dados (subsets):
- antes de importar: comandos de linha (grep, cut, sed) ou gerenciadores de banco de dados (SQLite, MySQL)
- na importação, restringindo linhas e colunas
- após importar, criando objetos menores com subset(), RSQLite.
5) rever processamento e programação:
- evitar criar, duplicar objetos desnecessariamente
- apagar objetos que não estiver usando - rm()
- evitar instruções for()
- vetorizar cálculos
- preferir funções da família _apply
6) solicitar periodicamente a limpeza da memória ao S.O. (garbage collection) - gc(), gc(reset=TRUE)
7) eventualmente - reiniciar o R - No RStudio: Session -> Restart R (Crtl+Shift+F10)
8) utilizar pacotes que carregam dados diretamente do disco, liberando RAM : ff, bigmemory, SOAR
9) utilizar pacotes voltados para manipulação de bigdata tal como data.table