O que eu mais indico é o livro da nlme mesmo, Pinheiro e Bates (https://www.amazon.com.br/Mixed-Effects-Models-S-PLUS-Jos%C3%A9-Pinheiro/dp/147578144X).

À disposição.

Walmes.