Em problemas de otimização o primeiro conselho é ter uma função objetivo com argumentos no domínio dos reais. Tente colocar reparametrizações na sua função objetivo para garantir isso. Por exemplo, no caso da distribuição normal a função de log-verrossimilhança tem que ser escrita com mu=mu e sigma=exp(theta), não se estima diretamente sigma pois sigma>0 mas exp(theta)>0 para todos theta nos reais. A mesma idéia serve para binomial, onde p está no (0,1), não se otimiza em p mas em theta sendo que p=1/(1+exp(theta)) que vem da função de ligação log(p/(1-p))=theta.

À disposição.
Walmes.