Até onde sei, a partir de um fator não tem como você dizer para a model.matrix() que você quer remover colunas durante a construção. O mais fácil parece ser construir a matriz e remover o não desejado. Como as colunas tem nomes fica fácil remover a partir deles.

À disposição.

Walmes.