No meu caso era um vetor, que eu queria plotar o boxplot sem o NA.
Assim poderia aparecer os pontos discrepantes.

Mas, você tem razão se é uma matriz afetará o resultado.