Dai tu tem que antes decidir se tu quer ficar com os NA ou não, se tu fizer direito não vai acontecer de linhas só com NA... No caso, x4 != 1 e:

# Descartando onde x4 é NA

dados$x4 != 1 & !is.na(dados$x4)

dados[dados$x4 != 1 & !is.na(dados$x4),]

# Mantendo onde x4 é NA

dados$x4 != 1 | is.na(dados$x4)

dados[dados$x4 != 1 | is.na(dados$x4),]

# A linha só com NA acontece quando, no meio do teu vetor de T/F tem um NA

dados$x4 != 1

dados[dados$x4 != 1,]