Olá, Marcelo
Bom, vamos por partes. Como você está usando o vegan e mencionou Jaccard, chuto que você esteja usando dados de comunidades biológicas (tipo presença/ausência de espécies). É isto mesmo?
Se for este o caso, eu diria que realmente usar distância euclidiana é bem suspeito. A razão principal são os chamados "duplos zeros". O que rola é que a distância euclidiana, por sua natureza geométrica, considera que valores zeros compartilhados tornam dois objetos mais próximos. O problema é que um zero em uma matriz de composição de espécies pode significar simplesmente que a espécie não foi coletada, e as ausências em comum, então, não significam maior similaridade entre as comunidades. Daí usar o Jaccard, que não considera as ausências em comum na sua fórmula. Você pode dar uma espiada no livro do Legendre (o Numerical Ecology) sobre os duplos zeros para convencer o seu colega. Isto se o seu caso se encaixar neste contexto, claro.
Agora, sobre os valores, eles não precisam ficar entre zero e um. Imagine calcular a distância euclidiana em apenas duas dimensões (ou seja, usando apenas duas variáveis; ou duas espécies, se fosse o caso). Nesta situação, a distância entre os dois pontos pode ser achada na mão, pelo bom e velho teorema de pitágoras. Basta somar o quadrado das duas distâncias (uma para cada variável) e depois tirar a raiz disso, e temos a distância. Veja, por exemplo, o código bem simples a seguir:
#######################
#Início do código######
#######################
dados<-structure(list(V1 = 0:1, V2 = c(1L, 0L)), .Names = c("V1", "V2"
), class = "data.frame", row.names = c(NA, -2L))
dados
library(vegan)
matriz<-vegdist(dados, method="euclid")
matriz
#Note que isto dá no mesmo que:
sqrt((1^2)+(1^2))
####################
#Fim do código######
####################