Veja se é mais ou menos isso que precisa, usando a função order.
#Um exemplo de dados:
exemplo<-matrix(rnorm(15),ncol=3,nrow=5)
#Use a função order, para dizer a ordem das coisas, baseado primeiro na coluna 1 e depois desempatando pela coluna 2, o descreasing fala se quer do maior pro menor ou vice-versa
ordemlinhas<-order(exemplo[,1],exemplo[,2],decreasing=TRUE)
ordemlinhas
#Agora é so apresentar a matrix com a ordem que vc criou
exemplo[ordemlinhas,]
#Ou pode fazer isso direto;
exemplo[order(exemplo[,1],exemplo[,2],decreasing=TRUE),]
Espero ter ajudado.