O Maxima pode ser usado direto no terminal do linux. O wxMaxima é com GUI. Se o Maxima no terminal aceitar algo como

$ maxima diff(2*x, x);

que é uma instrução para derivar 2*x com relação a x, então a coisa começa a ficar interessante. Eu não testei.

Se tiver como fazer, então você pode usar de dentro de uma sessão R com a função system(<instrução>). Uso o Maxima raramente, nunca procurei saber. Tem que aprender a usar por terminal. No Windows, não faço ideia.

À disposição.

Walmes.