Paulo, boa tarde!
No código que você postou .encoding não está como um argumento de postForm, mas sim de .params. De qualquer modo, não é útil para o que você deseja, porque é atributo do que se está postando, no caso o código do objeto ("JG310431462BR").
O encoding que você deseja é do que você está retornando do postForm, sendo assim deve indicar o encoding em htmlParse() ou htmlTreeParse().
Apesar da indicação da página estar em "ISO-8859-1", pelo menos o trecho que retorna o rastreamento está em "UTF-8".
Separei o conteúdo da div "ctrlcontent" e li a tabela que havia dentro dela. Preciso estudar melhor o readHTMLTable, mas por ora usei o artifício do gsub() pra melhorar a saída.
### <code r>
sapply(c("RCurl", "httr", "XML"), require, character=T)
params <- c(objetos="JG310431462BR", btnPesq="Buscar")
src <- postForm(add, .params=params)
tree <- htmlParse(src, encoding = "UTF8")
div <- xpathSApply(tree, '//div[@class="ctrlcontent"]')
info <- readHTMLTable(div[[1]], stringsAsFactors = FALSE); info
sapply(info, function(x) gsub(' \\r', '- ', x))
# V1 V2
# [1,] "09/06/2014 - 11:39 SAO PAULO / SP" "Objeto saiu para entrega ao destinatário"
# [2,] "04/06/2014 - 17:06 FOZ DO IGUACU / PR" "Objeto postado"
### </code>