Salut,
la solution la plus simple me parait être l'utilisation des collisionResponseAnimator, regarde dans les samples fournis dans le sdk il y en a un qui montre comment ça fonctionne.
(Ajouter un triangle selector à tes meshs de terrain "cubes" puis gérer la collision avec ta cam)
Si tu veux utiliser tes propres méthodes de collisions, je tenterai de smoother le résultat entre deux ou trois frames pour éviter les saccades... genre calculer ton résultat entre la frame précédente, l'actuelle et la nouvelle.