A mon avis, il te faut gérer une collision en forme d'élipse pour ta camera, perso j'utiliserai une Sphere invisible.
Du coup le déplacement de ta caméra s'effecturai directement sur la Sphere et non plus sur la cam car là c'est newton qui gerera le déplacement camera.