Ca y est j'ai trouvé une astuce toute cone pour gérer la gravité.
Donc :
Position = camera->getPosition() et normale.normalize() et intersection = point de collision;
Je fais reculer le personnage suivant la normale du plan sur lequel il est :
Position.Y = intersection.Y + normale.Y;
et ensuite pour rétablir la position de la camera par rapport au sol (car l'ajout de la normale change mon Position.Y), je fais :
Et si je n'est pas de collision Position.Y + 5*gravité (comme ca, ca descend plus vite).

Sinon, merci tmyke pour la confirmation.