Je clos le sujet en disant que cela fonctionne à merveille.
Une petite précision, on peut transformer des coordonnées 3D en coordonnées 2D en utilisant simplement cette fonction :

core::position2d<s32 > 2DPos = smgr->getSceneCollisionManager()->getScreenCoordinatesFrom3DPosition(node->getAbsolutePosition(), camera);

L'algorithme dont firnafin parle s'appelle l'algorithme du Crossing Number et on peut en trouver une implémentation simple à cette adresse : http://www.geometryalgorithms.com/Archive/algorithm_0103/
Si ça peut aider quelqu'un d'autre par la suite.
Merci encore à tous pour votre aide précieuse.