Pour plus de détails sur les triangle selector : http://irrlichtnetcp.sourceforge.net/index.php/Irrlicht_07_:_Collision

Mais personnellement, je ne procèderais pas comme ça.
Je lancerais un rayon depuis le centre de la caméra passant par la position de la souris et récupèrerais le point où ce rayon entre en collision avec le terrain.

Ainsi j'aurais plus qu'a convertir cette position 3D en position 2D et je pourrais éditer directement la heightmap.

C'est la méthode du "picking"