Bon je viens de trouver une solution, j'avais déjà eu cette piste avant de demander de l'aide ici mais le résultat était très aléatoire et conduisait même à une faute de segmentation.

Donc, visiblement Irrlicht est doté de caches, ce qui parait logique.

IVideoDriver::removeAllTextures() permet donc de décharger toutes les textures en mémoire (chargées avec getTexture par exemple)

mais surtout, si on a chargé des meshes qui utilisent ces textures, il ne faut pas oublier de les décharger eux aussi :

IMeshCache::clear() permet de décharger les meshes en mémoire.
On peut récupérer le Mesh Cache avec ISceneManager::getMeshCache().

Voilou, si ça peut aider quelqu'un.