Le bug là c'est plustot ta map...
Il te faut un lightmap statique, pas un ombrage par stencil shadow, sinon le résultat visuel que tu obtiens ici et tout à fait logique.