Pour l'anti aliasing, ça se passe à la contruction du device.
Le mieux et de passer par SIrrlichtCreationParameters;
Pour le lissage des lumières, je pige pas ca que tu veux...
Pour les shadows ils faut utiliser addShadowVolumeSceneNode() sur ton mesh et parramétrer la couleur des shadows à rendre sur la scene avec smgr->setShadowColor(video::SColor(150,0,0,0));