Dans l'idée, il faut voir ta matrice 4*4 non pas comme une seule matrice, mais comme une multiplication de matrices, ce qui correspond à une suite de transformation.

M = Rx*Rx*Rz*S*T

Avec Rx la matrice qui définit une rotation autour de l'axe X, Ry la rotation autour de Y, Rz la rotation autour de Z, S le changement de taille, T la translation. Attention, l'ordre des transformations (et donc du produit de matrice) est important, si tu change l'ordre, tu n'obtiens pas forcément le même résultat.

Pour la forme des matrices, je te laisse voir ça sur l'image ci dessous :


Ensuite, pour récupérer les angles de rotations, il me semble qu'Irrlicht a une fonction qui permet de le faire. Regarde un peu la classe CMatrix4 dans l'API. Cependant, dans mon souvenir, quand j'avais essayé de l'utiliser, la fonction pour récupérer les angles n'était pas très au point. Mais c'était avec la 1.4 je crois, depuis c'est peut être corrigé.

Sinon, si tu veux le faire toi même, il faut que je regarde dans un vieux code, il me semble que je l'avais fait, mais c'est des maths pures.