Pour les DLL, je voudrais pas dire de bêtises vu que j'en ai jamais fait, mais il me semble que c'est juste une bibliothèque de fonctions : t'écris ton programme comme d'habitude, sauf que t'as pas de main, et tu indiques a ton compilateur que tu veux compiler une dll (ca dépend des IDE). Corrigez moi si je me trompe surtout, cette question m'intéresse aussi.

Sinon, pour les matrices, c'est pas vraiment un prolème avec le C ou le C++, mais plutôt avec les maths. Sur le site du zero, y a ca : http://www.siteduzero.com/tuto-3-7456-1-les-matrices.html
Je pense que c'est suffisant si tu veux comprendre les bases des "maths 3D", mais si tu veux aller plus loin, y a de très bons articles sur wikipédia (forcément, ca devient tout de suite moins drôle ).