Le problème doit venir de :
core::vector3df(5.0f)
il faut surement que tu mettes sous la forme :
core::vector3df(5, 5, 5)
où les trois chiffres représentent les trois coordonnées x, y, z du centre de ton cercle