Ton vecteur ne va pas plus loin que ta camera donc un normalize et un multiplicateur par la distance de détection voulue devrait marcher.

irr::core::line3df ray;
ray = device->getSceneManager()->getSceneCollisionManager()->getRayFromScreenCoordinates(device->getCursorControl()->getPosition());
ray.normalize();
ray *= 1000.0f;