plop,

IGUICheckBox *cbCarre = env->addCheckBox(true, core::rect<s32>(10,55,200,75), t1, -1, L"Carre");
IGUICheckBox *cbRond = env->addCheckBox(true, core::rect<s32>(10,80,200,100), t1, -1, L"Rond");
IGUICheckBox *cbLosange = env->addCheckBox(true, core::rect<s32>(10,105,200,125), t1, -1, L"Losange");


// dans la boucle :

if (cbCarre->isChecked())
{
    cbRond->setChecked(false);
    cbLosange->setChecked(false);
}
// idem pour les 2 autres checkboxes

Tu peux sûrement faire plus propre c'est a l'arrache