Bon ben j'ai trouvé par moi-même la salution : il suffit de diviser les coordonées de la texture masque par le ratio appliqué en scaletexture.
ça sera plus parlant sur du code.

Après texturage du terrain :

terrain->scaleTexture(80,80);

et voici le pixel shader :

void main ( void )
{
	// Texture 1 : herbe
	vec4 herbe = texture2D ( Texture1 , gl_TexCoord[0] );
	// Texture 2 : terre pour les chemins
	vec4 terre = texture2D ( Texture2 , gl_TexCoord[0] );
	// Texture 3 : masque en noir et blanc
	vec4 mask  = texture2D ( Texture3 , gl_TexCoord[0]/80 ); // divise par 80

	vec4 color = mix(terre, herbe, mask.r);
	gl_FragColor = (color);
}

Me voilà donc parti sur mon terrain editing pour faire un truc bien joli