Devant le déluge de réponse, je vais tout de même prendre le temps de donner la réponse que j'ai pu trouver après 3 jours de recherche.
Chez Gandi, il suffit d'utiliser le panneau d'admin du domaine, de choisir "Gérer les zones" en bas et d'ajouter une entrée (en mode expert par exemple) du style:
www 3600 IN A xxx.xxx.xxx.xxx
ftp 3600 IN A xxx.xxx.xxx.xxx
mail 3600 IN A xxx.xxx.xxx.xxx
(remplacer les xxx par l'ip de la machine à pointer)
J'ai pu ainsi également associer quelques sous domaines de la même façon (ftp, mail...). Par contre, je ne suis pas sûr, mais pour que le nom de domaine sans préfixe ("domaine.com" par opposition à "www.domaine.com" ) pointe sur mon IP, quelle est la syntaxe à employer ?