Bon, après différents essais, j'arrive enfin à avoir une image ! Hourra !
En fait le problème venait bien du câble, j'ai un écran DELL U2711 (2560x1440) avec 2 ports DVI-D, 1 hdmi et un display port.
En hdmi tout marche impec excepté le fait que la résolution est limitée à 1920x1080 (limitation du port de l'écran à priori), en DVI-D avec mon cable DVI-D (dual link) rien à l'écran, j'avais un autre cable DVI sous la main (un DVI-D single link) là j'ai du signal mais très vilain avec des tas de pixels rouges qui clignotent de partout. Pas pu tester avec cable DVI-I (j'en ai pas).
Bref du coup pour utiliser la sortie DVI de la carte, je ne sais pas trop comment faire, sinon le display port devrait pouvoir afficher du 2560x1440 mais je n'ai pas de cable sous la main, test à suivre donc.