La différence entre DVI-I et DVI-D concerne uniquement les écrans en VGA : le DVI-I peut véhiculer un signal analogique VGA (un simple adaptateur passif suffit alors pour pouvoir afficher sur un écran branché en VGA) contrairement au DVI-D ; Pour les écrans en DVI , cela ne change rien du tout.
Après , DVI-I et DVI-D peuvent être soit Single-Link (max 1920x1200@60Hz) , soit Dual-Link (max 2560x1600@60Hz , bon aussi pour du 1920x1080@120/144Hz).
Pour ta limitation actuelle en 1280x800@60Hz , un peu curieux , mais peut-être tout simplement que ce moniteur ne propose pas mieux en DVI Single-Link.
Ton câble mini-DP vers DVI n'est pas forcément la cause de ton problème d'affichage , ça peut très bien être l'écran lui-même qui déconne , tu peux toujours essayer de tester avec un câble/adaptateur HDMI-DVI mais cela ne changera peut-être rien au problème et ça te limitera encore en résolution d'affichage.
Pour obtenir du 2560x1600@60Hz , il y a les adaptateurs actifs mini-DisplayPort vers DVI-D Dual-Link , mais ils sont particulièrement onéreux (autour de 100€) , et là encore , si c'est l'écran qui est défectueux et cause ce souci d'affichage ...