Quand tu as ce problème, est-ce que tous est planté ou bien tu peux relancer X depuis l'écran à moitié vert (<ctrl>+<alt>+<backspace> ) ? Si oui, est-ce que ça résout le problème ?
Sinon, est-ce que tu peux passer en console <ctrl>+<alt>+<F1> ) ? Là, il faut que tu regardes ce qui ne vas pas dans les logs (dossier /var/log/, ceux qui sont intéressant sont XFree86.0.log (voir ce qu'il a fait comme erreurs), syslog, boot déjà. Regarde s'il a des erreurs de chargement de modules, quoi que se soit qui ne va pas.
C'est quand même bizarre que ça marche si tu redémarres...