pour passer en mode console : CTRL+ALT+F2
sinon, je pense que pour la souris tu voulais parlé de gpm (et pas gdm). je crois que gpm -k marche bien sinon, "ps -A | grep gpm" et kill le_n°_du_process ou encore killall gpm.
Si c'est bien gpm qui fait chier, fait une recherche sur le forum, des solutions ont été données. Si tu t'en sert pas, désinstalle-le (dpkg -P gdm).
Tu a bien modifié XF86Config-4 ?
C'est quoi ta carte graphique ?