Pas du tout.
Le serveur X le plus utilisé sous les Unices Libres est XFree86 ( http://www.xfree86.org qui fonctionne aussi sur Win32 et MacOS X), bientôt en version 4.3.0. Mais il en existe d'autres, comme AcceleratedX, qui doit être de Xi Graphics, et MetroX, de je-sais-plus-qui ... Enfin, là, il est possible que je me trompe de sens.
Sinon, il existe des serveurs X pour Win32, comme Exceed de Hummerbring, X-ThinPro de Lab-Pro, XWin32, et plein d'autres.
WindowMaker est un gestionnaire de fenêtres, qui est très utile pour ne pas se perdre dans les différentes applis X lancées sur le serveur X. E, KDE et Gnome sont des environnements graphiques, et ils possèdent en général un gestionnaire de fenêtre intégré, ou au moins, par défaut (Kwin pour KDE, Sawfish pour Gnome 1.2 et 1.4, Metacity pour Gnome 2.x), mais rien n'interdit d'utiliser un autre gestionnaire de fenêtres, voire, on peut n'utiliser qu'un gestionnaire de fenêtres (WindowMaker, par exemple, ou TWM, FVWM, OLWM, IonWM, ...) pour afficher une appli X cliente (un xterm, Netscape, OpenOffice.org, GNUMail.app, XWelltris, etc ...).
Une appli X doit savoir sur quel serveur X s'afficher (variable d'environnement $DISPLAY). Par défaut, c'est localhost:0.0, à savoir que c'est en local, sur le serveur 0 (premier 0), sur le premier écran (deuxième 0).
Mais rien n'empêche, par exemple, de placer la variable d'environnement à 192.168.0.12:0.0 : là, les clients s'afficheront sur le serveur X qui est lancé sur la machine ayant pour adresse IP 192.168.0.12, 1er serveur X, 1er écran. Il faut bien sûr que le serveur X ait donnée aux applis l'autorisation de se connecter.
Dans ce cas, même si X n'est pas installé sur ta config, tu peux quand même, à partir d'une autre machine sur laquelle tourne un serveur X (celle dont tu te sers, en fait), lancer un xterm.
Sinon, pour ta question, à mon avis, si tu fais apt-get install windowmaker, tu devrais avoir les dépendances qui vont bien, et le machin devrait t'installer X comme il faut pour faire fonctionner tout ça en local.