Il faut généralement passer le modem ethernet en mode "bridge", puis le brancher sur le port wan du routeur
Il faut ensuite configurer le routeur pour initier une connection PPoE, avec le bon login/mdp, et activer l'option de reconnection automatique (ou garder toujours la connection active, au choix suivant le routeur).
Pour finir, soit le routeur à un Serveur DHCP (ce qui est 99% du temps le cas), et on laisse les PC sous windows en detection automatique pour tous, soit on leur fixe une adresse IP sur le même sous réseau que le routeur (si le routeur est sur 192.168.1.254, alors les PC pourrait être mis sur 192.168.1.1 et 192.168.1.2), et mettre comme passerelle et comme adresse DNS l'adresse IP du routeur (pour le DNS, c'est bon avec 99% des routeurs moderne, mais tu peux mettre directement les bonnes si tu les connais).
Avec tout çà, on a un réseau qui fonctionne en sortie, par contre, toute connection entrante non solicité sont bloqué par le routeur (qui n'a pas de règle de redirection). C'est un enorme avantage car comme çà, tu es protégé des attaques exterieures, mais cela peut déranger si on veut utiliser des applications qui ont un comportement Serveur.
Pour çà il faudra soit configurer les règles à la main dans le routeur, soit passer un des deux PC "serveur" en le mettant en DMZ (mais il faudra que ce PC soit bien protégé par un firewall logiciel du coup).
Si avec tout çà, je ne t'ai pas fait fuir, c'est que c'est bon signe