Relis ton routeur (déjà, pourquoi un routeur pour seulement 2 machines ?) à la machine A, puis un câble croisé entre tes 2 machines. Ensuite tu partages la connexion sur A pour que B y ait accès. Le seul défaut de cette configuration : A doit être allumé pour que B ait le net, les ressources de A peuvent légèrement diminuer (mais très faiblement, rien d'alarmant), puisqu'il doit traiter le traffic vers et de B.
J'espère t'avoir aidé