1) mettre ton modem dsl en mode bridge, ainsi c'est la pate "outside" (wan) de ton routeur qui aura ton Ip publique
2) configurer un VPN sur le routeur en question (vpn client/itinérant)
3)configurer ton client sur ton laptop pour avoir la connexion vers ton routeur.
Je ne connais pas OpenVPN, il y a un tuto qui a l'air très bien sur ce même forum, mais ça a l'air un peu compliqué. Le mieux, dans le genre pas chere, ce serait que tu mette un IPcop a la place de tes deux routeurs (a la maison et au bureau) et tu monte un VPN site à site, c'est vraiment pas compliqué et il y a de bon tutos pour IPcop.
Après, il y a peut etre la possibilité d'installer openVPn sur ton serveur, en ouvrant les ports qui vont bien sur le routeur mais ça me parait un peu complexe et bancal! Sinon tu change ton routeur du bureau par un petit firewall cisco, sonicwall netasq ou consors, et tu t'y connecte avec le client fournit
A+