Sinon chez MS il existe Windows XP Embedded spécialement conçu pour ce genre d'utilisation, l'avantage par rapport a Windows CE c'est la compatibilité win32 parfaite.
Mais vu la config sur laquelle un XP classique tournera sans soucis, je suis pas sur que ça vaille le coup de s'embeter avec des trucs exotiques comme Windows CE ou Embedded, surtout si tu ne connais pas les produits et que tu seras amené a les supporter.
Edit : j'avais pas vu que le "disque dur" etait une clé USB, un windows classique ne pourra pas tourner. Je sais pas si tu as bien étudié la question, mais a mon avis c'est vraiment pas l'idée du siecle, c'est pas vraiment prévu pour et tu vas passer ta vie a les changer, et globalement l'USB c'est le Mal. De la compactflash branchée via un adaptateur IDE ce serait plus adapté.