Alors non, Apache n'est pas bien configuré.
S'il était bien configuré, le contenu php contenu entre les balises ne serait pas envoyé tel quel au navigateur.
Tu as bien redémarré Apache après avoir activé le module php ? Quelle distrib Linux ? Quels packages as tu installé ?