PNG est un peu moins léger, mais PNG c'est puissant je m'explique :
le PNG conserve la transparence sur couche Alpha, comparé au gif qui ne fait qu'une transparence sur un index de couleur.
ensuite le PNG peut avoir plusieurs calques et meme conserver des données vectorielles
enfin le PNG est libre
Le jpg c'est vieux, c'est bien car ca compresse les images, mais c'est surtout fait pour la photographie et la compression se fait avec un peu de perte
et pour le gif, ben ca sert surtout aux animation ou aux petites images qui sont composées de moins de 256 couleurs.
Pour le moment si tu as des photos tu peux les mettre en jpg, si tu as des éléments graphiques pour ton site passe les en PNG
Mais si tu as de la transparence dans certains éléments, passe les en Gif pour le moment, tu ne peux jouer que sur la transparence d'index alors fait attention.
Quand tous les navigateurs, surtout IE, sauront lire les PNG et gérer la transparence de ces derniers, là tu pourras abuser du PNG