Détaillons :  
 
<script src=""> -> télécharge le script et le fout (normalement) en cache. Donc pas besoin de le renvoyer avec chaque page, tu gagnes du temps de download sur tes pages donc du temps d'exécution sur la machine, et de la place sur le serveur.
 
<link...> idem, place le fichier linké dans le cache du navigateur, donc on le télécharge qu'une fois, gain de place, de temps, facilité de maintenance et gain de bande passante pour le serveur.
 
Par contre les includes, que ce soit en PHP/SSI etc. c déjà plus lourd.
- Ca simplifie la maintenance du site pour le webmaster, ca prend moins de place (le même petit bout de code est réutilisé dans plein de pages, côté serveur).
- Par contre, tout cela étant "réassemblé" côté serveur, ce dernier est obligé de bosser en permanence (parser les fichiers = les analyser pour voir quoi en faire), donc ca prend un peu plus de ressources machine que de simplement envoyer la page sans y toucher, et un peu de temps aussi (millisecondes). Et au final, chaque page est envoyée "en entier", donc niveau utilisateur, pas de mise en cache, pas de gain de temps de download, c'est comme si les pages avaient été écrites de A à Z par la patte du webmestre.
 
Remarque, dans la pratique, le délai de traitement des includes est vraiment négligeable si c'est bien fait, que le serveur est pas trop poussif, que t'as pas 600000 lignes de code à parser...