Tu ne pourras pas avoir de meilleure qualité en réencodant ton fichier AVI, et tu riques d'en perdre.
De plus l'extension avi ne définit pas la compression vidéo de ton fichier, un fichier AVI peut être un DivX, un MPEG 2, un MPEG,...
Il faut que tu choisisses le format de compression lors de l'acquisition de la vidéo de ta caméra ; je te laisse regarder les topics d'acquisitions pour ça, tout (ou presque) est dit dedans.