A une époque, j'avais compressé des vidéos en 352*288 (ou un truc du genre) de MPEG à DivX (codec 3.11).
Les MPEG étaient corrects avec une qualité d'environ 1500 kbps. Toi du 3 Go pour un film, çà donnerait un bitrate de 4444 kbps (pour un film de 1h30). Donc bon, çà doit vraiment être correct (quelle résolution?).
J'avais fait comme toi: diminuer le bitrate de moitié, avec le codec 3.11 en 1 passe pour info. Et c'était pas trop mal (fallait être pas trop près du moniteur non plus ) pour 2 h de vidéo sur un CD. Les codecs vidéos ayant évolués depuis, je pense que t'as fait des mauvais réglages avec le codec plutôt.
Par contre, maintenant, je ne fais plus de compression vidéo, je ne peux pas plus t'aider. Mais essaie avec un codec son à 64 kbps (pas besoin de plus) et en 2 passes avec le bitrate max qui te reste pour passer sur un CD.