Исходный avi, я так полагаю, несжатый? Я бы посоветовал видео в wmv с качеством ~80%, разрешением 1024х768 (если у тебя НЕ широкоформатник), не больше 30 кадров в сек, аудио ~96Кбит. Должно удовлетворить твоим требованиям.
Добавлено спустя 1 минуту 52 секунды:Кстати на ВКМ есть мув с названием 'How to make PvP movies?' в 3 частях, там вроде есть инфа о сжатии. А вообще просто поэкспериментируй с настройками wmv. Времени потратишь много, но разберешься что да как.