Для начала на таких же настройках попробуй застримить 1080.
не берусь точно говорить, но для такого разрешения и 60 кадров это крайне низкий битрейт, поэтому кодект должен сжимать до ёбаных шакалов.
Если результат похожий - снижай кол-во кадров до 30, и повышай битрейт.
Если проблема не в этом, попробуй сменить фильтр на ланцош ресемплинг.
Ещё видео может 2 раза пережиматься.