Там, при захвате, у тебя строка появляется с опциями того, что ты захватил, там разрешение проверь. Писал просто по памяти (программа не стоит), вдруг поможет. Или в General опциях. Или вверху, в менюшках поищи что-нибудь со словом resolution. А ещё после захвата попробуй нажать цирфу 1 (вот это точно должно прокатить если Xsplit).