Площадь прямоугольного треугольника - половина произведения катетов. В вашем случае - S=1\2*X*Y. Путем хитрых манипуляций можно в итоге представить, что X и Y связаны отношением X*Y=26. Из этого соотношения я брал значения X и Y для точек.
Из условия, что искомая прямая должна быть параллельна данной прямой 5x-3y+6=0, получается, что вы должны получить прямую вида
5x-3y+С=0, где С - целое число.
Ну, а дальше, как ты упомянул, вы уже сможете сами решить.
Это все по памяти, могу где-то ошибаться.
Во второй четверти X должен быть отрицательным.